5. Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.5
ABYSS
ABYSSとは?
https://www.flickr.com/photos/bg3photo/5082428505/sizes/l
Some rights reserved by BG³Photo
BOSS Search APIインスパイア
6. 現在の検索サービスの仕組み
サービスA サービスB サービスC サービスD
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.6
現在の検索サービスの仕組み
ABYSS
Y!J独自検索
ライブラリ
7. Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.7
現在のアーキテクチャ
現在のアーキテクチャ※3
※3 新検索プラットフォーム「ABYSS」
http://techblog.yahoo.co.jp/architecture/abyss/
8. 運用・メンテナンスコスト
ソフトウェアライフサイクル
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.8
ABYSS再構築
なぜ再構築するのか?
https://www.flickr.com/photos/billjacobus1/122497422/sizes/l
Some rights reserved by billjacobus1
レガシーなアーキテクチャ
検索エンジンのコモディティ化
9. Apacheソフトウェア財団管理下
プラグインでの拡張が容易
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.9
Solr
なぜSolrなのか?
https://www.flickr.com/photos/gsfc/5808204795/sizes/l
Some rights reserved by NASA Goddard Photo and Video
多くの稼働実績
可用性・耐障害性
10. カスタマイズ可能な検索
ログ可視化機能
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.10
提供する機能
提供する機能
https://www.flickr.com/photos/basheertome/6785217165/sizes/l
Some rights reserved by basheertome
高可用性・耐障害性
Webベースの管理コンソール
11. UserABYSS Administrator / ABYSS User
Flume
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.11
新アーキテクチャ
OpenStack
SolrCloud
(Document Indexes)
SolrCloud
(Log Indexes)
Feed/Search API Control API
ZooKeeper
Banana
Admin UI
新アーキテクチャ
WebMA
SPDY Protocol
Support
WebMA
SPDY Protocol
Support
Front End Application
Morphline
Event
Log
12. Yahoo! JAPAN独自の日本語形態素
解析器
一般ユーザーにもWeb APIで公開中
http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.12
WebMA
WebMAとは?
https://www.flickr.com/photos/crdot/5510506796/sizes/l
Some rights reserved by crdotx
京都大学はどこですか?
京都大学 は どこ です か?
何処
何所
京都
京都大
大学
学
京大
文章
区切り
類義語
トークン
13. テスト環境 : SolrCloud(2シャード+レプリカ=4ノード)
Virtual Server 2GHz 4CPU / 6GBメモリ / 120GB HDD
データセット : Wikipedia (English)
クエリセット : Wikipedia (English) 見出し語
8万キーワード(3万ユニークキーワード)
ツール : solrmeter (20QPS)
Average Query Time (Latency)
Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.13
SPDYプロトコルサポート
SPDYプロトコルサポート
search
Shard1
Shard2
update
414 ms
342 ms
Solr
https://www.flickr.com/photos/xavier33300/15236610911/sizes/l
Some rights reserved by Grand Parc - Bordeaux, France
HTTP
HTTP
SPDY
Solr(Jetty9)+SPDY3
17%の速度改善がみられた
14. Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.14
今後の計画
今後の計画
https://www.flickr.com/photos/29198100@N00/2368267322/sizes/l
Some rights reserved by gamillos
オートスケールの実装
独自検索エンジンの機能移植
Query Parser
Top-k Query Processing (WAND)
Machine-Learned Ranking (MLR)
etc.
OSSコミュニティとの協力
15. Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.15
OSSコミュニティとの協力
OSSコミュニティとの協力
WASHINGTON, DC
NOVEMBER 11-14
カンファレンスへ積極的に
参加
コミッターやユーザーとの
ネットワーク構築
コントリビューション
16. Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.16
コントリビューション
コントリビューション
https://www.flickr.com/photos/sis/66422743/sizes/l
Some rights reserved by Sister72
17. Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.17
参考資料
参考資料
Yahoo! JAPAN サービス一覧
http://services.yahoo.co.jp/
ヤフー株式会社 2014年度 第2四半期 決算説明会資料
http://ir.yahoo.co.jp/jp/archives/present/
BOSS Search API – Yahoo Developer Network
https://developer.yahoo.com/boss/search/
新検索プラットフォーム「ABYSS」
http://techblog.yahoo.co.jp/architecture/abyss/
これがABYSSのすべてだ!!
http://techblog.yahoo.co.jp/architecture/abyss_1/
テキスト解析:日本語形態素解析
http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html
The Chromium Projects - SPDY
http://www.chromium.org/spdy
To enable SPDY in a SolrCloud setup
https://issues.apache.org/jira/browse/SOLR-6699
Visualizing Logs Using Apache Solr
http://www.slideshare.net/mosuka/visualizing-logs-using-apache-solr
https://www.flickr.com/photos/spam/5086168739/sizes/l
Some rights reserved by Smath.
18. Copyright
(C)
2014
Yahoo
Japan
Corpora5on.
All
Rights
Reserved.
P.18
ご清聴ありがとうございました