1.
ニコニコニュースと全文検
索
研究開発本部
星野 豊
1

2.
自己紹介
• 2010年4月 新卒入社
• 星野 豊 (id: con_mame)
• サーバ構築・運用
• ニコニコニュース・実況・DVD・ポ
イント担当
2

3.
今回のお話
MySQLを使って全文検索
の全文検
索
3

4.
MySQLで全文検索
4

5.
MySQLの全文検索
SQL Parser
Full Text Parser
Storage Engine API
Storage Full Text
Engine Index
5

6.
全文検索Plugin
SQL Parser
Full Text Text Parser
Full Parser (Plugin)
Storage Engine API
Patch
Storage
Storage Full Text
Engine
Engine Index
(Plugin)
6

7.
パッチを当てるPlugin
SQL Parser
Storage Engine API
patch
MyISAM
7

8.
Storage Engineを
置き換えるPlugin(1)
SQL Parser
Storage Engine API
groonga
Storage Engine
8

9.
Storage Engineを
変えるPlugin(2)
SQL Parser
Storage Engine API
Sphinx
Storage Engine
SQLを使って検
索対象を登録出
来ない
9

10.
Full Text Parserを
MySQL-ftppc 置換えるPlugin
SQL Parser
space mecab bigram Suffix snowball
Full Text Parser
MySQL標準
Storage Engine API の Full Text
Parser
MyISAM Full Text
Index
10

11.
ニコニコニュースでは・・・
いっぱい種類があるけ
ど・・・
どれを使おうか？？
11

12.
ニコニコニュースの検索要件
記事が公開 検索結果が
されたらす 1秒以内に
ぐ検索した かえってき
い て欲しい MySQL
を使用
したい
本文とタグ
で
検索出来れ
ばいい
12

13.
要件で比較
Senna sphinx groonga MySQL-ftppc
要件にあ
う検索 ✓ △ ✓ ✓
リアルタイ
ムインデッ
クス
✓ - ✓ ✓
5.1対応
- ✓ ✓ ✓
13

14.
groongaとMySQL-ftppc
• groonga storage engineはVer. 0.1が出たばか
り
• groonga を使用するためにコードを書き換
えないといけない
groonga作者
• branchのftnorm.c/ftnorm.hで置き換えて解
• 最新版でもICUライブラリを使用するとク
決！
ラッシュ
• mecab plugin r126
• メモリ周りの処理でMySQLごと落ちる
• bigram plugin r125 MySQL-ftppc 14

15.
ニコニコニュースでは・・・
MySQL-ftppc
採用
15

16.
MySQL-ftppcとは
• 空白で分割する
space • タグ検索で使用している
• 2文字ずつindexを作成する
bigram • 検索漏れが少ない
• 本文検索で使用している
• 形態素解析を使用
mecab • 新しい単語に弱い
• 接尾辞配列を使用
suffix • index作成でクラッシュする問題がある
snowball • 英語に適したインデックス
16

17.
要件確認
リアルタイ
ム
インデック
ス
記事が公開
されたらす
ぐ検索した 性能試験
い
簡単な検索
本文とタグ 検索結果が
で 1秒以内に
検索出来れ かえってき
ばいい て欲しい
MySQL
を使用
したい
17

18.
まとめ
• MySQLはPluginとして、用途に合わせて全
文検索Pluginを選べる
• MySQL-ftppcは検索用途に合わせてPluginを
使い分ける
• 用途によって性能が異なる事があるの
で、事前の検証はしっかりやりましょう
18

19.
参考
• http://sourceforge.net/apps/mediawiki/mysqlftp
pc/index.php
– ftppc公式サイト
• http://www.slideshare.net/hiroaki.kawai/mysqlft
ppc
– ftppc紹介スライド
• http://mysqlftppc.svn.sourceforge.net/
– ftppcソース
19

20.
space Plugin
This is a pen
空白で分割
This is a pen
20

21.
bigram plugin
今日は晴れ
2文字づつ分割
今日 日は は晴 晴れ
21

22.
mecab plugin
今日は晴れ
形態素で分割
今日 は 晴れ
名詞 助詞 名詞 22

23.
suffix plugin
abra
接尾辞で分割
a 4
abra 1
bra 2
ra 3
23

24.
snow ball plugin
engineering/engineered
stemming処理を行
う
engineer
24

25.
MySQL-ftppcの設定
共通 space bigram
• normalization • Space drop long • なし
token
• unicode version
• space raw input
normalization
ペー ㍍
ジ ㌻ ﾒｰﾄﾙ
ﾍﾟｰｼﾞ メート
ル
文字を区別しないで検索出来るようにす
25
る