1. pixiv Solr 導入記 X

3. Java が好きなんですが pixiv には Java 好きは居ません・・・

5. Solrを導入する目的 Tritonn による検索に限界があるため検索専用のアプリケーションを模索 検索だけで３０台ある台数を減らせればいいなぁ モバイルで人気順ソートを実装する

7. でのTritonnの問題点

10. これはやばい！ よし！Solrだ！ 現在でも捌けないのに人気順ソートをモバイルに実装する必要がでてくる・・・

11. Solrの特徴

15. tokenizer : NGramTokenizer 指定された文字数で分割する

16. filter : LowerCaseFilter 大文字英字を小文字に変換

17. charfilter : MappingCharFilterFactory 後ほど説明

18. データ構造

19. uniqueKey: illust_id

20. その他検索に必要なタグ、タイトル、コメント、作品が R18 かどうかなど

21. illust_id 以外はインデックスのみでデータを持たない

22. Solr検証時の問題点

23. 文字が長いと途中から検索できない・・・ NGramTokenizer という Solr 標準の Tokenizer を使用してたのですが コードを読んでみると最大値がなぜか 1024 文字固定になっていたため可変に修正 solr-3.2.0/lucene/contrib/analyzers/common/src/java/org/apache/lucene/analysis/ngram/NGramTokenizer.java 修正前コード char[] chars = new char[1024]; input.read(chars);​ inStr = new String(chars).trim(); 修正後コード CharArrayWriter writer = new CharArrayWriter(1024); int c; while((c = input.read()) != -1) { writer.write(c); } inStr = new String(writer.toCharArray()).trim();

24. MultiValueを使うと検索結果がおかしい unigram で２文字以上の検索ワードを投げるとタグがくっついた形ヒットする 例えばタグに [ オリジナル ] [ パン ] というタグがあったとして 「ルパン」と検索すると・・・ [ オリジナ ル ] [ パン ] という様に分かれているタグが引っかかってしまう 対処法が分からなかったため検索ワードの文字数によって unigram と bigram のインデックスを使い分けて対処した オリジナル 猫の検索例 tag_bigram: オリジナル OR tag_unigram: 猫

25. 半角カタカナ文字にヒットしない 半角カタカナを全角カタカナでヒットさせるには自前で設定をしなければならない (NGramTokenizer を使用する場合 ) その場合 MappingCharFilterFactory というフィルターを使って Normalize することができる 設定例 " ｶﾞ "=>" ガ " " ｷﾞ "=>" ギ " pixiv では「へ」はどちらでもヒットするように設定 " へ "=>" ヘ " " べ "=>" ベ " " ぺ "=>" ペ "

26. 大量の件数がある場合ソートが重い 全体で１２００万件の内 [ 東方 ] というタグには１００万件以上ありソートだけで１ .5 秒くらいかかっている １秒以上かかるものがある時点で検索を捌くことは不可能 データ更新は１分間隔でしていたのでキャッシュの恩威が少ない ちなみにソートをしなければ一瞬で検索できる

27. じゃあ高速化しましょう！

28. 高速化１ Solr には DistributedSearch という分散インデックス検索ができるのでインデックスを分散する ４分割 ( イラスト ID%4 の余りが番号 ) して各マシンに１つずつインデックスを持てば検索速度が４倍早くなる この機能は検索時にインデックスを持っているサーバーをパラメータで渡すだけでいいのでクライアント側の修正は簡単である 例 q= 東方 &shareds=localhost:8983/solr/index0,localhost:8983/solr/index1

29. ※ 補足 左に行くほど新しい 全体のインデックス ４分割された イラストのインデックス １つのイラストをイメージ index1 index2 index3 index4

30. すべてのインデックスから１０件分 ( ４分割なので４０件分 ) の「東方」の結果を受け取る クライアント 「東方」を検索する その中で１０件分の結果が返る 分散検索のイメージ図 ４つのインデックスに投げる Solr1 index1 Solr3 index3 Solr2 index2 Solr4 index4 DistributedSearcher

33. 全体のインデックス 古い日付の イラストのインデックス 最新の日付のイラスト １分更新 index1 index2 index3 index4 Index_new

35. 最新の日付のインデックスと古い日付のインデックスが被らないようにする 全体のインデックス 最新の日付のイラスト Index_new 古い日付の イラストのインデックス index1 index2 index3 index4

38. ご清聴ありがとうございました