Neo4jが可能にするニュースを異なる言語異なる地域で対照的に捉える技術〜レコメンド開発研究の現場から〜

LOGLY,Inc. © Copyright, All Rights Reserved
ログリー技術部大久保悟
Neo4jが可能にする
ニュースを異なる言語
異なる地域で対照的に捉える技術
〜レコメンド開発研究の現場から〜
ver.1.0

LOGLY,Inc. © Copyright, All Rights Reserved.
2
資源輸送で注目される「北極海航路」を
異なる国や地域で対照的に捉える

3
「情報を対照的に捉える」とは？
興味の対象
関連情報
関連情報
関連情報
レコメンドやフェイクニュースの検知に使える

4
「興味の対象」を異なる国や地域で対照的に捉える
興味の対象関連情報
関連情報
関連情報
興味の対象
関連情報
関連情報
興味の対象
関連情報
関連情報
興味の対象関連情報
関連情報
関連情報
関連情報
日本
ロシア
アメリカ
中国
周辺情報の違いを比較する

5
Word2vecなどを使うと
人間と機械の概念の違いが問題に！
ライオンシマウマトカゲ
哺乳類爬虫類
動物
ライオンシマウマトカゲ
動物園ペット
動物
人間機械
なのに上手に修正する手段がない

6
w(t-2)
w(t-1)
w(t+1)
w(t+2)
W(t) W(t)
w(t-2)
w(t-1)
w(t+1)
w(t+2)
CBOW SKIP-Gram
文章の分類の制御には膨大な
リレーションの管理が必要！
そこで登場、Neo4j

7
Neo4jの驚異的なAdobe社の成功例
MongoDBの125台のクラスター
Casandraに移行して48台のクラスターへ
Neo4jに移行して3台のクラスターへ
Neo4jで少ないディスク容量、高い利用率、高い機能性

8
Neo4jの特徴
• 数千万、数億レコードでも高速
• 多段Joinもインデックスが劣化せずに超高速
• 高速な全文検索
• UTF-8ネイティブ
• Java実装で高速な並列処理

平行概念
9
対象
上位概念、平行概念を設定
膨大な言葉の統計を管理
対象の周辺に現れる言葉を観測
分析手法のイメージ
関連
情報
関連
情報
関連
情報
ターゲット概念平行概念
平行概念

10
「北極海航路」の属する概念と平行概念を作成

11
概念に「概念の種」をセットする

12
平行概念に概念の種をセットする

13
クロールさせた後
学習させて概念木を組ませる

14
ターゲット
概念の骨格ができたイメージ
ターゲット概念平行概念
平行概念平行概念

15
ターゲット周辺の概念を調べる
MARPOL 原子力砕氷船ムルマンスク

16
「北極海航路」の関連情報
北極海航路ムルマンスク
MARPOL
原子力
砕氷船

17
「ムルマンスク」を調べると
北極海航路の重要な都市で、パイプラインの出力場所らしいことが分かる
北極海航路と「原子力」を調べると
北極海航路では原子力砕氷船や洋上原子力発電所が重要だと分かる。
MARPOLについて調べると
MARPOLはタンカーがひっくり返った場合に、海洋生物が死滅することを
防ぐための条約であることが分かる。

18
英語のターゲットの関連情報

19
ロシア語のターゲットの関連情報

20
中国語のターゲットの関連情報1

21
中国語のターゲットの関連情報2

22
中国語で「北極海航路」を調べると
連雲港と言う場所が重要な拠点であり
北極海航路はアイスシルクロードと呼ばれていることが分かる
北極海航路の開発は、一帯一路の国家プロジェクトの一環である
ことが分かる。

23
「北極海航路」を異なる地域や言語で比べた結果
北極海航路ムルマン
スク
原子力
環境保護
Arctic sea
route
Russia
Arctic
Проход Северного
Ледовитого
океана
грузовой
北冰洋通道俄罗斯
冰丝路
連雲港
一帯一路
日本
ロシア
アメリカ
中国
中国は「北極海航路」で進んでいるっぽい

Neo4jが可能にするニュースを異なる言語異なる地域で対照的に捉える技術〜レコメンド開発研究の現場から〜

Recomendados

Recomendados

Mais conteúdo relacionado

Último

Último (20)

Destaque

Destaque (20)