Presentation slide in DEIM 2015.

1. 初期レビューを⽤用いた⻑⾧長期間評価推定
川本 淳平1 俵本 ⼀一輝2 浅野 泰仁2 吉川 正俊2
1. 九州⼤大学⼤大学院システム情報科学研究院
2. 京都⼤大学⼤大学院情報学研究科

2. レビューサイト
• 顧客や販売者の意思決定に対して影響を与える
• Amazon,
価格.com,
IMDb
など多くのサイトがレビューを掲載
• 特異異なレビュー
• スパムレビュー (Social
spammers
や Crowd
turfing
workers)
• ステルスマーケティング
• エキスパートによるレビュー
• 「一般的な」人々が求めているレビューと乖離しているレビュー
• 初期レビューにおける特異異なレビューの問題
• レビュー数が少ない・特異異なレビューが多数となりやすい
2015/3/2 DEIM
Forum
2015
D3-­‐6
2

3. ⽬目的
• 商品販売当初などレビュー数の少ない段階において
• 特異異なレビュアーの発⾒見見
• ⻑⾧長期間レビューの予測
2015/3/2 DEIM
Forum
2015
D3-­‐6
3
レビュアー
対象
レビュアー
⭐️️
⭐️⭐️⭐️
⭐️⭐️
どちらが特異異か？
⼗十分時間経過後の
評価はどうなるか？

4. ⽬目的
• 商品販売当初などレビュー数の少ない段階において
• 特異異なレビュアーの発⾒見見
• ⻑⾧長期間レビューの予測
2015/3/2 DEIM
Forum
2015
D3-­‐6
4
レビュアー
対象
レビュアー
⭐️️
⭐️⭐️⭐️
⭐️⭐️
対象
対象
対象
対象
⭐️️
⭐️️
⭐️️
⭐️️
⭐️️
他の対象へのレビューも考慮して判断

5. 関連研究
• スパムレビュアーの検知に関する研究1
• ⼗十分な学習⽤用データを利利⽤用するものが多い
• レビュー数が少ない場合学習⽤用データの取得は難しい
• 特異異なレビュアーはスパムレビュアーを⼀一般化したもの
• 査読プロセスにおけるレビュー解析2
• 「厳しい査読者」と「優しい査読者」など傾向の分析
• 査読者は正当に振る舞うと仮定
• オンラインショップのレビュー評価3
• 限られた期間内に⾏行行われた商店の評価分析
• 評価実験において⽐比較対象とする
2015/3/2 DEIM
Forum
2015
D3-­‐6
5
1.
Mukherjee,
A.,
Liu,
B.,
Wang,
J.,
Glance,
N.S.,
Jindal,
N.:
Detecting
group
review
spam.
World
Wide
Web
(Companion
Volume).
(2011)
93–94
2.
Lauw,
H.W.,
Lim,
E.,
Wang,
K.:
Summarizing
review
scores
of
”unequal”
reviewers.
In:
Proceedings
of
the
Seventh
SIAM
International
Conference
on
Data
Mining.
(2007)
539–544
3.
Wang,
G.,
Xie,
S.,
Liu,
B.,
Yu,
P.S.:
Review
Graph
Based
Online
Store
Review
Spammer
Detection.
In:
Proc.
of
the
11th
IEEE
International
Conference
on
Data
Mining.
(2011)
1242–1247

6. アイデア
• ⼆二つのスコア
• レビュアーに特異異度度を定義
• レビュー対象にサマリスコアを定義
• ⼆二つのスコアの関係性（仮定）
• 特異異なレビュアーは個々の評価対象について
サマリとは異異なる評価値を与えるだろう
• 評価のサマリは
特異異でない通常の評価者の評価値と近い値であるべき
• ⼆二つのスコアを繰り返し計算する
• 繰り返し計算によりレビュアーの他のレビュー傾向を反映可能
• レビュー数の少ない初期状態での特異異なレビュアーの影響を削減
2015/3/2 DEIM
Forum
2015
D3-­‐6
6
レビュアー
対象
レビュアー
⭐️️
⭐️⭐️⭐️
⭐️⭐️
特異異度度:
0.9
特異異度度:
0.2
サマリ:
4.8

7. RI と⼆二部グラフモデル
• Repeated
improvement
(RI)
• ⼆二つのスコアの影響を相互に考慮し解を求める
• レビュアーの特異異度度を元にサマリを計算する
• サマリとの乖離離を元に特異異度度を計算する
• ⼆二部グラフモデル
• レビュアーとレビュー対象の⼆二種類の頂点からなるグラフ
• それぞれの枝にレビュースコアを設定
2015/3/2 DEIM
Forum
2015
D3-­‐6
7

8. RI と⼆二部グラフモデル
• Repeated
improvement
(RI)
• ⼆二つのスコアの影響を相互に考慮し解を求める
• レビュアーの特異異度度を元にサマリを計算する
• サマリとの乖離離を元に特異異度度を計算する
• ⼆二部グラフモデル
• レビュアーとレビュー対象の⼆二種類の頂点からなるグラフ
• それぞれの枝にレビュースコアを設定
2015/3/2 DEIM
Forum
2015
D3-­‐6
8
個々の対象について
サマリを計算

9. RI と⼆二部グラフモデル
• Repeated
improvement
(RI)
• ⼆二つのスコアの影響を相互に考慮し解を求める
• レビュアーの特異異度度を元にサマリを計算する
• サマリとの乖離離を元に特異異度度を計算する
• ⼆二部グラフモデル
• レビュアーとレビュー対象の⼆二種類の頂点からなるグラフ
• それぞれの枝にレビュースコアを設定
2015/3/2 DEIM
Forum
2015
D3-­‐6
9
個々の対象について
サマリを計算
サマリを元に特異異度度を計算

10. RI と⼆二部グラフモデル
• Repeated
improvement
(RI)
• ⼆二つのスコアの影響を相互に考慮し解を求める
• レビュアーの特異異度度を元にサマリを計算する
• サマリとの乖離離を元に特異異度度を計算する
• ⼆二部グラフモデル
• レビュアーとレビュー対象の⼆二種類の頂点からなるグラフ
• それぞれの枝にレビュースコアを設定
2015/3/2 DEIM
Forum
2015
D3-­‐6
10
特異異度度を元に
サマリを更更新
サマリを元に特異異度度を計算

11. レビュアーの特異異度度
• レビュアーの対象別特異異度度
• レビュアー
p がレビュー対象 q を
e と評価
• レビュー対象のサマリは
s であった
• レビュアー
p
の
q に対する特異異度度を
|e
–
s|
と定義
• レビュー対象
q のサマリ
s
に対する信頼度度
•
レビュー対象
q に与えられたレビュー数を Nq,
評価の分散 を
σ2
• サマリ
s
の信頼度度
と定義
• 「レビュー数が多く，ばらつきが少ないほど信頼度度は⾼高い」
• レビュアー
p
の特異異度度
• レビュアー
p が評価したすべての対象について
• 対象別特異異度度の信頼度度による重み付き平均を
p
の特異異度度と定義
2015/3/2 DEIM
Forum
2015
D3-­‐6
11
レビュアー
対象
⭐️️
特異異度度:
???
サマリ:
4.8
e.g.
|4.8
–
1.0|
c =
log(Nq)
σ 2
+1
c
x
|e
–s|

12. レビューのサマリ
• 特異異度度を考慮した重み付き平均
• シグモイド関数を⽤用いて
特異異度度
a に対する重み計算
• 重みは
(α はパラメータ)
• サマリは
• 特異異度度の⼤大きいレビュアーの評価
• サマリ計算への影響は⼩小さくなる
2015/3/2 DEIM
Forum
2015
D3-­‐6
12
レビュアー
対象
レビュアー
⭐️️
⭐️⭐️⭐️
⭐️⭐️
特異異度度:
0.9
特異異度度:
0.2
サマリ:
???
wα (a) =
1
1+e−αa
wα (0.9)*1.0 + wα (0.2)*5.0
wα (0.9)+ wα (0.2)

13. 2015/3/2 DEIM
Forum
2015
D3-­‐6
13

14. 評価実験
• データセット
• Amazon
レビューデータ
(1996年年5⽉月31⽇日〜～2006年年5⽉月29⽇日)
• 書籍カテゴリのレビューのみ抽出
• 2004年年12⽉月31⽇日までのレビューを元に2006年年5⽉月29⽇日時点のサマリを予測
• レビュー数１の書籍は対象外とする（データセットから削除）
• 特異異なレビュアーの追加
• 公開データセットでは特異異なレビュアーは削除されている可能性が⾼高い
• 特異異なレビュアー数が本来よりも少ない可能性が⾼高い
• ⼈人⼯工的に特異異なレビュアーを追加して補う
2015/3/2 DEIM
Forum
2015
D3-­‐6
14
2004
年年 12
⽉月 31
⽇日までのレビュー数:
1555315
2005
年年 1
⽉月 1
⽇日以降降のレビュー数:
613265
2004
年年 12
⽉月 31
⽇日までの評価者数:
730667
実験に⽤用いたデータセットの詳細

15. 特異異なレビュアーの種類
2015/3/2 DEIM
Forum
2015
D3-­‐6
15
• 結託しない特異異なレビュアー
• レビュー数：実際のレビュー数の分布からランダムに決定
• レビュー対象：ランダムに選択
• レビュースコア：通常レビュー平均 <
2.5 なら
5,
>=2.5 なら
1
• 結託する特異異なレビュアー
• 対象書籍において結託側が多数となるように配置
• レビュー数：２冊
• レビュー対象：通常のレビュアーが２⼈人の書籍
• 結託⼈人数：４⼈人
• レビュースコア：結託しない場合と同じ

16. 正解データと⽐比較⼿手法
• 正解データ
• Amazon データセットに含まれる
全期間レビューの平均値（⻑⾧長期間平均）
• 追加した特異異なレビュアーは含まない
• ⽐比較⼿手法
• ONE†
:
Repeated
improvement を⽤用いない
• MRA‡
:
Repeated
improvement
を⽤用いる
サマリの信頼度度を考慮しない
シグモイド関数の
α
=
1
2015/3/2 DEIM
Forum
2015
D3-­‐6
16
単純平均と正解データの⽐比較
†Lim,
E.P.,
Nguyen,
V.A.,
Jindal,
N.,
Liu,
B.,
Lauw,
H.W.:
Detecting
Product
Review
Spammers
using
Rating
Behav-­‐
iors.
In:
Proc.
of
the
19th
ACM
International
Conference
on
Information
and
Knowledge
Management,
Toronto,
ON,
Canada,
ACM
Press
(October
2010)
939–948
‡Tawaramoto,
K.,
Kawamoto,
J.,
Asano,
Y.,
Yoshikawa,
M.:
A
Bipartite
Graph
Model
and
Mutually
Reinforcing
Anal-­‐
ysis
for
Review
Sites.
In:
Proc.
of
the
22nd
International
Conference
on
Database
and
Expert
Systems
Applications,
Toulouse,
France,
Springer
(2011)
341–348

17. 実験１: 特異異度度の評価
• ⽬目的
• 特異異なレビュアーの特異異度度は期待通り⼤大きくなっているのか
• ⼿手順
• ONE,
MRA, 提案⼿手法それぞれを⽤用いて特異異度度を計算
• 追加した特異異なレビュアーの特異異度度分布を評価
• Amazon データセットに含まれるレビュアーは通常とした
• 実際には特異異なレビュアーも含まれている
• 通常レビュアーの特異異度度分布はあくまで参考
2015/3/2 DEIM
Forum
2015
D3-­‐6
17

18. 実験１: 特異異度度の評価結果
2015/3/2 DEIM
Forum
2015
D3-­‐6
18
ONE MRA
提案⼿手法
α
=
0.25
提案⼿手法
α
=
2.0

19. 実験１: 特異異度度の評価結果
2015/3/2 DEIM
Forum
2015
D3-­‐6
19
ONE MRA
提案⼿手法
α
=
0.25
提案⼿手法
α
=
2.0
結託しない特異異なレビュアーの特異異度度（緑）はどの⼿手法でも⾼高い
-­‐>
結託しない特異異なレビュアーは⽐比較的容易易に検出できる

20. 実験１: 特異異度度の評価結果
2015/3/2 DEIM
Forum
2015
D3-­‐6
20
ONE MRA
提案⼿手法
α
=
0.25
提案⼿手法
α
=
2.0
結託する特異異なレビュアーの特異異度度（⾚赤）は
ONE,
提案⼿手法（α
=
0.25) では中盤に固まっている
MRA,
提案⼿手法（α
=
2.0）では⼀一部⾼高く⼀一部低い

21. 実験１: 特異異度度の評価結果
2015/3/2 DEIM
Forum
2015
D3-­‐6
21
ONE MRA
提案⼿手法
α
=
0.25
提案⼿手法
α
=
2.0
結託する特異異なレビュアーの特異異度度（⾚赤）は
ONE,
提案⼿手法（α
=
0.25) では中盤に固まっている
MRA,
提案⼿手法（α
=
2.0）では⼀一部⾼高く⼀一部低い
ONE,
提案⼿手法（α
=
0.25）では通常レビュアーと⽐比較的区別できる
MRA,
提案⼿手法(α
=
2.0)では⼀一部の特異異なレビュアーが通常レビュアーに紛れている

22. 実験２: ⻑⾧長期間平均の予測
• 2004年年までのレビュー
+
特異異なレビューから
⻑⾧長期間平均を予測
• ⻑⾧長期間平均との誤差分布を計算
• Amazonレビューは
5つ星評価のため誤差の最⼤大値は
4.0
• 単純平均に⽐比べて
どの程度度改善したのか
2015/3/2 DEIM
Forum
2015
D3-­‐6
22
単純平均と正解データの⽐比較

23. 実験２: ⻑⾧長期間平均の予測結果
2015/3/2 DEIM
Forum
2015
D3-­‐6
23
ONE MRA
提案⼿手法
α
=
0.25
提案⼿手法
α
=
2.0

24. まとめと今後の課題
• 部分的なレビューから⻑⾧長期間経過後のレビューを求める
• ⼆二部グラフを⽤用いてレビュアーとレビュー対象を表現
• Repeated
Improvement
を⽤用いて
レビュアーの特異異度度とレビュー対象のサマリを計算
• 繰り返し計算により各レビュアーの過去のレビュー傾向を考慮できる
• 特異異なレビュアーか否かを判定
• 今後の課題
• 提案⼿手法（α
=
0.25）では通常レビュアーと結託するレビュアーの
区別が⼀一部できている
• ⼀一⽅方で⻑⾧長期間経過後のレビュー予測ではエラーが多い
• ⼿手法の改良良が必要
2015/3/2 DEIM
Forum
2015
D3-­‐6
24