2015年 人工知能学会全国大会 「ヒューマンコンピュテーションとクラウドソーシング」

1. © Hajime Mizuyama
製品・サービスに対する主観的属性収集
のためのGWAPシステムの提案
宮下瑛志，水山 元，野中朋美
青山学院大学 経営システム工学科
mizuyama@ise.aoyama.ac.jp
JSAI 2015 @ Future University Hakodate 1/June/2015

2. © Hajime Mizuyama
Research background
Human computation
& Crowdsourcing
GWAP/HCG
von Ahn’s
mechanisms
• Output agreement
• Input agreement
• Inversion problem

3. © Hajime Mizuyama
• ランダムにペアリングされた2人に同じインプットが提示される．
• 2人のプレイヤは，インプットを参考にアウトプットを提供する．
• 2人のアウトプットが一致したら得点が与えられる．
Output-agreement games
Input information
ex. an image
Input information
ex. an image
Output A
Output B
Output C
Output A
Output B
Output C
Output D
Output C
Output E
Output D
Output C
Output E

4. © Hajime Mizuyama
Research background
Human computation
& Crowdsourcing
GWAP/HCG
von Ahn’s
mechanisms
• Output agreement
• Input agreement
• Inversion problem
ESP game に代表されるように，
メタデータの取得などの面で
豊富な成功例がある．
このタイプのゲームの機能は，
人が思い浮かべたこと，感じた
こと，考えたことを言語データ
として収集することである．
上手く設計すれば，直接質問を
投げかけるアンケート調査など
よりも，経済的かつ効果的な
調査手段になり得るのでは？

5. © Hajime Mizuyama
Research background
人が思い浮かべたこと，感じた
こと，考えたこと
• 人は商品間の差異をどのよ
うに知覚しているのか？
• 商品に対する人の選好は，
どのように構成されている
のか？
• 人はどのような特徴を備え
た新商品を待ち望んでいる
のか？
など
• 人は商品間の差異をどのよ
うに知覚しているのか？
• 商品に対する人の選好は，
どのように構成されている
のか？
• 人はどのような特徴を備え
た新商品を待ち望んでいる
のか？
など
商品に対して
本研究では，ESP-like な
Output-agreement ゲームを
開発，設計し，
を経済的かつ効果的に収集できる
ようにするとともに，得られた
言語データを新商品開発に役立つ
情報に変換するための手段を提供
することを目的とする．

6. © Hajime Mizuyama
• 提案ゲーム（ Product X ）の概要
• マッチ判定
• スコア設計
• 知覚マップの作成法
• 検証実験
• まとめ
Agenda

7. © Hajime Mizuyama
• ランダムにペアリングされた2人に同じインプットが提示される．
• 2人のプレイヤは，インプットを参考にアウトプットを提供する．
• 2人のアウトプットが一致したら得点が与えられる．
Outline of Product X
Purchase scenarioPurchase scenario
Why?Why?Why?Why?

8. © Hajime Mizuyama
Purchase scenario
Persona:
Scene:
購買シナリオは，ペルソナ，シーン，製品ペア，選択から構成される．
職業，性別，年齢など
場所，季節，状況など
このシーンでは，『牛丼』が選択されました．
その理由は （だ）からです．
ハンバー
ガの
画像
ハンバー
ガの
画像
牛丼
の
画像
牛丼
の
画像
SELECTRED

9. © Hajime Mizuyama
• 提案ゲーム（ Product X ）の概要
• マッチ判定
• スコア設計
• 知覚マップの作成法
• 検証実験
• まとめ
Agenda

10. © Hajime Mizuyama
理想
根拠フレーズのペアが，意味の面で等しければ（または，似通ってい
れば），マッチと判定する．
現実
意味の面でのマッチ判定は容易ではないので，今回は，機械的な判定
方法を用いた．
– 根拠フレーズを品詞分解し，名詞，動詞，形容詞を抽出
– （同義語を考慮し）それらが完全に一致した場合にマッチと判定
「価格が安い」 と 「価格がとても安い」 → 一致
「価格が安い」 と 「安い」 → 不一致
Matching judgement

11. © Hajime Mizuyama
• 提案ゲーム（ Product X ）の概要
• マッチ判定
• スコア設計
• 知覚マップの作成法
• 検証実験
• まとめ
Agenda

12. © Hajime Mizuyama
Objective of score design
スコア設計
• マッチと判定される毎に
一定値のスコアを与える．
• このような，シンプルな
方法で十分か？
• もし不十分だとすると，
どのような方法を用いれ
ばよいか？
スコア設計
• マッチと判定される毎に
一定値のスコアを与える．
• このような，シンプルな
方法で十分か？
• もし不十分だとすると，
どのような方法を用いれ
ばよいか？
得られる根拠フレーズの特徴
• 適合度
Degree of applicability
• 想起度
Degree of recallability
提案ゲームでは，適合度が高
く，想起度が適切なレベルの
根拠フェーズを収集したい．
得られる根拠フレーズの特徴
• 適合度
Degree of applicability
• 想起度
Degree of recallability
提案ゲームでは，適合度が高
く，想起度が適切なレベルの
根拠フェーズを収集したい．
関係

13. © Hajime Mizuyama
Long tail distribution of possible phrases
0.00
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
1.00
Degreeofapplicability/recallability
Possible phrases

14. © Hajime Mizuyama
Long tail distribution of possible phrases
0.00
0.10
0.20
0.30
0.40
0.50
0.60
0.70
0.80
0.90
1.00
Degreeofapplicability/recallability
Possible phrases
𝑦 = 𝑒−𝑥

15. © Hajime Mizuyama
Player A's action
𝑦 𝐴
𝑛 𝑦 𝐴
プレイヤAの
候補フレーズ数
プレイヤAの
候補フレーズ数
Possible phrases
Degreeofapplicability/recallability
𝑑𝑥
𝑑𝑦
Δ = 𝑛 𝑦 =
∆
𝑦
𝑦 = 𝑒−𝑥 ⇔
y が大きいほど，ny は小さくなる．

16. © Hajime Mizuyama
Objective of score design
スコア設計
• マッチと判定される毎に
一定値のスコアを与える．
• 相手と同じ y を選択する
ことが最適反応となる．
• y の値が大きいほど双方の
期待利得が大きくなる．
• 適合度も想起度も高いフ
レーズが集まりやすく
なってしまう．
スコア設計
• マッチと判定される毎に
一定値のスコアを与える．
• 相手と同じ y を選択する
ことが最適反応となる．
• y の値が大きいほど双方の
期待利得が大きくなる．
• 適合度も想起度も高いフ
レーズが集まりやすく
なってしまう．
0
0.2
0.4
0.6
0.8
1
0 0.2 0.4 0.6 0.8 1 𝑦 𝐴
𝑦 𝐵
Equilibrium
𝑦 𝐴 = 𝑦 𝐵
𝐸
Expected payoff
𝐸 =
𝑦
Δ
× 𝑆𝑐𝑜𝑟𝑒

17. © Hajime Mizuyama
Objective of score design
スコア設計
• マッチと判定される毎に
一定値のスコアを与える．
• 相手と同じ y を選択する
ことが最適反応となる．
• y の値が大きいほど双方の
期待利得が大きくなる．
• 適合度も想起度も高いフ
レーズが集まりやすく
なってしまう．
スコア設計
• マッチと判定される毎に
一定値のスコアを与える．
• 相手と同じ y を選択する
ことが最適反応となる．
• y の値が大きいほど双方の
期待利得が大きくなる．
• 適合度も想起度も高いフ
レーズが集まりやすく
なってしまう．
𝑦 𝐴 = 𝑦 𝐵
𝐸
Expected payoff
𝐸 =
𝑦
Δ
× 𝑆𝑐𝑜𝑟𝑒
= − 𝑦 − 2 −
スコアを想起度に関する
線形減少関数にすればよい．

18. © Hajime Mizuyama
tf値による評価
• （対象商品に関連する）文書を集め，それらにおける出現頻度で評価
• 事前の処理が必要
共起度による評価
• （対象商品に関連する）文書を集め，商品名との共起度で評価
• 事前の処理が必要
単語数による評価
• マッチ判定の際に抽出された単語数の減少関数（ex. 逆数）で評価
• 間接的な評価になるため，精度が下がる恐れがある．
How to measure recallability

19. © Hajime Mizuyama
• 提案ゲーム（ Product X ）の概要
• マッチ判定
• スコア設計
• 知覚マップの作成法
• 検証実験
• まとめ
Agenda

20. © Hajime Mizuyama
多次元尺度法（MDS）を用いる方法
• 違いの明確（曖昧）な商品間の比較では，購買の根拠フレーズも明確
（曖昧）で，マッチさせやすい（させにくい）．
• 2回以上入力された根拠フレーズの比率の平均で，商品間の非類似度を
評価し，MDSで知覚マップを作成する．
根拠フレーズごとに座標を定めて次元圧縮する方法
• ある根拠フレーズに対応する軸上で高位に位置付けられている商品は，
低位に位置付けられている商品に対して，その根拠で選好されやすい．
• 根拠フレーズの軸ごとに各商品の座標を定め，PCAで次元圧縮するよ
うなイメージで知覚マップを作成する．
How to draw perceptual map

21. © Hajime Mizuyama
• 提案ゲーム（ Product X ）の概要
• マッチ判定
• スコア設計
• 知覚マップの作成法
• 検証実験
• まとめ
Agenda

22. © Hajime Mizuyama
• 実施期間： 2015年1月12日～1月26日
• テーマ： 食事
• ペルソナとシーン：
– 学生が2限後の昼食に（3限あり）
– 学生が2限後の昼食に（3限なし）
• プレイされたゲーム数： 52ゲーム
• 参加プレイヤ数： 21人（青山学院大学理工学部の学生）
• 収集されたフレーズ数： 946個
Outline of pilot example

23. © Hajime Mizuyama
Compared products
豚骨ブッダのラーメン 学食のカレー フィッシュランチ
相模原ランチ
カロリーメイトコンビニ弁当学食の丼類
すき家の牛丼 学食の麺類 大和家のラーメン
画像画像 画像画像 画像画像
画像画像 画像画像画像画像
画像画像
画像画像 画像画像 画像画像

24. © Hajime Mizuyama
手法１：提案法
（類義語考慮せず）
手法２：従来法
（一字一句一致）
手法３：類義語考慮（自動）
手法４：類義語考慮（人手）
24
Number of matches
59 57
89
134
0
20
40
60
80
100
120
140
160
手法1 手法2 手法3 手法4
マ
ッ
チ
数

25. © Hajime Mizuyama
25
Distribution of matched phrases
Degree of recallability
Rate
0.0
0.1
0.2
0.3
0.4
0.5

26. © Hajime Mizuyama
豚骨ブッダのラーメン豚骨ブッダのラーメン
学食のカレー学食のカレー
フィッシュランチフィッシュランチ
相模原ランチ相模原ランチ
カロリーメイトカロリーメイト
コンビニ弁当コンビニ弁当
学食の丼類学食の丼類
すき家の牛丼すき家の牛丼
学食の麺類学食の麺類
大和家のラーメン大和家のラーメン
学食の丼類
健康的
味が濃い
軽食
安い
Perceptual map obtained by MDS
Product X

27. © Hajime Mizuyama
• 提案ゲーム（ Product X ）の概要
• マッチ判定
• スコア設計
• 知覚マップの作成法
• 検証実験
• まとめ
Agenda

28. © Hajime Mizuyama
• 商品に対して，人が思い浮かべたこと，感じたこと，考えたこと，を
経済的かつ効果的に収集するための Output-agreement 方式の
GWAPシステム（ Product X ）を提案した．
• 提案したゲームを簡単なwebアプリケーションとして実装し，小規模
なプロトタイプ実験を行った．
• 本格的なフィールド実験や実適用に向けて，Collaborators を募集中
です！
– フィールド検証に関心のある企業の方，市場調査の専門家の方
– マッチ判定や獲得データの活用に関心のある研究者の方，など
Summary

29. Thank you for your kind attention!
Questions and comments are welcome.
Thank you for your kind attention!
Questions and comments are welcome.