Mais conteúdo relacionado
Mais de 長岡技術科学大学 自然言語処理研究室 (20)
質問意図によるQAサイト質問文の自動分類
- 4. 4
背景
自然文の質問により、簡単に自分の知りたい
情報を得ることができるQAサイトの利用者は
増加している。しかし、質問をしても回答を
得られないことが多い。
回答者が答えられそうな質問を探す場合、カ
テゴリごとに分けて表示などは可能だが、そ
れ以外の方法で数を絞ることができない。
- 5. 5
目的
質問文の難易度は質問者が求める回答の内容
によって分類することができると考えた。
回答者が答えやすい質問をより簡単に見つけ
るための支援として、質問文を質問者の質問
意図ごとに事実、根拠、提案、意見、経験の5
タイプに自動で分類する方法を提案する。
- 6. 6
質問の分類
渡邊らは『コミュニティQAにおける質問の多
面的評価法の検討』という研究で事実、根
拠、提案、意見、経験の5種類のタイプを定義
し、人手での判定を行っている。
本研究ではこの5タイプを質問文の難易度ごと
の分類に使用するため、今回の目的に合わせ
て再定義し用いた。
- 7. 質問タイプの定義
7
事実
答えが明確に1つに決まる質問
答えはいくつか考えられるが1つあればいい質問
自分の考えがあっているか尋ねるような質問
とあるものについての情報を求める質問
例:富士山の標高は何mですか?
エクセルで平均を出す方法を教えて
手袋は着けるであってますか?
- 8. 質問タイプの定義
8
根拠
理由や根拠についての質問
例:どんぐりにはなぜ帽子がついているのですか
血液型占いの根拠はなんですか?
提案
ある物事のオススメについての質問
例:オススメの英語勉強法はなんですか?
観光に行くならどこがお勧めですか?
- 9. 質問タイプの定義
9
経験
経験に基づいた回答を求める質問
例:ミニチュアダックスを飼ってらっしゃる方、
習性や性格を教えてください。
意見
回答者の意見やアドバイスを求める質問
アンケート形式の質問
回答する人に関する質問
例:この服どう思いますか?
集中したいときどうしますか?
- 11. キーワードによる分類の方法
質問文に、ある特定の語(キーワード)が含ま
れていたとき、質問文をそのキーワードが該当
するタイプに分類する。
キーワードは筆者が質問文を分類するときに、
『この語があればこの分類を表している』と考
えたのものを使用してた。
複数のキーワードが1つの質問文に含まれてい
る場合は、優先度が高いキーワードのタイプに
分類される。
11
- 14. キーワードによる分類の結果
Yahoo!知恵袋からランダムに抽出した質問文
のうち、文中に一つの質問しかないと判断し
た1509文を自動分類した。
その結果1380文の分類に成功した。
14
タイプ質問文数
事実1090
根拠113
提案32
意見221
経験38
キーワード分類の精度・再現率
100
80
60
40
20
0
事実根拠提案経験意見
タイプ
精度・再現率
精度
再現率
- 15. 15
考察
キーワードを多く設定できた事実は結果がよ
く、1つしか設定できなかった経験は結果がわ
るかった
提案もキーワードは1つだけだが、提案タイプ
の質問で全体的に見られ、その他のタイプで
はほとんど使用されない語のため結果は良よ
かった
より多くの語をそれぞれのタイプでの出現頻
度を考慮し、分類に使用すれば結果がよくな
るのでは?
- 17. 語の頻度による分類
より多くの語を分類に使用するために、各タ
イプでの語の頻度で重み付けを行う以下のス
コア関数を定義し用いた
A=Freq(c,w)/Q_c+0.0001
B=Freq(all,c)/(ΣQ-Q_c)+0.0001
Score=A/B
Freq(c,w):タイプCでの語Wの出現数
Q_c:タイプCの質問文の数
17
- 18. 語の頻度による分類の方法
質問文に含まれる語のスコアを全て足し、そ
の合計のスコアが最も高い種類に分類される。
例:世界一短い曲は何ですか?
+ + + =
18
世界一
0.02939
0.00117
0.00037
0.00127
0.00173
事実
根拠
提案
経験
意見
短い
0.00562
0.00039
0.00012
0.00042
0.01730
・・・
“?”
0.00527
0.00485
0.00105
0.00511
0.00811
合計
0.07415
0.02628
0.00840
0.02601
0.05994
この質問の場合、事実のスコアが一番高いの
で、事実に分類される。
- 23. 23
スコアの正規化
事実の誤分類が多い原因を、データが増える
ほどスコアに差が出る現在のスコア関数にあ
ると考えた
そこで、全ての分類でスコアの最大値が同じ1
になるように正規化した。
- 27. 27
考察
事実以外のタイプでは、該当するタイプの質問
のみで全体的に出現する語のスコアが高いため
その語を手がかりに分類を行うことができる
事実では、事実全体で出現しやすい語はほかの
タイプの質問でも出現しやい。そのため、より
多くの語にスコアを付与する必要があり、スコ
ア付与にその語が入った人手で分類済みの質問
が必要な本手法では、これ以上の精度向上は困
難であることがわかった。
- 28. 28
まとめ
QAサイトの回答者支援として、質問文を質問意
図ごとに事実、根拠、提案、意見、経験の5タイ
プに自動で分類する手法を提案した。
分類はキーワード、語の頻度によるスコアとそ
れを正規化したものを使う3つの手法で行った
結果、スコアを正規化したものが一番結果が良
かった。
しかし、事実のより正確な分類にはより多くの
語のスコアが必要になるため、スコア計算に質
問文のデータが必要な本手法ではこれ以上の精
度向上は困難であることがわかった。