西本 卓也, 松村 瞳, 渡辺 隆行: “音声CAPTCHAシステムにおける了解度と心的負荷の検討,” 日本音響学会 2010年春季研究発表会 講演論文集, 3-4-3, pp.1487-1490, Tokyo, Mar 2010.

1. 音声CAPTCHAにおける
了解度と心的負荷の検討
西本卓也（東京大学）
松村 瞳・渡辺隆行（東京女子大学）
2010年3月10日 日本音響学会 3-4-3
1

2. CAPTCHAの必要性と考え方
 Completely Automated Public Turing test to tell
Computers and Humans Apart
 対象者が人間であるか機械であるかを判別
 ソフトウェアロボットがインターネットで
迷惑な書き込みやメール送信を行うことを防ぐ
 画像が多用される
 アクセシビリティの欠如
 音声合成でPCを利用する視覚障害者への障壁
 音声CAPTCHAの登場
 画像版と音声版を選択できるサイトも増加中
 能力差を利用する
 人間：意味のある情報をトップダウン的に読み取る
 機械：断片的/ノイズの混じった情報を認識しにくい
2

3. 音声CAPTCHAの設計
 破られにくさの考慮
 従来の方法
 聞き取らせる音声に雑音を被せる（ex.Google、Microsoft）
 破る可能性のある技術
 HMM（隠れマルコフモデル）など機械学習的手法
 テンプレートマッチング
 課題としての適切さ
 数字や文字の読み取りは使いやすい課題
 チャンスレベルが低い
 誰でも知っている知識
 キーボードで簡単な選択操作で回答可能
 reCAPTCHAは文章（英語）の一部を呈示・書き取り
3

4. 音声CAPTCHAの考え方
 心的負荷の考慮
 破られにくさを重視すると：多い桁数、複雑な操作
 視覚障害を持つ人に困難になりやすい
 聞きながら入力する、いったん記憶して入力する、など
 望ましい課題
 短時間で多くの情報を聞き取れること
 利用者の心的負荷が小さいこと
従来法（混合法）
■性能予測が困難？
■体系的に設計しにくい？
（後述の実験で検討）
Microsoft(2008)
4

5. 能力ギャップモデルの提案
 パラメトリックな難易度制御が重要
100
Human
Intelligibility (%)
ASR
0 100
Ratio of Provided Information (%)
5

6. 削除法と音韻修復
 無音部分に雑音を挿入
削除法（無音）
 垣根効果
 了解度向上＝人間に有利
削除法（音韻修復）
6

7. 削除法：使用する音声
 CENSREC-4の
数字読み上げ音声 ３０％
 原音声を
100ms周期で削除
 rise and fall time: 10ms ５０％
 残す割合を
70% 50%
30% に設定 ７０％
 無音部分に
ホワイトノイズ挿入
7

8. 削除法の評価
 HMMによる音声認識
 CENSREC-4実験系 １～７桁の日本語数字
 学習 8440発話 18状態20混合
 評価 1001発話 発話全体一致：文認識率
 人間による了解度評価
 75個の課題セット 3,4,5桁各25個
 被験者17人（大学生）
 順序効果の考慮
 心的負荷：NASA-TLX
 被験者内正規化：平均・分散
8

9. NASA-TLX：心的負荷の評価
 主観評価の一手法
 Windows用
ソフトウェアを作成
 6つそれぞれの尺度に
おいて0～100の
スクロールバーで評価
 相対評価を意識させる
 尺度の重要度を
被験者が順位付け
 重み付け(6～1)に使用
9

10. NASA-TLXの下位尺度
• 知的・知覚要求
(小さい/大きい)
• 身体的要求
(小さい/大きい)
• タイムプレッシャー
(弱い/強い)
• 努力
(少ない/小さい)
• フラストレーション
(低い/高い)
• 作業成績の悪さ
(良い/悪い)
10

11. 削除法の評価：実験結果
 削除法：ヒント率が下がると「能力の差」が拡大する
100 70
心的負荷平均
90
60
80
70
50
60
50 了解度平均(%) 40
40 認識率(%)
30 30
30% 50% 70% 30% 50% 70%
能力の差が大きいときには、
心的負荷も大きい
一要因分散分析：有意差(5%水準)
11

12. 混合法（削除法との比較）
 実験条件の統制
 新たに比較用課題を作る
 ＳＮＲ／情報的マスキング効果の考慮
 エネルギー的マスキングと情報的マスキング
 妨害音声が持つ意味的情報
 選択的注意の向けやすさ、無視しやすさ
 極端な例
 対象と妨害が両方とも数字読み上げ？両方とも無意味語？
 親密度の影響
 機械による破られにくさの考慮
 常に異なった妨害音声、紛らわしさ、非定常性
12

13. 実験：混合法と削除法の比較
 被験者内で削除法と混合法を比較
 前半(T1)は削除法単独実験と同じ刺激
 了解度と心的負荷の比較 難易度の対応付けは可能か？
 各試行は75個の数字書き取り、ヘッドフォン使用
Group Trial 1 Trial 2
G1 削除法 30% 混合法 SNR 0dB
G2 削除法 30% 混合法 SNR -10dB
G3 削除法 30% 混合法 SNR -20dB
13

14. 了解度の比較（被験者15人）
 削除法30%は混合法の各条件よりも聞き取り困難
削除法 30% 削除法 30% 削除法 30%
vs vs vs
混合法 0dB 混合法 -10dB 混合法 -20dB
100
90
80
70
60
削除法(T1)：課題が同じだが群間効果に有意傾向 (p<0.1) (G1>G2)
混合法(T2)：0dBと-10dBの群間のみ有意差(p<0.05) (G1>G2)
50
仮説「混合法の課題の違いが了解度の差をもたらす」は不支持？
40 了解度の差は被験者群の違いのみに起因する可能性？T1 T2
30
s101 s102 s103 s104 s105 s201 s202 s203 s204 s205 s301 s302 s303 s304 s305
14

15. 心的負荷の比較（被験者15人）
 混合法の心的負荷の大きさ（削除法との差）
 混合法のSNR条件の悪化によって心的負荷が高くなる？
削除法 30% 削除法 30% 削除法 30%
vs vs vs
混合法 0dB 混合法 -10dB 混合法 -20dB
20
10
0
s101 s102 s103 s104 s105 s201 s202 s203 s204 s205 s301 s302 s303 s304 s305
-10
-20
-30
心的負荷： 混合法0db < 削除法30% ？
-40 分散分析：有意差なし
-50
-60 混合法における難易度の制御は簡単ではない？
15

16. まとめ
 音韻修復に着目した音声CAPTCHAの検討
 了解度に加えて心的負荷評価 NASA-TLX も利用
 削除法と混合法の比較
 難易度制御の容易さで混合法よりも削除法が有利？
 被験者間か被験者内か
 今後の課題
 自動音声認識性能との比較、被験者数を増やす
 削除法の提案と検討
 不快感を与えないための改良が必要
 混合法：残響など
 数字以外（有意味語や文章など）の課題、話速の効果
 課題の自動生成：音声合成、音声加工手法の利用
16