“機械学習の説明”の信頼性

1. 第41回IBISML研究会原聡 “機械学習の説明”の信頼性原聡大阪大学産業科学研究所 1 第41回IBISML研究会, 2020/10/22

2. 第41回IBISML研究会原聡 “機械学習の説明” とは ◼ 多くの機械学習モデル𝑓は複雑な計算の塊で、出力の理由を人間が直感的に理解することができない。 ◼ 説明： 𝑓から+αの（人間が理解できる）情報を取り出す。 2 前置きあなた ◯◯病なんで？ XXの値が高い XXの値が高いなるほどあなた ◯◯病なんで？？？よくわからない …

3. 第41回IBISML研究会原聡 “説明”の代表的手法【注目箇所のハイライト】 ◼ 「モデルが画像のどこに注目したか」を推定して、説明としてハイライトする方法 3 シマウマの輪郭に注目して判断してるのか前置き

4. 第41回IBISML研究会原聡 “説明”の代表的手法【類似データの提示】 ◼ 「テストデータの予測と類似した訓練データ」を推定して、説明として提示する方法。 4 たしかにテストデータもタゲリっぽいタゲリ訓練データ予測と類似した訓練データの提示入力予測タゲリ前置き

5. 第41回IBISML研究会原聡【参考】 “機械学習の説明”の資料 5 日本語まとめ資料 • 機械学習における解釈性（私のブックマーク）, 人工知能, Vol.33, No.3, 2018. • 説明可能AI（私のブックマーク）, 人工知能, Vol.34, No.4, 2019. 前置き

6. 第41回IBISML研究会原聡 “機械学習の説明”の研究の変遷 ◼ “機械学習の説明”の論文数は爆発的に増えた。 ◼ 「注目箇所のハイライト」の研究の変遷 6 黎明期 2014 2016 2018 20202015 2017 2019 説明法の研究の爆発的増加説明の攻撃・悪用 Sanity Check [Adebayo+,2018] GuidedBP [Springenberg+,2014] DeepLIFT [Shrikumar+,2017] Grad-CAM [Selvaraju+,2017] ROAR [Hooker+,2019] MoRF/Deletion Metric [Bach+,2015; Vitali+,2018] LeRF/Insertion Metric [Arras+,2017; Vitali+,2018] Sensitivity [Kindermans+,2017] 説明法の評価 Saliency [Simonyan+,2014] IntGrad [Sundararajan+,2017] SHAP [Lundberg+,2017] LIME [Ribeiro+,2016] LRP [Bach+,2015] Fairwashing [Aivodji+,2019] SmoothGrad [Smilkov+,2017] DeepTaylor [Montavon+,2017] Occlusion [Zeiler+,2014] CAM [Zhou+,2016] Manipulation [Domobrowski+,2019] Peeking inside the black-box: A survey on Explainable Artificial Intelligence (XAI) 説明の信頼性

7. 第41回IBISML研究会原聡 “機械学習の説明”の研究の変遷 ◼ “機械学習の説明”の論文数は爆発的に増えた。 ◼ 「注目箇所のハイライト」の研究の変遷 7 黎明期 2014 2016 2018 20202015 2017 2019 説明法の研究の爆発的増加説明の攻撃・悪用 Sanity Check [Adebayo+,2018] GuidedBP [Springenberg+,2014] DeepLIFT [Shrikumar+,2017] Grad-CAM [Selvaraju+,2017] ROAR [Hooker+,2019] MoRF/Deletion Metric [Bach+,2015; Vitali+,2018] LeRF/Insertion Metric [Arras+,2017; Vitali+,2018] Sensitivity [Kindermans+,2017] 説明法の評価 Saliency [Simonyan+,2014] IntGrad [Sundararajan+,2017] SHAP [Lundberg+,2017] LIME [Ribeiro+,2016] LRP [Bach+,2015] Fairwashing [Aivodji+,2019] SmoothGrad [Smilkov+,2017] DeepTaylor [Montavon+,2017] Occlusion [Zeiler+,2014] CAM [Zhou+,2016] Manipulation [Domobrowski+,2019] 説明の信頼性説明の信頼性に関わる研究が増えてきている。説明法は“妥当な説明”を返してくれるのか？説明を悪用されると何が起きるのか？ Peeking inside the black-box: A survey on Explainable Artificial Intelligence (XAI)

8. 第41回IBISML研究会原聡「技術的な信頼性」と「社会的な信頼性」技術的な信頼性「説明として妥当か？」【気になること】 • 説明法は“妥当な説明”を返してくれるのか？【研究項目例】 • 説明の妥当性をどのように評価するか？社会的な信頼性「社会に導入しても問題ないか？」【気になること】 • 社会に導入した場合に何が起こるか？【研究項目例】 • 説明法が悪用される可能性は？ 8 技術的な信頼性

9. 第41回IBISML研究会原聡説明の妥当性の評価軸：FaithfulnessとPlausibility ◼ Faithfulness（忠実性）[Lakkaraju+’19; Jacovi+’20] • モデルの判断プロセスを忠実に反映した説明になっているか？ - ユーザが知りたいのは「モデルがなぜそのような判断を下したか」 • 判断プロセスを反映してない説明はアウト。 - e.g. モデルとは独立な何かを説明として返す説明法は駄目。 ◼ Plausibility（尤もらしさ）[Lage+’19; Strout+’19] • ユーザが見て意味のある説明になっているか？ • ユーザが見て「何だこれ？」となる説明はアウト。 - e.g. とてもnoisyな「注目箇所のハイライト」は好ましくない。 ◼ 評価方法の研究 • Sanity Checks for Saliency Maps, NeurIPS’18. • Evaluation Criteria for Instance-based Explanation, arXiv’20. 9 技術的な信頼性「注目箇所のハイライト」のFaithfulnessの評価「類似データの提示」のPlausibilityの評価

10. 第41回IBISML研究会原聡「注目箇所のハイライト」の妥当性の評価 ◼ Plausibilityについてはどの手法も最低限は大丈夫そう。 • どのハイライトもシマウマ周辺に注目している。 • Gradient, IntegratedGradはちょっとnosiy。 ◼ Faithfulnessはどうか？ → Sanity Checks for Saliency Maps, NeurIPS’18. 10 シマウマの輪郭に注目して判断してるのか技術的な信頼性

11. 第41回IBISML研究会原聡問題：Faithfulnessは直接評価できない ◼ Faithfulness（忠実性） • モデルの判断プロセスを忠実に反映した説明になっているか？ ◼ 代替案「必要条件を評価する」 • 必要条件を満たさない説明はアウト。 ◼ Q. Faithfulな説明が満たすべき必要条件は何か？ • モデルに依存した情報を説明として返すこと。 - モデルとは関係のない情報を説明として返すのは駄目。 11 未知 → Ground Truthと説明（ハイライト）を比較して定量評価はできない。注：必要条件を満たしても Faithfulだと断言はできない。技術的な信頼性

12. 第41回IBISML研究会原聡 Faithfulnessの必要条件の評価 Model Parameter Randomization Test ◼ 異なる判断プロセスを持つモデルの説明を比較する。 • Faithfulな説明 → 異なる説明が得られる。 • Faithfulでない説明 → 異なる説明が得られるとは限らない。 ◼ 方法 • 2つのモデルを用意する。 - モデル1：学習したモデル - モデル2：学習してないランダムなモデル - [仮定] モデル1とモデル2は異なる判断プロセスを持つ。 • 複数のテストデータについて、モデル1とモデル2の説明を比較する。 - 「モデル1の説明」と「モデル2の説明」の類似度を測る。 - 多くのテストデータで類似度が低い → Faithfulな説明の必要条件を満たす。 - 多くのテストデータで類似度が高い → Faithfulな説明の必要条件を満たさない。 12 技術的な信頼性

13. 第41回IBISML研究会原聡「注目箇所のハイライト」における Model Parameter Randomization Testの例 ◼ モデル2：出力側から一個ずつ重みをランダム化したNN • Guided Backprop、Guided GradCAMは、モデル1とモデル2とで説明（ハイライト）にほぼ変化がない。 → これらはFaithfulな説明の必要条件を満たさない悪い手法。 13Sanity Checks for Saliency Maps より引用モデル1 モデル2 技術的な信頼性

14. 第41回IBISML研究会原聡「類似データの提示」の妥当性の評価 ◼ Faithfulnessの必要条件はModel Randomization Testで評価できる。 ◼ Plausibilityはどうか？ → Evaluation Criteria for Instance-based Explanation, arXiv’20. 14 たしかにテストデータもタゲリっぽいタゲリ訓練データ入力予測タゲリ技術的な信頼性

15. 第41回IBISML研究会原聡「類似データの提示」におけるPlausibility ◼ 例 • 手法Bはユーザが見て「何だこれ？」となりそうな説明。 - 手法AのPlausibility > 手法BのPlausibility 15 訓練データ frog 手法 A 訓練データ truck 手法 B frog 入力予測技術的な信頼性

16. 第41回IBISML研究会原聡問題：全人類がPlausibleだと思う説明は存在しない ◼ ユーザによって「何だこれ？」となる基準は異なる。 • 全人類一致でPlausibleだと思う説明は存在しない。 ◼ 代替案「必要条件を評価する」 • 必要条件を満たさない説明はアウト。 ◼ Q. Plausibleな「類似データの提示」が満たすべき必要条件は何か？ • 予測と同じクラスの訓練データを返すこと。 16 は猫。なぜなら類似したは猫だから。は猫。なぜなら類似したは犬だから。 Plausibleな説明 Not Plausibleな説明技術的な信頼性

17. 第41回IBISML研究会原聡「類似データの提示」におけるIdentical Class Testの例 17 入力内積最終層全ての層入力 Cos 最終層全ての層入力 L2距離最終層全ての層影響関数相対影響関数フィッシャーカーネル内積 Cos パラメータ微分のテストデータ中で同じクラスが提示された割合 0 0.5 1.0 0 0.5 1.0 （画像分類） CIFAR10 + CNN （テキスト分類） AGNews + Bi-LSTM パラメータ微分のCos類似度が 100%近い割合で同じクラスのデータを提示できた。技術的な信頼性

18. 第41回IBISML研究会原聡「技術的な信頼性」と「社会的な信頼性」技術的な信頼性「説明として妥当か？」【気になること】 • 説明法は“妥当な説明”を返してくれるのか？【研究項目例】 • 説明の妥当性をどのように評価するか？社会的な信頼性「社会に導入しても問題ないか？」【気になること】 • 社会に導入した場合に何が起こるか？【研究項目例】 • 説明法が悪用される可能性は？ 18 社会的な信頼性

19. 第41回IBISML研究会原聡社会的な信頼「社会に導入しても問題ないか？」 ◼ Q. 説明が悪用される可能性は？ A. ある。説明法を使って嘘をつく人・組織があらわれるかも。 ◼ Q. なぜ嘘をつくのか？ A. 嘘をつくと得することがあるから。 ◼ Q. どんなときに嘘をつくと得するのか？ A. お金が絡むと嘘をつくインセンティブは生まれやすい。モデルを過剰によく見せて売り込みたい、など。 19 社会的な信頼性

20. 第41回IBISML研究会原聡嘘をついて得する代表例：公平性 ◼ 性別や人種で差別する不公平なモデルは悪いモデル。 • 男性と女性とで基準が異なる学力評価モデル。 • 黒人と白人とで基準が異なるローン審査モデル。 ◼ 大前提：著しく不公平なモデルは使われるべきではない。 ◼ でも、もしも不公平なモデルを使ってるとバレなかったら？ • 特定の性別の学生が高い評価を得やすくなる。 - 特定の性別の学生の士気が上がる（かもしれない）。 - 被差別側の性別の学生が少数派の場合、不満を黙殺しやすい。 • 特定の人種の人がローンを組みやすくなる。 - 人種間で収入格差がある場合、高収入の人種を優遇した方が金融機関としてはリスクが下がる。 20 社会的な信頼性

21. 第41回IBISML研究会原聡モデルの公平性に対する嘘の説明 ◼ Fairwashing: the risk of rationalization, ICML’19. ◼ Faking Fairness via Stealthily Biased Sampling, AAAI’20. • 今回はこちらの話 21 社会的な信頼性

22. 第41回IBISML研究会原聡モデルの公平性を説明する方法：スコア化 ◼ モデルの判断の公平性の度合いを定量化 • 公平性の指標や、その計算ツール多数。 - FairML, AI Fairness 360 [Bellamy+’19], Aequitas [Saleiro+’18] 22 AI Fairness 360 社会的な信頼性

23. 第41回IBISML研究会原聡嘘の公平性スコア 23 悪の組織不公平なモデルサービスの提供嘘の公平性スコアの提示このスコアは嘘のスコア？スコアが適切なデータ・方法で計算されたのかがわからない。嘘が見抜けない。公平性スコアだけの提示は嘘の可能性があるので信頼できない。社会的な信頼性

24. 第41回IBISML研究会原聡嘘の公平性スコアを避けるために 24 悪の組織不公平なモデルサービスの提供ベンチマークデータの提供データを出してくれた。公平そう。ベンチマークデータ上で公平性スコアが計算できる。嘘をつかれる心配はない。社会的な信頼性

25. 第41回IBISML研究会原聡嘘の公平性スコアを避けるために 25 悪の組織不公平なモデルサービスの提供ベンチマークデータの提供ベンチマークデータ上で公平性スコアが計算できる。嘘をつかれる心配はない。実はまだ嘘をつく余地がある。データを出してくれた。公平そう。社会的な信頼性

26. 第41回IBISML研究会原聡嘘のベンチマークデータ ◼ 元のデータセット𝐷からサンプリングしたベンチマークデータ𝑆をユーザに提供する。 ◼ “理想的な”嘘のベンチマークデータ𝑆 • 公平性： 𝑆で計算した公平性スコアは十分に公平。 • ステルス性： 𝑆の分布は𝐷の分布に近い。 26 元のデータセットベンチマークデータ公平性ステルス性 “公平”な分割表社会的な信頼性

27. 第41回IBISML研究会原聡参照用データ適合度検定嘘のベンチマークデータ ◼ 𝑆の作り方：最適化問題（最小費用流） min 𝑆 𝑊 𝑆, 𝐷 , s. t. 𝐶 𝑆 = 𝐶 𝑇 ◼ 𝑆の性質 • 統計的検定によりベンチマークデータ𝑆が嘘か見抜きたい。 → 分布間距離が小さいと見抜ける確率は小さい。 KS検定で𝑝 𝑆 ≠ 𝑝(𝐷′)が言える確率は 𝑂 𝑆 𝛼 × 27 ステルス性（分布間距離の最小化）公平性（分割表上の制約）分布間距離社会的な信頼性

28. 第41回IBISML研究会原聡【実証実験】嘘のベンチマークデータは見抜けない 28 分割表における正例の割合分割表における正例の割合公平性スコア（DP）分布間距離 COMPAS （再犯予測が白人・黒人で差別的）分割表における正例の割合分割表における正例の割合公平性スコア（DP）分布間距離 Adult （年収予測が男女で差別的）ランダムサンプリング嘘サンプリング（既存法）嘘サンプリング（提案法）ランダムサンプリング嘘サンプリング（既存法）嘘サンプリング（提案法）嘘サンプリングはランダムサンプリングよりも公平性スコアが小さい（= 公平なフリができている）正例の割合を適切に調整すれば、嘘サンプリングはランダムサンプリングと同程度に分布間距離が小さい（= 嘘がバレない）社会的な信頼性

29. 第41回IBISML研究会原聡まとめ ◼ “機械学習の説明”の信頼性に注目が集まっている。 • 技術的な信頼性「説明として妥当か？」 • 社会的な信頼性「社会に導入して問題ないか？」 ◼ 技術的な信頼性 • 説明法の妥当性の評価をどのように行うか？ • どの説明法がどのような評価軸に対して良いか？ ◼ 社会的な信頼性 • どのような場合に悪用される恐れがあるか？ • 悪用を見抜くことはできるのか？ 29 まとめ

“機械学習の説明”の信頼性

“機械学習の説明”の信頼性

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados(20)

Similar a “機械学習の説明”の信頼性

Similar a “機械学習の説明”の信頼性(7)

Mais de Satoshi Hara

Mais de Satoshi Hara(9)

Último

Último(7)

“機械学習の説明”の信頼性