Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Mais de Satoshi Hara
Mais de Satoshi Hara (9)
機械学習で嘘をつく話
- 1. 第二回ザッピングセミナー 原聡 機械学習で嘘をつく話 原 聡 大阪大学 産業科学研究所 1 第２回ザッピングセミナー, 2020/8/30
- 2. 第二回ザッピングセミナー 原聡 機械学習とは n モデル! • 入力データを受け取り、対応する認識・予測結果を返す関数。 例. 手書き数字認識モデル 例. 言語翻訳モデル n 機械学習 ≒ データから!を“自動的”に作る方法 • 入出力関係が単純で既知の場合は、!は人手で作れる。 • 複雑で未知の関係を表現する!を人手で作るのは困難。 2 入力：手書き数字画像 ! 出力：数字 5 入力：日本語文 ! 出力：英語文 This is a pen.これはペンです。 準備
- 3. 第二回ザッピングセミナー 原聡 モデル!の学習（教師あり学習） n 訓練データ • 入出力データのペア(#, %) • データセット' = #), %) )*+ , n モデル!の学習 = 損失最小化 • 予測! # と出力%との乖離を損失ℓ(%, ! # )で評価する。 • 損失（予測の乖離）が最小になるモデル!を求める。 min 1 2 )*+ , ℓ(%), ! #) ) 3 #, % = , 5 This is a pen.これはペンです。#, % = , 準備
- 4. 第二回ザッピングセミナー 原聡 あなた ◯◯病 なんで？ ？？ よくわから ない … あなた ◯◯病 なんで？ XXの数値 が高い XXの数値 が高い なる ほど “機械学習の説明” とは n 多くの機械学習モデル!は複雑な計算の塊で、出力の 理由を人間が直感的に理解することができない。 n 説明： !から+αの（人間が理解できる）情報を取り出す。 4 準備
- 5. 第二回ザッピングセミナー 原聡 “機械学習の説明”の有名な方法：LIME n Why Should I Trust You?: Explaining the Predictions of Any Classifier, KDD'16 [Python実装 LIME; R実装 LIME] • どの特徴が予測に重要だったかを提示する。 • モデルを説明対象データの周辺で線形モデルで近似する。 - 線形モデルの係数の大小で、各特徴の重要度合いを測る。 5 Why Should I Trust You?: Explaining the Predictions of Any Classifierより引用 準備
- 7. 第二回ザッピングセミナー 原聡 LIMEの応用例 n 画像認識の説明 n モデルのデバッグ • 狼 vs ハスキーの分類 • 狼画像として、雪背景 のもののみを使用。 → LIMEにより、モデルが 雪を根拠に狼を認識 していることがわかる。 7 Why Should I Trust You?: Explaining the Predictions of Any Classifier より引用 準備
- 8. 第二回ザッピングセミナー 原聡 【補足】 “機械学習の説明”の参考資料 8 https://www.slideshare.net/SatoshiHara3/ss-126157179 日本語まとめ資料 • 機械学習における解釈性（私のブックマーク）, 人工知能, Vol.33, No.3, pages 366--369, 2018. • 説明可能AI（私のブックマーク）, 人工知能, Vol.34, No.4, pages 577--582, 2019. https://www.slideshare.net/SatoshiHara3/ver2-225753735 準備
- 9. 第二回ザッピングセミナー 原聡 “機械学習の説明”で嘘をつく n Q. 嘘の説明って何？ A. モデル!の実態を反映していない説明。 n Q. なぜ嘘をつくの？ A. 嘘をつくと得することがあるから。 n Q. どんなときに嘘をつくと得するの？ A. お金が絡むと嘘をつくインセンティブは生まれやすい。 モデル!を過剰によく見せて売り込みたい、とか。 n Q. なぜ嘘の説明の研究するの？あなた悪い人？ A. 良い人のつもり。どんな嘘が技術的に可能か、を知らな いと対策が考えられない。セキュリティ研究に近い。 9 嘘の説明
- 10. 第二回ザッピングセミナー 原聡 嘘をついて得する代表例：公平性 n 性別や人種で差別する不公平なモデルは悪いモデル。 • 男性と女性とで基準が異なる学力評価モデル。 • 黒人と白人とで基準が異なるローン審査モデル。 n 大前提：著しく不公平なモデルは使われるべきではない。 n でも、もしも不公平なモデルを使ってるとバレなかったら？ • 特定の性別の学生が高い評価を得やすくなる。 - 特定の性別の学生の士気が上がる（かもしれない）。 - 被差別側の性別の学生が少数派の場合、不満を黙殺しやすい。 • 特定の人種の人がローンを組みやすくなる。 - 人種間で収入格差がある場合、高収入の人種を優遇した方が 金融機関としてはリスクが下がる。 10 嘘の説明
- 13. 第二回ザッピングセミナー 原聡 “機械学習の説明”で嘘をつく研究 n Q. 技術的に嘘の説明は可能か？ A. 可能。 今後、公平なモデルを装った不公平なサービスを提供す る組織が現れるかもしない。もしかしたら既に社会のどこ かで使われてるかもしれない。 n 研究紹介 • 論文、スライドは原のホームページからアクセス可能 13 嘘の説明
- 14. 第二回ザッピングセミナー 原聡 Fairwashing: the risk of rationalization Ulrich Aïvodji, Hiromi Arai, Olivier Fortineau, Sébastien Gambs, Satoshi Hara, Alain Tapp 14 研究1 ICML’19 [Python実装 LaundryML] [資料 Slide & Video]
- 15. 第二回ザッピングセミナー 原聡 “Fairwashing”： 偽りの説明による正当化 n モデルの公平性の説明 15 偽りの説明 ローン審査は、あなたの年収が低い という理由で棄却されました。 不公平なモデル ローンの可否を性別で判断 モデル 審査サービス 研究1
- 16. 第二回ザッピングセミナー 原聡 “Fairwashing”： 偽りの説明による正当化 n モデルの公平性の説明 16 偽りの説明 ローン審査は、あなたの年収が低い という理由で棄却されました。 不公平なモデル ローンの可否を性別で判断 モデル 審査サービス “Fairwashing” 悪意のある人・組織は偽りの説明により自身の モデルの正当性を詐称しうる。 “Fairwashing” 研究1 第二回ザッピングセミナー 原聡
- 17. 第二回ザッピングセミナー 原聡 “Fairwashing”： 偽りの説明による正当化 n モデルの公平性の説明 17 偽りの説明 ローン審査は、あなたの年収が低い という理由で棄却されました。 不公平なモデル ローンの可否を性別で判断 モデル 審査サービス LaundryML 偽りの説明を生成する方法 → 偽りの説明は技術的に実現可能 “Fairwashing”は現実的に起こりえる “Fairwashing” 悪意のある人・組織は偽りの説明により自身の モデルの正当性を詐称しうる。 “Fairwashing” 研究1 第二回ザッピングセミナー 原聡
- 18. 第二回ザッピングセミナー 原聡 LaundryML： 偽りの説明を生成する方法 n The idea “説明の候補”を複数生成する。 候補の中から自己の正当化に“有用な説明” を選ぶ。 n “説明の候補”の複数生成s • 説明モデルを列挙する。[Hara & Maehara’17; Hara & Ishihata’18] n “有用な説明” • 公平性の正当化の場合、demographic parity (DP)などで各説 明候補の公平性度合いを測る。 • DPが十分小さい説明を選ぶ。 18 アイディア 研究1 これらの研究の 解説資料はこちら
- 19. 第二回ザッピングセミナー 原聡 結果例 n Adultデータでの結果 • 説明における各特徴の重要度をFairMLツールにより計測 19 正直な説明 偽りの説明 gender gender 研究1 第二回ザッピングセミナー 原聡
- 20. 第二回ザッピングセミナー 原聡 結果例 n Adultデータでの結果 • 説明における各特徴の重要度をFairMLツールにより計測 20 正直な説明 偽りの説明 gender gender If else if else if else if else if else low-income then high-income then low-income then low-income then low-income then high-income capital gain > 7056 marital = single education = HS-grad occupation = other occupation = white-colloar 偽りの説明 【補足】 LIMEでは線形モデルで近似してい たが、ここではルールリストを採用。 研究1 第二回ザッピングセミナー 原聡
- 21. 第二回ザッピングセミナー 原聡 まとめ n LaundryMLにより、偽りの説明は技術的に実現可能。 → “Fairwashing”は現実的に起こりえる問題。 n 問: どうしたら“Fairwashing”を防げるか？ • 技術的に偽りの説明は検知可能か？ • 制度的に防げるか？ 21 “Fairwashing” 悪意のある人・組織は偽りの説明により自身の モデルの正当性を詐称しうる。 “Fairwashing” 研究1
- 23. 第二回ザッピングセミナー 原聡 今日のまとめ n Q. 嘘の説明って何？ A. モデル!の実態を反映していない説明。 n Q. なぜ嘘をつくの？ A. 嘘をつくと得することがあるから。 n Q. どんなときに嘘をつくと得するの？ A. お金が絡むと嘘をつくインセンティブは生まれやすい。 モデル!を過剰によく見せて売り込みたい、とか。 n Q. なぜ嘘の説明の研究するの？あなた悪い人？ A. 良い人のつもり。どんな嘘が技術的に可能か、を知らな いと対策が考えられない。セキュリティ研究に近い。 23