O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

KDD2016勉強会 資料

KDD2016勉強会 https://atnd.org/events/80771
論文:“Why Should I Trust You?”Explaining the Predictions of Any Classifier
著者:M. T. Ribeiro and S. Singh and C. Guestrin
論文リンク: http://www.kdd.org/kdd2016/subtopic/view/why-should-i-trust-you-explaining-the-predictions-of-any-classifier

Livros relacionados

Gratuito durante 30 dias do Scribd

Ver tudo
  • Entre para ver os comentários

KDD2016勉強会 資料

  1. 1. “Why should I Trust You?” Explaining the Predictions of Any Classifier 神嶌 敏弘 KDD2016勉強会,2016/10/01 1
  2. 2. 概要 2 説明 (explanation):複雑な分類器の判断基準を,人間にも解釈可 能 (interpretable) になるように提示する 人間が見て分かるほど単純なモデルでは予測精度に難 カーネルや深層ネットなど複雑なモデルでは解釈不可能 ↓ 内部構造がブラックボックスの任意の分類器に適用可能 ある事例の分類結果に,各特徴がどれくらい影響を与えているかを 調べて説明とする いくつかの事例についての説明を見せることで,モデル全体への説 明とする ↓ クラウドソーシングを使った被験者実験で説明の有効性を確認 クラウドワーカーで,特徴の前処理ができた
  3. 3. 個別の予測についての説明 3 ホールドアウトデータでの予測指標は過大評価になりやすい leakage や,訓練とテストで分布が違うデータ集合シフトへの対策 個別の予測についての説明 事例の構成要素(テキスト中の語や画像の一部)とモデルの予測の関 係を定性的に理解できるようにテキストや可視化 20Newsgroup文書の分類 元の文書 アルゴリズム を比較 分類結果と 正解・不正解 分類に影響 した特徴 とその影響度
  4. 4. 説明に必要な要素 4 解釈可能性:入力変数と応答との間の定性的理解を与える 人間の理解力の限界,理解の容易さ:数100個の特徴は無理 対象利用者:専門家 or 非専門家 局所的忠実性:モデル全体を詳細に述べることができなくても,予測 対象の事例に関連した部分だけでも最低限は説明できる 局所的忠実性は大域的忠実性を含意しない:大域的に重要な特徴が 局所的にはそうでない場合がある モデル不可知性:任意のモデルを説明可能で,モデル自体をブラック ボックスとして扱う 多くの分類器は解釈不能であり,将来出てくる分類器も扱えるよう に 大域的観点:モデル全体を代表するような事例を選んでモデルを説明
  5. 5. Local Interpretable Model- agnostic Explanations (LIME) 5 ブラックボックスな分類器に局所的に忠実 & 利用者に解釈可能 ↓ 事例 x の周辺からサンプリングした事例で解釈可能な分類器を訓練 サンプルは x への類似度 πx(z) で, z を重み付けしているので頑健 サンプリングした事例 z を説明する分類器に与えてラベル f(z) を得る 説明用 分類器 負ラベル の事例 正ラベル の事例 説明する の事例
  6. 6. Local Interpretable Model- agnostic Explanations (LIME) 6 ⇠(x) = arg min gÀG L(f, g, ⇡x) + ⌦(g) 疎な線形説明 g(z’) = wg・z’ 事例の類似度 πx(z) = exp(−D(x, z)2 / σ2 ) 損失 Σz πx( f(z) − g(z) )2 最適化問題を解いて事例 x についての説明を得る 説明する分類器 f(z) 説明 g の複雑さ 利用する特徴がたかだか K 個 K-lasso:正則化パスを用いて K 個を選ぶ
  7. 7. 例:20NewsgroupをSVMで分類 7 キリスト教徒と無神論者の投稿を分類する問題 Algorithm2の予測精度は一見94%と高く,一見すると信頼できそう NetNewsのヘッダ情報が 有力な特徴となっていて 他の文書でキリスト教徒・ 無神論者を分類するには 使えなさそう 分類した文書
  8. 8. 深層ネットで分類した画像 8 Google の Inception NN で分類した結果 上位三つのクラスラベルについて,その説明となる領域を示した アコギをエレキと間違 えたのは fretboard の 存在が大きい エレキギター アコースティックギター ラブラドール 元画像
  9. 9. モデルの説明 (SP-LIME) 9 複数の事例に対する説明を示すことでモデルの説明とする ↓ モデルをうまく説明できる事例の集合を選ぶ f1 f2 f3 f4 f5 できるだけ多くの重要な特徴を被覆 するように,B個の事例を選ぶ ↓ 集合の最大被覆なので,劣モジュラ 性を使い貪欲法で解く 事例の分類にとって重要な特徴
  10. 10. 人工的な利用者実験 10 評判分析用ベンチマークを用いたオフライン実験 LIME(提案),parzen,greedy,random 説明はモデルに対して忠実か? 元分類器で最も重要な10個の特徴を説明で復元させた random < parzen < greedy < LIME(90%以上) 説明によって個々の予測への信頼は高まるか? 信頼できない特徴を決めておいて,それを使わないと予測が変化す る場合は信用できないとして,信用できないことに対する識別率 F1尺度で評価して,LIMEは他より有意に良かった 説明はモデル全体の評価に有用か? 信頼できない特徴を埋め込んで,それが説明に取り上げられたらモ デルから除外して,最終モデルを作って,その予測精度で評価 ランダムに事例を選ぶより劣モジュラに基づく選択がよかった
  11. 11. 被験者による評価 11 AMT で 20Newsgroup とわざと作った背景が雪原だったら狼と判 別する狼・ハスキー分類器 を使い被験者実験 利用者が最良の分類器を選択できるか? 説明をみてまともなモデルを選ぶ割合 → LIMEで劣モ選択がよい 非専門家が分類器を改良できるか? 説明を見て,無関係と思う特徴(単語)を段階的に除去して分類器 を再構築し,新たなキリスト教・無神論データで評価 被験者は分類器の性能を向上させることができた 説明は洞察を与えるのか? 狼識別器で説明を見せる前後で,実際に使ってみてうまくいきそう かどうか,またその理由を尋ねてみた 背景に依存しているため,この分類器はダメだと被験者は認識した

×