Recomendados
Mais conteúdo relacionado
Destaque
Destaque (20)
Ai talk at_tokyo_univhospital_2020
- 1. 視覚刺激の価値評価の神経基盤： 深層学習とfMRIの融合研究 Trung Quang Pham, 吉本隆明、丹羽開紀、高橋春香、 内山隆太郎、松井鉄平、Adam K. Anderson、定藤規弘、 近添淳一 生理学研究所・生体機能情報解析室 Dec 14, 2020
- 6. OFC（前頭眼窩皮質） - モダリティの異なる刺激の価値を比較するためには、それらを共 通のフォーマットで表象する脳領域の存在が必要。 - ヒト(Anderson et al., 2003)やサル (Padoa-Schioppa et al, 2008)の先行研究から orbitofrontal cortex (OFC)が価値表象の 中心領域であることが示唆されている。
- 7. 価値表象を調べる２種類の実験 視覚実験 味覚実験 実験内および実験間で 脳活動パターンの 類似度を計算 （Chikazoe et al., Nature Neuroscience 2014）
- 9. 視覚刺激の情報処理 視覚情報は脳内でカテゴリー情報や価値情報に 変換される。 Chikazoe et al., Nature Neuroscience 2014 カテゴリー 視覚 価値
- 10. 感覚モダリティを超えた価値の脳内表現 脳内での情報変換の結果、感覚モダリティに依 存しない価値が生じる。 Chikazoe et al., Nature Neuroscience 2014 価値 味覚の種類 甘 酸 苦 辛 共通 カテゴリー 視覚 価値
- 11. OFCにおけるモダリティを超えた普遍的価値表 象 OFCで表象される価値は、感覚器の違いに依存しない。 味覚刺激の価値 視覚刺激の価値 価値の類似度（味覚ー視覚） Similarity (Percentile of r) 45 55 50 活動パターンの類似度 Pos Neg Neu Neg Neu Pos (Chikazoe et al., Nature Neuroscience 2014)
- 12. 感覚から価値への変換処理 感覚情報がどのような情報処理を受けて価値情報に 変換されるかは明らかにされていない。 Value Sensory (Vision) ？ Orbitofrontal cortex Primary visual cortex Brain regions Represented information
- 13. 腹側視覚路 視覚情報が腹側視覚路で階層的な情報処理を受けて、カテゴリに変 換される過程に関してはよく知られている。 Vision Category Ventral visual pathway （Güçlü et al., 2015） Brain regions Represented information Layer
- 14. 人工神経回路と脳の情報表現の類似 （Yamins et al., 2016）
- 16. 階層構造のevidence：Principal gradient 機能的結合を圧縮することにより、脳内の階層構造を同定。 感覚野からdefault mode networkに向かう勾配が見つかった。 Functional connectivity Principal gradient Margulies et al., 2016 データ 圧縮
- 17. Principal gradientと認知機能の抽象性 Principal gradientのscoreが上がるにつれ認知機能の抽象性は 高くなる。 →Principal gradientに沿って階層的に情報処理が行われる？ Margulies et al., 2016 具体的 抽象的
- 18. 感覚から価値への階層的情報処理 Orbitofrontal cortex Primary visual cortex Represented information 人工神経回路を モデルに使う
- 19. 視覚ー価値情報変換を行う人工神経回路作成 美術品オークションのデータを用いて、画像 情報から価格を推定する人工神経回路を作成。 Input: Art images Output: Price Artificial neural network (ANN) ＄2000 ＄1200 ＄300 ＄20 VGG16をbase modelとして使用
- 20. Functional MRI実験 Functional MRI実験により、同様のinput- output pairを人間でも取得。 Functional MRI Output: Price Input: Art image 5万円 1万円 100円 2万円
- 21. 人工神経回路の個人最適化
- 22. それぞれの個人に対してneural networkの最適化 を行い、37人分のneural networkを作成。 人工神経回路の個人最適化 典型的被験者での学習曲線 個人最適化 前 後 実測値と予測値の相関 （test data） 実測値と予測値の相関
- 23. 人工神経回路と脳領域の対応 … Neural Representational Similarity Layer 1 Representational Similarity 人工神経回路の各階層と情報表現の類似した 脳領域を探す Layer 2 Representational Similarity Layer 3 Representational Similarity 1 200 1 200 1 200 1 200 1 200 1 200 1 200 1 200
- 24. 人工神経回路と脳領域の対応 人工神経回路の低次の階層は視覚野と、高次の階層はdefault mode networkと対応する Visual Visual Visual DMN DMN 人工神経回路の低次 Layer 1 Layer 18 Layer 14 Layer 9 Layer 5 （Pham et al., in preparation)
- 25. 視覚ー価値変換回路とPrincipal gradientの対応 Input (Art） Output (Value) Averaged Principal Gradient 人工神経回路と 脳領域の対応 Principal Gradient ０ 12 ０ 19 対応する階層 Principal Gradient 対応する階層 外側 内側 DMN DMN DMN DMN Visual Visual Visual Visual
- 28. 絵の評価の個人差（個性） Subj 1 Subj 2 Subj 3 Subj 4 300円 10000円 200000円 33000円 脳内（or DNN）の処理も異なるのではないか？
- 29. 審美眼の安定性の個人差 同じ絵画に対する値付けを2回行ってもらい、相関を計算。 これを審美眼の安定性の指標とした。 Reliable r = .68 (median) Unreliable Correlation Count
- 30. 審美眼の安定性が脳のどの領域の活動に依拠するのか？ Reliable groupでは、FC layerで頭頂葉や前頭葉との対応が見られるのに対し、 Unreliable groupでは、FC layerでも後頭葉や側頭葉の対応が中心である。 Unreliable Reliable 後頭葉 側頭葉 頭頂葉 前頭葉 島・帯状皮質
- 31. 人工神経回路の学習によるperformanceの変化 Training Test Training data (fMRI実験中のdata)へのfittingはどちらのgroupも同じように進む。
- 32. 脳を使って中間表現の変化を可視化
- 34. Base model非依存性
- 35. Base model非依存性
- 36. Base model非依存性 Densenet Resnet Inception Reliable Unreliable
- 37. Summary • 視覚情報はPrincipal Gradientに沿って、 情報処理を受け、価値に変換される。 • 人工神経回路は、脳内の情報処理のモデ ルとして利用可能である。 • 人間の脳との対応を見ることで、人工神 経回路の情報処理の理解につなげられる 可能性がある。
- 38. Acknowledgement Lab members Grad students: Takaaki Yoshimoto Yutaro Koyama Post doc: Quang Trung Pham Almuni: Balbir Singh (Wake Forest School of Medicine) Collaborators NIPS Norihiro Sadato Masaki Fukunaga Takahiko Koike Masakazu Agetsuma Keio University Koji Jimura ATR Junichiro Hirayama Funding sources