全脳アーキテクチャ勉強会第４回（山川）

脳をガイドとして超脳知能に至る
最速の道筋を探る
ｰ AGIにおける固有事前知識学習(SPL) ｰ
富士通研究所
山川宏
2014年6月2日
全脳アーキテクチャ勉強会(第４回)
全脳アーキテクチャ勉強会（第４回)

脳をガイドとして超脳知能に至る
最速の道筋を探る
ｰ AGIにおける固有事前知識学習(SPL) ｰ
富士通研究所
山川宏
2014年6月2日
全脳アーキテクチャ勉強会(第４回)
人の脳を超える人工知能

CONFIDENTIAL MATERIAL / RESTRICTED ACCESSCONFIDENTIAL MATERIAL / RESTRICTED ACCESS
私の脳アーキテクチャ研究
• 1983.4～ 1986.3 東京理科大学理論物理学士
• 1987.4～ 1989.3 東大実験物理修士課程
• 1989.4～1992.3 東大電子工学科博士課程
– 強化学習に基づく知能システムの研究
• 1992.4 (株)富士通研究所入社
– センサフュージョンプロジェクトにおいて、ニューラルネットによる感覚
運動融合モデルの研究(Auto encoder Network)
• 1994.10～1997.3 RWC 能動知能研（つくば)
– マルチエージェントシステムによる手渡ロボットシステム
• 1997.3～2001.3 富士通研究所(RWC自律学習研兼務)
– RWCPにて、強化学習および状況分解(表象獲得)の認知距離学習器
(ゴール志向アーキテクチャの一種)研究
• 2001～2004: バイオインフォマティクス，
• 2005～2006: 集合知(直接民主制のための意見集約)
• 2007～2008: 人物情報クラウド(分散ID管理システム)
• 2009～2010: 環境ソリューション，
• 2007～：脳に学ぶ人工知能(将棋プロジェクトなど)
• 2013～: 全脳アーキテクチャ
2

私の脳アーキテクチャ研究
• 1983.4～ 1986.3 東京理科大学理論物理学士
• 1987.4～ 1989.3 東大実験物理修士課程
• 1989.4～1992.3 東大電子工学科博士課程
– 強化学習に基づく知能システムの研究
• 1992.4 (株)富士通研究所入社
– センサフュージョンプロジェクトにおいて、ニューラルネットによる感覚
運動融合モデルの研究(Auto encoder Network)
• 1994.10～1997.3 RWC 能動知能研（つくば)
– マルチエージェントシステムによる手渡ロボットシステム
• 1997.3～2001.3 富士通研究所(RWC自律学習研兼務)
– RWCPにて、強化学習および状況分解(表象獲得)の認知距離学習器
(ゴール志向アーキテクチャの一種)研究
• 2001～2004: バイオインフォマティクス，
• 2005～2006: 集合知(直接民主制のための意見集約)
• 2007～2008: 人物情報クラウド(分散ID管理システム)
• 2009～2010: 環境ソリューション，
• 2007～：脳に学ぶ人工知能(将棋プロジェクトなど)
• 2013～: 全脳アーキテクチャ
3
アインシュタインの
思考実験に感銘
M. Minskyの
「心の社会」に
影響を受けた．
ニューラルネット
の可能性に期待

所感ー本日の発表にあたってー
初回(2013年12月19日)以来，多くの皆様からの様々な
支援をうけWBAの方向性には手応えは感じつつあります．
そこで今後は，WBAの早期に実現するためにやるべきこ
とを，明確化するフェーズに入りたい．
4 全脳アーキテクチャ勉強会（第４回)
なぜ今，全脳アーキテクチャ(WBA)なのか
WBA実現のために，何をすべきか？

本日の話題
Deep Learningによる表現獲得
汎用人工知能(AGI)に必要な
固有事前知識学習(SPL)
人間レベルのAIが引き起こす
シンギュラリティが見えつつある
なぜ今，WBAなのかどうWBAを実現するか？
• 脳に対応づくアーキテクチャ研究の存在
• Deep Learningによる表現獲得の出現

まとめ： WBA推進に向け考えるべきこと(案)
 共同のための統合プラットフォーム
 複数の研究チームによる，各脳器官のモデルを統合する仕組み
 Deep Learning＋
 意志決定，時系列データなどへの発展， BESOM活用
 他の脳器官との機能的統合
 理論研究
 アーキテクチャ論
 表現獲得と事前知識 (階層性，不変性，スパース性など)
 AI基本問題(フレーム問題，記号接地問題)
 神経科学知見の効果的な活用
 理論やアーキテクチャ設計のガイドに膨大な神経科学知見を利用する方法
 共通目標の設定(WBAロードマップの作成)
 10年後は，Seed AI (自己再帰的に発展するAIの種)である
 ３～５年後に実現する，技術的アウトプットは何か
WBA実現にむけ
皆で議論したい

本日の話題
なぜ今，WBAなのかどうWBAを実現するか？

人レベルの知能を目指す
汎用人工知能（AGI)研究

Goertzel氏による「汎用人工知能概観」（人工知能学会誌5月号）
AGI： “Narrow AI” の反対概念
Narrow AI（←レイ・カーツワイル）（「特化型AI」）
個別の文脈において個別の「知的な」振る舞いをする
AGIの中心仮説
「十分に広範な適用範囲と強力な汎化能力を持つ
AIの作成・研究は，より狭い (Narrow) 適用範囲と
弱い汎化能力を持つ AIの作成・研究とは根本に
おいて質的に異なる」

技術
社会
汎用人工知能に関わる国内外の動き
10
【国内】【英米】
学会
ディープ
ラーニング
学会 AGI輪読会(2013～)
全脳アーキテクチャ勉強会(2013～)
第一回：人間の知性とコン
ピュータ科学の未来(2012)
www.sig-agi.org

人間レベルの汎用人工知能の実現に向けた展望
 Mapping the Landscape of Human-Level Artificial General Intelligence,
 AI Magazine 2012年春号の記事（12名の共著）「人工知能」2014年5月号に翻訳版
初めての家
でコーヒー
をいれる
知覚とモーター技能の豊かなレパー
トリーを取得する。主要な重大事件
を含んでいる、隠された物を捜し求
める能力や簡単なツールとして物を
使用する能力
精神的に、彼らの経験(例えば、メモ
リ、心像、図面、言語など)を表すが、
論理的に一貫した方法で系統的に
これらの表現を調整する能力を欠く
具体的な業務計画レベルにおける
子供は論理的で数学の考えの基本
要素を習得す．クラスとカテゴリに関
して推論する能力を含む算術演算
や関係と同様に。
演繹的論理学、結合の推理、および
仮定している出来事に関して推論す
る能力の使用を含んでいる。
声に出していた思考
の能力が徐々に内
面化する
両親、教師等の支援に
より単独でできることを
超えて子供が発達する．
学習をガイドする物、考え、お
よびユニークな伝統を「引き
継ぐ」(例えば、本、計算機、コ
ンピュータなど)

Goertzel氏による「汎用人工知能概観」（人工知能学会誌5月号）
AGI： “Narrow AI” の反対概念
Narrow AI（←レイ・カーツワイル）（「特化型AI」）
個別の文脈において個別の「知的な」振る舞いをする
AGIの中心仮説
「十分に広範な適用範囲と強力な汎化能力を持つ
AIの作成・研究は，より狭い (Narrow) 適用範囲と
弱い汎化能力を持つ AIの作成・研究とは根本に
おいて質的に異なる」

No Free-Lunch定理
[David H.Wolpert and William G. Macready 1995]
 組み合わせ最適化問題に対して：
 「あらゆる問題で性能の良い汎用最適化戦略は
理論上不可能であり、ある戦略が他の戦略より
性能がよいのは、現に解こうとしている特定の
問題に対して特殊化（専門化）されている場合
のみである」
 機械学習に対して：
 「事例の分布などについて事前知識がなければ，あらゆる目的関数について
他を常に上回るような学習アルゴリズムは存在しない」
「no free lunch定理 - 機械学習の「朱鷺の杜Wiki」」
 結局性能を上げるには事前知識が必要
 「工学者や最適化の専門家にとって、この定理は、問題領域の知識を可能な
限り使用して最適化すべきだということを示しており、領域を限定して特殊な
最適化ルーチンを作成すべきであることを示している。」「ノーフリーランチ定理 - Wikipedia」
• 定理の適用範囲がどこまでなのかが要注意だが、直観的には納得できる話。

汎用的な知能を実現する方法は？
 多様なSPKをあらかじめ設計(‘big switch statement’ approach,)
Narrow AIを十分に蓄積し，必要に応じて使い分ける．
 人間の知的な行動を模倣するプログラムを書き下す伝統的なAI研究
 固有事前知識学習(SPL)による
設計時には想定されていない課題を解決する能力を学習する
 固有事前知識(SPK)を獲得する
 脳が行っているアプローチ→全脳アーキテクチャ(WBA)
14
「ノーフリーランチ定理 - Wikipedia」

AGI
Narrow AI
ＳＰＬ：設計時に未想定の課題への適応
固有事前知識
(SPK)
デ
ー
タ
知識表現
ルールとか
学習
(machine learning)
固有事前知識学習
(SPL)
一般事前知識
(GPK)
実行
特定の問題領域やモ
ダリティ内で一般性の
高い知識の獲得
SPL= Specific Prior
Learning
15
課題領域やモダリティ
に固有の表現
• フレーム
• 不変特徴量
ex.二次元画像の局所
ウィンドウ

SPLは大脳新皮質からを学びうる
一様な機構で，多様な機能を実現
16
・身体運動的知能
・言語的知能
・論理数学的知能
・音楽的知能
・対人的知能
・内省的知能
・空間的知能
図の出典： http://bio1152.nicerweb.com/Locked/media/ch48/48_27HumanCerebralCortex.jpg

全脳アーキテクチャ(WBA)
人工知能分野における基本的な
知能アーキテクチャを，
脳の主要な器官にフィットするよう
に再構成する．

全脳アーキテクチャ(WBA)のアプローチ
18
研究テーマの4本柱
①全脳アーキテクチャの理論／モデル化
 統合アーキテクチャ
 個別の器官モデル実装
②脳ビッグデータの活用
(脳科学知見の調査)
③工学的なアウトプット
④社会的なインパクト
アプローチ．
① 脳の各器官の機能を機
械学習として開発し，
② それらを統合したアー
キテクチャを構築
脳とAIは既に大雑把には対応付け可能
脳
AI

AI分野の知能エージェントは脳に対応付けうる
状態/知覚
行動
意図
効用/報酬
情報の種類
目的
この対応付けについては，第三回全脳アーキテクチャ勉強会資料(山川)を参照

「Deep Learning＋」があれば必要な部品は揃いそう
20
理想的な知能
(計算できない)
D：人の新皮質が現状Deep Learning(DL)より優れている知能
α： DLと無関係に，AIが人レベルではない知的機能の集合
実現可能な知能
汎用性
創造性
直観
…
AI人の知能
α
D
情動／感情
(扁桃体)
強化学習
(大脳基底核)
制御理論
(小脳) 効率的な，
四則演算，
大量データ
からの検索
パターン認識
Deep Learning
(DL)
論理推論
第5世代コンピュータ
WBAアプローチ
① 脳の各器官の機能を機械学習として開発し，
② それらを統合したアーキテクチャを構築

いつかは実現する全脳エミュレーション (WBE)
2060年代頃に達成見込
みが想定されている．
脳全体を分子／原子レベルから詳細にエミュレー
ションすれば，AGIが実現できること自体は余り疑
う余地はない．(Mind Uploading等とも呼ばれる)
「単なるシステム同定課題」に分解される．
 脳測定技術の向上を待つ必要あり
 脳機能の詳細なシミュレーションに十分な時空間解
像度を持つスキャナーがない．
 急速な技術進歩を外挿するなら，2030-2050年ごろ
には現実的になるだろう．
22

本日の話題
なぜ今，WBAなのか
① 脳器官の機械学習として開発
② 上記を統合したアーキを構築
どうWBAを実現するか？

シンギュラリティ
(技術的特異点)

本日の話題

加速するAI技術(シンギュラリティに向けて)
技術／知識レベル
時間主役交代
Singularity以前
ヒトによる設計が
律速段階
Human
Design
AI
Design
Techn
ology
Singularity以降
創造的AIが自己再帰的な
知識発展の循環が起こる
創造的
AI
Design
Techn
ology
シンギュラリティとは
従来の傾向に基づく技術の進歩予測が通用しなくなる時点
IBMのワトソン
君がクイズ王に
勝利(2011年)
電王戦でGPS将棋
がプロ棋士に勝利
(2013年)
26

Independently of the various
concerns about the
appropriateness of Human
Level AI as a goal, I think
we'll indeed achieve it.
I won't predict when except
that it will probably be
sometime in this century.
Nilsson, 2009

シンギュラリティの起きる時期の予測
予測を行った年
予測された年
2012
2012
Singularity Institute, “How We’re Predicting AI – or Failing To,” 2012
WBAで
目指しうる
29

全脳アーキテクチャ(WBA)の
実現に向けて

本日の話題

脳をガイドとするWBAアプローチの優位点
32
伝統的
AIの
課題
脳をガイ
ドとする
優位点
WBA
アプ
ローチ
個々の技術を統
合する指針がな
くバラバラになる
【統合の指針】
成熟した機械学
習をアーキテク
チャーとして統合
するための指針
②各器官のモデ
ルを統合しアー
キテクチャ構築
難しい問題(表現
獲得など)は先送
りにされ続けた
【未解決課題の
ヒント】残された
課題についてヒ
ントを得られる．
(TgNC)
①脳の各器官の
機能を機械学習
として開発
Narrow AIなので，
問題領域毎にア
タックする必要
【汎用技術志向】
汎用的な新皮質
に学ぶことで，多
くの問題を一気
に解決(SPL)
脳はガイド：
「生物学的な真実
との一致性」は
目的ではなく手段

計算論的神経科学の枠組み (David Marr, 1982)
計算理論
計算手段
(アルゴリズム
と表現)
神経回路
(生物学的に
妥当な実装)
計算の目標(機能)は何か、なぜそれが
適切なのか、そしてその実行可能な方
略の理論は何か． (例: 強化の理論)
計算理論を実現する計算手段．特にそ
の入力と出力の表現と変換のためのア
ルゴリズム． (例: Q学習等)
実験データを説明できる詳細さをもつ神
経回路モデル/分析．(例：ドーパミン
ニューロンの神経回路モデル）
脳科学
実験の
結果
行動/心
理実験
の結果
計算処理
としての
実現性
33

既存研究領域の位置づけ
計算理論
計算手段
(アルゴリズム
と表現)
神経回路
(生物学的に
妥当な実装)
脳器官(ミクロ) 脳全体(マクロ)
脳科学実験(マクロ)結果
行動/心理実験の結果
脳科学実験(ミクロ)結果
× × × × × × × × × ×
ミクロ-マクロ
ギャップ
マクロ
バリアー
34

既存研究分野の俯瞰図
計算理論
計算手段
(アルゴリズム
と表現)
神経回路
(生物学的に
妥当な実装)
× × × × × × × × × ×
機械
学習
AI
認知
科学
Neuro
comp
uting
計算
論的
神経
科学
認知モデル/
アーキテクチャ
35

WBAはどう位置づけられるか
計算理論
計算手段
(アルゴリズム
と表現)
神経回路
(生物学的に
妥当な実装)
× × × × × × × × × ×
WBA
AI
器官モデル統合機械
学習
36

Theory-Guided Neurocomputing (TgNC)も可能に
計算理論
計算手段
(アルゴリズム
と表現)
神経回路
(生物学的に
妥当な実装)
× × × × × × × × × ×
機能部位特定
AI
Neuro
comp
uting
TgNC
37
理論からのガイド
Theory-
guided
Neurocom
puting

WBAのアプローチ
計算理論
計算手段
(アルゴリズ
ムと表現)
神経回路
(生物学的に
妥当な実装)
38
① 脳の各器官の機能を機械学習
として開発し，
② それらを統合したアーキテク
チャを構築
大域
的モ
デル
AI
Neuro
comp
uting

理論研究の必要性 (AGIの面から)
AGI
Narrow AI
固有事前知識
(SPK)
デ
ー
タ
知識表現
ルールとか
学習
(machine learning)
固有事前知識学習
(SPL)
一般事前知識
(GPK)
実行
39
AGIの中心仮説
「十分に広範な適用範囲と強力
な汎化能力を持つAIの作成・研
究は，より狭い (Narrow) 適用範
囲と弱い汎化能力を持つ AIの
作成・研究とは根本において質
的に異なる」
 多側面から制約を考慮すること
で，妥当な仮説の範囲を限定
 AI ,機械学習，神経科学，認知
科学，ロボット工学，進化生物
学などを結びつけた理論研究
が有効になると考えられる．

Bengioによる一般事前知識(GPK)のリスト
 Smoothness
 Multiple explanatory factors
 A hierarchical organization of explanatory factors
 Semi-supervised learning
 Shared factors across tasks
 Manifolds
 Natural clustering
 Temporal and spatial coherence
 Sparsity
 Simplicity of Factor Dependencies
Yoshua Bengio,
Deep Learning of Representations: Looking Forward,
Statistical Language and Speech Processing,
Lecture Notes in Computer Science Volume 7978, 2013, pp 1-37
http://link.springer.com/chapter/10.1007%2F978-3-642-39593-2_1#
[Bengio 2013] http://arxiv.org/abs/1305.0445

事前知識を関係付ける理論研究(JSAI2014,山川)
41
スパース表現
記号前
概念
固定性条件
集合表現
条件
特定性条件
(クラスタ性)
カラム構造
階層構造
⑥ダミー変数化
高等哺乳類の
視聴覚野固有
条件事前知識
記号に接地しうる概念の条件から，一般的な事前知識の役割を関係づける試み
神経表現の基盤
①
②
③
④自由度が高く，局所低次元
⑤集合の要素
⑦有限集合化
⑨均質な処理
⑧不変性

脳器官への対応付けの検討 (JSAI2014,山川)
低次視
覚野
高次視
覚野
前頭葉海馬
特定化条件 ○ ○ ○ ○
集合表現条件 ○ ○ △ ×
固定化条件 × ○ ○ ○
意識化 × ○ ○ ○
記号化 × ○ △ ×
ワーキング
メモリ／
エピソード
記憶
• 意識化可能：単純にラベルづけはできないが，意識的
に語ることができる
• 記号化可能：単純にラベル付けできる

本日の話題
なぜ今，WBAなのか ① 脳器官の機械学習として開発

まとめ： WBA推進に向け考えるべきこと(案)
 共同のための統合プラットフォーム
 複数の研究チームによる，各脳器官のモデルを統合する仕組み
 Deep Learning＋
 意志決定，時系列データなどへの発展， BESOM活用，SPLとしての精緻化
 他の脳器官との機能的統合
 理論研究
 アーキテクチャ論
 表現獲得と事前知識 (階層性，不変性，スパース性など)
 AI基本問題(フレーム問題，記号接地問題)
 神経科学知見の効果的な活用
 理論やアーキテクチャ設計のガイドに膨大な神経科学知見を利用する方法
 共通目標の設定(WBAロードマップの作成)
 10年後は，Seed AI (自己再帰的に発展するAIの種)である
 ３～５年後に実現する，技術的アウトプットは何か
WBA実現にむけ
皆で議論したい

人間レベル
汎用人工知能
WBA実現へのキーは仮説の生成と多面的検証
45
仮説検証２
神経科学知見等から見て，
大局的には否定されない．
仮説生成
神経科学・認知科学・
AIの知見をヒントに
研究者が考え，洗練．
仮説検証１
計算機により具体的
に実装できる．
積み重なりつつある
神経科学等の知見
ビッグデータ時代
だからこそ逆に
頭脳勝負に勝機
脳はガイド：手が届き
さえすれば，必ずしも
生物学的な真実との
一致性は追求しない．
WBAの実現には学際的な知の結集が必要

全脳アーキテクチャ勉強会第４回（山川）

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (20)

Semelhante a 全脳アーキテクチャ勉強会第４回（山川）

Semelhante a 全脳アーキテクチャ勉強会第４回（山川） (9)