2. 知能ロボットと連想記憶
連想記憶は人間の知的プロセスに不可欠である
連想記憶を知能ロボットに適用する研究が近年行われて
いる.[1][2]
[1] K. Itoh et al., “New memory model for humanoid robots – introduction
of co-associative memory using mutually coupled chaotic neural
networks,” Proc. of the 2005 International Joint Conerene on Neural
Networks, pp. 2790–2795, 2005
[2] K. Mizutani and T. Omori, “On-line Map Formation and Path Planning
for Mobile Robot by Associative Memory with Controllable Attention,”
Proc. the 1999 International Joint Conference on Neural
Networks(IJCNN’99), pp.2051-2056, 1999.
Copyright(C) 2007 Akihito Sudo All rights reserved. 1
3. 知能ロボットの連想記憶に必要な機能
実世界で働く知能ロボットのための連想記憶には、以下
の機能が必要不可欠である.
追加学習・・・事前に全ての知識を列挙できないため
ノイズ耐性・・・実世界のデータはノイジーなため
実数値データの取り扱い・・・センサー情報は実数値データ
多対多の連想・・・多対多の知識も存在するため
Copyright(C) 2007 Akihito Sudo All rights reserved. 2
4. 従来の連想記憶モデル
従来の連想記憶モデルは2つに大別できる
1.分散多重学習型連想記憶モデル
例1:ホップフィールドネットワーク
例2:Bidirectional Associative Memory(BAM)
2.競合学習型連想記憶モデル
例1:KFMAM(SOMを拡張した連想記憶モデル)
例2:KFMAM-FW(KFMAMを追加学習のために拡張)
Copyright(C) 2007 Akihito Sudo All rights reserved. 3
5. 分散多重学習型連想記憶モデルの問題点
分散多重学習型連想記憶モデルは
新たな学習で、既存の知識が破壊されてしまう
「追加学習に不向き」ということ!!!
Frenchはこの問題を避けることの困難さを指摘した[1]
[1]R. French, “Using Semi-Distributed Representation to
Overcome Catastrophic Forgetting in Connectionist
Networks,” Pm. of the 13h Annual Cognitive Science Society
Conference, pp. 173–178, 1991
Copyright(C) 2007 Akihito Sudo All rights reserved. 4
6. 一方で・・・
“競合学習型連想記憶モデル”は比較的追加学習に向いて
いる
特に追加学習を目的としたモデルKFMAM-FW[1]がある
KFMAM-FWは、新たな学習で既存の知識が破壊されない
[1]T. Yamada et al., “Sequential Learning for Associative
Memory using Kohonen Feature Map,” in Proc. of the 1999
International Joint Conference on Neural Networks, pp.
1920–1923, 1999.
Copyright(C) 2007 Akihito Sudo All rights reserved. 5
7. KFMAM-FWの問題点
獲得可能な連想対の数の上限が
事前に設定したノードの数に依存して決まってしまう
もし、事前に設定したノード数が少なすぎると・・・
▪途中から連想対を追加獲得できなくなってしまう
もし、事前に設定したノード数が多すぎると・・・
▪不要な計算時間とメモリを浪費してしまう
獲得すべき知識の総数が事前にわからない環境では
「追加学習に不向き」ということ!!!
人間の赤ちゃんはこのような環境におかれている!
Copyright(C) 2007 Akihito Sudo All rights reserved. 6
8. 研究目的
次の機能を持つ連想記憶モデルAssociative Memory
with SOINN (SOINN-AM) を提案する.
上述の追加学習の問題を克服
高いノイズ耐性を持つ
知能ロボットに不可欠
実数値データを取り扱える
多対多の連想を行える
Copyright(C) 2007 Akihito Sudo All rights reserved. 7
13. 提案手法のノイズ耐性について
実世界のノイズには以下の2タイプがある。
(a)のノイズについて
提案手法は従来手法を上回る耐性を持つ。
(b)のノイズについて
このタイプのノイズにも提案手法は耐性がある。
従来手法でこのタイプのノイズに耐性があるものは自己連想し
か行えない。
Copyright(C) 2007 Akihito Sudo All rights reserved. 12
14. 提案手法のアーキテクチャ
入力層は2つの入力ベクトルを受け取ることができる
ベクトル1 ベクトル2
入力層 ・・・ ・・・
“エッジ”でノードが結合されることで、
クラスタリングされる ノードは重みベクトル W を持つ
重心にプロトタイプノードが W [ w1 , w2 ]
生成される
連想対に対応
競合層
競合層では、“ノード”と、ノードをつなぐ“エッジ”が
自律的に増殖・消滅する
Copyright(C) 2007 Akihito Sudo All rights reserved. 13
15. 学習フェーズの概要
①学習すべき連想対が入力層に入力される
F R
入力層 ・・・ ・・・
競合層
②競合層では、連想対を保持するノードがクラ
スタリングされながら自律的に増殖・消滅する
Copyright(C) 2007 Akihito Sudo All rights reserved. 14
26. 想起フェーズのアルゴリズム2
競合層での処理 その1
3. 下式で、 Icと全てのノード i の重みベクトルの距離を計
算する
ここで、
である。
Copyright(C) 2007 Akihito Sudo All rights reserved. 25
27. 想起フェーズのアルゴリズム3
競合層での処理 その2
4. 事前に設定した値drについて、
が成り立つノードが全て発火する
Copyright(C) 2007 Akihito Sudo All rights reserved. 26
28. 想起フェーズのアルゴリズム4
競合層での処理 その3
4. 発火したノードの属するクラスタのプロトタイプノード
の重みを としたとき、出力Oは下式で表される
ここで、
Copyright(C) 2007 Akihito Sudo All rights reserved. 27
29. 想起フェーズのアルゴリズム5
競合層での処理 その4
4’. 発火するノードが一つも無い場合は、連想キーをノイ
ズであると判断し、”Unknown”と出力する
注意)出力Oが複数存在することもありうる。
この場合は、1対多の連想を行っていることになる
Copyright(C) 2007 Akihito Sudo All rights reserved. 28
30. 実験設定~比較手法~
分散多重学習型連想記憶モデル
BAM with PRLAB[1]・・・論文[3]で比較手法として用いられ
ている手法
競合学習型連想記憶モデル
KFMAM[2]・・・SOMを連想記憶モデルに拡張したモデル
KFMAM-FW[3]・・・[2]の追加学習性能を高めた手法
[1]H. Oh and S.C. Kothari, “Adaptation of the relaxation method for learning in bidirectional associative
memory,” IEEE Tans. Neural Networks, Vol.5, No.4, pp. 576–583, 1994.
[2]H. Ichiki et al., “Kohonen feature maps as a supervised learning machine,” in Proc. of the IEEE
International Conference on Neural Networks, pp. 1944–1948, 1993.
[3]T. Yamada et al., “Sequential Learning for Associative Memory using Kohonen Feature Map,” in Proc. of
the 1999 International Joint Conference on Neural Networks, pp. 1920–1923, 1999.
Copyright(C) 2007 Akihito Sudo All rights reserved. 29
31. 実験設定~パラメタと学習回数~
パラメタは下表のように設定した
学習回数は以下とした
提案手法・・・1つの連想対について50回ずつ
BAM with PRLAB と KFMAM・・・重みが収束するまで
KFMAM-FW・・・重みが固定されたノードができるまで
Copyright(C) 2007 Akihito Sudo All rights reserved. 30
32. 実験設定~用いたデータ~
用いたデータ
2値画像・・・7×7ピクセルの英語アルファベット画像
▪比較手法が2値データしか扱えないため使用した
グレースケール画像
・・・92×112ピクセルのAT&T顔画像データベースの画像
Copyright(C) 2007 Akihito Sudo All rights reserved. 31
33. 行った実験
1. 追加学習性能の比較実験
2. 提案手法が多対多の連想を行えることの確認実験
3. ノイズ耐性の比較実験
2つのタイプのノイズについてそれぞれ実験
4. 提案手法が実数値データを扱えることの確認実験
Copyright(C) 2007 Akihito Sudo All rights reserved. 32
34. 実験1
追加学習性能の比較実験
学習させた連想対
, , ・・・
学習データは逐次的に与えた
バッチ学習ではない!
学習後、連想キーとして大文字のアルファベットを与え
出力を見た
Copyright(C) 2007 Akihito Sudo All rights reserved. 33