SOINN PBR

FIT 2007 第6回情報科学技術フォーラム

パターン情報ベースの命題論理式の
ための推論機の提案

東京工業大学知能システム科学専攻

須藤明人坪山学張シンリ佐藤彰洋長谷川修

2007/09/07

研究背景
人工知能の分野では古くから推論に関する研究がなされてきた

しかし・・・

既存の推論機は実環境で自律的に動作する知能ロボットには不十分である。

我々の考える最も重要な問題点：
既存の推論機の多くは
シンボルを操作する推論しか行えない

そこで・・・

パターン情報ベースの推論機を提案する

Copyright（C） 2007 Akihito Sudo All rights reserved. 1

シンボルをベースとした推論の問題点

Copyright（C） 2007 Akihito Sudo All rights reserved.

シンボルをベースとした推論の問題点１
～既存のパターン識別機の限界に起因する問題～
下図のように、シンボル化装置とシンボルベースの推論機を組み合わせれば、
パターン情報ベースの推論機は不要と考えられるが・・・

パターン情報シンボル化シンボル
既存の推論機
装置

パターン情報をシンボル化することはいまだ難しいタスクである
例えば、既存のパターン識別機にとっては、机と机でないものを識別することは難し
いタスクである。

つまり、上図のような戦略は非現実的


将来的に、十分な性能を持つシンボル化装置が開発されたら？？

それでも、依然として“パターン情報ベースの推論機”は必要である


シンボルをベースとした推論の問題点２
～自律的なシンボル生成時に起こる問題～
知能ロボットは自律的にシンボルを生成することが求められる
なぜなら、知能ロボットに事前にすべてのシンボルを与えることは不可能

シンボル生成を行うためには、シンボル化したい対象を用いた思考や行動が
必要になる。
その際には、パターン情報を用いた推論も行う必要がある

対象を用いた思考・推論
対象とのインタラクション

パターン情報
対象シンボル生成

知能ロボット

シンボルをベースとした推論の問題点３
～シンボル化に馴染まないパターン情報の存在～
風景や絵の構図、臭いや触覚といった情報はシンボル化になじまない

人間もこれらのパターン情報をシンボル化してから推論しているわけではない

臭いや触覚といった情報を用いて
推論するためにはシンボル推論機では不十分


異なる観点からの
“パターン情報ベースの推論機”の必要性


異なる観点からの“パターン情報ベースの推論機”の必要性1
エキスパートシステムの「知識獲得問題の解決」のため
月本は、熟練者の知識を計算機上で実現するために、パターン情報ベースの推
論が必要であると主張した
 月本洋: パターン推論 ―ニューラルネットワークの論理的推論―, 信学論(D-II), J83-D-D-II, 744-753, 2000.

月本の観点でのパターン推論の必要性は・・・

熟練者は、パターン情報をシンボル化せずに考えていることも多い

脳画像がであるなら、心電図がである

熟練者

この知識をシンボルベースの推論機で操作することはできない

異なる観点からの“パターン情報ベースの推論機”の必要性2
シンボルグラウンディング問題の解決・フレーム問題への対処
山根らは、「シンボルグラウンディング問題の解決およびフレーム問題への対
処」にパターン情報ベースの推論が寄与すると主張した

 山根健，蓮尾高志，末光厚夫，森田昌彦: 軌道アトラクタを用いたパターンベース推論，
信学論(D), J90-D, 933-944, 2007.


従来研究


従来研究1
月本洋: パターン推論 ―ニューラルネットワークの論理的推論―, 信学論
(D-II), J83-D-D-II, 744-753, 2000.

＜概要＞
パターン情報を関数としてとらえ、その関数を学習したフィードフォワード型
のニューラルネットワークを命題として扱う
“中間論理LC”等の非古典論理のモデルを用いることで、そのような命題を用い
た推論を行えることを示した

＜メリット＞
連言（かつ）・選言（または）・否定を含んだ論理式を扱える

＜デメリット＞
命題ごとに新しいニューラルネットワークを用意せねばならないが、
知能ロボットに応用する際に、ニューラルネットワークを用意するタイミング
がわからない


従来研究2
山根健，蓮尾高志，末光厚夫，森田昌彦: 軌道アトラクタを用いたパターン
ベース推論，信学論(D), J90-D, 933-944, 2007.

＜概要＞
パターン情報を2値ベクトルとしてとらえ、2値ベクトル間の因果関係を学習し
た単一の非単調神経回路網を用いて推論を行う

＜メリット＞
多次元ベクトルとして表現したパターン情報を命題として扱うことができる

＜デメリット＞
連言（かつ）・選言（または）・否定を含んだ論理式を扱えない

2値ベクトルしか扱うことができない


研究目的


研究目的１
月本、山根らの両手法のメリットを兼ね備える
月本、山根らの手法両方のメリットを兼ね備えたパターン情報ベースの推論機
を構築する

つまり・・・

 多次元ベクトルとして表現したパターン情報を命題として
扱うことができる

 連言（かつ）・選言（または）・否定を含んだ論理式を扱える


研究目的２
それ以外に、ロボットへの適用に有意義な機能も実現する
If-thenルールを追加学習できる
そのためには以下の2点が必要
▪新しい知識を追加しても既存の知識は破壊されない
▪既存の知識と同じである（または極めて類似した）データは追加して覚えない

推論結果の重複の回避
学習すべきif-thenルールをクラスタリングしながら学習することで実現する

ノイズ耐性
▪実環境から得られるセンサー情報はノイズに満ちているため


提案手法


提案手法
提案手法の概略
提案手法は、学習フェーズと推論フェーズに分かれる

＜学習フェーズ＞
多次元ベクトルを原子命題とするif-thenルールを「自己増殖型ニューラルネッ
トワーク」を拡張したアルゴリズムで学習
任意の形の命題論理式を学習可能（選言、連言、否定を扱える）

＜推論フェーズ＞
ファクト(A∧B等)が入力されると、学習したif-thenルールを用いて推論を行う


提案手法
提案手法のアーキテクチャ
提案手法は短期記憶，長期記憶，学習機，推論機からなる

Short Term Memory Long Term Memory
Input Learning Phase
Cluster 1 Cluster 2
If-Then Rule
･･･
Reasoning Phase
Fact

Reference
Reference Reference Reference
Learning Machine update Reasoning Machine

Execute Execute
learning algorithm reasoning algorithm
output


提案手法
学習フェーズ


提案手法～学習フェーズ～
学習フェーズの概要
学習データとしてif-thenルールが入力される

自己増殖型ニューラルネットワークを拡張したアルゴリズムで、
学習データを学習する

学習により、if-thenルールがオンラインでクラスタリングされながら
長期記憶に蓄積される


学習フェーズのフローチャート
Decompose Input to Create an edge between
conjunctive of literals the first winner and the
second winner
Find first and second
Add 1 to the age of all
winner in LTM
edges emanating from
the first winner.
NO
New knowledge?
Eliminate old edges
YES
Add Inputted If-then Rule The number of input data is
integer multiple of l ?
NO
Edge exists between YES
first and second winner? Remove knowledge which
has less than two edges.

Reset age of edge
between first and second Learning data remains?
winner
YES

提案手法～学習フェーズ～ conjunctive of literals the first winner and the
second winner

「リテラルの連言→リテラルの連言」の
winner in LTM
the first winner.
NO
New knowledge?

形に分解
Eliminate old edges
YES

NO

前処理として、「リテラルの連言→リテラルの連言」の Reset age of edge

形に分解する between first and second
winner
Learning data remains?

YES

＜例>
学習すべきif-thenルールを以下とする
(A∧￢B)∨C∨(D∧E∧F)→￢G∨(H∧I)

これは、以下のように6個のif-thenルールに分解される

A∧￢B→G A∧￢B→H∧I
以後、これらひとつずつを
C→G C→H∧I 「学習データ」と呼ぶ
D∧E∧F→ G D∧E∧F→H∧I


second winner

提案手法～学習フェーズ～ Find first and second
winner in LTM
the first winner.

勝者を見つける
NO
New knowledge?
Eliminate old edges
YES

NO

長期記憶のif-thenルールのなかから、 Reset age of edge

学習データと距離の近いもの二つを探す
winner
YES

Long Term Memory
第1勝者

第２勝者
・・・学習データ
・・・長期記憶に蓄積されたif-thenルール

その際に用いる距離尺度は以下の式を用いる


second winner

winner in LTM
the first winner.

新しい知識であるか判断する
NO
New knowledge?
Eliminate old edges
YES

NO

第1勝者と第2勝者の類似度閾値を下式で計算する Reset age of edge

winner
YES

もし、以下のいずれかが成り立てば、学習データを新しい知識と判断する
 「学習データと第１勝者の距離＞第１勝者の類似度閾値」
 「学習データと第２勝者の距離＞第２勝者の類似度閾値」



second winner


学習データが新しい知識であれば、
winner in LTM
the first winner.
NO
New knowledge?
Eliminate old edges

新たに長期記憶に追加する YES

NO

前ステップで、学習データが新しい知識と判断されれば、 Reset age of edge

学習データを新たに長期記憶に追加する
winner
YES

Long Term Memory


このステップの後は・・・
 新たな学習データがまた存在していれば、その学習データについて処理を始める
 新たに学習データが存在しなければ、処理は終了



second winner


学習データが新しい知識では無い時、
winner in LTM
the first winner.
NO
New knowledge?
Eliminate old edges

第１勝者と第２勝者をエッジで結合する YES

NO

前ステップで、学習データが新しい知識でないと判断 Reset age of edge

されれば、第１勝者と第２勝者をエッジで結合する
winner
YES

Long Term Memory
第1勝者

第２勝者

もし、当該エッジが既に存在していれば、エッジの年齢を０に戻す



second winner

第1勝者のエッジの年齢を増やし、閾値以上
winner in LTM
the first winner.
NO
New knowledge?
Eliminate old edges

の年齢のエッジは削除する YES

NO

第１勝者が持つ全てのエッジの年齢を１だけ増やす Reset age of edge

winner
YES

もし、閾値以上の年齢になったエッジが存在すれば、そのエッジは削除する



提案手法～学習フェーズ～ conjunctive of literals the first winner and the
second winner

エッジを1本以下しかもたないif-then
winner in LTM
the first winner.
NO
New knowledge?

ルールを長期記憶から削除する
Eliminate old edges
YES

NO

エッジを1本以下しかもたないif-thenルールが Reset age of edge

長期記憶から削除される
winner
YES

Long Term Memory

このステップの後は・・・
 新たな学習データがまた存在していれば、その学習データについて処理を始める
 新たに学習データが存在しなければ、処理は終了


提案手法
推論フェーズ


提案手法～推論フェーズ～
推論フェーズの概要
ファクトとして「A∧B」や「C」といった命題が入力される

ファクトと、長期記憶に蓄積されているif-thenルールを用いて
推論を行う

推論結果はOR木として出力される


推論結果の出力形態と、推論結果の例
提案手法はOR木を推論結果として出力する

＜例＞
長期記憶としてA∧B→C∨(D∧¬E)，C→F∨G∨(H∧I)，D∧¬E→¬Jを保持して
いるとする
このとき、A∧Bがファクトとして入力されたときには下図のOR木が出力される

出力されるOR木の例
A∧B

C D∧￢E

F G H∧￢I ￢J



推論フェーズのフローチャート

Generate a tree which has
single node holding input Add conclusion parts
corresponding to the
similar conditioning parts
Find conditioning parts
as child nodes
similar to input

Similar conditioning Find conditioning parts
part exists? similar to leafs of the tree

YES


提案手法～推論フェーズ～ Find conditioning parts
similar to input
as child nodes

ファクトを保持する根のみを持つ木を生成 Similar conditioning Find conditioning parts

YES

まず、入力されたファクトを保持するノードを
根とする木を生成する

＜例＞
A∧Bがファクトとして入力されたとき、下図の木が生成される

生成されるOR木

A∧B


提案手法～推論フェーズ～ Generate a tree which has

該当する長期記憶のif-thenルールの結論部を Find conditioning parts
similar to input
as child nodes

子ノードに追加 Similar conditioning Find conditioning parts

YES

ファクトと、長期記憶のif-thenルールの条件部の距離を
計算する
距離が閾値以下であるif-thenルールの結論部を子ノードとして追加する

＜例＞
長期記憶としてA∧B→C、 A∧B→(D∧¬E)が存在するとき、下図のようになる


A∧B

C D∧￢E


提案手法～推論フェーズ～ Find conditioning parts
similar to input
as child nodes

生成された子ノードについて、同様の処理を行う Similar conditioning Find conditioning parts

YES

生成された子ノードと、長期記憶のif-thenルールの
条件部の距離を計算する
距離が閾値以下であるif-thenルールの結論部を子ノードとして追加する

＜例＞
長期記憶としてC→F, C→G, C→(H∧I), D∧¬E→¬Jがあれば、下図となる

A∧B

C D∧￢E

F G H∧￢I ￢J


実験


実験
利用した画像
パターン情報として以下のような画像を利用した

A. Close door B. Open door C. Lab. D. Wall E. Hallway

F. Elevator G. Desk-1 H. Desk-2 I. Desk drawer-1 J. Desk drawer-2
(close) (close)

K. Desk drawer-1 L. Desk drawer-2 M. Down stairs N. Room plate
(open) (open)


実験
利用した画像
それぞれの対象について、異なったアングルから撮影した20枚の画像を用いた


学習したif-thenルール
以下のような知識を学習させた
 閉じたドア→開いたドア
 開いたドア→壁∨廊下
 廊下→（研究室∧表札）∨エレベータ∨階段
 （研究室∧表札）→（机1∧閉まった引出し1）∨（机2∧閉まった引出し2）
 （机１∧閉まった引出し１）→開いた引出し１

これは環境の可能性を学習したことにあたる。


推論結果

∧

∧ ∧


各クラスタのメンバー数


ノイズ耐性


まとめ
以下のような特徴を持つ自己増殖型ニューラルネットワークを拡張した、パ
ターン情報ベースの推論機を提案した
 連言、選言、否定を扱うことができる

 パターン情報を多値ベクトルで表現できる

 オンラインで追加学習が行える

 ノイズ耐性を持つ


SOINN PBR

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a SOINN PBR

Semelhante a SOINN PBR (20)

Mais de SOINN Inc.

Mais de SOINN Inc. (7)

SOINN PBR