生活支援ロボットにおける
大規模データ収集に向けて
国立研究開発法人 情報通信研究機構（NICT）
杉浦 孔明

背景： ロボティクスにおける大規模データの利用は進んでいない
• Deep neural networks (DNNs) で
様々な応用が可能になった
• 大規模データが存在
From apple.com VoiceTra by NICT
(>300万ダウンロード)
画像処理＆言語処理 ロボティクス
By Google Research
• 小規模データしか使えない研
究が多いため、DNN構造を洗練
させるメリットが不明
たくさんロボットを
持っていない場合は
どうすればいいの？

合成データによるデータ拡張（data augmentation）
• Neuromation（合成データを販売するスタートアップ）が60億円を調達（2018.1）
Neuromation Anyverse

いや、シミュレーションと
実機は違うしwww
by 有識者

本当にそうでしょうか？
• DeepDrive in Universe [OpenAI, 2017]
– ゲームエンジン上の自動運転タスクに
おける性能評価プラットフォーム
• GraspGAN [Bousmalis+(Google Brain) 17]
– シミュレーションデータを変換し、実機
データ（100万学習サンプル）と同等の
性能

World Robot Summit (WRS) 2018/10/17-21
Partner Robot Challenge Virtual Space
• 賞金 １位1000万円, ２位300万円, ３位
100万円
• 分野：マルチモーダル言語理解、ジェス
チャ認識、マルチモーダル言語生成
• シミュレーションが有用性を持つ領域に
特化
– 100平米レベルの環境を複数（→リグ
レッションテストが可能になる）
– ランダムに状況を生成して統計的に
有意な結果を得る

VIP視察時にゴリゴリに失敗しており、
実際には余裕はなかった…

HANDYMAN

HandyManタスク
• ランダムに生成された指示（移動・物体操作）を実
行するタスク
– 例：「キッチンに行ってペットボトルを見つけて、寝室のテー
ブルに届けて」
• タスク環境数＝14
• 現状のタスク達成率レベル
– Ours≒25.6% (359/1400)
• 何が技術的に難しいか
– 様々な状況への対応
ロボット

タスク設定
• ランダムに配置される物体の把持
– 日用品（既知32種類、未知4種類）
• ランダムに選択される家具
– 机・テーブル・棚等（15種類）
Go to the living
room, grasp the
apple and give
it to me.”
x2

Handymanで、あまり気づかれていない重要要素
1. Erroneous commandがランダムかつ全チームに与えられる
1. 状況例：ユーザはキッチンにビールがないことを知らない
2. Erroneous command例：「キッチンからビールを取ってきて」
2. リグレッションテストが可能
1. ダメな例：
1. RoboCup 2017では手法Aが良好。RoboCup 2018では手法Bが良好
2. 「で、結局AとBはどちらが良いの？」→わからない
2. WRS2020において、全く新しい環境のみで順位を決めると同じ轍を踏む
1. これまでに作成したすべての環境での性能で順位を決めると良い

なぜErroneous commandは、重要なのか？
ロボカップ＠ホームの通常タスク
以下のタスクを設定するとどうなる？
• Erroneous commandなし
• 実行可能なコマンドが与えられる
ことが保証されている
• 例：[Iocchi+15], [Hatori 18]等
その結果、どうなるか
• False negativeが多い手法（＝「な
い」という予測の精度が悪い）を用
いても、他チームと差がつかない。
• 永遠に探し続ける戦略をとっておけ
ば十分なので、 False negative減少
のインセンティブがない
→研究インセンティブ付与として微妙効用
予測
ある ない
実際
ある +30 (TP) -10 (FN)
ない -20 (FP) +50 (TN)

なぜErroneous commandは、重要なのか？
RoboCup@Home GPSRタスク
以下のタスクを設定するとどうなる？
• Erroneous commandのみ
• ロボットが実行可能なコマンドが
与えられないことを知っている
• 例：GPSR category 3 [Sugiura+, 2009]
その結果、どうなるか
• 探索は無意味とチームが知っている
• ロボットは探すフリだけして、「見
つからなかった」と宣言すればよい。
→研究インセンティブ付与として全く
ダメ
→単に不公平が生まれただけ（偶然要
素、試行数少、選択しないチーム等）
効用
予測
ある ない
実際
ある +30 (TP) -10 (FN)
ない -20 (FP) +50 (TN)

Q. なぜErroneous commandは、重要なのか？
A. 実用的インセンティブ（ベネフィット・確度・工数のバランス）を与えるから。
Handymanタスク
• 14試行のうち、いつErroneous
commandが指示されるかわからな
い
• 全チームに等しくErroneous
commandが出現
チームは常に以下を考える必要がある
• 「ある」という予測の場合
– （衝突しないなら）把持にトライ
• 探索後、「ない」という予測の場合
– 確度が高い→「ない」と宣言
– 確度が低い→再探索かgive up
→つまり、どの方向性が強化されるか？
• 探索カバレッジと予測精度の向上
• 確度とベネフィット（と工数）のバランス
効用
予測
ある ない
実際
ある +30 (TP) -10 (FN)
ない -20 (FP) +50 (TN)

タスク設計の改善アイディアを勝手に考えてみた
Handyman
現在の問題
1. ルールベースの指示文生成なので、言語
理解手法の優劣がつかない
2. Placing成功＝30点に対して、衝突すると-
200点以上のペナルティを受ける可能性
1. Placingをトライしないほうが良い
3. 移動スコアを獲得してすぐにgive upする
手法で280点取れる
1. ２位のスコアは220点だった。把持ま
で実装したチームが報われないのは変
解決アイディア
1. 指示文を40環境x3名から収集し、
その中から本番用を選定する
1. いきなり本番だと統計的傾向が
わからないので、練習用テスト
セットも100文規模で準備する
2. 多くの要素を成功させるように、
インセンティブを与えるべき
1. 把持＝50→200点、Placing＝
30→300点がよい

INTERACTIVE CLEANUP

2. Interactive Cleanup
• 直示表現の参照解決と物体操作を実行するタスク
– 例：「それをそっちに置いて」
• タスク環境数＝20
• 現状のタスク達成率レベル
– Ours≒9.75% (195/2000)
• 何が技術的に難しいか
– リアルタイム人追従
ロボット視点第三者視点

Team NICTの手法
• 人追従：ヒューリスティックな手
法
• 人姿勢推定：OpenPose [Cao+
CVPR17]
• 物体検出：YOLO [Redmon+ 16]
• 時間切れで諦めた機能
– End-to-end人追従→高速化まで
至らず。
– ３次元位置推定
– 床上オブジェクトの回避

タスク設計の改善アイディアを勝手に考えてみた
Interactive Cleanup
現在の問題点
• 研究的な新しさが不明
– 指差しは20年以上ロボティクス
で取り組まれている
• WoZ条件でタスクを実行しても高
タスク達成率を取れない
– 他人が見ると、どれを指してい
るか当てるのは困難
解決アイディア
• 人追従か、片付けのどちらかに
フォーカスする
• WOZ条件での性能を測定し、難易
度が高すぎるのであれば調整する

HUMAN NAVIGATION

Human Navigation
• 記述表現に関する自然言語生成タスク
– 例：「テーブルの上にある一番左のペットボトルを取って」
• タスク環境数＝28
• 現状のタスク達成率レベル
– Ours≒49.8% (2232/4480)
• 何が技術的に難しいか
– マルチモーダル言語生成

DNNを用いたマルチモーダル言語処理の関連研究：
Image captioningとVisual Question Answering
• Image captioning
– 入力：画像 → 出力：説明文
• モデルの例
– CNNで特徴抽出し、LSTMで文生成
• Visual QA [Agrawal+ ICCV15]
– 入力：画像＋質問 → 出力：回答
– 例：”How many horses are in the
image?” -> “2”
• モデルの例
– 画像をCNN、回答文をLSTMで特徴抽出
– 注意機構を加える例もある

DNNを用いたマルチモーダル言語処理の関連研究
Navigation, Picking, Placing
• Vision-and-Language Navigation
[Anderson+ CVPR18]
– 入力：指示文＋画像、出力：waypoint
• Picking, Placing
– 入力：RGB(D)＋指示 →出力：
Target/Destination
• モデルの例
– Joint Speaker Listener Reinforcer Model
[Yu+ 16] [Hatori+ 18]
– MMC-GAN[Magassouba+18]

Team NICTの手法
1. 距離を使った指示
1. 例: “Move 2.0 meter to the left.”
2. 優先度付きフラグ更新と有限状態機
械による対話管理
1. 雑に作ると状態と機能が密結合し
て、思わぬバグを仕込むので注意
3. 参照表現生成
1. 提案：Position-dependent LSTM
2. 例：“Apple in the middle”
“Move 5.0 meters to
your right, and 2.5
meters straight”

マルチモーダル記述表現生成
Position-dependent LSTM
• 入力：オブジェクトカテゴリ＋位置
• 出力：言語表現
正解は、３つあるappleのうち真ん中。
１回目の生成では”apple in the middle”と
生成されたがユーザが別のオブジェクト
を把持。２回目は、”Apple in the right
side”と生成された

対話（タスク）管理の状態遷移図
• ステップ毎に、センサ入力・状態遷移・行動出力ループを回す
• 比較的少ない状態数で管理したので、問題を切り分けやすい
※よくある誤り：状態遷移図・表を書かない、ユーザの行動をトリガにする、等

タスク設計の改善アイディアを勝手に考えてみた
Human Navigation
現在の問題
1. 被験者の頭部方向が取得できない
1. 頭部は高速に動くので、”grasp the
right apple”と生成しても、すでに違
う方向を向いている場合が多い
2. タスクが現実的でない
– 取ってきてほしいものの座標がわかっ
ているならHSRが取りに行けば良い
解決アイディア
1. 被験者のBody方向を取得できるようにす
る
2. 被験者の見ている画像を入力とする
1. 画像から指示文を生成するタスク
3. 文生成はタスク生成に使える！
1. Finalで提案した敵対的データ拡張

タスク設計の改善アイディアを勝手に考えてみた
Final
現在の問題
1. デモスコアは除いて順位を決めたほうが
よい
– ILSVRCで「１位はデモの評価で決まり
ます」と言われたらどう思うか？
– 説明が難しい
• 記者「タスク達成率が１位のチー
ムが優勝するんですね」
• 参加者「いや、最終的にはデモも
加えて評価します」
• 記者「…」
解決アイディア
1. Finalはデモ評価でなく、タスク評価にし
たほうがよい
2. デモ自体をやめると研究フレーバーが消
えるのでやめたほうがよい
1. デモ用の賞を用意して、順位とは分離
する

1. シミュレーションによるデータ拡張
2. Handymanの手法・タスク改善案
3. Interactive Cleanupの手法・タスク改善案
4. Human Navigationの手法・タスク改善案
まとめ
謝辞：本研究にサポートをいただきました※５０音順
• 研究助成（JST CREST、総務省SCOPE）
• 共同研究機関（トヨタ自動車）