O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

生活支援ロボットにおける 大規模データ収集に向けて

764 visualizações

Publicada em

20190324
インテリジェントホームロボティクス研究会講演資料

Publicada em: Tecnologia
  • Seja o primeiro a comentar

生活支援ロボットにおける 大規模データ収集に向けて

  1. 1. 生活支援ロボットにおける 大規模データ収集に向けて 国立研究開発法人 情報通信研究機構(NICT) 杉浦 孔明
  2. 2. 背景: ロボティクスにおける大規模データの利用は進んでいない • Deep neural networks (DNNs) で 様々な応用が可能になった • 大規模データが存在 From apple.com VoiceTra by NICT (>300万ダウンロード) 画像処理&言語処理 ロボティクス By Google Research • 小規模データしか使えない研 究が多いため、DNN構造を洗練 させるメリットが不明 たくさんロボットを 持っていない場合は どうすればいいの?
  3. 3. 合成データによるデータ拡張(data augmentation) • Neuromation(合成データを販売するスタートアップ)が60億円を調達(2018.1) Neuromation Anyverse
  4. 4. いや、シミュレーションと 実機は違うしwww by 有識者
  5. 5. 本当にそうでしょうか? • DeepDrive in Universe [OpenAI, 2017] – ゲームエンジン上の自動運転タスクに おける性能評価プラットフォーム • GraspGAN [Bousmalis+(Google Brain) 17] – シミュレーションデータを変換し、実機 データ(100万学習サンプル)と同等の 性能
  6. 6. World Robot Summit (WRS) 2018/10/17-21 Partner Robot Challenge Virtual Space • 賞金 1位1000万円, 2位300万円, 3位 100万円 • 分野:マルチモーダル言語理解、ジェス チャ認識、マルチモーダル言語生成 • シミュレーションが有用性を持つ領域に 特化 – 100平米レベルの環境を複数(→リグ レッションテストが可能になる) – ランダムに状況を生成して統計的に 有意な結果を得る
  7. 7. VIP視察時にゴリゴリに失敗しており、 実際には余裕はなかった…
  8. 8. HANDYMAN
  9. 9. HandyManタスク • ランダムに生成された指示(移動・物体操作)を実 行するタスク – 例:「キッチンに行ってペットボトルを見つけて、寝室のテー ブルに届けて」 • タスク環境数=14 • 現状のタスク達成率レベル – Ours≒25.6% (359/1400) • 何が技術的に難しいか – 様々な状況への対応 ロボット
  10. 10. タスク設定 • ランダムに配置される物体の把持 – 日用品(既知32種類、未知4種類) • ランダムに選択される家具 – 机・テーブル・棚等(15種類) Go to the living room, grasp the apple and give it to me.” x2
  11. 11. Handymanで、あまり気づかれていない重要要素 1. Erroneous commandがランダムかつ全チームに与えられる 1. 状況例:ユーザはキッチンにビールがないことを知らない 2. Erroneous command例:「キッチンからビールを取ってきて」 2. リグレッションテストが可能 1. ダメな例: 1. RoboCup 2017では手法Aが良好。RoboCup 2018では手法Bが良好 2. 「で、結局AとBはどちらが良いの?」→わからない 2. WRS2020において、全く新しい環境のみで順位を決めると同じ轍を踏む 1. これまでに作成したすべての環境での性能で順位を決めると良い
  12. 12. なぜErroneous commandは、重要なのか? ロボカップ@ホームの通常タスク 以下のタスクを設定するとどうなる? • Erroneous commandなし • 実行可能なコマンドが与えられる ことが保証されている • 例:[Iocchi+15], [Hatori 18]等 その結果、どうなるか • False negativeが多い手法(=「な い」という予測の精度が悪い)を用 いても、他チームと差がつかない。 • 永遠に探し続ける戦略をとっておけ ば十分なので、 False negative減少 のインセンティブがない →研究インセンティブ付与として微妙効用 予測 ある ない 実際 ある +30 (TP) -10 (FN) ない -20 (FP) +50 (TN)
  13. 13. なぜErroneous commandは、重要なのか? RoboCup@Home GPSRタスク 以下のタスクを設定するとどうなる? • Erroneous commandのみ • ロボットが実行可能なコマンドが 与えられないことを知っている • 例:GPSR category 3 [Sugiura+, 2009] その結果、どうなるか • 探索は無意味とチームが知っている • ロボットは探すフリだけして、「見 つからなかった」と宣言すればよい。 →研究インセンティブ付与として全く ダメ →単に不公平が生まれただけ(偶然要 素、試行数少、選択しないチーム等) 効用 予測 ある ない 実際 ある +30 (TP) -10 (FN) ない -20 (FP) +50 (TN)
  14. 14. Q. なぜErroneous commandは、重要なのか? A. 実用的インセンティブ(ベネフィット・確度・工数のバランス)を与えるから。 Handymanタスク • 14試行のうち、いつErroneous commandが指示されるかわからな い • 全チームに等しくErroneous commandが出現 チームは常に以下を考える必要がある • 「ある」という予測の場合 – (衝突しないなら)把持にトライ • 探索後、「ない」という予測の場合 – 確度が高い→「ない」と宣言 – 確度が低い→再探索かgive up →つまり、どの方向性が強化されるか? • 探索カバレッジと予測精度の向上 • 確度とベネフィット(と工数)のバランス 効用 予測 ある ない 実際 ある +30 (TP) -10 (FN) ない -20 (FP) +50 (TN)
  15. 15. タスク設計の改善アイディアを勝手に考えてみた Handyman 現在の問題 1. ルールベースの指示文生成なので、言語 理解手法の優劣がつかない 2. Placing成功=30点に対して、衝突すると- 200点以上のペナルティを受ける可能性 1. Placingをトライしないほうが良い 3. 移動スコアを獲得してすぐにgive upする 手法で280点取れる 1. 2位のスコアは220点だった。把持ま で実装したチームが報われないのは変 解決アイディア 1. 指示文を40環境x3名から収集し、 その中から本番用を選定する 1. いきなり本番だと統計的傾向が わからないので、練習用テスト セットも100文規模で準備する 2. 多くの要素を成功させるように、 インセンティブを与えるべき 1. 把持=50→200点、Placing= 30→300点がよい
  16. 16. INTERACTIVE CLEANUP
  17. 17. 2. Interactive Cleanup • 直示表現の参照解決と物体操作を実行するタスク – 例:「それをそっちに置いて」 • タスク環境数=20 • 現状のタスク達成率レベル – Ours≒9.75% (195/2000) • 何が技術的に難しいか – リアルタイム人追従 ロボット視点第三者視点
  18. 18. Team NICTの手法 • 人追従:ヒューリスティックな手 法 • 人姿勢推定:OpenPose [Cao+ CVPR17] • 物体検出:YOLO [Redmon+ 16] • 時間切れで諦めた機能 – End-to-end人追従→高速化まで 至らず。 – 3次元位置推定 – 床上オブジェクトの回避
  19. 19. タスク設計の改善アイディアを勝手に考えてみた Interactive Cleanup 現在の問題点 • 研究的な新しさが不明 – 指差しは20年以上ロボティクス で取り組まれている • WoZ条件でタスクを実行しても高 タスク達成率を取れない – 他人が見ると、どれを指してい るか当てるのは困難 解決アイディア • 人追従か、片付けのどちらかに フォーカスする • WOZ条件での性能を測定し、難易 度が高すぎるのであれば調整する
  20. 20. HUMAN NAVIGATION
  21. 21. Human Navigation • 記述表現に関する自然言語生成タスク – 例:「テーブルの上にある一番左のペットボトルを取って」 • タスク環境数=28 • 現状のタスク達成率レベル – Ours≒49.8% (2232/4480) • 何が技術的に難しいか – マルチモーダル言語生成
  22. 22. DNNを用いたマルチモーダル言語処理の関連研究: Image captioningとVisual Question Answering • Image captioning – 入力:画像 → 出力:説明文 • モデルの例 – CNNで特徴抽出し、LSTMで文生成 • Visual QA [Agrawal+ ICCV15] – 入力:画像+質問 → 出力:回答 – 例:”How many horses are in the image?” -> “2” • モデルの例 – 画像をCNN、回答文をLSTMで特徴抽出 – 注意機構を加える例もある
  23. 23. DNNを用いたマルチモーダル言語処理の関連研究 Navigation, Picking, Placing • Vision-and-Language Navigation [Anderson+ CVPR18] – 入力:指示文+画像、出力:waypoint • Picking, Placing – 入力:RGB(D)+指示 →出力: Target/Destination • モデルの例 – Joint Speaker Listener Reinforcer Model [Yu+ 16] [Hatori+ 18] – MMC-GAN[Magassouba+18]
  24. 24. Team NICTの手法 1. 距離を使った指示 1. 例: “Move 2.0 meter to the left.” 2. 優先度付きフラグ更新と有限状態機 械による対話管理 1. 雑に作ると状態と機能が密結合し て、思わぬバグを仕込むので注意 3. 参照表現生成 1. 提案:Position-dependent LSTM 2. 例:“Apple in the middle” “Move 5.0 meters to your right, and 2.5 meters straight”
  25. 25. マルチモーダル記述表現生成 Position-dependent LSTM • 入力:オブジェクトカテゴリ+位置 • 出力:言語表現 正解は、3つあるappleのうち真ん中。 1回目の生成では”apple in the middle”と 生成されたがユーザが別のオブジェクト を把持。2回目は、”Apple in the right side”と生成された
  26. 26. 対話(タスク)管理の状態遷移図 • ステップ毎に、センサ入力・状態遷移・行動出力ループを回す • 比較的少ない状態数で管理したので、問題を切り分けやすい ※よくある誤り:状態遷移図・表を書かない、ユーザの行動をトリガにする、等
  27. 27. タスク設計の改善アイディアを勝手に考えてみた Human Navigation 現在の問題 1. 被験者の頭部方向が取得できない 1. 頭部は高速に動くので、”grasp the right apple”と生成しても、すでに違 う方向を向いている場合が多い 2. タスクが現実的でない – 取ってきてほしいものの座標がわかっ ているならHSRが取りに行けば良い 解決アイディア 1. 被験者のBody方向を取得できるようにす る 2. 被験者の見ている画像を入力とする 1. 画像から指示文を生成するタスク 3. 文生成はタスク生成に使える! 1. Finalで提案した敵対的データ拡張
  28. 28. タスク設計の改善アイディアを勝手に考えてみた Final 現在の問題 1. デモスコアは除いて順位を決めたほうが よい – ILSVRCで「1位はデモの評価で決まり ます」と言われたらどう思うか? – 説明が難しい • 記者「タスク達成率が1位のチー ムが優勝するんですね」 • 参加者「いや、最終的にはデモも 加えて評価します」 • 記者「…」 解決アイディア 1. Finalはデモ評価でなく、タスク評価にし たほうがよい 2. デモ自体をやめると研究フレーバーが消 えるのでやめたほうがよい 1. デモ用の賞を用意して、順位とは分離 する
  29. 29. 1. シミュレーションによるデータ拡張 2. Handymanの手法・タスク改善案 3. Interactive Cleanupの手法・タスク改善案 4. Human Navigationの手法・タスク改善案 まとめ 謝辞:本研究にサポートをいただきました※50音順 • 研究助成(JST CREST、総務省SCOPE) • 共同研究機関(トヨタ自動車)

×