東北大学講義資料実世界における自然言語処理 - すべての人にロボットを - 坪井祐太　

1. 実世界における自然言語処理すべての人にロボットを株式会社 Preferred Networks 坪井祐太

2. 自己紹介 – 坪井祐太 • 経歴 • 2002年奈良先端科学技術大学院大学(NAIST) 修士課程 • ~ 2016年日本アイ・ビー・エム株式会社 • 2009年 NAIST 博士（工学）- 社会人博士 • 2016年 ~ 株式会社 Preferred Networks • 博士論文の専門分野: 自然言語処理 • 現在: パーソナルロボットの研究開発 2 https://www.kspub.co.jp/book/ detail/1529243.html https://www.morikita.co.jp/books /book/3034

3. 本日の講義の内容 • 実世界におけるインタラクティブな物体指示 • 小休止: 大企業とベンチャーの研究開発 • 全自動お片付けロボット • パーソナルロボット 3

4. 実世界におけるインタラクティブな物体指示 https://projects.preferred.jp/interactive-robot/

5. 言語処理の応用領域の変化 • これまで: テキストや閉じた仮想空間上での処理 • これから: 物理的な実世界での処理 5

6. 言語指示によるロボット実行タスク 👨👨: ねぇ，そこのフワフワした茶色のものを下の箱に入れて 🤖🤖: どちらのことでしょうか? 👨👨: ホワイトボード消しの隣の方 🤖🤖: 承知しました

7. 実世界におけるロボット指示の課題 • 課題1: 実世界を表す表現の多様性 • 課題2: 曖昧性を含んだ表現 7 テディベア茶色の人形柔らかさそうなものくまを掴んで上の箱に入っている上下逆さな人形くまを動かして茶色のもの犬の人形?

8. ネットワーク構成 embedding MLP 音声入力 (テキストに変換) CNN MLP 切り取られた画像 🎤🎤赤いボトルを上の箱に移して embedding LSTM 画像 (RGB) SSD 目標移動先 LSTM MLP 目標物体 End-to-endの深層学習を用いた画像・言語理解により，単語や文法の事前設定・ルールを必要としないモデル

9. 曖昧性の扱い • 物体と指示文の組のスコアをヒンジ関数で計算 [Yu+ 2017] • スコアが閾値以下であれば曖昧であると判断 🎤🎤茶色のフワフワしたものを右下の箱に入れて CNN MLP CNN MLPMLP LSTM 2位 1位3位… スコアの差を計算

10. データ作成：PFN-PIC grab the human face labeled object and … move the pop red can from the top … move the pink horse plushie … put the box with a 50 written on it that is … 1180シーン画像 (約26000物体) 約100種類（日用品）の物体英語：91,590文，日本語：77,770文（クラウドソーシングにより，各画像に対して最低３人が文章を付与）おにぎりを作るやつを横に動かしてなんか白い丸いものを右に … 手前のオレンジのボールを … MONOの隣の水色の箱を斜めに … https://github.com/pfnet-research/picking-instruction にて公開中

11. ロボット環境 • 物体位置への移動は逆運動学 • 把持はバキュームロボット深度カメラバキュームエンドエフェクタ箱圧力センサ電磁弁チューブ

12. 実験結果 • 英語指示で4.7ポイントの向上（39.2%の誤り削減） • 日本語指示で3.1ポイントの向上（16.3%の誤り削減） • 言語毎の作業者の国や文化の違い e.g. 薄板消しは英語では名前，日本語では形状と色で表現 →１つの言語のデータを集めて翻訳では不十分物体移動タスクの対象物体精度聞き返しなし聞き返しあり英語指示 88.0% 92.7% 日本語指示 81.0% 84.1%

13. 1x

14. 拡張現実（AR）による曖昧物体の提示 • 光の円で対象物体を囲んで点滅させることで強調 • 移動先を矢印で提示ヘッドマウントディスプレイを用いて可視化

15. まとめ • 話し言葉指示による曖昧性を含んだ物体ピッキングシステムを提案 • 聞き返しによる曖昧性の解消 • 英語指示92.7% （39.2%の誤り削減），日本語指示 84.1% （16.3%の誤り削減） • 拡張現実（AR）による可視化の試み

16. ICRAでBest Paper Award(HRI部門) 受賞 • ICRA – International Conference on Robotics and Automation – ロボット分野のトップ会議 – 個人的には国際会議で論文賞は初 16

17. 小休止: 大企業とベンチャーの研究開発 • 共通点 • 相違点 17

18. Preferred Networks, Inc. (PFN)  設立：2014年3月  所在地：東京都千代田区大手町（日本）、カリフォルニア州バークレー（米国）  従業員数：約200名（2019年01月現在） • 事業内容: 交通システム、産業用ロボット、バイオヘルスケアなど 18

19. 株式会社 Preferred Networks 19

20. 後半 20

21. 全自動お片付けタスク設定 ● 一般的な家具のあるリビング ● テーブル・ソファー・本棚 ● ゴミ箱・洗濯かご・おもちゃ箱 ● 2台のロボットが自律動作して散らかった部屋を片付ける ● ロボットはToyota HSR（Human Support Robot） ● 片付け先はあらかじめ決まっているが人の指示でも変えたい

22. お片付けロボットを支える技術 • 物体認識(Object Detection)技術 • Human-robot Interaction (HRI) 技術 22

23. 様々な配置

24. 物体認識システム ● センサー類 ○ HSRカメラ (RGBD) ○ 4台の天井カメラ (RGB) ● PFDetをベースとして使用 ○ Open Images Challengeで2位 ○ 64 GPUで並列分散学習(ChainerMN)

25. 物体認識システムの概要・実績認識モデル ● 対応物体数：~300（家具やロボットなども含む） ● 物体認識精度：0.9 mIoU（segmentation task） ● 照明条件変化や密集した配置に対する頑健性ロボットシステム • 片付け速度：分速1.9物体（CEATECでの実績） • 把持成功率：~90%

26. 物体認識システムの頑健性 Thin Dense

27. 典型的なエラー例マンゴー vs レモン人を物体と誤認識白飛び高密度な配置の際の認識抜け

28. Human–Robot Interaction (HRI) 技術 • HRI関連機能 ● 片付け先をリアルタイムで変更 ● 部屋の中の物体の検索 ● 優先片付け場所の指定 • 使われている技術 – 音声認識・自然言語処理 – ジェスチャー認識

31. UI / AR QA about trashing3D room view

32. CEATEC JAPAN 2018 (Oct 16–19, 2018)

33. インダストリ／マーケット部門準グランプリ 34

34. 全自動お片付けロボットまとめ ● 物体認識とHuman–Robot Interaction技術によって一般家庭での応用が近い将来現実のものに ● インパクト ● 現実世界の物体管理・操作が可能になる ● 今後の課題 ● あらゆる物体の認識 ● 様々な環境への一般化 ● 簡単にセットアップできる仕組み ● 安全性

35. “Robots for Everyone” CEATEC JAPAN 2018＠幕張メッセ 2018年10月16日

36. パーソナルロボット • 様々な実世界のタスクをこなし、世界のありとあらゆる場所で活躍する • パーソナルコンピュータのような汎用性・使い勝手・市場の広がりを持った新たな産業を目指す 37

37. 38

38. パーソナルロボット実現のために必要となる技術領域の例 • Robotics – Manipulation – Navigation – Planning – Simulation – Hardware / Mechanics • Software engineering – System architecture – Network architecture – Continuous integration ● Vision ○ Object recognition/tracking ○ Pose estimation ○ 3D modeling ● Human–Robot Interaction ○ Speech recognition/ synthesis ○ Dialog understanding/generation ○ UI / AR / VR ○ Human recognition

39. Manipulation/Simulation/3D modelingの研究トレンド例 Simulation環境からのDomain Adaptation • 実ロボットによる訓練データ作成は高コスト 40 図: https://ai.googleblog.com/2018/06/scalable- deep-reinforcement-learning.html シミュレーション環境を実環境に変換図:https://arxiv.org/abs/170 9.07857 シミュレーション・実環境を正規化された表現に変換図:https://arxiv.org/abs/1 812.07252

40. まとめ • パーソナルロボットには新しい産業を生み出す可能 – 大型計算機からパーソナルコンピュータへのアナロジー – 家庭内だけでなく、働き方を変える可能性 • ロボットを実現する技術は総合格闘技 – パーソナルロボットの実現のためにあらゆる技術を結集させる必要がある – ソフトウェア技術者の活躍の場も大いにある 41

41. コンピュータサイエンスの全分野に精通 • 学び続ける – 天才は努力するものに勝てない • 新しいことを学ぶのは楽しい – 努力するものは楽しむものに勝てない • 自然言語処理（デジタルな記号列だけを処理することが多かった）  ロボティックスセンサー・マニュピレータ（アナログデジタル） 42 孔子論語（雍也第六の二十）

42. 実用化に向けて様々な応用の実現を可能にするツールの提供を目指す • 料理の手伝い・配膳・ • 片付け • 家の中の物を探す・とってくる • 洗濯・折りたたみ・収納 • 見守り・一緒に遊ぶ 43

東北大学講義資料実世界における自然言語処理 - すべての人にロボットを - 坪井祐太

Esté a ler uma amostra.

Confira estes a seguir

東北大学講義資料実世界における自然言語処理 - すべての人にロボットを - 坪井祐太

Mais Conteúdo rRelacionado

Diapositivos para si (20)

Semelhante a 東北大学講義資料実世界における自然言語処理 - すべての人にロボットを - 坪井祐太　 (20)

Mais de Preferred Networks (20)

Mais recentes (20)