Enviar pesquisa
Carregar
Unity道場 ロボティクス 秋のLT祭り 2021
•
0 gostou
•
149 visualizações
R
Ryo Kabutan
Seguir
21:17-21:29 LT6 UnityとROSの連携について
Leia menos
Leia mais
Ciências
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 14
Baixar agora
Baixar para ler offline
Recomendados
現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Mee...
現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Mee...
Yusuke Furuta
【Unity道場 建築スペシャル2】BIMの“I”の使い方
【Unity道場 建築スペシャル2】BIMの“I”の使い方
UnityTechnologiesJapan002
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
UnityTechnologiesJapan002
myCobotがある生活
myCobotがある生活
Ryo Kabutan
Moveitを使ったアプリケーションの紹介
Moveitを使ったアプリケーションの紹介
Ryodo Tanaka
MoveItの新機能、 pilz industrial motion を試してみた
MoveItの新機能、 pilz industrial motion を試してみた
Ryo Kabutan
ROSのロボットモデルでバーチャルロボット受肉する
ROSのロボットモデルでバーチャルロボット受肉する
UnityTechnologiesJapan002
roslaunch test + industrial_ci
roslaunch test + industrial_ci
Ryodo Tanaka
Recomendados
現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Mee...
現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Mee...
Yusuke Furuta
【Unity道場 建築スペシャル2】BIMの“I”の使い方
【Unity道場 建築スペシャル2】BIMの“I”の使い方
UnityTechnologiesJapan002
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
UnityTechnologiesJapan002
myCobotがある生活
myCobotがある生活
Ryo Kabutan
Moveitを使ったアプリケーションの紹介
Moveitを使ったアプリケーションの紹介
Ryodo Tanaka
MoveItの新機能、 pilz industrial motion を試してみた
MoveItの新機能、 pilz industrial motion を試してみた
Ryo Kabutan
ROSのロボットモデルでバーチャルロボット受肉する
ROSのロボットモデルでバーチャルロボット受肉する
UnityTechnologiesJapan002
roslaunch test + industrial_ci
roslaunch test + industrial_ci
Ryodo Tanaka
Techman ros package
Techman ros package
KoheiMoriguchi
choreonoid_ros_control を実装した話
choreonoid_ros_control を実装した話
Ryodo Tanaka
やってみようAWS IoT (ROS Japan UG #44 LT大会)
やってみようAWS IoT (ROS Japan UG #44 LT大会)
Seiya Shimizu
ARとUnity-Robotics-Hubの連携
ARとUnity-Robotics-Hubの連携
UnityTechnologiesJapan002
ROS JAPAN Users Group Meetup 04
ROS JAPAN Users Group Meetup 04
Daiki Maekawa
ROSを用いた歩行ロボットの脚の開発
ROSを用いた歩行ロボットの脚の開発
ShomaUehara
ROS体験コース
ROS体験コース
NEDOROBOMARC
第4回瀬戸内ROS勉強会LT資料
第4回瀬戸内ROS勉強会LT資料
NaotakaKawata
仮想のPremaidAIを、既存のロボット用ボードで動かしてみた話
仮想のPremaidAIを、既存のロボット用ボードで動かしてみた話
Hirokazu Onomichi
ロボット管理プラットフォーム「 RoboticBase 」の紹介
ロボット管理プラットフォーム「 RoboticBase 」の紹介
Kazuki Urabe
ロボット・ソフトウェア開発環境ROSとは何か? (in Japanese)
ロボット・ソフトウェア開発環境ROSとは何か? (in Japanese)
Toshihiko Yamakami
ROSConJP2019とWMD2019の出張報告!
ROSConJP2019とWMD2019の出張報告!
Hirokazu Onomichi
20211006 ROSJP LT大会 中国のROS企業やコミュニティ
20211006 ROSJP LT大会 中国のROS企業やコミュニティ
Nico-Tech Shenzhen/ニコ技深圳コミュニティ
ROS JAPAN Users Group Meetup 03
ROS JAPAN Users Group Meetup 03
Daiki Maekawa
Unityでロボットの教師データは作れる!
Unityでロボットの教師データは作れる!
UnityTechnologiesJapan002
WRS トンネルチャレンジ 現地からリポートしてみる
WRS トンネルチャレンジ 現地からリポートしてみる
Ryodo Tanaka
i-Cart miniを対象としたつくばチャレンジ用ソフトウェアパッケージの開発
i-Cart miniを対象としたつくばチャレンジ用ソフトウェアパッケージの開発
Daiki Maekawa
第1回ROS勉強会発表資料 ROS+Gazeboではじめるロボットシミュレーション
第1回ROS勉強会発表資料 ROS+Gazeboではじめるロボットシミュレーション
akio19937
瀬戸内ROS勉強会の紹介~地方でROSを勉強するコツ~
瀬戸内ROS勉強会の紹介~地方でROSを勉強するコツ~
Hirokazu Onomichi
Choreonoid+ros
Choreonoid+ros
独立行政法人 産業技術総合研究所
ROSによる今後のロボティクスのあり方
ROSによる今後のロボティクスのあり方
Mori Ken
ロボットサービス開発の現場から
ロボットサービス開発の現場から
Kohei Kojima
Mais conteúdo relacionado
Mais procurados
Techman ros package
Techman ros package
KoheiMoriguchi
choreonoid_ros_control を実装した話
choreonoid_ros_control を実装した話
Ryodo Tanaka
やってみようAWS IoT (ROS Japan UG #44 LT大会)
やってみようAWS IoT (ROS Japan UG #44 LT大会)
Seiya Shimizu
ARとUnity-Robotics-Hubの連携
ARとUnity-Robotics-Hubの連携
UnityTechnologiesJapan002
ROS JAPAN Users Group Meetup 04
ROS JAPAN Users Group Meetup 04
Daiki Maekawa
ROSを用いた歩行ロボットの脚の開発
ROSを用いた歩行ロボットの脚の開発
ShomaUehara
ROS体験コース
ROS体験コース
NEDOROBOMARC
第4回瀬戸内ROS勉強会LT資料
第4回瀬戸内ROS勉強会LT資料
NaotakaKawata
仮想のPremaidAIを、既存のロボット用ボードで動かしてみた話
仮想のPremaidAIを、既存のロボット用ボードで動かしてみた話
Hirokazu Onomichi
ロボット管理プラットフォーム「 RoboticBase 」の紹介
ロボット管理プラットフォーム「 RoboticBase 」の紹介
Kazuki Urabe
ロボット・ソフトウェア開発環境ROSとは何か? (in Japanese)
ロボット・ソフトウェア開発環境ROSとは何か? (in Japanese)
Toshihiko Yamakami
ROSConJP2019とWMD2019の出張報告!
ROSConJP2019とWMD2019の出張報告!
Hirokazu Onomichi
20211006 ROSJP LT大会 中国のROS企業やコミュニティ
20211006 ROSJP LT大会 中国のROS企業やコミュニティ
Nico-Tech Shenzhen/ニコ技深圳コミュニティ
ROS JAPAN Users Group Meetup 03
ROS JAPAN Users Group Meetup 03
Daiki Maekawa
Unityでロボットの教師データは作れる!
Unityでロボットの教師データは作れる!
UnityTechnologiesJapan002
WRS トンネルチャレンジ 現地からリポートしてみる
WRS トンネルチャレンジ 現地からリポートしてみる
Ryodo Tanaka
i-Cart miniを対象としたつくばチャレンジ用ソフトウェアパッケージの開発
i-Cart miniを対象としたつくばチャレンジ用ソフトウェアパッケージの開発
Daiki Maekawa
第1回ROS勉強会発表資料 ROS+Gazeboではじめるロボットシミュレーション
第1回ROS勉強会発表資料 ROS+Gazeboではじめるロボットシミュレーション
akio19937
瀬戸内ROS勉強会の紹介~地方でROSを勉強するコツ~
瀬戸内ROS勉強会の紹介~地方でROSを勉強するコツ~
Hirokazu Onomichi
Choreonoid+ros
Choreonoid+ros
独立行政法人 産業技術総合研究所
Mais procurados
(20)
Techman ros package
Techman ros package
choreonoid_ros_control を実装した話
choreonoid_ros_control を実装した話
やってみようAWS IoT (ROS Japan UG #44 LT大会)
やってみようAWS IoT (ROS Japan UG #44 LT大会)
ARとUnity-Robotics-Hubの連携
ARとUnity-Robotics-Hubの連携
ROS JAPAN Users Group Meetup 04
ROS JAPAN Users Group Meetup 04
ROSを用いた歩行ロボットの脚の開発
ROSを用いた歩行ロボットの脚の開発
ROS体験コース
ROS体験コース
第4回瀬戸内ROS勉強会LT資料
第4回瀬戸内ROS勉強会LT資料
仮想のPremaidAIを、既存のロボット用ボードで動かしてみた話
仮想のPremaidAIを、既存のロボット用ボードで動かしてみた話
ロボット管理プラットフォーム「 RoboticBase 」の紹介
ロボット管理プラットフォーム「 RoboticBase 」の紹介
ロボット・ソフトウェア開発環境ROSとは何か? (in Japanese)
ロボット・ソフトウェア開発環境ROSとは何か? (in Japanese)
ROSConJP2019とWMD2019の出張報告!
ROSConJP2019とWMD2019の出張報告!
20211006 ROSJP LT大会 中国のROS企業やコミュニティ
20211006 ROSJP LT大会 中国のROS企業やコミュニティ
ROS JAPAN Users Group Meetup 03
ROS JAPAN Users Group Meetup 03
Unityでロボットの教師データは作れる!
Unityでロボットの教師データは作れる!
WRS トンネルチャレンジ 現地からリポートしてみる
WRS トンネルチャレンジ 現地からリポートしてみる
i-Cart miniを対象としたつくばチャレンジ用ソフトウェアパッケージの開発
i-Cart miniを対象としたつくばチャレンジ用ソフトウェアパッケージの開発
第1回ROS勉強会発表資料 ROS+Gazeboではじめるロボットシミュレーション
第1回ROS勉強会発表資料 ROS+Gazeboではじめるロボットシミュレーション
瀬戸内ROS勉強会の紹介~地方でROSを勉強するコツ~
瀬戸内ROS勉強会の紹介~地方でROSを勉強するコツ~
Choreonoid+ros
Choreonoid+ros
Semelhante a Unity道場 ロボティクス 秋のLT祭り 2021
ROSによる今後のロボティクスのあり方
ROSによる今後のロボティクスのあり方
Mori Ken
ロボットサービス開発の現場から
ロボットサービス開発の現場から
Kohei Kojima
MLP-Mixer: An all-MLP Architecture for Vision
MLP-Mixer: An all-MLP Architecture for Vision
Kazuyuki Miyazawa
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
NVIDIA Japan
ディープラーニングとROSで作る自動運転ロボット
ディープラーニングとROSで作る自動運転ロボット
Hiroaki Kaneda
第7回WBAシンポジウム:松嶋達也〜自己紹介と論点の提示〜スケーラブルなロボット学習システムに向けて
第7回WBAシンポジウム:松嶋達也〜自己紹介と論点の提示〜スケーラブルなロボット学習システムに向けて
The Whole Brain Architecture Initiative
マルチデバイスに対応するためのAuto layout
マルチデバイスに対応するためのAuto layout
asakahara
Robomec2014 rtm講習会第1部(その1)
Robomec2014 rtm講習会第1部(その1)
openrtm
130522 00
130522 00
openrtm
OSS Market Momentum In Japan
OSS Market Momentum In Japan
MKT International Inc.
デブサミ2017【17-E-5】エンタープライズにおけるDevOpsの実態!Cloud Native Application Platformの選択
デブサミ2017【17-E-5】エンタープライズにおけるDevOpsの実態!Cloud Native Application Platformの選択
Shingo Kitayama
株式会社アイ・ロボティクス サービス概要資料 2111
株式会社アイ・ロボティクス サービス概要資料 2111
TAKUYATERAMOTO1
東大大学院 戦略ソフトウェア特論2021「ロボットで世界を計算可能にする」海野裕也
東大大学院 戦略ソフトウェア特論2021「ロボットで世界を計算可能にする」海野裕也
Preferred Networks
Smfl20201001
Smfl20201001
三井住友ファイナンス&リース デジタル開発室
社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~
社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~
Hitachi, Ltd. OSS Solution Center.
#2祖父と孫をつなぐ
#2祖父と孫をつなぐ
Toshiko-Seki
2022国際ロボット展に見る産業用ロボットの最新技術動向
2022国際ロボット展に見る産業用ロボットの最新技術動向
豆寄席 (株式会社豆蔵)
ネットワーク分散型フレームワークConView
ネットワーク分散型フレームワークConView
Rakuten Group, Inc.
Io t,ai時代のソフトウェア
Io t,ai時代のソフトウェア
Toshiaki Kurokawa
R04_WHITEROOM ではじめるコラボレーティブコンピューティング [Microsoft Japan Digital Days]
R04_WHITEROOM ではじめるコラボレーティブコンピューティング [Microsoft Japan Digital Days]
日本マイクロソフト株式会社
Semelhante a Unity道場 ロボティクス 秋のLT祭り 2021
(20)
ROSによる今後のロボティクスのあり方
ROSによる今後のロボティクスのあり方
ロボットサービス開発の現場から
ロボットサービス開発の現場から
MLP-Mixer: An all-MLP Architecture for Vision
MLP-Mixer: An all-MLP Architecture for Vision
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
2020年10月29日 プロフェッショナルAI×Roboticsエンジニアへのロードマップ
ディープラーニングとROSで作る自動運転ロボット
ディープラーニングとROSで作る自動運転ロボット
第7回WBAシンポジウム:松嶋達也〜自己紹介と論点の提示〜スケーラブルなロボット学習システムに向けて
第7回WBAシンポジウム:松嶋達也〜自己紹介と論点の提示〜スケーラブルなロボット学習システムに向けて
マルチデバイスに対応するためのAuto layout
マルチデバイスに対応するためのAuto layout
Robomec2014 rtm講習会第1部(その1)
Robomec2014 rtm講習会第1部(その1)
130522 00
130522 00
OSS Market Momentum In Japan
OSS Market Momentum In Japan
デブサミ2017【17-E-5】エンタープライズにおけるDevOpsの実態!Cloud Native Application Platformの選択
デブサミ2017【17-E-5】エンタープライズにおけるDevOpsの実態!Cloud Native Application Platformの選択
株式会社アイ・ロボティクス サービス概要資料 2111
株式会社アイ・ロボティクス サービス概要資料 2111
東大大学院 戦略ソフトウェア特論2021「ロボットで世界を計算可能にする」海野裕也
東大大学院 戦略ソフトウェア特論2021「ロボットで世界を計算可能にする」海野裕也
Smfl20201001
Smfl20201001
社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~
社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~
#2祖父と孫をつなぐ
#2祖父と孫をつなぐ
2022国際ロボット展に見る産業用ロボットの最新技術動向
2022国際ロボット展に見る産業用ロボットの最新技術動向
ネットワーク分散型フレームワークConView
ネットワーク分散型フレームワークConView
Io t,ai時代のソフトウェア
Io t,ai時代のソフトウェア
R04_WHITEROOM ではじめるコラボレーティブコンピューティング [Microsoft Japan Digital Days]
R04_WHITEROOM ではじめるコラボレーティブコンピューティング [Microsoft Japan Digital Days]
Unity道場 ロボティクス 秋のLT祭り 2021
1.
1 2021.10.19 Unity道場 ロボティクス 秋のLT祭り 2021 がある生活 UnityとROS接続編 株丹
亮 Kabutan Ryo
2.
株丹 亮 Kabutan Ryo 九州工業大学
西田研究室 - 2017 産業用ロボットのためのパスプランニングアルゴリズムの研究に従事。 株式会社 安川電機 2017 – 現在 株式会社 エイアイキューブ 出向中 個人で ROS (Robot Operating System) Japan Users Groupでたまに発表しています。 主にMoveItというロボットアーム向けライブラリの解説など。 産業用ロボットのためのプランニング技術、最適化、異常検知などの知能化技術の開発に従事。 2 今日はこの続編 上記資料のURL: https://www.slideshare.net/RyoKabutan
3.
今日のLTの内容 • ロボット開発ではシミュレータが必須。 • ROSを使ったロボット開発をする場合、Gazeboと呼ばれるシミュレータを 使う場合が多い。 •
しかしGazebo 11が最終バージョン(2025年まで)。Ignitionという新しい シミュレータに移行することになっているが、まだまだ発展途上。 日本での活用事例はあまり聞いたことがない。 3 • そこでUnityが活用できないか。myCobotを題材に説明。 NVIDIAとOpen Roboticsが連携 「Ignition Gazebo」「NVIDIA Isaac Sim」 の相互運用を目指し、ROSコミュニティのAI開発を強化 https://robotstart.info/2021/09/28/nvidia-open-robotics.html まだ何かありそう!これから楽しみ!! “
4.
ROS (MoveIt)を使ったら何ができる? • ロボットアームの経路を自動で作ることができる。 •
センサで障害物を検知しながら、複雑な障害物回避動作が生成できる。 (自動ピッキングシステム等のアプリが比較的簡単に作成できる。) 4 3次元距離センサ MoveItの画面 障害物 myCobot
5.
Bad! 前ページのデモからわかること 5 Good! myCobotの登場により自宅でも簡単にシステムが構築できるようになった。 • それでもロボットアーム8万円、3次元センサ3万円、合計11万円。 購入するには少し勇気が必要。 Unityを使って実物のmyCobotがなくても、 MoveItで遊べるような環境を作ることが今回の目標。 • 開発途中のソフトをそのまま実機で実験するのは、少し怖い。 思わぬ動きをして机や周りの物にぶつけてヒヤヒヤ。煙は出したくない。
6.
完成 実際に動作させた結果を紹介 実際にやってみたこと 6 STEP 3 MoveItの障害物情報をUnity上にも反映させる MoveItのplanning_sceneをUnityにpublishする。 Unity公式ツール「ROS-TCP Connector」使用。 STEP 2 ros_control経由でUnity上のmyCobotを動かす Unity用のインターフェースを作る。 Unity公式ツール「ROS-TCP
Connector」使用。 STEP 1 ロボットモデルをUnity上に登場させる URDFで定義したmyCobotをUnityにインポートする。 Unity公式ツール「URDF Importer」使用。
7.
ロボットモデルをUnity上に登場させる • ROSで使用されるロボット定義ファイル(URDF)を使って3D Objectを追加。 •
URDF Importerが問題なく使用できた。 7 Good! インポートするだけで、 各リンクごとにAirticulation Body を自動で定義してくれる。
8.
ros_control経由でUnity上のmyCobotを動かす ros_control? : ROSの制御用フレームワーク。簡単に言うと… この枠組でドライバを実装しておけば、どのロボットアームでも同じ司令で動作可能。 つまり実機用のドライバ、シミュレータ用のドライバと2つ用意しておけば、 それ以外の実装はそのまま共通で使うことができる 8 ①
インターフェースを継承する 実機 myCobotの場合 myCobotはシリアル通信で制御可能。 API公開もされているので、 これを活用すれば良い。 どのようにros_control対応のドライバを書けばよいか。 まず実機の例を示す。 ② ロボット制御のための実装をする 実機 myCobot用のクラス作成。 左のコメントアウト部分に シリアル通信の命令を実装する。 • readは現在の関節角度を取る命令。 • writeは任意の関節角度に動かす命令。 ここがUnityになればよい!
9.
ros_control経由でUnity上のmyCobotを動かす 9 ① インターフェースを継承する UnityのmyCobotの場合 ROSのTopicに乗せてUnityとROS間の 通信を行う。 ②ロボット制御のための実装をする(ROS側) UnityのmyCobot用の固有のクラス作成 左のコメントアウト部分にPub/Sub通信を 行う実装を書く。 • readはUnity側の現在関節角度を Subscribeする実装を書く。 •
writeは目標の関節角度をPublishする 実装を書く。 ③ロボット制御のための実装をする(Unity側) Unity公式ツールのROS-TCP Connectorを 使う。 • 目標の関節角度を受け取り ArticulationBodyに角度を反映するノード • 現在の関節角度をPublishするノード を実装する。 完成! 実際の動きを確認 現在位置 取得 ArticulationBody に司令位置を反映 位置 司令 ros_control ArticulationBody から現在位置を取得 ②、③の接続イメージ
10.
MoveItの障害物情報をUnityの世界にも反映させる MoveItでは障害物情報がplanning_sceneというTopicで管理されている。 10 障害物をMoveIt上から追加したあと、「Publish」ボタンを 押下すると右の情報がPublishされる。 これをUnity側でSubscribeすればUnity世界にも、 障害物を出現させることができるはず!! primitives: - type: 1 dimensions: -
0.2 - 0.2 - 0.2 primitive_poses: - position: x: 0.18 y: 0.21 z: 0.11 orientation: x: -0.04242791 y: 0.166670639 z: 0.246320621 w: 0.953806542
11.
MoveItの障害物情報をUnity上にも反映させる • Unity側でplanning_sceneをSubscribeするscriptを作成。 • Subscribeした情報をもとにGameObject(基本モデル、Primitive)を追加する。 11 Good! ROSとUnityで座標系が異なることが悩みのタネだったが、簡単に変換できるので 実装がかなり楽だった。
12.
実際に動作させた結果を紹介 12
13.
まとめ ROSと連携できるシミュレータとしてUnityを活用した事例を紹介。 今後の課題 • Unity上でのセンサを用意する。例えば仮想的なRealsenseをUnity上で作成し、 MoveItの障害物情報としたい。 • ros_controlでUnityとの通信がROSのPub/Sub経由で行われているので、 余計な通信が発生している。できれば変更したい。 もし良いアプローチがありましたらコメントお願いします。 13
14.
ご静聴ありがとうございました。 質問があれば、お気軽にどうぞ!! 14
Baixar agora