Enviar pesquisa
Carregar
現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Meetup)
•
Transferir como PPTX, PDF
•
2 gostaram
•
2,345 visualizações
Yusuke Furuta
Seguir
2019/04/24 に開催された、Intel RealSense JapaIntel RealSense Japan Meetup での発表スライドです。
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 37
Baixar agora
Recomendados
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
UnityTechnologiesJapan002
SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII
UnityとROSの連携について
UnityとROSの連携について
UnityTechnologiesJapan002
ROS の活用による屋外の歩行者空間に適応した自律移動ロボットの開発
ROS の活用による屋外の歩行者空間に適応した自律移動ロボットの開発
Yoshitaka HARA
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII
リンク機構を有するロボットをGazeboで動かす
リンク機構を有するロボットをGazeboで動かす
tomohiro kuwano
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
Takahiro Miyaura
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
NTT DATA Technology & Innovation
Recomendados
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
建設シミュレータOCSの開発 / OCS・VTC on Unity におけるROS対応機能について
UnityTechnologiesJapan002
SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII2018TS: 3D物体検出とロボットビジョンへの応用
SSII
UnityとROSの連携について
UnityとROSの連携について
UnityTechnologiesJapan002
ROS の活用による屋外の歩行者空間に適応した自律移動ロボットの開発
ROS の活用による屋外の歩行者空間に適応した自律移動ロボットの開発
Yoshitaka HARA
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜
SSII
リンク機構を有するロボットをGazeboで動かす
リンク機構を有するロボットをGazeboで動かす
tomohiro kuwano
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
HoloLensでコンテンツを操作する方法 - Gaze And Dwell -
Takahiro Miyaura
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
MLOps に基づく AI/ML 実運用最前線 ~画像、動画データにおける MLOps 事例のご紹介~(映像情報メディア学会2021年冬季大会企画セッショ...
NTT DATA Technology & Innovation
Azure Spatial Anchorsを活用したHoloLens & Androidシェアリングアプリ
Azure Spatial Anchorsを活用したHoloLens & Androidシェアリングアプリ
Takahiro Miyaura
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
MPRG_Chubu_University
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Takuya Azumi
LiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピング
Takuya Minagawa
僕がつくった 70個のうちの48個のWebサービス達
僕がつくった 70個のうちの48個のWebサービス達
Yusuke Wada
PCL
PCL
Masafumi Noda
レコメンドシステムの社会実装
レコメンドシステムの社会実装
西岡 賢一郎
Moveitを使ったアプリケーションの紹介
Moveitを使ったアプリケーションの紹介
Ryodo Tanaka
STMとROSをシリアル通信させて移動ロボットを作る
STMとROSをシリアル通信させて移動ロボットを作る
mozyanari
MLflowで学ぶMLOpsことはじめ
MLflowで学ぶMLOpsことはじめ
Kenichi Sonoda
3次元レジストレーションの基礎とOpen3Dを用いた3次元点群処理
3次元レジストレーションの基礎とOpen3Dを用いた3次元点群処理
Toru Tamaki
つながるロボット 〜分散協調ロボットの開発を加速化するROSの紹介〜
つながるロボット 〜分散協調ロボットの開発を加速化するROSの紹介〜
Hideki Takase
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
Mixed Reality Toolkit V3について
Mixed Reality Toolkit V3について
Takahiro Miyaura
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII
OpenVRやOpenXRの基本的なことを調べてみた
OpenVRやOpenXRの基本的なことを調べてみた
Takahiro Miyaura
はじめようARCore:自己位置推定・平面検出・FaceTracking
はじめようARCore:自己位置推定・平面検出・FaceTracking
Takashi Yoshinaga
第1回ROS勉強会発表資料 ROS+Gazeboではじめるロボットシミュレーション
第1回ROS勉強会発表資料 ROS+Gazeboではじめるロボットシミュレーション
akio19937
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
Hironobu Fujiyoshi
XAI (説明可能なAI) の必要性
XAI (説明可能なAI) の必要性
西岡 賢一郎
オープンキャンパススライド2017
オープンキャンパススライド2017
robo_lab
ロボット・ソフトウェア開発環境ROSとは何か? (in Japanese)
ロボット・ソフトウェア開発環境ROSとは何か? (in Japanese)
Toshihiko Yamakami
Mais conteúdo relacionado
Mais procurados
Azure Spatial Anchorsを活用したHoloLens & Androidシェアリングアプリ
Azure Spatial Anchorsを活用したHoloLens & Androidシェアリングアプリ
Takahiro Miyaura
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
MPRG_Chubu_University
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Takuya Azumi
LiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピング
Takuya Minagawa
僕がつくった 70個のうちの48個のWebサービス達
僕がつくった 70個のうちの48個のWebサービス達
Yusuke Wada
PCL
PCL
Masafumi Noda
レコメンドシステムの社会実装
レコメンドシステムの社会実装
西岡 賢一郎
Moveitを使ったアプリケーションの紹介
Moveitを使ったアプリケーションの紹介
Ryodo Tanaka
STMとROSをシリアル通信させて移動ロボットを作る
STMとROSをシリアル通信させて移動ロボットを作る
mozyanari
MLflowで学ぶMLOpsことはじめ
MLflowで学ぶMLOpsことはじめ
Kenichi Sonoda
3次元レジストレーションの基礎とOpen3Dを用いた3次元点群処理
3次元レジストレーションの基礎とOpen3Dを用いた3次元点群処理
Toru Tamaki
つながるロボット 〜分散協調ロボットの開発を加速化するROSの紹介〜
つながるロボット 〜分散協調ロボットの開発を加速化するROSの紹介〜
Hideki Takase
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
Mixed Reality Toolkit V3について
Mixed Reality Toolkit V3について
Takahiro Miyaura
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII
OpenVRやOpenXRの基本的なことを調べてみた
OpenVRやOpenXRの基本的なことを調べてみた
Takahiro Miyaura
はじめようARCore:自己位置推定・平面検出・FaceTracking
はじめようARCore:自己位置推定・平面検出・FaceTracking
Takashi Yoshinaga
第1回ROS勉強会発表資料 ROS+Gazeboではじめるロボットシミュレーション
第1回ROS勉強会発表資料 ROS+Gazeboではじめるロボットシミュレーション
akio19937
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
Hironobu Fujiyoshi
XAI (説明可能なAI) の必要性
XAI (説明可能なAI) の必要性
西岡 賢一郎
Mais procurados
(20)
Azure Spatial Anchorsを活用したHoloLens & Androidシェアリングアプリ
Azure Spatial Anchorsを活用したHoloLens & Androidシェアリングアプリ
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
画像局所特徴量と特定物体認識 - SIFTと最近のアプローチ -
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
LiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピング
僕がつくった 70個のうちの48個のWebサービス達
僕がつくった 70個のうちの48個のWebサービス達
PCL
PCL
レコメンドシステムの社会実装
レコメンドシステムの社会実装
Moveitを使ったアプリケーションの紹介
Moveitを使ったアプリケーションの紹介
STMとROSをシリアル通信させて移動ロボットを作る
STMとROSをシリアル通信させて移動ロボットを作る
MLflowで学ぶMLOpsことはじめ
MLflowで学ぶMLOpsことはじめ
3次元レジストレーションの基礎とOpen3Dを用いた3次元点群処理
3次元レジストレーションの基礎とOpen3Dを用いた3次元点群処理
つながるロボット 〜分散協調ロボットの開発を加速化するROSの紹介〜
つながるロボット 〜分散協調ロボットの開発を加速化するROSの紹介〜
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Mixed Reality Toolkit V3について
Mixed Reality Toolkit V3について
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
OpenVRやOpenXRの基本的なことを調べてみた
OpenVRやOpenXRの基本的なことを調べてみた
はじめようARCore:自己位置推定・平面検出・FaceTracking
はじめようARCore:自己位置推定・平面検出・FaceTracking
第1回ROS勉強会発表資料 ROS+Gazeboではじめるロボットシミュレーション
第1回ROS勉強会発表資料 ROS+Gazeboではじめるロボットシミュレーション
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
XAI (説明可能なAI) の必要性
XAI (説明可能なAI) の必要性
Semelhante a 現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Meetup)
オープンキャンパススライド2017
オープンキャンパススライド2017
robo_lab
ロボット・ソフトウェア開発環境ROSとは何か? (in Japanese)
ロボット・ソフトウェア開発環境ROSとは何か? (in Japanese)
Toshihiko Yamakami
HoloLens概要
HoloLens概要
Kaoru NAKAMURA
HoloLens概要 仙台IT文化祭
HoloLens概要 仙台IT文化祭
Kaoru NAKAMURA
.NET Conf 2018 Tokyo MixedRealityなシステムを気持ちよく開発しよう
.NET Conf 2018 Tokyo MixedRealityなシステムを気持ちよく開発しよう
daisuke yamanaka
【de:code 2020】 『RE:BEL ROBOTICA レベルロボチカ』の世界と現代をミックス! MR で変わるライフスタイルとワークスタイル ...
【de:code 2020】 『RE:BEL ROBOTICA レベルロボチカ』の世界と現代をミックス! MR で変わるライフスタイルとワークスタイル ...
日本マイクロソフト株式会社
20171108 Tech Summit 2017 最新! Windows 10 Fall Creators Update新機能とアプリケーション開発
20171108 Tech Summit 2017 最新! Windows 10 Fall Creators Update新機能とアプリケーション開発
shinobu takahashi
ソニーのディープラーニングツールで簡単エッジコンピューティング
ソニーのディープラーニングツールで簡単エッジコンピューティング
Ryohei Kamiya
HoloLensとさまざまなデバイス連携ドドンドーン
HoloLensとさまざまなデバイス連携ドドンドーン
Satoshi Maemoto
実録!HoloLens×AI×Azureアプリが開発できるまでの挫折と成功@Tokyo Jazug Night #12
実録!HoloLens×AI×Azureアプリが開発できるまでの挫折と成功@Tokyo Jazug Night #12
Tatsuya Sakai
Xamarin 概要 2014年08月版
Xamarin 概要 2014年08月版
Yoshito Tabuchi
Windows 8 Developers カンファレンス
Windows 8 Developers カンファレンス
Kaoru NAKAMURA
Swiftのプロパティオブザーバを使い倒す
Swiftのプロパティオブザーバを使い倒す
Tomoki Hasegawa
2016年2月4日 空間OSの設計コンセプトと先端IT
2016年2月4日 空間OSの設計コンセプトと先端IT
aitc_jp
Rds 2008 R2 Express Editionで遊んでみよう
Rds 2008 R2 Express Editionで遊んでみよう
guest468ec6
知っ徳!納徳!Magic Leap 《デバイス編》
知っ徳!納徳!Magic Leap 《デバイス編》
Sadao Tokuyama
ハマる!HoloLensアプリ開発
ハマる!HoloLensアプリ開発
Tatsuya Sakai
Pepper tech festival_2014_技術セッション基本
Pepper tech festival_2014_技術セッション基本
Atelier Akihabara
2016 summercamp RTM-ROS相互運用とJSKでの取り組み
2016 summercamp RTM-ROS相互運用とJSKでの取り組み
openrtm
ヒューマノイドのアプリ開発とモーション生成AIの導入 ROS JP UG #51
ヒューマノイドのアプリ開発とモーション生成AIの導入 ROS JP UG #51
holypong
Semelhante a 現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Meetup)
(20)
オープンキャンパススライド2017
オープンキャンパススライド2017
ロボット・ソフトウェア開発環境ROSとは何か? (in Japanese)
ロボット・ソフトウェア開発環境ROSとは何か? (in Japanese)
HoloLens概要
HoloLens概要
HoloLens概要 仙台IT文化祭
HoloLens概要 仙台IT文化祭
.NET Conf 2018 Tokyo MixedRealityなシステムを気持ちよく開発しよう
.NET Conf 2018 Tokyo MixedRealityなシステムを気持ちよく開発しよう
【de:code 2020】 『RE:BEL ROBOTICA レベルロボチカ』の世界と現代をミックス! MR で変わるライフスタイルとワークスタイル ...
【de:code 2020】 『RE:BEL ROBOTICA レベルロボチカ』の世界と現代をミックス! MR で変わるライフスタイルとワークスタイル ...
20171108 Tech Summit 2017 最新! Windows 10 Fall Creators Update新機能とアプリケーション開発
20171108 Tech Summit 2017 最新! Windows 10 Fall Creators Update新機能とアプリケーション開発
ソニーのディープラーニングツールで簡単エッジコンピューティング
ソニーのディープラーニングツールで簡単エッジコンピューティング
HoloLensとさまざまなデバイス連携ドドンドーン
HoloLensとさまざまなデバイス連携ドドンドーン
実録!HoloLens×AI×Azureアプリが開発できるまでの挫折と成功@Tokyo Jazug Night #12
実録!HoloLens×AI×Azureアプリが開発できるまでの挫折と成功@Tokyo Jazug Night #12
Xamarin 概要 2014年08月版
Xamarin 概要 2014年08月版
Windows 8 Developers カンファレンス
Windows 8 Developers カンファレンス
Swiftのプロパティオブザーバを使い倒す
Swiftのプロパティオブザーバを使い倒す
2016年2月4日 空間OSの設計コンセプトと先端IT
2016年2月4日 空間OSの設計コンセプトと先端IT
Rds 2008 R2 Express Editionで遊んでみよう
Rds 2008 R2 Express Editionで遊んでみよう
知っ徳!納徳!Magic Leap 《デバイス編》
知っ徳!納徳!Magic Leap 《デバイス編》
ハマる!HoloLensアプリ開発
ハマる!HoloLensアプリ開発
Pepper tech festival_2014_技術セッション基本
Pepper tech festival_2014_技術セッション基本
2016 summercamp RTM-ROS相互運用とJSKでの取り組み
2016 summercamp RTM-ROS相互運用とJSKでの取り組み
ヒューマノイドのアプリ開発とモーション生成AIの導入 ROS JP UG #51
ヒューマノイドのアプリ開発とモーション生成AIの導入 ROS JP UG #51
Último
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
Último
(9)
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Meetup)
1.
現実世界コンピューティング RealSense とロボットと HoloLens 株式会社ホロラボ 古田裕介 たるこす(@tarukosu) HoloLab
Inc. #TMCN #RealSense #パーソルPT
2.
自己紹介 古田裕介 株式会社ホロラボ Researcher Microsoft MVP
for Windows Development (2018/07~2019/06) Twitter たるこす (@tarukosu) ブログ たるこすの日記 (http://tarukosu.hatenablog.com) HoloLab Inc.
3.
目次 • 現実世界コンピューティング • 利用デバイス紹介 •
RealSenseとロボットとHoloLensを使ったデモアプリケーション HoloLab Inc.
4.
目次 • 現実世界コンピューティング • 利用デバイス紹介 •
RealSenseとロボットとHoloLensを使ったデモアプリケーション HoloLab Inc.
5.
現実世界コンピューティング センシング コンピューティング アウトプット リアリティ HoloLab Inc.
6.
現実世界コンピューティング センシング コンピューティング アウトプット リアリティ HoloLab Inc. ・現実
7.
現実世界コンピューティング センシング コンピューティング アウトプット リアリティ HoloLab Inc. ・カメラ、ジャイロセンサ、 マイク、GPS... ・現実をデジタルデータへ
8.
現実世界コンピューティング センシング コンピューティング アウトプット リアリティ HoloLab Inc. ・コンピュータで認識・処理 ・結果をアウトプット
9.
現実世界コンピューティング センシング コンピューティング アウトプット リアリティ HoloLab Inc. ・現実世界へ作用 ロボット →
物理的に現実を変える HoloLens→ 視覚的・聴覚的に変える
10.
現実世界コンピューティング センシング コンピューティング アウトプット リアリティ HoloLab Inc. ・現実 ・AR (Augmented
Reality)
11.
現実世界コンピューティング HoloLab Inc. 現実世界を対象とした コンピューティング(独自定義) • 現実世界をセンシング •
コンピュータで認識・処理 • 現実世界にアウトプット • 現実世界へ作用 • ロボット 物理的に現実を変える • HoloLens 視覚的・聴覚的に現実を変える
12.
現実世界API こんなコードが書けたら面白い HoloLab Inc. // 赤ちゃんの写真を撮る var
image = await TakePictureOfBaby(); // 寝ているかどうかチェック var isSleeping = await CheckIfSleeping(); // 寝ているかどうかで処理を変える if(isSleeping){ ... }else{ ... } 写真の撮り方は指定しない ・部屋に設置されたカメラで写真を撮る ・ロボットが写真を撮る ・人が写真を撮る
13.
目次 • 現実世界コンピューティング • 利用デバイス紹介 •
RealSenseとロボットとHoloLensを使ったデモアプリケーション HoloLab Inc.
14.
Intel NUC (Next
Unit of Computing) • Intel が販売している小型PC • 今回は Ubuntu 16.04 をインストール HoloLab Inc. Intel BLKNUC7I7DNHE
15.
RealSense D435i • RGB
カメラ • 赤外線ステレオカメラによる 深度推定 HoloLab Inc. カラーデータとデプスデータを組み合わせて 生成した3次元メッシュ RealSense D435i
16.
RealSense T265 HoloLab Inc. •
トラッキングカメラ • 2個の魚眼カメラとIMUでSLAM • 自己位置を取得できる 魚眼カメラの映像 RealSense T265
17.
HoloLens • スタンドアロンで動作する透過型 ヘッドマウンテッドディスプレイ • Windows
10 を搭載 • 自己位置の認識がかなり正確 HoloLab Inc. HoloLens
18.
Roomba • お掃除ロボット • カバーを外すとコネクタがあり、 シリアル通信で制御可能 (コネクタがない機種もある) HoloLab
Inc. Roomba 577
19.
WHILL Model CR •
パーソナルモビリティ • シリアル通信で制御可能 • メーカー希望小売価格 750,000円 HoloLab Inc. WHILL Model CR
20.
Roomba + RealSense HoloLab
Inc. モバイルバッテリー Intel NUC RealSense D435i RealSense T265
21.
WHILL + RealSense HoloLab
Inc. RealSense T265 RealSense D435i Intel NUC モバイルバッテリー
22.
目次 • 現実世界コンピューティング • 利用デバイス紹介 •
RealSenseとロボットとHoloLensを使ったデモアプリケーション HoloLab Inc.
23.
デモ HoloLab Inc.
24.
Roomba デモ HoloLab Inc. YouTube
で動画を表示 https://www.youtube.com/watch?v=qEwFmXefHe0
25.
WHILL デモ HoloLab Inc. YouTube
で動画を表示 https://www.youtube.com/watch?v=qEwFmXefHe0
26.
人とロボットのコミュニケーション AR によって 3次元空間で人とロボットがコミュニケーションできる HoloLab
Inc. 人からロボットへの指示 ロボットから人への情報提示
27.
センサデータ可視化 HoloLab Inc. 点群データを HoloLens
を使って表示
28.
システム構成 HoloLab Inc. RealSense T265 Intel
NUC RealSense D435i WHILL 位置 移動速度 カラー画像 デプス画像 HoloLens ・センサデータ取得 ・障害物検知 ・自律移動 センサデータ 経路 ・センサデータ表示 ・移動経路表示 ・目的地指示 目的地
29.
システム構成 (詳細) HoloLab Inc. RealSense
T265 Intel NUC RealSense D435i WHILL 位置 移動速度 カラー画像 デプス画像 HoloLens センサデータ 経路 ・センサデータ表示 ・移動経路表示 ・目的地指示 目的地 WHILL のコントロール 自律移動 ROS (Robot Operation System) を利用 (https://github.com/tarukosu/realsense_mobile_robot) 位置データ取得 画像データ取得 障害物検知 一定以上の高さのものを 障害物とみなす 点群データ 自己位置 移動速度 障害物
30.
ROS (Robot Operating
System) • OSS のロボット用フレームワーク • パッケージ(特定の機能のプログラムをまとめたもの)が数多く公開 されており、それらを自由に組み合わせてシステムを構成できる HoloLab Inc. ジョイスティックの入力値を 出すノード(プログラム) ロボットの移動量を決める ノード(プログラム) WHILL を動かすノード (プログラム) Roomba を動かすノード (プログラム) ROS ノードの動作イメージ
31.
センサ・ロボット用の ROS パッケージ •
センサ → センサデータを ROS のメッセージとして出す • ロボット → ROS のメッセージを受け取って動作する • 今回利用したROS パッケージ • RealSense : https://github.com/intel-ros/realsense • WHILL : https://github.com/WHILL/ros_whill • Roomba : https://github.com/AutonomyLab/create_autonomy HoloLab Inc.
32.
HoloLens アプリケーション • Unity
2018.3 • UWP, IL2CPP ビルド • ROS#(https://github.com/siemens/ros-sharp) • C# (Unity) で ROS を利用するためのライブラリ • 直接 ROS の通信をするわけではなく、rosbridge を利用する • オリジナルのものは .NET Framework 4.5 向け • .NET Standard 2.0 でビルドすれば利用可能(コード変更なし!) HoloLab Inc. rosbridge は ROS のメッセージを WebSocket でブリッジするノード
33.
システム構成 (詳細) HoloLab Inc. RealSense
T265 Intel NUC RealSense D435i WHILL 位置 移動速度 カラー画像 デプス画像 HoloLens ROS#ライブラリ WHILL のコントロール 自律移動 位置データ取得 画像データ取得 障害物検知 一定以上の高さのものを 障害物とみなす 点群データ 自己位置 移動速度 障害物 rosbridge ROS のメッセージを JSON形式に変換 WebSocket でやりとり 目的地を指定 センサデータを表示
34.
ROS ↔ Unity
の座標系変換 ROS の TF を Unity ゲームオブジェクトの親子関係に変換 HoloLab Inc. ROS Unity
35.
ROS ↔ Unity
の座標系変換 ROS と Unity では座標軸の取り方が違う HoloLab Inc. ROS 右手系 Z-Up 色 : RGBの順で XYZ 右手系/左手系: XYZの順で親指、人差し指、中指 Unity 左手系 Y-Up
36.
ROS ↔ Unity
の座標系変換 本来は X が前だが、間違えて右が X だと思って変換した 初期表示のときに根元から 90° ずれてしまうだけで、 マーカで位置合わせすれば問題ない HoloLab Inc. Unity 左手系 Y-Up ROS 右手系 Z-Up 位置: (x, y, z) → (x, y, z) 回転: (x, y, z, w) → (x, z, y, -w)
37.
HoloLens と WHILL
の位置合わせ • WHILL と RealSense T265 の位置関係は手で測って設定 • 今回のデモ内容であれば、 数 cm ずれていても問題ない • WHILL と HoloLens の位置関係はマーカー画像を使って設定 • Vuforia を利用 HoloLab Inc. RealSense T265 HoloLens RealSense の原点
Notas do Editor
個人的に目指しているもの、やりたいこと 現実世界コンピューティングというのは独自定義の言葉なので、覚える必要はない 現実世界を対象としたコンピューティング 多くのコンピュータはキーボードによる入力、画面への出力 これを現実世界を入力とし、現実世界へ出力するようなコンピューティングに興味がある そのために重要となる要素が
コンピュータによって変えるリアリティ ものを動かす 自分自身を動かす(センサを動かす) 人間は当然これをやっている。 - もの運んで。 - 5か月の娘、寝てるか見てきて
妄想なんですが、
今回は IMU は使っていない
すごい便利 ロボットの位置を取得
HoloLens ってなにができる? HoloLens はどこにでもおけるような3Dディスプレイのようなもの 2D ディスプレイ って何ができる?→コンテンツ次第 HoloLens でも同じ。なんでもできる
Rviz みせる コントローラで T265 で動いている様子 D435 でコストマップ HoloLens みせる センサデータ表示
生のセンサデータだけじゃなく ロボットの認識結果、行動予定 人に尋ねる
IntelNUC
Roslaunch の紹介?
なければ作ればいい
マーカーで位置合わせをするので、問題ない
マーカーで位置合わせをするので、問題ない
マーカーで位置合わせをするので、問題ない
Baixar agora