データ駆動型実世界計測における最適センサ配置提示システムの開発（SIG-DeMO研究会）
•
0 gostou•82 visualizações
データ駆動型実世界計測における最適センサ配置提示システムの開発
![• センサによって実世界の物理的な変形を計測可能
• センサ計測と機械学習を組み合わせることでジェス
チャ識別や姿勢推定ができる．
2
データ駆動型実世界計測
Touché[1]
[1] Munehiko Sato, Ivan Poupyrev, and Chris Harrison. Touche: Enhancing touch interaction on humans, screens, liquids, and everyday objects. In Proceedings of the
SIGCHI Conference on Human Factors in Computing Systems, CHI '12, pp. 483{492, New York, NY, USA, 2012. ACM.](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recomendados
Mais conteúdo relacionado
Mais procurados
Semelhante a データ駆動型実世界計測における最適センサ配置提示システムの開発（SIG-DeMO研究会）
Semelhante a データ駆動型実世界計測における最適センサ配置提示システムの開発（SIG-DeMO研究会） (20)
Mais de sugiuralab
Mais de sugiuralab (20)
Último
Último (8)
データ駆動型実世界計測における最適センサ配置提示システムの開発（SIG-DeMO研究会）
- 1. データ駆動型実世界計測における 最適センサ配置提示システムの開発 齋 藤 彩 音 1 ) ， C h e n g s h u o X i a 1 ) ， 杉 浦 裕 太 1 ) 1 ) 慶 應 義 塾 大 学
- 2. • センサによって実世界の物理的な変形を計測可能 • センサ計測と機械学習を組み合わせることでジェス チャ識別や姿勢推定ができる． 2 データ駆動型実世界計測 Touché[1] [1] Munehiko Sato, Ivan Poupyrev, and Chris Harrison. Touche: Enhancing touch interaction on humans, screens, liquids, and everyday objects. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI '12, pp. 483{492, New York, NY, USA, 2012. ACM.
- 4. • バーチャル空間上で一人称カメラ画像と姿勢を学習 • 実世界上でユーザに固定したカメラ画像から姿勢推定 • バーチャル空間での学習を実世界上での推定に利用 4 実世界システムのシミュレーション 歩行姿勢のシミュレーション[2] [2] Yuan Y., Kitani K. (2018) 3D Ego-Pose Estimation via Imitation Learning. In: Ferrari V., Hebert M., Sminchisescu C., Weiss Y. (eds) Computer Vision – ECCV 2018. ECCV 2018. Lecture Notes in Computer Science, vol 11220. Springer, Cham
- 5. • 人間や物体にセンサを取り付けることで，体の一部 を使ったジェスチャ入力や姿勢推定を行う． 5 光センサによる人間の身体動作計測 光センサを使用した研究 [3][4][5] [3] Takashi Kikuchi, Yuta Sugiura, Katsutoshi Masai, Maki Sugimoto, Bruce H. Thomas. EarTouch: turning the ear into an input surface. MobileHCI '17: Proceedings of the 19th International Conference on Human-Computer Interaction with Mobile Devices and Services. 2017. [4] Masa Ogata, Yuta Sugiura, Yasutoshi Makino, Masahiko Inami, Michita Imai. SenSkin: adapting skin as a soft interface. UIST '13: Proceedings of the 26th annual ACM symposium on User interface software and technology. 2013. [5] Natsuki Miyata, Takehiro Honoki, Yusuke Maeda, Yui Endo, Mitsunori Tada, and Yuta Sugiura. Wrap sense: Grasp capture by a band sensor. In UIST, 2016.
- 6. • 実世界上での学習データ蓄積の大変さ →バーチャル空間上で学習データ取得・学習器生成 6 先行研究： センサ配置とデータ収集を支援するソフトウェアの開発 [6] Kinect センサ計測対象 3D深度 情報取得 3Dメッシュ に変換 録画可能＝センサ計測対象の動きを 複数回使用可能 距離センサを模し たオブジェクト センサと3Dメッシュの間の距離 をRayCast関数・二分探索アルゴ リズムを用いて計測＝センサ値 UnityのGame画面 Unity(バーチャル空間) [6] Saito,A., Kawai,W., Sugiura,Y.: Software to Support Layout and Data Collection for Machine-Learning-Based Real-World Sensors; Springer International Publishing, pp.198–205 (2019).
- 7. • 距離センサの配置とデータ収集を支援するソフト ウェアを用いた，センサの最適配置(※)を提示する システムの開発 ※センサ数が少なく，識別率が高くなる配置 7 目的 ソフトウェア上での距離データ取得
- 8. • 測定したい対象に合わせたセンサの最適配置を計算 やシミュレーションによって求める． • 実世界での試行錯誤の必要がない． 8 センサの最適配置 磁気トラッキングのセンサ配置 [7] 手の甲のセンサ配置 [8] [7] S. Song, X. Qiu, J. Wang, and Q. H. Meng, “Design and optimization strategy of sensor array layout for magnetic localization system,” IEEE Sensors J., vol. 17, no. 6, pp. 1849–1857, Mar. 2017 [8] S. Jiang, L. Li, H. Xu, J. Xu, G. Gu and P. B. Shull, "Stretchable E-Skin Patch for Gesture Recognition on the Back of the Hand," in IEEE Transactions on Industrial Electronics.
- 10. • 投光した赤外線が反射して戻ってくる時間を画素ご とに計測し，3D深度情報を得る． • 3D深度情報から計算機上で物体の形状復元が可能 10 Kinect Kinect v2 RGBカメラ 赤外線(IR)カメラ＋ IRプロジェクタ (depthセンサ)
- 11. • 計測対象の動きをKinectの3D深度情報を用いて録画 • Unity上で再生し，センサと計測対象間の距離を計測 • 測定した距離データをグラフ表示・CSVファイル保存 11 シミュレーション方法 Kinect Studioで録画した様子 unityのGame画面の様子 センサ
- 13. • 横軸を時間変化とし距離データを1列に並べる． • 画像のHistograms of Oriented Gradients(HOG)特 徴量を抽出しジェスチャ識別に利用 13 距離データの画像化とHOG特徴量 HOG特徴量の概念図 { センサ1 センサ2 センサ3 … 時系列データ 入力画像 ブロック セル ・・・ 勾配方向 勾配強度 ヒストグラム
- 14. • 自然淘汰の仕組みを最適化問題に応用したアルゴリズム • 遺伝子の集合体である個体を複数用意し，適応度の高い 個体を優先して交叉や突然変異などの操作を繰り返しな がら最適解の探索を行う． 14 遺伝的アルゴリズム 遺伝的アルゴリズムの流れ [9] [9] 遺伝的アルゴリズム，https://www.sist.ac.jp/~kanakubo/research/evolutionary_computing/genetic_algorithms.html (2020/7/7閲覧)
- 15. ・・・ 個体 センサ数 • センサ数を少なく，識別率が高くなるように最適化 • 遺伝子：0/1（0：センサを使用しない，1：センサを使用） • 個体：Unity上に配置したセンサ数分の遺伝子 15 遺伝的アルゴリズムを使用した最適配置の算出方法 10010 ・・・ 10001 11010 ・・・ 00101 10101 ・・・ 11101 遺伝子 作成された集団 10000100001000100 個体とセンサ配置の対応
- 16. • 個体内の遺伝子数 • Unity上に配置したセンサ数 • 集団 • 30個の個体 • 繰り返し世代数 • 20世代 • 選択 • トーナメント選択 (サイズ：3) • 交叉 • 一点交叉（交叉率：0.5） • 突然変異 • 個体突然変異率：0.2, 遺伝子突然変異率：0.05 16 遺伝的アルゴリズムのパラメータ 初期集団の生成 適応度の評価 選択 交叉 突然変異 最適解 遺伝的アルゴリズムの流れ
- 17. • 円形に配置した17個のセンサの最適 配置を提示 • 遺伝的アルゴリズムを使用してセンサ数 が少なく識別率が高くなる配置を提示 • 組み合わせを全探索して識別率が高くな る組み合わせ数を調査 17 最適配置の提示 識別条件 全体のセンサ数 17個 識別するジェスチャ数 6種類 各ジェスチャごとの データ取得回数 10回 フレーム数 15フレーム 学習方法 SVM + HOG 評価方法 交差検証 識別した6種類のジェスチャ ソフトウェア上に 配置したセンサ
- 18. • 遺伝的アルゴリズムを使用して，センサ数が少なく 識別率が高くなる配置を提示 18 遺伝的アルゴリズムによって得られた最適配置 センサ数：5個 識別率：100.0％ センサ数：5個 識別率：100.0％ センサ数：4個 識別率：95.0％ ソフトウェア上に配置したセンサ
- 20. • 1～5個のセンサを使用した場合の識別率のヒストグラ ムと平均識別率 20 組み合わせの全探索 • 計算時間 • 遺伝的アルゴリズム：310秒 (約5分) • 全探索 (センサ数5個まで)：5111秒 (約1時間半) センサ数1個：49.6% センサ数2個：67.6% センサ数3個：81.6% センサ数4個：88.9% センサ数5個：93.0%
- 21. • センサ数が4，5個のときの各識別率をとる頻度 • 遺伝的アルゴリズムで得られた最適配置 • センサ数4個のとき識別率95.0％，センサ数5個のとき識別率100.0％ 21 組み合わせの全探索 センサ数：4個 平均識別率：88.9%, 組み合わせ数：2380 センサ数：5個 平均識別率：93.0%, 組み合わせ数：6188 • センサ数が5個のとき，識別率の最高値(100％)をとる組 み合わせが5.1％存在する．
- 22. • Unity上の距離データで得られた最適配置を実世界 上で距離センサを用いて実装し，学習・識別 22 実世界センサを用いた実装 センサ数：5個 識別率：96.7％ センサ数：5個 識別率：91.7％ センサ数：4個 識別率：90.0％ 実世界上で円形に配置した距離センサ
- 23. • Kinect (Unity)側の処理速度に合わせて，距離セン サのセンサ取得頻度を下げた． • Kinectのデータ取得速度を上げることで1回の動作に対 して取得できるフレーム数の増加 • 最適配置の算出方法 • 遺伝的アルゴリズムのパラメータ調整 • Unity上で得られたデータを学習データとして実世 界上に配置したセンサのデータを識別 23 今後の課題
- 24. • 距離センサの配置とデータ収集を支援するソフト ウェアを用いた，センサの最適配置を提示するシス テムの開発 • 遺伝的アルゴリズムによって最適配置を導出 • センサ数を少なく，識別率が高くなるように最適化 • ソフトウェアのデータで得られた最適配置を実世界 上に距離センサを用いて実装し，学習・識別した結 果，9割以上の識別率が得られた． 24 まとめ