Recomendados
Mais conteúdo relacionado
Destaque
Destaque (16)
Mais de Yuki Shibazaki
Último
Último (7)
没入コミュニケーションに利用する3次元仮想キャラクタの半自動生成
- 2. 背景 • グローバル化が進み遠隔地での コミュニケーションの機会が増 えた - 対面：コスト×、円滑○ - テレビ電話：コスト○、円滑× • これまでの手法では、コストと 円滑さの両方を満たすことが出 来ない • 解決策：3次元仮想空間内で 現実と変わらない没入コミュ ニケーション - 現実の情報を反映できるキャラ クタ - 現実と同じような空間 - 現実と同じような物体 2012年2月9日木曜日
- 3. 現実の情報を反映できるキャラクタ • 顔表情の伝達 ➡ これまで様々な手法が提案 • 現実の人物の色や形状を反映 • 手振りなどの比較的大きめなジェスチャの伝達 ➡ 上の二つを実現するには、商用ボディスキャナで形状取得し、手動で骨格を入れる方法が 存在。しかしコストが数百万程度かかり、手間もかかる。 • 現実の人物に基づき、比較的大きなジェスチャが可能なキャラク タを低コストかつ簡便に作成したい。 ➡ 低コストかつ簡便でなければ一般ユーザが利用不可 2012年2月9日木曜日
- 7. 人物データ取得法 • 取得する情報は以下の三つ - 人物表面三次元位置データ → ポリゴン復元用 - 人物画像データ → テクスチャマッピング用 - 人物関節データ → 関節対応付け用 2012年2月9日木曜日
- 9. 人物データ取得法 • 人物画像・関節データに必要な 情報は前後のKinectが取得 - 画像：人物領域+画像 - 関節：関節推定情報 2012年2月9日木曜日
- 10. 取得したデータのポリゴン復元 • 低コストな方法でも、体や足 などの大きな部分に関しては人 物の情報を反映可能に - 本手法：コスト15万円程度 - ボディスキャナ：コスト700万円程度 • 手先や顔など、細かい部分の反 映法を考える必要性がある Poisson Reconstructionによる復元 2012年2月9日木曜日
- 12. 対応付け結果 • 自動でも、比較的大きいジェスチャを反映可能な程度に対応付けできた • 自動のため、手間がかからない(1秒以内) • 首と胴体の接続部分など対応付けに違和感が残る部分もある 対象(性別:身長) 一致度(%) A(男性:162cm) B(男性:177cm) C(男性:172cm) D(男性:176cm) E(男性:170cm) F(女性:158cm) G(男性:168cm) H(男性:174cm) 平均 86.06 86.94 84.81 86.80 85.33 82.80 87.93 83.41 85.51 表：手動での対応付けとの一致度図：対応付け結果 参考： 手動による対応付け 2012年2月9日木曜日
- 13. まとめ・今後の課題 • 最終目標：遠隔地コミュニケーションの一つの手段として、3次元仮 想空間内で現実と同程度にコミュニケーション可能にする • 本研究の目的：現実の人物の色や形状を反映し、比較的大きなジェス チャが可能なキャラクタを低コストかつ簡便に作成する方法の実現 • 成果：人物の大きい部分の形状を反映し、比較的大きいジェスチャが 可能なキャラクタを低コストかつ簡便に作成可能に • 今後の課題 - 手先や顔などの細かい部分の形状を反映 - 関節の対応付けをさらに現実に近く 2012年2月9日木曜日
- 14. 2012年2月9日木曜日
- 15. 2012年2月9日木曜日
- 16. 関連研究 • 人物静止モデルの作成(Home 3D Body Scans from Noisy Image and Range Data) - 動作できないのでコミュニケーション不可 • 顔表情の伝達(Automatic reconstruction of personalized avatars from 3D face scans) - これのみでは円滑なコミュニケーションにならない • ３次元空間のリアルタイムマッピング(KinectFusion: Real-Time Dynamic 3D Surface Reconstruction and Interaction) - 復元に2秒程度かかるため、リアルタイムコミュニケーションに向かない 2012年2月9日木曜日
- 17. 2012年2月9日木曜日
- 18. 人物のリアルタイム投影 • 問題点 - 表示のずれが起きる - Kinectから見えてないとこ ろは投影できない 2012年2月9日木曜日
- 19. 2012年2月9日木曜日
- 21. 静止した4点からのデータ取得 ✤ Kinectを利用し、全ての情報を静止 した4点から取得する ✤ 表面：深度データ+人物領域 ✤ 画像：画像データ+人物領域 ✤ 関節：関節推定データ ✤ 取得した情報は世界座標系に変換 2012年2月9日木曜日
- 23. 2012年2月9日木曜日
- 24. 3種類の関節対応付け法 • 最近関節点マッチング ： 関節点に対して一番近いポリゴンモデル の点を対応付ける。 • 最近中点マッチング：関節の点と点をつないだ線の中点に対して、 一番近いポリゴンモデルの点を対応付ける。 • 最近線マッチング：関節の点と点をつないだ線に対して一番近いポ リゴンモデルの点であり、さらにその点から線に引いた垂線の交 点が線の内部にあるものを対応付ける。 2012年2月9日木曜日
- 26. マッチングの一致度 対象(性別:身長) 最近関節点(%) 最近中点(%) 最近線(%) A(男性:162cm) 48.94 83.00 86.06 B(男性:177cm) 51.90 82.74 86.94 C(男性:172cm) 49.18 80.32 84.81 D(男性:176cm) 48.98 81.55 86.80 E(男性:170cm) 46.07 80.01 85.33 F(女性:158cm) 48.67 78.22 82.80 G(男性:168cm) 49.95 84.24 87.93 H(男性:174cm) 45.28 78.01 83.41 平均 48.62 81.01 85.51 2012年2月9日木曜日
- 27. 2012年2月9日木曜日
- 28. 今後の課題 • 今回の目標に対して - 手先や顔などの細かい部分の形状を反映 - 関節の対応付けをさらに現実に近く • 現実と変わらないコミュニケーションに対して - 顔表情の伝達 - 細かいジェスチャの反映 2012年2月9日木曜日