20190706cvpr2019_3d_shape_representation
•
5 gostaram•4,749 visualizações
2019/07/06コンピュータビジョン勉強会＠関東「CVPR2019読み会」発表資料です。
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a 20190706cvpr2019_3d_shape_representation
Semelhante a 20190706cvpr2019_3d_shape_representation (20)
Mais de Takuya Minagawa
Mais de Takuya Minagawa (19)
Último
Último (10)
20190706cvpr2019_3d_shape_representation
- 1. 第53回CV勉強会 CVPR2019読み会（後編） Deep Learningで3D Shape表現 2019/07/06 takmin
- 2. 自己紹介 2 株式会社ビジョン＆ITラボ 代表取締役 皆川 卓也（みながわ たくや） 「コンピュータビジョン勉強会＠関東」主催 博士（工学） 略歴： 1999-2003年 日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得（2014年） 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化） http://visitlab.jp
- 5. Deep Learning研究はスピード勝負の時代。。。 5 CVPR2019で同じ「新しいコンセプト」の論文が３本 Learning Implicit Fields for Generative Shape Modeling Zhiqin Chen, and Hao Zhang (Simon Fraser University) published in arXiv on 2018/12/06
- 6. Deep Learning研究はスピード勝負の時代。。。 6 CVPR2019で同じ「新しいコンセプト」の論文が３本 Learning Implicit Fields for Generative Shape Modeling Zhiqin Chen, and Hao Zhang (Simon Fraser University) published in arXiv on 2018/12/06 Occupancy Networks: Learning 3D Reconstruction in Function Space Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowzin, and Andreas Geiger (University ofTubingen, ETAS GmbH, Stuttgart, Google AI Berlin) published in arXiv on 2018/12/10
- 7. Deep Learning研究はスピード勝負の時代。。。 7 CVPR2019で同じ「新しいコンセプト」の論文が３本 Learning Implicit Fields for Generative Shape Modeling Zhiqin Chen, and Hao Zhang (Simon Fraser University) published in arXiv on 2018/12/06 Occupancy Networks: Learning 3D Reconstruction in Function Space Lars Mescheder, Michael Oechsle, Michael Niemeyer, Sebastian Nowzin, and Andreas Geiger (University ofTubingen, ETAS GmbH, Stuttgart, Google AI Berlin) published in arXiv on 2018/12/10 DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, Steven Lovegrove (University ofWashington, MIT, Facebook Reality Labs) published in arXiv on 2019/01/16
- 8. 本日の発表 8 CVPR2019で発表された「Deep Learningを使って 3Dモデルを表現する」論文を３本紹介 IM-NET Learning Implicit Fields for Generative Shape Modeling Occupancy Networks Occupancy Networks: Learning 3D Reconstruction in Function Space DeepSDF DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation
- 9. 3D Shapeの表現 9 Figure from “Occupancy Networks: Learning 3D Reconstruction in Function Space” Voxel Point Cloud Mesh +Simple -Cubic Memory -Manhattan world +Fast and Easy -No connectivity -Lossy Postprocessing +Natural -Require Template (topology) -Self-intersections
- 10. 3D Shapeの表現 10 Voxel Point Cloud Mesh Deep Learning +Infinite Resolution +Arbitrary Topologies +Watertight Meshes Figure from “Occupancy Networks: Learning 3D Reconstruction in Function Space” +Simple -Cubic Memory -Manhattan world +Fast and Easy -No connectivity -Lossy Postprocessing +Natural -Require Template (topology) -Self-intersections
- 15. IM-NET 15 Encoder Auto Encoderでfeature (code)を学習 アプリケーションによってEのネットワークや𝑥の入力は異なる 3D Shape表現の場合、 Eは3D CNN、𝑥は643のVoxel SingleView Reconstructionの場合EはResNET Encoder、𝑥は1282の 画像群 3D CNN Code： 128次元 ベクトル
- 16. Occupancy Networks 16 アプリケーションにより異なるEncoder (ex. SingleView ReconstructionではResNet-18) Γ個の3D座標 Occupancy [0-1] ResNet block
- 17. Occupancy Networks 17 アプリケーションにより異なるEncoder (ex. SingleView ReconstructionではResNet-18) Γ個の3D座標 Occupancy [0-1] ResNet block Conditional Batch Normalization
- 18. Occupancy Networks 18 アプリケーションにより異なるEncoder (ex. SingleView ReconstructionではResNet-18) Γ個の3D座標 Occupancy [0-1] ResNet block Training (Loss function) 事前分布（ガウス）Encoder Cross Entropy
- 19. Occupancy Networks 19 アプリケーションにより異なるEncoder (ex. SingleView ReconstructionではResNet-18) Γ個の3D座標 Occupancy [0-1] ResNet block Training (Loss function) 事前分布（ガウス）Encoder Cross Entropy 3次元座標のOccupancyのCross Entorpy誤差が小さく、かつCodeの分布 が事前分布に類似するように学習
- 20. Occupancy Networks 20 Inference Coarse-to-Fineに推定
- 21. DeepSDF 21 Signed Distance Function (SDF) 三次元座標から物体表面までの「符号付き」最短距離 物体外（正） 物体内（負）
- 22. DeepSDF 22 Decoder Encoder (Auto-decoder) Auto-encoderは使用せず、 データ点ごとにランダムに初 期値設定したCodeに対し、 Backpropabationで最適化
- 24. DeepSDF 24 Training Interence L1誤差 Code パラメータθを固定してLoss最小化するzを求める
- 25. 実験結果(IM-NET) 25 3D CNN Auto-EncoderのDecoderとIM-NETの性能比較 ShapeNetで評価 LFD：様々なカメラアングルへレンダリングした画像をZernike momentsとフーリエ変換でエンコードして比 較する方法 LFD以外、ほとんど負けてる。。。 MSE: Mean Square Error, IoU: Intersection over Union, CD: Chamfer Distance, LFD: Light Field Descriptor
- 26. 実験結果(IM-NET) 26 3D CNN Auto-EncoderのDecoderとIM-NETの性能比較 サンプリング間隔高くすれば見た目では勝ってる・・・
- 29. 実験結果(Occupancy Networks) 29 SingleView Reconstruction
- 30. 実験結果(Occupancy Networks) 30 SingleView Reconstruction
- 31. 実験結果(Occupancy Networks) 31 Point Cloud Completion
- 32. 実験結果(DeepSDF) 32 Point Cloud Completion
- 33. 実験結果(DeepSDF) 33 Point Cloud Completion
- 34. 実験結果(DeepSDF) 34 RepresentationTest 3D Shapes (auto-encoding) codeを元にTest 3D Shapesを復元 Atlas-Net[19]との比較 左：Ground Truth, 右：Our Method 失敗例
- 35. まとめ 35 CVPR2019で発表された、Deep Learningで3D Shapeを表 現する３つの手法を紹介 IM-NET Occupancy Networks DeepSDF Encoder Auto Encoder (3D CNN) Scale/bias as CNN output Auto Decoder Decode CNN with Code Constrained BN CNN with Code Loss Weighted L2 Cross-Entropy Clamp-L1 Output Occupancy Occupancy SDF