2022/11/18 Deep Learning JP http://deeplearning.jp/seminar-2/

1. DEEP LEARNING JP
[DL Papers]
論文紹介：
GET3D: A Generative Model of High Quality 3D
Textured Shapes Learned from Images
Ryosuke Ohashi, bestat Corp.
http://deeplearning.jp/

2. 書誌情報
2
 ※紹介論文からの引用は省略させていただきます
 NeurIPS 2022（2022年12月）採択論文
 DreamFusionと並んで巷で話題の3Dモデル生成に関する論文

3. 背景：3Dモデルを大量生成したい
3
 今後3Dモデルの活用シーンが爆増する？
 メタバース
 デジタルツイン
https://www.nvidia.com/ja-jp/omniverse/

4. 背景：AIで大量生成したい
4
 AIで3Dモデルを大量生成したい！
 人手モデリングではスケールに限界あり
 専門モデラーの確保
 モデリング工数
 品質管理
https://www.turbosquid.com/ja/3d-
model/animal

5. 本論文の趣旨
5
 GET3Dという名前の3Dモデル生成モデルを提案
 a Generative Model of Explicit Textured 3D Meshes
 既存の3Dモデル生成モデルより高品質なテクスチャ付き3Dメッシュを
大量生成できる
 3Dモデルの生成モデルを2D画像データのみ使って構築できる
 ※本論文ではテクニカルな理由により，3Dモデルをレンダリングして得た2D画像
を使っている

6. 6

7. 7
https://nv-tlabs.github.io/GET3D/

8. 補足：3Dメッシュ，テクスチャ
8
メッシュ
ポリゴンメッシュの略．ポリゴンと略すことも多い．
ポリゴン（多角形）を並べて形状を表したもののこと．
https://en.wikipedia.org/wiki/Polygon_mes
h
https://entry.cgworld.jp/terms/UV%E5%BA%A
7%E6%A8%99%E7%B3%BB.html
テクスチャ
メッシュに画像をマッピング投影して見た目や質感を表したもののこと．

9. GET3Dの手法概要
9
 ②warped SDFとテクスチャ場が出てくる
 deep marching tetrahedraでSDFを3Dメッシュ化
 シード「w1」と「w2」を入れる
①「形状」と「見た目」の生成器にシード「w1」と「w2」を入れ
る
 ③微分可能レンダラーでテクスチャ付き3Dメッシュを様々な方向から2D画像
にレンダリング
 ④StyleGANを使って，レンダリングされた画像群が教師2D画像群の分布に
マッチするよう訓練する

10. 補足：SDF, marching tetrahedra
10
https://arxiv.org/abs/1901.05103
SDF (Signed Distance Function)
ある曲面への最短距離を与える関数．
曲面の外側では正，内側では負の値をとる．
f(x) = 0 を満たすxの集合が曲面を表している．
Marching Tetrahedra
SDFが表す曲面をメッシュ化するアルゴリズム．
Marching Cubesという直方体を使ったバージョンが有名．
https://nv-tlabs.github.io/DMTet/

11. 手法の要点
11
 基本的には既存研究や論文著者らの先行研究を組み合わせたアルゴリズムになっている
 DMTET x StyleGAN
 「変形可能メッシュ + 微分可能ラスタライザ」という計算コストが低くかつそれなりに表現力・自由度が高い構成をとること
で，以下のメリットを実現している
 高解像度で3Dモデルをパラメトライズ・高解像度でレンダリングできるので形状・テクスチャのディテールまで捉えられ
る
 生成モデルの訓練時間が比較的短くてすむ

12. 実験：CGデータセットを使った訓練
12
 「あるクラス」の3Dモデル群をレンダリングして得られる2D画像群を使ってGET3Dを訓練する
 ShapeNetの車モデル約10K個からレンダリングした約200K枚の画像
 TurboSquidの動物モデル約500個からレンダリングした約50K毎の画像
 …
 3Dモデル生成モデルの形状・見た目に関する評価指標で既存研究より良好な結果が得られた
 特にバイクのような非常に複雑な形のものについて顕著な向上が見られた

13. 13
既存研究との比較（形状品質）

14. 14
3D awareなシード補間

15. その他の応用
15
マテリアル付き3Dモデルの生成モ
デル
テクスチャにマテリアルパラメー
ターを入れてIBL対応したレンダ
ラーで逆レンダリングする
text-guidedな3Dモデル生成モデル
CLIPでの埋め込みを使って生成モ
デルをfine tuningする

16. 制限事項
16
 「2D画像群のみを使って」といいつつ，2Dシルエットやカメラのキャリブレーションパラメーターを
活用している
 セグメンテーションやカメラ位置推定などの技術と組み合わせてリアルの2D画像群に適用できるよ
うにできないか？
 生成器の生成対象が（生成器毎に）特定クラスのオブジェクトに限定されている
 複数クラス対応することでより多様な概念を表現できるようにできないか？

17. 17
まとめ，感想
 まとめ
 既存手法よりも高品質な3Dモデル生成モデル「GET3D」を提案
 変形可能メッシュと軽量なレンダラーを使って逆レンダリングすることで従
来より高解像度な3Dモデルの生成を実現した
 感想
 可能な限り高速で効果のある手法を使って新しい結果を生み出すところが
NVIDIAらしい研究で流石だと思った
 Appendixにいろんな実験結果や詳細が書かれていてとても勉強になる
 生成される3Dモデルの品質や作り込み具合はまだまだ向上の余地があるので
今後の研究の発展が楽しみ