Recomendados
Mais conteúdo relacionado
Semelhante a Neural Radience Fields for laboratory paper rounds
Semelhante a Neural Radience Fields for laboratory paper rounds (20)
Último
Último (11)
Neural Radience Fields for laboratory paper rounds
- 1. 7.7.2023 NeRF（Neural Radiance Fields） 東京電機大学システムデザイン工学部情報システム工学科 鈴木 幹大（Mikihiro SUZUKI）
- 2. 基礎知識 00
- 6. 概要 01
- 12. 12 ShapeNet[1]は多様な物体の三次元モデルのデータセット． これまで，三次元形状を学習するためには Ground Truthとして三 次元モデルが必要だった． NeRFは三次元モデルを必要としない． 背景（2/2） [1] ShapeNet: An Information-Rich 3D Model Repository 図．ShapeNetのイメージ
- 13. 13 NeRFは，LLFF[2]のアイデアを発展させ，ボリュームレンダリングを 導入したことによって，定量評価でより高精度な結果を得た． 関連研究 [2] Local Light Field Fusion: Practical View Synthesis with Prescriptive Sampling Guidelines 図.LLFFによって合成されたシーン 図.NeRFによって合成されたシーン
- 14. 制約 02
- 16. 16 NeRFはモデルそのものが三次元空間を学習する都合上，学習可能 なシーンはひとつに限られる． 単一のシーンにのみ適用可能 𝑥, 𝑦, 𝑧, θ, φ → 𝐹𝑙𝑒𝑔𝑜 → 得られるのは絶対にlegoの画像 学習に一切関係ないshipの画像は得られない 𝐹𝑙𝑒𝑔𝑜：legoのデータを用いた学習済みモデル （ボリュームレンダリングの過程含む）
- 18. 基本原理 03
- 19. 19 (a)と(b)では入力に座標 𝑥, 𝑦, 𝑧 と視線(θ, φ)，出力は色(𝑟, 𝑔, 𝑏)と体 積密度σとなるようにMLPを学習． NeRFの全体図（1/3） 見ている向きによって色が変わる
- 25. 25 初めに入力する𝐱 = (𝑥, 𝑦, 𝑧)はPositional Encodingで60次元の高次元 空間へ写像． エンコーディング後の値はsinとcosの出力範囲である[-1,1]となる． ネットワークの構造（3/7） 図.NeRFのネットワーク構造
- 26. 26 続いて，DeepSDF[3]のアーキテクチャに従い，入力層と同じベク トルを第5層に接続するスキップ関数が設置されている． ネットワークの構造（4/7） 図.NeRFのネットワーク構造 [3] DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation
- 30. 30 NeRFは5次元の入力に限定されている． 低次元の入力では高周波成分を正確に表現することができない． Positional Encoding（1/4） Ground Truth No Positional Encoding
- 31. 31 Rahamanらの研究[3]によると，MLPは低周波成分を学習しやすく， 高周波関数を用いて入力を高次元空間に写像することで，高周波 変動を含むデータの適合性が向上することが分かっている． Positional Encoding（2/4） [3]Rahaman, Nasim, et al. "On the spectral bias of neural networks." International Conference on Machine Learning. PMLR, 2019.
- 32. 32 Positional Encodingは低次元の入力を高次元空間に写像. γ 𝑝 = sin 20π𝑝 , cos 20π𝑝 , … , sin 2𝐿−1π𝑝 , cos 2𝐿−1π𝑝 𝑝は[-1,1]に正規化済み． 𝐿はマッピングする次元数を決定するハイパーパラメータ． Positional Encoding（3/4）
- 33. 33 NeRFでは𝒙については𝐿 = 10，𝒅については𝐿 = 4を採用している． 結果として得られるγ(𝒙)，γ(𝒅)はそれぞれ60次元，24次元のベクト ルとなり，これがMLPに入力される． Positional Encoding（4/4） 図．NeRFのネットワーク構造 𝐿 = 10 𝐿 = 4
- 36. 36 サンプリングした各点を集約することで2D画像の画素値を決定． 最終的にはすべての画素で計算することで，一枚の画像が得られる． ボリュームレンダリングの概要（2/2） →計算量が多い（後述）
- 38. 38 カメラ原点を𝒐としたとき，光線上の任意の点𝒓(𝑡)は，カメラ原点 𝒐から方向𝒅に向かってどれだけ進むかを示すパラメータ𝑡を用いて 以下のように書ける． 𝒓 𝑡 = 𝒐 + 𝑡𝒅 この光線上の密度σ(𝒓(𝑡))と色𝒄(𝒓 𝑡 , 𝒅)を𝑡で積分することで，画 像空間上の点の色を決定する． 光線（2/2）
- 39. 39 光線を評価する𝑡の下限を𝑡𝑛，上限を𝑡𝑓と設定する．これにより， 計算を効率化することが可能． 積算処理は以下で定義されている． 𝐶 𝑟 = න 𝑡𝑛 𝑡𝑓 𝑇 𝑡 σ 𝒓 𝑡 𝒄 𝒓 𝑡 , 𝒅 𝑑𝑡 𝑇 𝑡 = exp − න 𝑡𝑛 𝑡𝑓 σ 𝒓 𝑠 𝑑𝑠 理論：色𝐶(𝑟)を決定する積算処理
- 40. 40 関数𝑇はAccumulated Transmittance（累積透過率）と呼ばれ，光線 が物体を通過する際にどれだけ弱まるかを示す． 具体的には，光線が𝑡𝑛から𝑡𝑓まで移動する際に，他の粒子にぶつ からずに移動する確率を表している． 𝐶 𝑟 = න 𝑡𝑛 𝑡𝑓 𝑇 𝑡 σ 𝒓 𝑡 𝒄 𝒓 𝑡 , 𝒅 𝑑𝑡 𝑇 𝑡 = exp − න 𝑡𝑛 𝑡𝑓 σ 𝒓 𝑠 𝑑𝑠 関数𝑇（1/2）
- 41. 41 体積密度が高いと，光線が物体を通過する際に弱まる確率は高まる． したがって，積分内の項は体積密度が高いと積分値が大きくなり， 結果として関数𝑇の出力値は小さくなる． 𝐶 𝑟 = න 𝑡𝑛 𝑡𝑓 𝑇 𝑡 σ 𝒓 𝑡 𝒄 𝒓 𝑡 , 𝒅 𝑑𝑡 𝑇 𝑡 = exp − න 𝑡𝑛 𝑡𝑓 σ 𝒓 𝑠 𝑑𝑠 関数𝑇（2/2）
- 43. 43 レンダリングの際には，光線はサンプリングした点で評価される． それが画素値を決定する要因となる． 区間をN個に分割し，各区間から点𝑡𝑖をランダムにサンプリング． 𝑡𝑖 ~ 𝒰 𝑡𝑛 + 𝑖 − 1 𝑁 𝑡𝑓 − 𝑡𝑛 , 𝑡𝑛 + 𝑖 𝑁 (𝑡𝑓 − 𝑡𝑛) 実装：サンプリング（2/2）
- 44. 44 サンプリングされた𝑡𝑖の集合を用いて，区分求積法に基づいた近 似計算をする． መ 𝐶 𝒓 = 𝑖=1 𝑁 𝑇𝑖 1 − exp −σ𝑖δ𝑖 𝒄𝑖 𝑇𝑖 = exp − 𝑗=1 𝑖−1 σ𝑗δ𝑗 δ𝑖 = 𝑡𝑖+1 − 𝑡𝑖 実装：積算処理（1/2）
- 45. 45 ここで，δ𝑖は隣接するサンプル間の距離を示す. መ 𝐶 𝒓 = 𝑖=1 𝑁 𝑇𝑖 1 − exp −σ𝑖δ𝑖 𝒄𝑖 𝑇𝑖 = exp − 𝑗=1 𝑖−1 σ𝑗δ𝑗 δ𝑖 = 𝑡𝑖+1 − 𝑡𝑖 実装：積算処理（2/2） δ𝑖 𝑡𝑖 𝑡𝑖+1
- 47. 47 ボリュームレンダリングをより効率的に行う手法． 物体の表面などの重要な領域により多くのサンプルを割り当てるこ とで，レンダリングの効率を向上させる． Hierarchical Volume Samplingの概要（1/2） 図．Hierarchical Volume Samplingのイメージ
- 48. 48 単一のネットワークを使用するのではなく，Coarseネットワーク （粗い）とFineネットワーク（細かい）を用意． 1. Coarseネットワークで，大まかなレンダリング． 2. 1の結果より，多くサンプルが存在する場所を重要度が高いと捉 え，Fineネットワークで細かいレンダリング． Hierarchical Volume Samplingの概要（2/2）
- 49. 49 出力される画像が低解像度で，全体の大まかな特徴を扱うのに適 している． መ 𝐶𝑐はサンプリングした各点の色𝑐𝑖に重みを掛けた和． 𝑇𝑖はAccumulated Transmittance Coarseネットワーク (𝑐1, σ1) (𝑐2, σ2) (𝑐3, σ3) (𝑐4, σ4)
- 51. 51 PDFから逆変換サンプリングを用いて，光線に沿った点を𝑁𝑓個サンプ リングする． 逆変換サンプリング・・・コンピュータで疑似乱数を生成する手法のひとつ 光線上の𝑁𝑐 + 𝑁𝑓個のサンプル点の座標と視線方向を用いて，各サン プル点での色と密度を計算し，ボリュームレンダリングをする． መ 𝐶𝑓 𝑟 = න 𝑡𝑛 𝑡𝑓 𝑇 𝑡 σ 𝒓 𝑡 𝒄 𝒓 𝑡 , 𝒅 𝑑𝑡 Fineネットワーク（2/2）
- 54. 54 ℛ：光線の集合 𝐶𝑡(𝒓)：教師画像の画素値 መ 𝐶𝑐(𝒓)：Coarseネットワークでレンダリングした画像の画素値 መ 𝐶𝑓(𝒓)：Fineネットワークでレンダリングした画像の画素値 ℒ = 𝒓∈ℛ መ 𝐶𝑐 𝒓 − 𝐶𝑡(𝒓) 2 2 + መ 𝐶𝑓 𝒓 − 𝐶𝑡(𝒓) 2 2 誤差関数（2/2）
- 55. 実験と結果 04
- 56. 56 合成データ Deep Voxels dataset[111] 複雑ではない形状の物体をあらゆる視点からレンダリングしたデータセット 鏡面反射は無し 画像サイズは512x512 CGデータセット 8種類のオブジェクト 学習用に100視点，テスト用に200視点レンダリング 画像のサイズは800x800 実データ 8つのシーンをスマホのカメラで色々な視点から撮影したデータ 20 ∼ 62枚撮影 画像サイズは1008x756 データセット
- 57. 57 NeRFの性能を評価するために，シーンを三次元表現をする先行研究と して以下の3つの研究を採用． Neural Volumes（NV）[4] 高解像度で複雑なシーンの表現能力に制限があるボクセルベースの3D表現手法． Scene Representation Networks（SRN）[5] シーンを単一のNNで表現するが，詳細な形状と色の表現力に制限が存在． Local Light Field Fusion（LLFF） 入力画像を用いて，各視点に対して三次元空間を離散的にサンプリングして RGBグリッドを直接予測するが，これには大量のストレージが必要． 比較手法 [4] Neural Volumes: Learning Dynamic Renderable Volumes from Images [5] Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations
- 58. 58 3つの画質評価指標を用いて，新規視点画像合成のパフォーマン スを比較． 定量評価 表1．画質評価指標による従来手法との比較 [41]Deepvoxels: Learning persistent 3D feature embeddings. [28] Local light field fusion: Practical view synthesis with prescriptive sampling guidelines. 画像類似度指標について
- 62. 62 CGシーンで色々条件を変えた結果を比較． Positional EncodingとView Dependenceの有無が精度に大きく寄与． Hierarchical Volume Samplingは計算の効率化のため，結果への寄与は小さい． 画像の枚数が少なすぎると，性能は低下． Positional Encodingの𝐿（γ(𝒙)）が小さすぎると，性能が低下． Ablation Study（1/2） 表2．Ablation Studyをした結果 手法の中からある条件だけを抜くことで， その要素の重要さについて考察する実験 変更する条件 変更する値 評価指標
- 63. 63 Ablation Study（2/2） 図.Ablation Study 定性評価 ・光が反射（視線依存） ・高周波成分を表現 ・光反射はない ・高周波成分を表現 ・光が反射（視線依存） ・高周波成分を表現不可
- 64. 今後の課題 05
- 66. 66 対象の密度しか学習しないため，正確な表面形状を学習しない． 強い反射など，レンダリングが難しい部分に浮遊物が発生． 課題②：表面形状が不正確 [4] NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction 図．論文[4]による比較
- 68. 68 学習・推論の高速化 Instant-NGP (SIGGRAPH 2022) TensoRF (ECCV 2022) Plenoxels (CVPR 2022) 表面形状の改善 NeuS (NeurIPS 2021) VolSDF (NeurIPS 2021) 少ない画像から再構成 pixelNeRF (CVPR 2021) KeypointNeRF (ECCV 2022) 最近の動向（1/2） pixelNeRF 3-view NeRF 図．pixelNeRFとNeRFの比較
- 69. 69 色・形状の編集 Distilled feature fields (NeurIPS 2022) Deforming-NeRF (ECCV 2022) 動的シーンへの対応 DyNeRF (CVPR2022) HyperNeRF (SIGGRAPH Asia 2021) 最近の動向（2/2） 図．DyNeRFによる動的なシーンの再現
- 70. まとめ 06
- 72. Thank you for listening https://033lab.org
- 76. 76 • PSNR（Peak Signal to NoiseRatio） 最大画素値とノイズの比率を計算する． PSNR = 𝑀𝐴𝑋2 𝑀𝑆𝐸 画像類似度指標（1/3）
- 77. 77 • SSIM（Structual Similarity） 画素値（輝度），コントラスト，構造の変化を評価する． 𝑆𝑆𝐼𝑀 𝑥, 𝑦 = 2𝜇𝑥𝜇𝑦 + 𝐶1 2σ𝑥𝑦 + 𝐶2 (𝜇𝑥 2 + 𝜇𝑦 2 + 𝐶1)(σ𝑥 2 + σ𝑦 2 + 𝐶2) （𝐶: 定数, σ: 標準偏差, 𝜇: 平均画素値） 画像類似度指標（2/3）
- 78. 78 • LPIPS（Learned Perceptual Image Patch Similarity） AlexNetやVGGなどの学習済み画像分類ネットワークの畳み込み層が 出力する特徴量を基にした基準． 画像類似度指標（3/3）