Mais conteúdo relacionado Semelhante a Cvpr 2021 manydepth (20) Cvpr 2021 manydepth6. 本日紹介する論文
● The Temporal Opportunist: Self-Supervised Multi-Frame Monocular Depth
● J.Watsonら、Niantic、エディンバラ大学などの共著
7. 本日紹介する論文
● The Temporal Opportunist: Self-Supervised Multi-Frame Monocular Depth
● J.Watsonら、Niantic、エディンバラ大学などの共著
● 概要
○ 自己教師あり学習の単眼深度推定モデルで
SOTA
○ 単眼による推論とマルチフレームによる推論の両方を同じモデルで扱える
ようにしたよ!
24. マルチフレームによる深度推定
● 参考論文
○ Don’t Forget The Past: Recurrent Depth Estimation from Monocular
Video[V.Patilら, 2020]
● 単眼深度推定+リカレント層が使われている
● 幾何学的な制約を使っていない
25. マルチビューによる深度推定
● 参考論文
○ Learning Unsupervised Multi-View Stereopsis via Robust Photometric
Consistency[T.Khotら, CVPR2019]
● 複数の画像をfeature mapに変換しCost Volumeを求めて深度推定を行う
● 相対的なカメラ位置関係は既知
Encoder/
Decoder
36. Adaptive Cost Volume
● スケールの曖昧さを解決するためにAdaptive Cost Volumeを導入
● 内部パラメタを用いてCost Volumeが計算されるので推定される深度自体は現実スケー
ルとほぼ合っている
● 問題はCost Volumeの範囲[dmin, dmax]をどう設定するか?
Cost Volume
H
W
D
dmin
dmax
37. Adaptive Cost Volume
● スケールの曖昧さを解決するためにAdaptive Cost Volumeを導入
● 内部パラメタを用いてCost Volumeが計算されるので推定される深度自体は現実スケー
ルとほぼ合っている
● 問題はCost Volumeの範囲[dmin, dmax]をどう設定するか?
○ 学習時にdminとdmaxを深度の予測結果から推定
Cost Volume
H
W
D
dmin
dmax
38. Cost Volume Overfittingの対策
● 動いているものをマスクするために単眼深度推定モデル(Consistency Network)を用意
する
● 単眼深度推定モデルであればそれなりに動いているものを識別できる
Training Network
Consistency Network
42. その他の工夫:Test Time Refinement
● Deep系のマルチフレーム深度推定でちょくちょく使われている
○ Depth Prediction Without the Sensors: Leveraging Structure for Unsupervised
Learning from Monocular Videos[V.Casserら, AAAI2019]
● マルチフレーム自己教師あり学習の特徴を活かし、推論時に学習しながら推論する
50. 参考記事
● Qiita, takoroyさん
○ https://qiita.com/takoroy/items/191ec46211838daa47e1
○ https://qiita.com/takoroy/items/c5f650a5141874420a77
○ https://qiita.com/takoroy/items/96ad3e2ad14ba036df67
● Qiita, masataka46さん
○ https://qiita.com/masataka46/items/64a85e2929b8565a226d
○ https://qiita.com/masataka46/items/9c034056ca0a5707b77a
● SfM Learner系単眼深度推定手法について
● 【MonoDepth】mono cameraによるdepth estimation基礎理解(Deep Learning編)
● 論文「Unsupervised Monocular Depth Estimation with Left-Right Consistency」を読んでみ
ました (2):論文調査編
● Midas : 奥行きを推定する機械学習モデル
● 単眼深度推定モデルMiDaS の解説と SageMaker へのデプロイ
● できる!マネキンチャレンジデータセット(
SfM・MVS編)
● MonoDepth2でKITTI Datasetを単眼Depth推定してみる