SlideShare uma empresa Scribd logo
1 de 39
http://www.cg.info.hiroshima-cu.ac.jp/
Computer Graphics Laboratory, Hiroshima City University
偏光による形状推定および色の解析
宮崎大輔
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
コンピュータビジョンとコンピュータグラフィックス
コンピュータビジョン(CV) コンピュータグラフィックス(CG)
偏光?
マルチスペクトル?
現実世界 情報 デジタルデータ 画像
偏光?
マルチスペクトル?
黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)イントロ(1/2)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
本日のトピック
1.視体積交差法と偏光を利用した鏡面物
体の三次元形状計測
2.偏光レイトレーシング法を用いた透明
物体の三次元形状計測
3.偏光と反射モデルとウェーブレット圧縮
を利用した物体の見えの再現
4.メタメリズム生起のための油絵の具の
調合割合の算出
※この発表では偏光=直線偏光 ※この発表ではスペクトル=分光スペクトル
形状計測 色の解析
実写 CG
光源A 光源B
黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)イントロ(2/2)
http://www.cg.info.hiroshima-cu.ac.jp/
Computer Graphics Laboratory, Hiroshima City University
視体積交差法と偏光を利用した鏡面物体の
三次元形状計測
4つの話題のうちの1つ目
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
滑らかな黒色物体の形状計測
形状計測
偏光 → 法線
視体積交差法 → 3次元座標
複数視点で観測
黒い
鏡面反射
イントロ(2) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)黒色形状(1/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
偏光と法線の関係
法線の候補
反射面
非偏光
偏光カメラ
部分偏光
方位角
最小輝度の時の偏光角=反射面=法線の候補
イントロ(2) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)黒色形状(2/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
2視点以上から法線を一意に決定
カメラ1
方位角1
法線
方位角2
カメラ2
反射面2 反射面1
物体表面
イントロ(2) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)黒色形状(3/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
視体積交差法
物体
カメラ
画像
シルエット
視体積
復元される3次元形状
対象物体の3次元形状
シルエットから
復元
イントロ(2) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)黒色形状(4/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
実験装置
ライティングドーム
対象物体
回転台
偏光カメラ
24視点で撮影
一様光源
イントロ(2) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)黒色形状(5/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
計測対象物体
真の形状
視体積交差法のみ
提案手法
視体積交差法+偏光
イントロ(2) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)黒色形状(6/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
計測対象物体 視体積交差法のみ
提案手法
視体積交差法+偏光
イントロ(2) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)黒色形状(7/7)
http://www.cg.info.hiroshima-cu.ac.jp/
Computer Graphics Laboratory, Hiroshima City University
偏光レイトレーシング法を用いた透明物体
の三次元形状計測
4つの話題のうちの2つ目
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
目的
• 透明な物体の3次元形状を計測する
– 偏光を解析する
仮想透明物体
実透明物体
偏光解析
イントロ(2) 黒色形状(7) 反射CG(7) 条件等色(7) まとめ(2)透明形状(1/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
偏光レイトレーシング
光線の追跡
偏光状態の計算
ミュラー計算法
イントロ(2) 黒色形状(7) 反射CG(7) 条件等色(7) まとめ(2)透明形状(2/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
形状計測アルゴリズム
反復計算
形状を更新していく
計算された正規化ストークスベクトル
(偏光レイトレーシングを使用)
2
min
入力正規化ストークスベクトル
(偏光カメラの計測結果)
初期形状
最終結果
イントロ(2) 黒色形状(7) 反射CG(7) 条件等色(7) まとめ(2)透明形状(3/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
カメラアダプタ
コンピュータ
モノクロTVカメラ
IR/UVカットフィルタ
電動偏光板
ジオデジックドーム
偏光板コントローラ 内部に透明物体
40Wランプ
プラスチック球
計測装置コクーン
イントロ(2) 黒色形状(7) 反射CG(7) 条件等色(7) まとめ(2)透明形状(4/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
実験結果
アクリル半球
屈折率 1.5
直径 30mm
3000
0 5025
1500
誤差/ループ
   dxdyII RE
2
誤差(高さ):0.61mm
誤差(法線):7.0
初期形状
(従来法)
50ループ
誤差(高さ):2.8mm
誤差(法線):14
初期形状
(従来法)
10ループ
イントロ(2) 黒色形状(7) 反射CG(7) 条件等色(7) まとめ(2)透明形状(5/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
実験結果
初期形状(従来法)
10ループ
ガラス(屈折率 1.5)
イントロ(2) 黒色形状(7) 反射CG(7) 条件等色(7) まとめ(2)透明形状(6/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
実験結果
初期形状
(手動設定)
推定形状
(10ループ)
イントロ(2) 黒色形状(7) 反射CG(7) 条件等色(7) まとめ(2)透明形状(7/7)
http://www.cg.info.hiroshima-cu.ac.jp/
Computer Graphics Laboratory, Hiroshima City University
偏光と反射モデルとウェーブレット圧縮を利用した
物体の見えの再現
4つの話題のうちの3つ目
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
偏光による反射成分の分離
一
般
的
な
写
真
拡
散
反
射
成
分
鏡
面
反
射
成
分
完全偏光 非偏光
鏡面反射 拡散反射
完全偏光
イントロ(2) 黒色形状(7) 透明形状(7) 条件等色(7) まとめ(2)反射CG(1/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
拡散反射モデル
光源方向と法線(物体の向き)が
同じ向きのとき,最も明るくなる
コサイン関数により陰影を表現
イントロ(2) 黒色形状(7) 透明形状(7) 条件等色(7) まとめ(2)反射CG(2/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
鏡面反射モデル
鏡の方向のとき,最も明るくなる
ガウス関数(正規分布)
により艶っぽさを表現
イントロ(2) 黒色形状(7) 透明形状(7) 条件等色(7) まとめ(2)反射CG(3/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
実験装置
レーザ距離計測装置
光源
カメラ
偏光板
対象物体
回転台
イントロ(2) 黒色形状(7) 透明形状(7) 条件等色(7) まとめ(2)反射CG(4/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
入力データ
形状 画像
イントロ(2) 黒色形状(7) 透明形状(7) 条件等色(7) まとめ(2)反射CG(5/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
実験結果
イントロ(2) 黒色形状(7) 透明形状(7) 条件等色(7) まとめ(2)反射CG(6/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
その他の結果(5:1)
イントロ(2) 黒色形状(7) 透明形状(7) 条件等色(7) まとめ(2)反射CG(7/7)
http://www.cg.info.hiroshima-cu.ac.jp/
Computer Graphics Laboratory, Hiroshima City University
メタメリズム生起のための油絵の具の調合
割合の算出
4つの話題のうちの3つ目
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
メタメリズムアート
光源1 光源2
絵の具1
絵の具2
絵の具1
絵の具2
・絵画
・アトラクション
・広告
・透かし
同じ色に見える 違う色に見える
イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) まとめ(2)条件等色(1/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
色の知覚
赤(X)
緑(Y)
青(Z)
光源
物体 網膜
脳
錐体
イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) まとめ(2)条件等色(2/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
スペクトル分布
等色関数
(CIE-XYZ)
ライト1 絵の具1
絵の具2
X: 0.36
Y: 0.50
Z: 0.14
X: 0.36
Y: 0.50
Z: 0.14
ライト1等色関数
(CIE-XYZ)
イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) まとめ(2)条件等色(3/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
絵の具の調合
絵の具データベースD 混合割合w
イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) まとめ(2)条件等色(4/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
コスト関数最小化
E1 E2
Dw1 Dw2 Dw1 Dw2
pE1Dw1 pE1Dw2 pE2Dw1 pE2Dw2arg min
w1,w2
2 0.5
イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) まとめ(2)条件等色(5/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
実験結果
混合塗料1 混合塗料2
光源1 光源2
R: 20
G: 108
B: 0
R: 7
G: 86
B: 5
R: 51
G: 82
B: 23
R: 110
G: 19
B: 16
イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) まとめ(2)条件等色(6/7)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
実験結果
光源1 光源2
イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) まとめ(2)条件等色(7/7)
http://www.cg.info.hiroshima-cu.ac.jp/
Computer Graphics Laboratory, Hiroshima City University
まとめ
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
本日のトピック
1.視体積交差法と偏光を利用した鏡面物
体の三次元形状計測
2.偏光レイトレーシング法を用いた透明
物体の三次元形状計測
3.偏光と反射モデルとウェーブレット圧縮
を利用した物体の見えの再現
4.メタメリズム生起のための油絵の具の
調合割合の算出
形状計測 色の解析
実写 CG
光源A 光源B
イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(1/2)
http://www.cg.info.hiroshima-cu.ac.jp/
CG Lab, Hiroshima City University
発表文献
• 本日の内容
– Daisuke Miyazaki, Takuya Shigetomi, Masashi Baba, Ryo Furukawa, Shinsaku Hiura, Naoki
Asada, "Polarization-based surface normal estimation of black specular objects from multiple
viewpoints," Proc. 3D Imaging, Modeling, Processing, Visualization & Transmission, pp. 104-111,
2012.
– Daisuke Miyazaki, Katsushi Ikeuchi, "Shape estimation of transparent objects by using inverse
polarization raytracing," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 29,
no. 11, pp. 2018-2030, 2007.
– Daisuke Miyazaki, Takushi Shibata, Katsushi Ikeuchi, "Wavelet-texture method: Appearance
compression by polarization, parametric reflection model, and Daubechies wavelet," International
Journal of Computer Vision, vol. 86, no. 2-3, pp. 171-191, 2010.
– Daisuke Miyazaki, Kazuki Nakamura, Masashi Baba, Ryo Furukawa, Masahito Aoyama, Shinsaku
Hiura, Naoki Asada, "A first introduction to metamerism art," SIGGRAPH ASIA Posters, 2012.
• 偏光とコンピュータの様々な研究の紹介
– 宮崎 大輔, 池内 克史, "偏光の基礎理論とその応用," 情報処理学会論文誌 コンピュータビ
ジョンとイメージメディア, Vol. 1, No. 1, pp. 64-72, 2008.6
• ウェブページ
– http://www.cg.info.hiroshima-cu.ac.jp/~miyazaki/
イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2/2)
http://www.cg.info.hiroshima-cu.ac.jp/
Computer Graphics Laboratory, Hiroshima City University
(c) Daisuke Miyazaki 2013
All rights reserved.
http://www.cg.info.hiroshima-cu.ac.jp/~miyazaki/
宮崎大輔, "偏光による形状推定および色の解析," 第127回微小
光学研究会, 東京, 2013年3月.

Mais conteúdo relacionado

Mais procurados

FTMA '18-02 (Kenta Yamamoto)
FTMA '18-02 (Kenta Yamamoto)FTMA '18-02 (Kenta Yamamoto)
FTMA '18-02 (Kenta Yamamoto)Kenta Yamamoto
 
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)kanejaki
 
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列Toru Tamaki
 
信号処理・画像処理における凸最適化
信号処理・画像処理における凸最適化信号処理・画像処理における凸最適化
信号処理・画像処理における凸最適化Shunsuke Ono
 
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」Naoya Chiba
 
VIEW2013 Binarycode-based Object Recognition
VIEW2013 Binarycode-based Object RecognitionVIEW2013 Binarycode-based Object Recognition
VIEW2013 Binarycode-based Object RecognitionHironobu Fujiyoshi
 
ImageJを使った画像解析実習〜2値化・領域抽出〜
ImageJを使った画像解析実習〜2値化・領域抽出〜ImageJを使った画像解析実習〜2値化・領域抽出〜
ImageJを使った画像解析実習〜2値化・領域抽出〜LPIXEL
 
SuperGlue; Learning Feature Matching with Graph Neural Networks (CVPR'20)
SuperGlue;Learning Feature Matching with Graph Neural Networks (CVPR'20)SuperGlue;Learning Feature Matching with Graph Neural Networks (CVPR'20)
SuperGlue; Learning Feature Matching with Graph Neural Networks (CVPR'20)Yusuke Uchida
 
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習Naoya Chiba
 
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)Masaya Kaneko
 
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイNaoya Chiba
 
Bachelor Presentation
Bachelor PresentationBachelor Presentation
Bachelor PresentationDzul Fahmi
 
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)Masaya Kaneko
 
Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出
Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出
Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出MPRG_Chubu_University
 
確率モデルを用いた3D点群レジストレーション
確率モデルを用いた3D点群レジストレーション確率モデルを用いた3D点群レジストレーション
確率モデルを用いた3D点群レジストレーションKenta Tanaka
 
GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説
GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説
GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説Masaya Kaneko
 
【ECCV 2018】Implicit 3D Orientation Learning for 6D Object Detection from RGB ...
【ECCV 2018】Implicit 3D Orientation Learning for 6D Object Detection from RGB ...【ECCV 2018】Implicit 3D Orientation Learning for 6D Object Detection from RGB ...
【ECCV 2018】Implicit 3D Orientation Learning for 6D Object Detection from RGB ...cvpaper. challenge
 

Mais procurados (19)

FTMA '18-02 (Kenta Yamamoto)
FTMA '18-02 (Kenta Yamamoto)FTMA '18-02 (Kenta Yamamoto)
FTMA '18-02 (Kenta Yamamoto)
 
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
第18回コンピュータビジョン勉強会@関東「ICCV祭り」発表資料(kanejaki)
 
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列
 
信号処理・画像処理における凸最適化
信号処理・画像処理における凸最適化信号処理・画像処理における凸最適化
信号処理・画像処理における凸最適化
 
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
 
VIEW2013 Binarycode-based Object Recognition
VIEW2013 Binarycode-based Object RecognitionVIEW2013 Binarycode-based Object Recognition
VIEW2013 Binarycode-based Object Recognition
 
ImageJを使った画像解析実習〜2値化・領域抽出〜
ImageJを使った画像解析実習〜2値化・領域抽出〜ImageJを使った画像解析実習〜2値化・領域抽出〜
ImageJを使った画像解析実習〜2値化・領域抽出〜
 
SuperGlue; Learning Feature Matching with Graph Neural Networks (CVPR'20)
SuperGlue;Learning Feature Matching with Graph Neural Networks (CVPR'20)SuperGlue;Learning Feature Matching with Graph Neural Networks (CVPR'20)
SuperGlue; Learning Feature Matching with Graph Neural Networks (CVPR'20)
 
第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習第126回 ロボット工学セミナー 三次元点群と深層学習
第126回 ロボット工学セミナー 三次元点群と深層学習
 
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
 
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
 
20200704 bsp net
20200704 bsp net20200704 bsp net
20200704 bsp net
 
SLAM勉強会(PTAM)
SLAM勉強会(PTAM)SLAM勉強会(PTAM)
SLAM勉強会(PTAM)
 
Bachelor Presentation
Bachelor PresentationBachelor Presentation
Bachelor Presentation
 
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)Neural scene representation and rendering の解説(第3回3D勉強会@関東)
Neural scene representation and rendering の解説(第3回3D勉強会@関東)
 
Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出
Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出
Relational Binarized HOG特徴量とReal AdaBoostによるバイナリ選択を用いた物体検出
 
確率モデルを用いた3D点群レジストレーション
確率モデルを用いた3D点群レジストレーション確率モデルを用いた3D点群レジストレーション
確率モデルを用いた3D点群レジストレーション
 
GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説
GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説
GN-Net: The Gauss-Newton Loss for Deep Direct SLAMの解説
 
【ECCV 2018】Implicit 3D Orientation Learning for 6D Object Detection from RGB ...
【ECCV 2018】Implicit 3D Orientation Learning for 6D Object Detection from RGB ...【ECCV 2018】Implicit 3D Orientation Learning for 6D Object Detection from RGB ...
【ECCV 2018】Implicit 3D Orientation Learning for 6D Object Detection from RGB ...
 

Semelhante a Miyazaki microoptics2013

光源方向推定のための構造色パターンマッチング
光源方向推定のための構造色パターンマッチング光源方向推定のための構造色パターンマッチング
光源方向推定のための構造色パターンマッチングuranishi
 
画像認識における幾何学的不変性の扱い
画像認識における幾何学的不変性の扱い画像認識における幾何学的不変性の扱い
画像認識における幾何学的不変性の扱いSeiji Hotta
 
cvsaisentan20141004 kanezaki
cvsaisentan20141004 kanezakicvsaisentan20141004 kanezaki
cvsaisentan20141004 kanezakikanejaki
 
20190831 3 d_inaba_final
20190831 3 d_inaba_final20190831 3 d_inaba_final
20190831 3 d_inaba_finalDaikiInaba
 
ECCV読み会 "Materials for Masses: SVBRDF Acquisition with a Single Mobile Phone ...
ECCV読み会 "Materials for Masses: SVBRDF Acquisition with a Single Mobile Phone ...ECCV読み会 "Materials for Masses: SVBRDF Acquisition with a Single Mobile Phone ...
ECCV読み会 "Materials for Masses: SVBRDF Acquisition with a Single Mobile Phone ...Hajime Mihara
 
落合陽一前陣速攻のスライド0131 #JILS
落合陽一前陣速攻のスライド0131 #JILS 落合陽一前陣速攻のスライド0131 #JILS
落合陽一前陣速攻のスライド0131 #JILS Yoichi Ochiai
 
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)Tomohiro Motoda
 
3Dマップを活用したVisual Localization
3Dマップを活用したVisual Localization3Dマップを活用したVisual Localization
3Dマップを活用したVisual LocalizationHajime Taira
 
顕著性マップの推定手法
顕著性マップの推定手法顕著性マップの推定手法
顕著性マップの推定手法Takao Yamanaka
 

Semelhante a Miyazaki microoptics2013 (9)

光源方向推定のための構造色パターンマッチング
光源方向推定のための構造色パターンマッチング光源方向推定のための構造色パターンマッチング
光源方向推定のための構造色パターンマッチング
 
画像認識における幾何学的不変性の扱い
画像認識における幾何学的不変性の扱い画像認識における幾何学的不変性の扱い
画像認識における幾何学的不変性の扱い
 
cvsaisentan20141004 kanezaki
cvsaisentan20141004 kanezakicvsaisentan20141004 kanezaki
cvsaisentan20141004 kanezaki
 
20190831 3 d_inaba_final
20190831 3 d_inaba_final20190831 3 d_inaba_final
20190831 3 d_inaba_final
 
ECCV読み会 "Materials for Masses: SVBRDF Acquisition with a Single Mobile Phone ...
ECCV読み会 "Materials for Masses: SVBRDF Acquisition with a Single Mobile Phone ...ECCV読み会 "Materials for Masses: SVBRDF Acquisition with a Single Mobile Phone ...
ECCV読み会 "Materials for Masses: SVBRDF Acquisition with a Single Mobile Phone ...
 
落合陽一前陣速攻のスライド0131 #JILS
落合陽一前陣速攻のスライド0131 #JILS 落合陽一前陣速攻のスライド0131 #JILS
落合陽一前陣速攻のスライド0131 #JILS
 
三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)三次元表現まとめ(深層学習を中心に)
三次元表現まとめ(深層学習を中心に)
 
3Dマップを活用したVisual Localization
3Dマップを活用したVisual Localization3Dマップを活用したVisual Localization
3Dマップを活用したVisual Localization
 
顕著性マップの推定手法
顕著性マップの推定手法顕著性マップの推定手法
顕著性マップの推定手法
 

Miyazaki microoptics2013

  • 1. http://www.cg.info.hiroshima-cu.ac.jp/ Computer Graphics Laboratory, Hiroshima City University 偏光による形状推定および色の解析 宮崎大輔
  • 2. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University コンピュータビジョンとコンピュータグラフィックス コンピュータビジョン(CV) コンピュータグラフィックス(CG) 偏光? マルチスペクトル? 現実世界 情報 デジタルデータ 画像 偏光? マルチスペクトル? 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)イントロ(1/2)
  • 3. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 本日のトピック 1.視体積交差法と偏光を利用した鏡面物 体の三次元形状計測 2.偏光レイトレーシング法を用いた透明 物体の三次元形状計測 3.偏光と反射モデルとウェーブレット圧縮 を利用した物体の見えの再現 4.メタメリズム生起のための油絵の具の 調合割合の算出 ※この発表では偏光=直線偏光 ※この発表ではスペクトル=分光スペクトル 形状計測 色の解析 実写 CG 光源A 光源B 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)イントロ(2/2)
  • 4. http://www.cg.info.hiroshima-cu.ac.jp/ Computer Graphics Laboratory, Hiroshima City University 視体積交差法と偏光を利用した鏡面物体の 三次元形状計測 4つの話題のうちの1つ目
  • 5. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 滑らかな黒色物体の形状計測 形状計測 偏光 → 法線 視体積交差法 → 3次元座標 複数視点で観測 黒い 鏡面反射 イントロ(2) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)黒色形状(1/7)
  • 6. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 偏光と法線の関係 法線の候補 反射面 非偏光 偏光カメラ 部分偏光 方位角 最小輝度の時の偏光角=反射面=法線の候補 イントロ(2) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)黒色形状(2/7)
  • 7. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 2視点以上から法線を一意に決定 カメラ1 方位角1 法線 方位角2 カメラ2 反射面2 反射面1 物体表面 イントロ(2) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)黒色形状(3/7)
  • 8. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 視体積交差法 物体 カメラ 画像 シルエット 視体積 復元される3次元形状 対象物体の3次元形状 シルエットから 復元 イントロ(2) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)黒色形状(4/7)
  • 9. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 実験装置 ライティングドーム 対象物体 回転台 偏光カメラ 24視点で撮影 一様光源 イントロ(2) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)黒色形状(5/7)
  • 10. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 計測対象物体 真の形状 視体積交差法のみ 提案手法 視体積交差法+偏光 イントロ(2) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)黒色形状(6/7)
  • 11. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 計測対象物体 視体積交差法のみ 提案手法 視体積交差法+偏光 イントロ(2) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2)黒色形状(7/7)
  • 12. http://www.cg.info.hiroshima-cu.ac.jp/ Computer Graphics Laboratory, Hiroshima City University 偏光レイトレーシング法を用いた透明物体 の三次元形状計測 4つの話題のうちの2つ目
  • 13. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 目的 • 透明な物体の3次元形状を計測する – 偏光を解析する 仮想透明物体 実透明物体 偏光解析 イントロ(2) 黒色形状(7) 反射CG(7) 条件等色(7) まとめ(2)透明形状(1/7)
  • 14. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 偏光レイトレーシング 光線の追跡 偏光状態の計算 ミュラー計算法 イントロ(2) 黒色形状(7) 反射CG(7) 条件等色(7) まとめ(2)透明形状(2/7)
  • 15. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 形状計測アルゴリズム 反復計算 形状を更新していく 計算された正規化ストークスベクトル (偏光レイトレーシングを使用) 2 min 入力正規化ストークスベクトル (偏光カメラの計測結果) 初期形状 最終結果 イントロ(2) 黒色形状(7) 反射CG(7) 条件等色(7) まとめ(2)透明形状(3/7)
  • 16. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University カメラアダプタ コンピュータ モノクロTVカメラ IR/UVカットフィルタ 電動偏光板 ジオデジックドーム 偏光板コントローラ 内部に透明物体 40Wランプ プラスチック球 計測装置コクーン イントロ(2) 黒色形状(7) 反射CG(7) 条件等色(7) まとめ(2)透明形状(4/7)
  • 17. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 実験結果 アクリル半球 屈折率 1.5 直径 30mm 3000 0 5025 1500 誤差/ループ    dxdyII RE 2 誤差(高さ):0.61mm 誤差(法線):7.0 初期形状 (従来法) 50ループ 誤差(高さ):2.8mm 誤差(法線):14 初期形状 (従来法) 10ループ イントロ(2) 黒色形状(7) 反射CG(7) 条件等色(7) まとめ(2)透明形状(5/7)
  • 18. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 実験結果 初期形状(従来法) 10ループ ガラス(屈折率 1.5) イントロ(2) 黒色形状(7) 反射CG(7) 条件等色(7) まとめ(2)透明形状(6/7)
  • 19. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 実験結果 初期形状 (手動設定) 推定形状 (10ループ) イントロ(2) 黒色形状(7) 反射CG(7) 条件等色(7) まとめ(2)透明形状(7/7)
  • 20. http://www.cg.info.hiroshima-cu.ac.jp/ Computer Graphics Laboratory, Hiroshima City University 偏光と反射モデルとウェーブレット圧縮を利用した 物体の見えの再現 4つの話題のうちの3つ目
  • 21. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 偏光による反射成分の分離 一 般 的 な 写 真 拡 散 反 射 成 分 鏡 面 反 射 成 分 完全偏光 非偏光 鏡面反射 拡散反射 完全偏光 イントロ(2) 黒色形状(7) 透明形状(7) 条件等色(7) まとめ(2)反射CG(1/7)
  • 22. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 拡散反射モデル 光源方向と法線(物体の向き)が 同じ向きのとき,最も明るくなる コサイン関数により陰影を表現 イントロ(2) 黒色形状(7) 透明形状(7) 条件等色(7) まとめ(2)反射CG(2/7)
  • 23. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 鏡面反射モデル 鏡の方向のとき,最も明るくなる ガウス関数(正規分布) により艶っぽさを表現 イントロ(2) 黒色形状(7) 透明形状(7) 条件等色(7) まとめ(2)反射CG(3/7)
  • 24. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 実験装置 レーザ距離計測装置 光源 カメラ 偏光板 対象物体 回転台 イントロ(2) 黒色形状(7) 透明形状(7) 条件等色(7) まとめ(2)反射CG(4/7)
  • 25. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 入力データ 形状 画像 イントロ(2) 黒色形状(7) 透明形状(7) 条件等色(7) まとめ(2)反射CG(5/7)
  • 26. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 実験結果 イントロ(2) 黒色形状(7) 透明形状(7) 条件等色(7) まとめ(2)反射CG(6/7)
  • 27. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University その他の結果(5:1) イントロ(2) 黒色形状(7) 透明形状(7) 条件等色(7) まとめ(2)反射CG(7/7)
  • 28. http://www.cg.info.hiroshima-cu.ac.jp/ Computer Graphics Laboratory, Hiroshima City University メタメリズム生起のための油絵の具の調合 割合の算出 4つの話題のうちの3つ目
  • 29. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University メタメリズムアート 光源1 光源2 絵の具1 絵の具2 絵の具1 絵の具2 ・絵画 ・アトラクション ・広告 ・透かし 同じ色に見える 違う色に見える イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) まとめ(2)条件等色(1/7)
  • 30. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 色の知覚 赤(X) 緑(Y) 青(Z) 光源 物体 網膜 脳 錐体 イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) まとめ(2)条件等色(2/7)
  • 31. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University スペクトル分布 等色関数 (CIE-XYZ) ライト1 絵の具1 絵の具2 X: 0.36 Y: 0.50 Z: 0.14 X: 0.36 Y: 0.50 Z: 0.14 ライト1等色関数 (CIE-XYZ) イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) まとめ(2)条件等色(3/7)
  • 32. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 絵の具の調合 絵の具データベースD 混合割合w イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) まとめ(2)条件等色(4/7)
  • 33. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University コスト関数最小化 E1 E2 Dw1 Dw2 Dw1 Dw2 pE1Dw1 pE1Dw2 pE2Dw1 pE2Dw2arg min w1,w2 2 0.5 イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) まとめ(2)条件等色(5/7)
  • 34. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 実験結果 混合塗料1 混合塗料2 光源1 光源2 R: 20 G: 108 B: 0 R: 7 G: 86 B: 5 R: 51 G: 82 B: 23 R: 110 G: 19 B: 16 イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) まとめ(2)条件等色(6/7)
  • 35. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 実験結果 光源1 光源2 イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) まとめ(2)条件等色(7/7)
  • 37. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 本日のトピック 1.視体積交差法と偏光を利用した鏡面物 体の三次元形状計測 2.偏光レイトレーシング法を用いた透明 物体の三次元形状計測 3.偏光と反射モデルとウェーブレット圧縮 を利用した物体の見えの再現 4.メタメリズム生起のための油絵の具の 調合割合の算出 形状計測 色の解析 実写 CG 光源A 光源B イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(1/2)
  • 38. http://www.cg.info.hiroshima-cu.ac.jp/ CG Lab, Hiroshima City University 発表文献 • 本日の内容 – Daisuke Miyazaki, Takuya Shigetomi, Masashi Baba, Ryo Furukawa, Shinsaku Hiura, Naoki Asada, "Polarization-based surface normal estimation of black specular objects from multiple viewpoints," Proc. 3D Imaging, Modeling, Processing, Visualization & Transmission, pp. 104-111, 2012. – Daisuke Miyazaki, Katsushi Ikeuchi, "Shape estimation of transparent objects by using inverse polarization raytracing," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 29, no. 11, pp. 2018-2030, 2007. – Daisuke Miyazaki, Takushi Shibata, Katsushi Ikeuchi, "Wavelet-texture method: Appearance compression by polarization, parametric reflection model, and Daubechies wavelet," International Journal of Computer Vision, vol. 86, no. 2-3, pp. 171-191, 2010. – Daisuke Miyazaki, Kazuki Nakamura, Masashi Baba, Ryo Furukawa, Masahito Aoyama, Shinsaku Hiura, Naoki Asada, "A first introduction to metamerism art," SIGGRAPH ASIA Posters, 2012. • 偏光とコンピュータの様々な研究の紹介 – 宮崎 大輔, 池内 克史, "偏光の基礎理論とその応用," 情報処理学会論文誌 コンピュータビ ジョンとイメージメディア, Vol. 1, No. 1, pp. 64-72, 2008.6 • ウェブページ – http://www.cg.info.hiroshima-cu.ac.jp/~miyazaki/ イントロ(2) 黒色形状(7) 透明形状(7) 反射CG(7) 条件等色(7) まとめ(2/2)
  • 39. http://www.cg.info.hiroshima-cu.ac.jp/ Computer Graphics Laboratory, Hiroshima City University (c) Daisuke Miyazaki 2013 All rights reserved. http://www.cg.info.hiroshima-cu.ac.jp/~miyazaki/ 宮崎大輔, "偏光による形状推定および色の解析," 第127回微小 光学研究会, 東京, 2013年3月.