Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a 遠赤外線カメラと可視カメラを利用した悪条件下における画像取得
Semelhante a 遠赤外線カメラと可視カメラを利用した悪条件下における画像取得 (20)
Mais de Masayuki Tanaka
Mais de Masayuki Tanaka (20)
遠赤外線カメラと可視カメラを利用した悪条件下における画像取得
- 2. 可視光線と遠赤外線 1 380nm 可視光線 近赤外線 中赤外線 遠赤外線 780nm 2.5um 8.0um 100um http://www.vision-sensing.jp/technology.html 可視光線 380-780nm 遠赤外線 8.0-15.0um 人による認識が容易 各種ツールの存在 霧や霞に弱い 光源が必要 人による認識が困難 解像度が低い 歪みが大きい 重要な情報（例：温度） 霧を透過する
- 4. プランクの法則 高田ら，実用遠赤外線 𝐸 = 𝐶1 𝜆5(𝑒 𝐶2 𝜆𝑇 − 1) [ W m2 ⋅ 𝜇𝑚] E:黒体の単色放射能 λ：波長[μm] T：絶対温度[K] C1：定数 3.742 × 108 C2：定数 1.439 × 104 高温 低温 遠赤外線 温度 大きい 高い 小さい 低い 3
- 10. 画像融合技術概要 9 画像取得 画像情報抽出 画像情報合成 遠赤外線 カメラ 可視 カメラ 画像合成 ハードウェア アライメント ソフトウェア キャリブレーション 観測画像 重要度マップ 合成画像 ブレンディング 勾配ベース処理 階層型処理 コントラスト抽出 任意重要度抽出 ジョイントフィルタ
- 12. 開発したカメラシステム 11 防塵性を高めるため光学窓が必須 ガラス ゲルマニウム 食品ラップ 可視光 OK NG OK 遠赤外線 NG OK OK 提案システムには食品ラップを光学窓に利用
- 14. 画像融合技術概要 13 画像取得 画像情報抽出 画像情報合成 遠赤外線 カメラ 可視 カメラ 画像合成 ハードウェア アライメント ソフトウェア キャリブレーション 観測画像 重要度マップ 合成画像 ブレンディング 勾配ベース処理 階層型処理 コントラスト抽出 任意重要度抽出 ジョイントフィルタ
- 17. 可視カメラ・遠赤外線カメラ（既存） 16 S. Prakash, P. Y. Lee, T. Caelli, and T. Raupach, Robust thermal camera calibration and 3d mapping of object surface temperatures, SPIE, 2016. RGB画像 遠赤外画像 印刷したチェッカーパターンを白熱電球で温める 白と黒の熱特性の差により遠赤外線画像でも チェッカーパターンを確認できる 対応点が不正確（画像がぼけている） パターンがすぐに不鮮明になる（温度差が小さくなる）
- 19. 可視カメラ・遠赤外線カメラ（提案） 18 正面 側面 二層構造のキャリブレーションボードを開発 Heated Thermal emission Thermal emission 遠赤外線画像
- 21. 時間的な安定性 20 0 sec. 60 sec. 120 sec. 600 sec. 800 sec. 従来手法提案手法 二乗誤差[pix] 経過時間 [sec] 従来手法 (Prakashらの手法) 提案手法 長時間安定的に高精度な 対応点抽出を実現
- 22. 再構成誤差による定量的精度比較 21 校正手法 可視画像 遠赤外画像 既存 2.360 [pix] 0.1841 [pix] 提案手法 0.139 [pix] 0.0676 [pix] 再投影誤差 従来手法 提案手法 ○ ○ 再投影点分布 可視画像 遠赤外線画像 従来法に比べて 一桁程度高精度
- 27. 可視・遠赤外線パノラマシステム 26 可視 カメラ 遠赤外線 カメラ 霧透過性 × ○ 解像度 ○ △ 広画角 ○ △ 可視 カメラ ２台の遠赤外線カメラ 可視画像 遠赤外線画像 可視・遠赤外線画像間の 高精度な位置合わせを実現 本研究で開発したキャリブレーション技術を活用
- 29. 画像融合技術概要 28 画像取得 画像情報抽出 画像情報合成 遠赤外線 カメラ 可視 カメラ 画像合成 ハードウェア アライメント ソフトウェア キャリブレーション 観測画像 重要度マップ 合成画像 ブレンディング 勾配ベース処理 階層型処理 コントラスト抽出 任意重要度抽出 ジョイントフィルタ
- 30. 画像合成 29 可視画像 遠赤外線画像 合成画像 入力画像 単純重ね合わせ 勾配ベース処理
- 34. 提案手法 33 出力画像 勾配抽出 （微分） 勾配操作 (マニピュレーション) 再構成 （積分） 入力画像 値域情報 𝐹 𝑢 𝑥 = 𝑑=ℎ,𝑣 𝜕 𝑑 𝑢 𝑥 − 𝑞 𝑑 𝑥 2 𝑑𝑥 + G 𝑅[𝑢(𝑥)] 𝑢 𝐱 𝑔 𝑅(𝑢 𝐱 ) 𝑅 𝑚𝑖𝑛 𝑅 𝑚𝑎𝑥 固定された値域 値域を超えたら 無限大のペナルティを課す 近接勾配法(Proximal Algorithm)で最適化可能 微分を保存し，かつ 値域に収まるような 画像を出力する
- 35. デモソフトウェア 34
- 36. デモビデオ 35 T. Shibata, M. Tanaka, and M. Okutomi, Gradient-Domain Image Reconstruction Framework with Intensity-Range and Base- Structure Constraints, CVPR 2016 デモビデオ https://youtu.be/70aLm2zv2ao
- 37. 画像融合技術概要 36 画像取得 画像情報抽出 画像情報合成 遠赤外線 カメラ 可視 カメラ 画像合成 ハードウェア アライメント ソフトウェア キャリブレーション 観測画像 重要度マップ 合成画像 ブレンディング 勾配ベース処理 階層型処理 コントラスト抽出 任意重要度抽出 ジョイントフィルタ
- 38. 位置ずれにロバストなジョイントフィルタ 37 T. Shibata, M. Tanaka, and M. Okutomi, Misalignment-Robust Joint Filter for Cross-Modal Image Pairs, ICCV 2017 http://openaccess.thecvf.com/content_iccv_2017/html/Shibata_Misalignment-Robust_Joint_Filter_ICCV_2017_paper.html
- 40. 画像融合技術概要 39 画像取得 画像情報抽出 画像情報合成 遠赤外線 カメラ 可視 カメラ 画像合成 ハードウェア アライメント ソフトウェア キャリブレーション 観測画像 重要度マップ 合成画像 ブレンディング 勾配ベース処理 階層型処理 コントラスト抽出 任意重要度抽出 ジョイントフィルタ
- 42. 関連発表文献 41 [1] 柴田剛志, 田中正行, 奥富正敏, 可視画像と近赤外画像の統合による画像の視認性向上 --デノイズ，デヘイズ等のさまざまな 応用に向けて--, 第21回画像センシングシンポジウム（SSII2015）, pp.IS1-15-1-6, June, 2015. [2] Takashi Shibata, Masayuki Tanaka and Masatoshi Okutomi, Unified Image Fusion based on Application-Adaptive Importance Measure, Proceedings of IEEE International Conference on Image Processing (ICIP2015), pp.1-5, September, 2015. [3] Takashi Shibata, Masayuki Tanaka and Masatoshi Okutomi, Versatile Visible and Near-Infrared Image Fusion based on High Visibility Area Selection, Journal of Electronic Imaging, Vol.25, No.1, pp.013016-1-17, January, 2016. [4] Takashi Shibata, Masayuki Tanaka and Masatoshi Okutomi, Multi-spectrum to RGB with Direct Structure-tensor Reconstruction, Proceedings of IS&T/SPIE Electronic Imaging (EI2016), pp.DPMI-025-1-7, February, 2016. [5] 柴田剛志, 田中正行, 奥富正敏, 自然な色味を考慮した変分ベースのマルチスペクトル画像フュージョン, 第22回画像センシ ングシンポジウム（SSII2016）, pp.SO1-IS1-08-1-8, June, 2016. [6] Takashi Shibata, Masayuki Tanaka and Masatoshi Okutomi, Gradient-Domain Image Reconstruction Framework with Intensity-Range and Base-Structure Constraints, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR2016), pp.2745-2753, June, 2016. [7] Takashi Shibata, Masayuki Tanaka and Masatoshi Okutomi, Accurate Joint Geometric Camera Calibration of Visible and Far-Infrared Cameras, Proceedings of IS&T International Symposium on Electronic Imaging (EI2017), January, 2017. [8] 柴田剛志, 田中正行, 奥富正敏, 可視及び遠赤外カメラの高精度同時校正とその応用, 動的画像処理実利用化ワークショップ (DIA2017)講演論文集, March, 2017. [研究奨励賞] [9] Takashi Shibata, Masayuki Tanaka and Masatoshi Okutomi, LWIR image visualization preserving local details and global distribution by gradient-domain image reconstruction, Proceedings of SPIE Defense + Commercial Sensing (DCS2017), April, 2017.
- 43. 関連発表文献 42 [10] Yuka Ogino, Takashi Shibata, Masayuki Tanaka and Masatoshi Okutomi, Coaxial visible and FIR camera system with accurate geometric calibration, Proceedings of SPIE Defense + Commercial Sensing (DCS2017), April, 2017. [11] 荻野有加, 柴田剛志, 田中正行, 奥富正敏, 防塵性を考慮した可視光・遠赤外線同軸カメラシステムの開発, 日本機械学会ロ ボティクス・メカトロニクス講演会（ROBOMECH2017）, May, 2017. [12] 吉灘裕，横小路泰義，永谷圭司，昆陽雅司，山下淳，田中正行，大井健，ImPACT タフ・ロボティクス・チャレンジ (TRC)建設ロボット，単腕モデルによるフィールド評価実験，日本機械学会ロボティクス・メカトロニクス講演会 （ROBOMECH2017）, May, 2017. [13] Thapanapong Rukkanchanunt, Masayuki Tanaka and Masatoshi Okutomi, Image Enhancement Framework for Low- resolution Thermal Images in Visible and LWIR Camera Systems, Proceedings of SPIE Security + Defence 2017, September, 2017. [14] 荻野有加, 田中正行, 柴田剛志, 奥富正敏, 複数の長波長赤外線カメラを用いた広視野カメラシステムの開発, 日本機械学会 ロボティクス・メカトロニクス講演会2018（ROBOMECH2018）, pp.2A1-J06-1-3, June, 2018. [15] 荻野有加, 田中正行, 柴田剛志, 奥富正敏，可視光・長波長赤外線カメラを用いたマルチモーダル広視野カメラシステムの 開発, 第24回画像センシングシンポジウム（SSII2018）, pp.SO1-IS1-18-1-3, June, 2018. [16] Thapanapong Rukkanchanunt, Takashi Shiabata, Masayuki Tanaka and Masatoshi Okutomi, Disparity Map Estimation from Cross-Modal Stereo, Proceedings of 6th IEEE Global Conference on Signal and Information Processing (GlobalSIP2018), November, 2018.
Notas do Editor
- https://www.youtube.com/watch?v=6gLdDJPQQKM
- https://www.nippon-heater.co.jp/designmaterials/infrared/
- https://www.youtube.com/watch?v=zDUgzRVPKns
- 内閣府，首相直轄のプロジェクト
- https://www.youtube.com/watch?v=ZBEG_9jx3eU