【論文LT資料】 Mask R-CNN とその祖先(を理解したかった...)

Mask R-CNN とその祖先
(を理解したかった)
【画像処理 & 機械学習】論文LT会！#7
2019.9.13@LPIXEL
俵(@tawatawara)

自己紹介
バックグラウンド
◦ 学士：情報学科(計算機科学)
◦ 修士：情報学研究科(社会情報学)
現職
◦ 某 JTC の研究開発部門. 画像は not 業務 but 趣味
趣味: Kaggle
◦ がっつり取り組んだことあるのは大概画像コンペ
◦ Human Protein Atlas Classification: 21th
◦ iMet Collection 2019: lost place ...
◦ 実は今まで Classification しかやったことが無い
→ そろそろ Detection とか Segmentation もやりたい
→ baseline(と思われる)論文を読もう → Mask R-CNN

おことわり
今回の内容について
◦ 画像専門の方にとっては正に釈迦に説法
◦ まとめている記事等が大量に存在. 色々参考にさせて頂きました.
◦ 生暖かい目で見守ってください.ツッコミ歓迎です
◦ ふわっとした理解を書いてるので詳細度が足りない(すみません)
スライド中の図表について
◦ 特に明示しない場合はMask R-CNN[1] の論文から引用
◦ 今回はその他からも引用する場合あり

今回の道のり
Mask R-CNN[1] : Faster R-CNN の拡張
Faster R-CNN[2] : Fast R-CNN の拡張
Fast R-CNN[3]: R-CNN の拡張
R-CNN[4][5]: 古き良き画像特徴での物体検出に止めを刺した(らしい)
この他にも関連は色々あるらしいですが勘弁して…

論文概要
背景
◦ instance segmentation は object detection と semantic segmentation の両方の
性質を併せ持つ challenging な task
◦ 高精度に行うためには複雑なモデルが必要と予想されるが...
提案手法
◦ 既存の object detection 手法(Faster R-CNN) に mask prediction mask を追加し
たシンプルな拡張による実装.
◦ Bounding box の feature map 上での対応をいい感じにする RoI Align を提案.
結果
◦ instance segmentation, object detection 共に高い性能を発揮.

R-CNN[4][5]
◦ 入力画像から領域候補を抽出： Selective Search (参考：[6])
◦ 各領域候補から特徴を抽出: CNN
◦ 各領域候補を上記の特徴量を用いて識別: class ごとの SVMs
◦ (+より正確な位置推定: class ごとの Bounding Box Regressor)
※図は[4]より引用.
各 part が
独立している

Fast R-CNN[3]
◦ 入力画像から領域候補を抽出： Selective Search (参考：[6])
◦ 入力画像から feature map を抽出：CNN
◦ feature map から領域候補ごとの特徴を獲得: RoI Pooling
◦ 領域候補ごとに識別 & BB Regression: マルチタスク
ここだけ独立
End-to-End
で学習

Faster R-CNN[2]
◦ feature map から領域候補を予測: RPN (anchor box の話は略)
◦ feature map から領域候補ごとの特徴を獲得: RoI Pooling
◦ 識別 & BB Regression: マルチタスク
※学習がややこしそうな印象.
End-to-End(?)
で学習

Mask R-CNN[1]
◦ feature map から領域候補を予測: RPN
◦ feature map から領域候補ごとの特徴を獲得: RoI Align
◦ 識別(FC) & BB Regression(FC) & Segmentation (FCN)
End-to-End(?)
で学習
※論文中だと FPN と学習は
分けていると記載。

実験結果
定性評価(instance segmentation)

実験結果
定量評価 (instance segmentation)
◦ 実装の仕方による詳細な性能検証もされている(論文を参照).
◦ Backborn, RoIPool vs. RoIAlign, Mask Branch …
◦ ここらへんちゃんと見た方が良いと思ったのですが時間が...

実験結果
定量評価 (object detection)
◦ object detection の方でも良い性能
◦ 2行目と下三行を見ると:
◦ RoIAlign や Multi-task、及び backborn の改良、いずれも効果アリ

まとめ
Faster R-CNN を拡張したシンプルなアプローチ
◦ Mask Prediction Branch の追加
◦ RoI Align 導入による Bounding Box と RoI feature の位置ずれの補正
結果
◦ Instance segmentation でも object detection でも良い結果(当時).
◦ 定性評価の差が非常に明確.(もちろん悪い例もあるだろうが...)
感想
◦ 一通り流れを追うのはいい勉強になります(※まだ終わってない)
◦ 何のためにこれを追加したか？がわかりやすい
◦ Anchor Box の話とかをちゃんとまとめれずすみません...
◦ 実装追うのと、ちゃんと学習させられるようになりたいです。そして Kaggle で使う。
◦ シンプルなアプローチとは言ったものの学習させるの難しそうな印象でした。知見が欲しい。

参考資料
[1] K. He, G. Gkioxari, P. Dollar, and R. Girshick. Mask R-CNN. In ICCV, 2017.
[2] S. Ren, K. He, R. Girshick, and J. Sun. Faster R-CNN: Towards Real-Time Object
Detection with Region Proposal Networks. In NIPS, 2015.
[3] R. Girshick. Fast R-CNN. In ICCV, 2015.
[4] R. Girshick, J. Donahue, T. Darrell, and J. Malik. Rich feature hierarchies for accurate
object detection and semantic segmentation. In CVPR, 2014.
[5] R. Girshick, J. Donahue, T. Darrell, and J. Malik. Rich feature hierarchies for accurate
object detection and semantic segmentation Tech report (v5). arXiv:1311.2524v5
[6] KantoCV/Selective Search for Object Recognition
[7] 物体検出についての歴史まとめ
[8] Mask R-CNN：ディープラーニングによる一般物体検出・Instance Segmentation手法
[9] 最新の物体検出手法Mask R-CNNのRoI AlignとFast(er) R-CNNのRoI Poolingの違いを正し
く理解する

【論文LT資料】 Mask R-CNN とその祖先(を理解したかった...)

Recomendados

Recomendados

Mais conteúdo relacionado

Último

Último (20)

Destaque

Destaque (20)

【論文LT資料】 Mask R-CNN とその祖先(を理解したかった...)