cs-2. コンピュータによる画像制作，人工知能でできること，情報のコード化，デジタル画像，画素
Seu SlideShare está sendo baixado.
×
Confira estes a seguir
Mais Conteúdo rRelacionado
Semelhante a ae-5. 物体検出，セグメンテーション (20)
Mais de kunihikokaneko1 (20)
Mais recentes (20)
ae-5. 物体検出，セグメンテーション
- 1. 5. 物体検出， セグメンテーション 1 金子邦彦 （ディープラーニング，Python を使用） （全１５回） https://www.kkaneko.jp/cc/ae/index.html
- 2. 機械学習 • 学習による上達の能力 • 訓練データを使用して，学習を行う 2
- 3. コンピュータによる画像理解 • コンピュータが画像を理解する 画像が何であるか，物体がどこに，どういう大きさ， 形で，いくつあるか，をコンピュータが説明できる 能力を持つ 3
- 4. コンピュータによる画像理解 • 一般的な画像（実験室で撮影などの制約が無い） • さまざまな応用：スマホ，デジカメ，自動車，ロ ボット • さまざまな種類：画像分類，物体検出，セグメン テーション，超解像，３次元化など 4
- 5. 画像理解の主な種類 ① 画像分類 「何があるか」を理解 ② 物体検出 場所と大きさも理解 ③ セグメンテーション 画素単位で領域を理解 5 person bicycle person bicycle
- 6. 物体検出 6 バウンディングボックス， ラベルと確率 バウンディングボックス：物体を囲むボックス（四角形）
- 7. セグメンテーション 7 物体の形を画素単位で抜き出し ラベルを得ることもできる
- 8. 畳み込みニューラルネットワーク（CNN） さまざまなバリエーション 8 畳み込みニューラルネットワークは，畳み込み 層と，プーリング層を交互に繰り返すディープ ニューラルネットワーク 畳 み 込 み 層 • 畳み込み層 ・・・ 畳み込みによるパターンの識別 • プーリング層 ・・・ 画像の小移動に対して，出力が不 変になる 畳 み 込 み 層 畳 み 込 み 層 畳 み 込 み 層 畳 み 込 み 層 プ ー リ ン グ 層 プ ー リ ン グ 層 プ ー リ ン グ 層 プ ー リ ン グ 層 プ ー リ ン グ 層
- 9. アウトライン 9 番号 項目 5-1 ディープラーニングによる物体検出の仕組み 5-2 ディープラーニングによるセグメンテーション の仕組み 5-3 物体検出の演習 5-4 セグメンテーションの演習 各自、資料を読み返したり、課題に取り組んだりも行う
- 10. 5-1. ディープラーニングによる 物体検出の仕組み 10
- 11. 物体検出とバウンディングボックス 11 person bicycle バウンディングボックスは， 物体を囲む最小の四角形 car
- 12. 物体検出の仕組み ① 12 結果 最初の区切り 画像分類 元画像から 切り出す
- 13. 物体検出の仕組み ② 13 結果 画像分類 区切りごとに画像分類を行う．
- 14. 「区切り」を用いた物体検出での課題と解決 どこかのスケールでは，物体は「所定の大きさ」に近くなる ⇒ 区切りの大きさは同じにして，マルチスケールの画像を扱う これで，さまざまな大きさの物体を扱う 14 課題：物体の大きさがさまざま 解決へのアプローチ さまざまなスケールの画像を作る（マルチスケール）
- 15. ディープラーニングによる物体検出の仕組み 15 元画像 マルチスケール化， 特徴マップ (backbone) 特 徴 マ ッ プ 特 徴 マ ッ プ 特 徴 マ ッ プ 特徴マップ：画像の中の特定のパターンがどこにあるかなど示したマップ 各スケールの特徴 マップを上位に 反映させるなど (neck) 画像を区切る処理， 画像分類など 物 体 検 出 の 結 果 マルチスケール の特徴マップ 改善された 特徴マップ 画像の区切り， 分類結果 全体で多層のニューラルネットワーク
- 16. まとめ • 区切りごとに画像分類を行う • 現在は，さまざまな改良版が提案されている 16 元画像 マルチスケール の特徴マップ 改善された 特徴マップ 画像の 区切り， 分類結果 person bicycle car
- 17. R-CNN の Selective Search（2014年発表の物体検出 手法） 17 Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik, Rich feature hierarchies for accurate object detection and semantic segmentation, arXiv:1311.2524, 2014. 1. 入力画像 2. 領域の候補 単純に画像を区切る ⇒ 課題：あらゆる可能性を試すので，区切りの数が多すぎる ⇒ 解決策：領域の候補（さまざまな場所，大きさ）を 自動で得る．領域の候補の数は，数千以下に絞る． 3. 畳み込みニューラル ネットワークでの処理 4. 領域について，画像 分類の結果を得る
- 18. 5-2. ディープラーニングによる セグメンテーション 18
- 19. 画像分類とセマンティック・セグメンテーション 19 画像分類 person bicycle セマンティック セグメンテーション 画素単位で分類 person 全画素を分類 画像を分類 画素
- 20. FCN （2015年発表） • 画素ごとに分類結果の正解を与えての学習を可能にする技術 • 最終層を畳み込み層にする ＝ FCN と呼ぶ 20 Jonathan Long, Evan Shelhamer, Trevor Darrell, Fully Convolutional Networks for Semantic Segmentation, arXiv:1411.4038, 2015. 畳み込みニューラルネット ワークによる画像分類 元画像 結果 元画像 結果 最終層は 全結合層 最終層は FCN 畳み込みニューラルネットワー クと FCN によるセマンティッ ク・セグメンテーション
- 21. FCN （2015年発表）まとめ • 画像分類を行う畳み込みニューラルワーク（出力は分類結 果）で，最終層を FCN に置き換え • セマンティック・セグメンテーションに応用 21 Jonathan Long, Evan Shelhamer, Trevor Darrell, Fully Convolutional Networks for Semantic Segmentation, arXiv:1411.4038, 2015.
- 22. U-Net（2015年発表）によるセマンティック・セグ メンテーション 細胞のモノクロ画像のセグメンテーション 22
- 23. U-Net (2015年発表) の仕組み 23 元画像 特 徴 マ ッ プ 特 徴 マ ッ プ セマンティック・セグメンテーションの結果を鮮明にするための Skip connection の導入．画像縮小の際に輪郭情報が失われるという問題を解決． マルチスケール の特徴マップ サイズを拡大しながら 結果を得る サ イ ズ 縮 小 サ イ ズ 縮 小 特 徴 マ ッ プ サ イ ズ 拡 大 途 中 結 果 サ イ ズ 拡 大 途 中 結 果 途 中 結 果 最 終 結 果 全体で多層のニューラルネットワーク Skip connection Skip connection 両方を入力と して使用 両方を入力と して使用 Olaf Ronneberger, Philipp Fischer, Thomas Brox, U-Net: Convolutional Networks for Biomedical Image Segmentation, arXiv:1505.04597, 2015.
- 24. U-Net (2015年発表) の仕組み 24 Olaf Ronneberger, Philipp Fischer, Thomas Brox, U-Net: Convolutional Networks for Biomedical Image Segmentation, arXiv:1505.04597, 2015. 元論文では次のように図解． 畳み込みニューラルネットワークであることが確認できる．
- 25. まとめ • ニューラルネットワークの層の種類 • 畳み込み層 • プーリング層 • 全結合層 • 物体検出、セグメンテーションを可能にする追加 の技術 • マルチスケール • 特徴マップ、特徴マップを用いた画像の区切り • FCN （最終層を畳み込み層にする） • Skip connection 25
- 26. セグメンテーションの種類 26 • OneFormer のデモサイトを使用 • URL: https://huggingface.co/spaces/shi-labs/OneFormer • 訓練データは COCO • バックボーンは DiNAT-L を使用 元画像 パノプティック・セグメンテーション インスタンス・セグメンテーション セマンティック・セグメンテーション
- 27. セグメンテーションの種類 27 パノプティック・セグメンテーション インスタンス・セグメンテーション セマンティック・セグメンテーション 全画素を種類に分類 個別の物体を識別する 「物体として識別できない部分は結果がない」 ということもある セマンティック・セグメンテーションと インスタンス・セグメンテーションの同時実行
- 28. 5-3. 物体検出の演習 28
- 29. ① 物体検出を動かしてみる 1. 使用するページ: https://colab.research.google.com/github/tensorflow/ hub/blob/master/examples/colab/object_detection.ip ynb 2. 必要な事前知識 • 物体検出が行うこと：物体のバウンディングボッ クス、ラベル、確率を得る • 事前学習済みのモデルを使用 3. 各自で実行すること 実際に実行し、物体検出を試す． スピード、精度も確認 29
- 30. ① 物体検出を動かしてみる 30
- 31. 5-4. セグメンテーションの演習 31
- 32. Google Colaboratory の使い方概要 ① 32 Google Colaboratory ノートブック コードセルの再実行や変更には， Google アカウントでのログインが必要 実行 コードセル
- 33. テキストセル コードセル コードセル • WEBブラウザでアクセス • コードセルは Python プログラム． 各自の Google アカウント でログインすれば， 変更，再実行可能 Google Colaboratory の使い方概要 ② 33 実行 一番上のコードセルから順々に実行 実行
- 34. ② セマンティック・セグメンテーション 1. 使用するページ: https://colab.research.google.com/drive/1NKmQfbD G0XCR0bO6vcFP304gy4iqeD7L?usp=sharing 2. 必要な事前知識 • セマンティック・セグメンテーション用のモデル がさまざまあること • 事前学習済みのモデルを使用 3. 各自で実行すること ページを読み、確認する （実行したい人は実行できるようにしている） 34
- 35. 35
- 36. ③ パノプティック・セグメンテーション 1. 使用するページ: https://colab.research.google.com/drive/1xWaQuJt50Lq Ywyw9ohsYERZ_Ix1gy1rN?usp=sharing#scrollTo=az0N ragleQUI 2. 必要な事前知識 • パノプティック・セグメンテーションは，セマン ティック・セグメンテーションとインスタンス・セグ メンテーションをあわせもつ • 事前学習済みのモデルを使用 3. 各自で実行すること ページを読み、確認する （実行したい人は実行できるようにしている） 36
- 37. 37 注目：物体と物体の切れ目が判別できている （セマンティック・セグメンテーションでは、このようにはならない）
