2019/03/1 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Deep Learning in Medical Image Segmentation
Toru Fujino, SCSLab, UTokyo

2. 発表概要
• 医用画像解析におけるセグメンテーション
• タスク
• 医用画像特有の問題
• 主に次のReview論文のsegmentationの章に従って発表
• G. Litjens et al., “A survey on deep learning in medical image analysis”,
Medical Image Analysis (2017)

3. 医用画像解析とは
• 医用画像から有用な情報を抽出するタスク
• 画像の種類
• MRI画像, CT画像, X線画像, 顕微鏡画像, 超音波画像, マンモグラフィ
• 部位
• 脳, 肺, 細胞, 網膜血管, etc.

4. 医用画像解析の主なタスク
• 分類
• セグメンテーション
• 位置特定 / 検出
• 位置合わせ (Registration)

5. セグメンテーション
• 画像の各ピクセルに対してクラスの予測確率を付与する
• 交差エントロピーを最小化
出典: Stanford University CS231n: Convolutional Neural Networks for Visual Recognition

6. 医用画像におけるセグメンテーション
• 大きく2つに分けられる
• 臓器 / 下部構造 (substructure) セグメンテーション
• 心臓の心室, 脳の部位, 細胞
• 画像内の比較的大きい部位に対してのセグメンテーション
• 病変セグメンテーション
• 脳腫瘍, 目の網膜の異常部位
• 画像内の物体の位置を特定 -> セグメンテーション
• 病変部位は画像全体に対して比較的小さいことが多い

7. 臓器 / 下部構造セグメンテーション
• 画像内の比較的大きい部位に対するセグメンテーション
• 細胞のセグメンテーション
• 3D画像からの腎臓のセグメンテーション
O. Ronneberger et al., “U-Net: Convolutional Networks for Biomedical Image Segmentation”, MICCAI (2015)
Ö. Çiçek et al., “3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation”, MICCAI (2016)

8. U-Net [O. Ronneberger+ 2015]
• Downsampling -> Upsampling
• Skip connectionによりUpsamling時に元画像の情報を有効に活用
• 医用画像以外でも広く
利用される
O. Ronneberger et al., “U-Net: Convolutional Networks for Biomedical Image Segmentation”, MICCAI (2015)

9. 3D U-Net [Ö. Çiçek+ 2016]
• 3D画像版のU-Net
• MRI画像などに適用
Ö. Çiçek et al., “3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation”, MICCAI (2016)

10. 病変セグメンテーション
• 病変の位置が様々
• 例) 脳腫瘍 (赤い部分)
• 病変部位は画像サイズに対して小さいことが多い
• 病変部位のlocalな情報 + 臓器全体に対する病変の位置情報
(global) の両方が必要
K. Kamnitsas et al., “Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation”,
Medical Image Segmentation (2017)

11. 病変セグメンテーション [M. Havaei+2017]
• 画像内のpatchごとにCNNに入力
• globalな情報 (下図の左上) とlocalな情報 (下図の左下) の両方を
考慮
• その後, さらに異なるサイズのカーネルで畳み込み
M. Havaei et al., “Brain Tumor Segmentation with Deep Neural Networks”, Medical Image Analysis (2017)

12. 病変セグメンテーション [M. Havaei+2017]
• Dice: F値
• Specificity: 病変部位に対するprecision
• Sensitivity: 非病変部位に対するprecision
M. Havaei et al., “Brain Tumor Segmentation with Deep Neural Networks”, Medical Image Analysis (2017)

13. 課題: 教師データがとても少ない
• アノテーションに専門的な知識が必要
• Privateなデータの共有の難しさ
• 代表的なデータセットでも数十〜数千枚程度
• DRIVE (網膜の血管画像): 学習用データ20枚, テストデータ20枚
• ISBI (細胞画像): 学習用データ30枚, テストデータ30枚
• CHASE_DB1 (網膜の血管画像): 28枚
• Data augmentation
• 転移学習
• アンサンブル学習

14. LadderNet [J. Zhuang 2018]
• U-Netを2つ繋げることで複数のpathを実現
• アンサンブル学習のような効果
J. Zhuang, “LadderNet: Multi-path networks based on U-Net for medical image segmentation”, arXiv (2018)

15. LadderNet [J. Zhuang 2018]
• U-Net等と比べて精度向上
J. Zhuang, “LadderNet: Multi-path networks based on U-Net for medical image segmentation”, arXiv (2018)

16. 課題: 複数のground truthが存在する
• 「ここの部位が癌だ！」というのは専門医の間でも意見が分か
れる
肺のCT画像
複数の
ground truth
S. A. A. Kohl et al., ”A Probabilistic U-Net for Segmentation of Ambiguous Images”, NeurIPS (2018)

17. Probabilistic U-Net [Kohl+ 2018]
• Conditional VAE + U-Net
• セグメンテーションの生成分布を学習する
• (以前DL輪読会で谷村さんが発表)
S. A. A. Kohl et al., ”A Probabilistic U-Net for Segmentation of Ambiguous Images”, NeurIPS (2018)

18. 課題: クラスのimbalanceさ
• 画像のほとんどのピクセルが病変でない場合
• すべてのピクセルを病変ではないと学習してしまう
脳のMRI (印は腫瘍がある箇所)
T. Brosch et al., “Deep 3D Convolutional Encoder Networks With Shortcuts for Multiscale Feature Integration
Applied to Multiple Sclerosis Lesion Segmentation”, IEEE Transactions on Medical Imaging (2016)

19. 損失関数の工夫[Brosch+ 2016]
• 通常の誤差関数: 二乗誤差
• 病変部位・非病変部位の誤差に重みをつける
• r (sensitivity ratio): 病変部位の損失に対する重み
病変部位 非病変部位
T. Brosch et al., “Deep 3D Convolutional Encoder Networks With Shortcuts for Multiscale Feature Integration
Applied to Multiple Sclerosis Lesion Segmentation”, IEEE Transactions on Medical Imaging (2016)

20. 損失関数の工夫[Brosch+ 2016]
• r (sensitivity ratio) は0.01 ~ 0.1. 結果はほぼ同じ.
T. Brosch et al., “Deep 3D Convolutional Encoder Networks With Shortcuts for Multiscale Feature Integration
Applied to Multiple Sclerosis Lesion Segmentation”, IEEE Transactions on Medical Imaging (2016)
ROC曲線

21. まとめ
• 臓器/下部構造セグメンテーションではシンプルなCNN
• 病変セグメンテーションではlocalな情報とglobalな情報を組み合
わせる必要がある
• 医用画像特有の課題
• 教師データの少なさ
• 複数のground truth
• クラスのimbalance
• etc.