5. Class Activation Mapping (CAM)
• CNNの推論において反応した領域をヒートマップとして可視化
• 畳み込み層のみで構築したCNN + Global Average Poolingを使用
55
Conv.1_1
Conv.1_2
Conv.2_1
Conv.2_2
Conv.3_1
Conv.3_2
Conv.3_3
Conv.4_1
Conv.4_2
Conv.4_3
Conv.5_1
Conv.5_2
Conv.5_3
Global average pooling
Output
…
Average
Average
Average
Feature map
w1 w2 w3× × ×+ + + ・・・ =
Class activation mapping
Attention map
…
…
…
Australian terrier
w1
w2
w3
B. Zhou, “Learning Deep Features for Discriminative Localization”, CVPR2016
7. Class Activation Mappingの問題点
ImageNet Dataset (validation)の比較結果
• GAPを通過して推論するため識別性能が低下
7
B. Zhou, “Learning Deep Features for Discriminative Localization”, CVPR2016
37. 詳細画像識別における評価
• CUB-200-2010 Datasetによる評価
– 200種類の鳥画像を分類
• 学習サンプル数:3,000
• 評価サンプル数:3,033
37
CUB-200-2010 Dataset 修正したAttention map
M. Mitsuhara, “Embedding Human Knowledge in Deep Neural Network via Attention Map”, ArXiv 1905.03540, 2019
38. Model bubble Top-1 accuracy [%] Top-5 accuracy [%]
BoF [Deng+, CVPR’13] 〇 32.8 --
ResNet18 + ABN
×
32.38 57.27
ResNet34 + ABN 30.99 53.68
ResNet50 + ABN 31.68 57.01
Our (ResNet18 + ABN)
〇
36.00 62.41
Our (ResNet34 + ABN) 35.84 60.70
Our (ResNet50 + ABN) 36.93 63.14
認識精度の比較
38
ABNに提案手法を取り入れることで認識精度が向上
CUB-200-2010 Datasetの認識率の比較
M. Mitsuhara, “Embedding Human Knowledge in Deep Neural Network via Attention Map”, ArXiv 1905.03540, 2019
39. 提案手法とABNにおけるAttention mapの比較
39
入力画像 ABN 提案手法
yellow-breasted chat ‘hooded oriole’
0.29
‘yellow-breasted chat’
0.54
green violetear ‘ruby-throated hummingbird’
0.70
‘green violetear’
0.88
認識性能と視覚的説明性が向上
M. Mitsuhara, “Embedding Human Knowledge in Deep Neural Network via Attention Map”, ArXiv 1905.03540, 2019
40. 医用画像認識の評価
• INDIAN DIABETIC RETINOPATHY IMAGE DATASET(IDRiD) による評価
– 眼底画像による疾患のグレード識別を対象としたデータセット
– サンプル数:81
40
M. Mitsuhara, “Embedding Human Knowledge in Deep Neural Network via Attention Map”, ArXiv 1905.03540, 2019
42. 専門医
提案手法とABNのAttention mapの比較
42
入力画像 ABN 提案手法
疾患領域のみに注視領域が反応
M. Mitsuhara, “Embedding Human Knowledge in Deep Neural Network via Attention Map”, ArXiv 1905.03540, 2019