More Related Content
Similar to AI&medical imaging in japan 2020 (20)
AI&medical imaging in japan 2020
- 5. © 20201228 @tdys13
-所属-
p アイリス株式会社
- AIエンジニア
- AI医療機器を開発してます
p 国⽴研究開発法⼈ 産業技術総合研究所 ⼈⼯知能コンソーシアム
- 医⽤画像WGリーダー
- 医療AI向けデータベースの構築をしてます
-好きなもの-
p ヘルスケアや最新技術の情報収集
p アイス
p サッカー
-その他-
p 連載,講演を始めとして
趣味でリサーチした情報をまとめてスライドにしたり,
コミュニティー(デジタルヘルスケア倶楽部)を運営したりしてます。
p 連絡先 yoshihiro.todoroki.1013@gmail.comまたはツイッター
5
轟 佳⼤ (トドロキ ヨシヒロ)
:@Tdys13
- 7. © 20201228 @tdys13 7
ページ数 :コンテンツ名
8 ~ 26 :AIとは
27 ~ 29 :初学者向けコンテンツ紹介
30 ~ 90 :研究紹介
91 ~ 123 :⽇本におけるAI×医⽤画像事例紹介(2020年 COVID-19)
124 ~ 181 :⽇本におけるAI×医⽤画像事例紹介(2020年 COVID-19以外)
182 ~ 197 :おまけ(AI医療機器に関する話,医⽤画像以外の2020年のビッグニュース)
198 ~ 199 :終わりに
- 8. © 20201228 @tdys13 8
⼈⼯知能≒「様々な技術の複合体の総称」
現状はとりわけ「機械学習・深層学習」&「その他技術」が使われているものを指すことが多い
⼈⼯知能とは?
引⽤:
・AI demystified
https://www.callaghaninnovation.govt.nz/blog/ai-demystified
- 9. © 20201228 @tdys13 9
「深層学習(DeepLearning)技術」と「画像認識技術」が使われている
(style transferという技術)
⼈⼯知能とは?
引⽤:
・AI demystified
https://www.callaghaninnovation.govt.nz/blog/ai-demystified
- 10. © 20201228 @tdys13 10
・⾃然⾔語処理領域
・⾳声認識領域
翻訳や⾳声解析にも深層学習が使われている.
各領域でブレイクスルーが起きている
⼈⼯知能とは?
- 11. © 20201228 @tdys13 11
機械学習と深層学習の違い
ねこ
・⽿がある
・尻尾がある
・⿐が特徴的..
=>⼈が特徴を与える
良い点
・⼤規模な計算資源が要らない
考えるべき点
・精度が⼈によって左右される
ねことは
・⽿がある確率
・尻尾がある確率
・4⾜歩⾏の確率..
=>数学的に特徴抽出
良い点
・精度が⾼い
考えるべき点
・数多くのデータが必要
・計算資源が必要
機械学習 深層学習
機械学習と深層学習で異なる点
- 13. © 20201228 @tdys13 13
機械学習と深層学習で異なる点
タスク,計算資源,処理するデータによって技術を使い分けていく.
深層学習技術が必ずしも機械学習技術より良いとは限らない(画像領域では深層学習が超有効)
- 15. © 20201228 @tdys13 15
「最終⽬的」を実現するために
「⽬的に沿った深層学習モデル」をベースモデルとして使⽤する
深層学習とは?
検出モデル
Yolo,
Fast-RCNN
EfficientDet…
分類モデル
ResNet,ResNeXt,
EfficientNet…
セグメンテーション
モデル
Unet, DeepLab
⽣成モデル
VAE,GAN…
その他モデル
Bert, GPT-3…
時系列モデル
LSTM, RNN…
- 16. © 20201228 @tdys13 16
深層学習
モデル
フルーツ
いぬ
教師あり学習
ラベル付きデータをモデルに学習させる
学習⽅法とは?(ex : 画像分類タスク)
フルーツといぬ
を⾒分ける
教師あり学習=各画像と紐づく正解ラベルがペアとなり存在する
- 17. © 20201228 @tdys13 17
深層学習
モデル
教師なし学習
ラベルなしデータをモデルに学習させる
学習⽅法とは?(ex :画像分類タスク)
ざっくりと
2グループに
分ける
教師なし学習=各画像の正解情報を与えず,篩い分けを⾏う
- 18. © 20201228 @tdys13 18
深層学習
モデル
強化学習
ラベルなしデータをモデルに試⾏錯誤しながら学習する
学習⽅法とは?(ex :画像分類タスク)
この分け⽅を
⾏うと報酬が
すごく⾼い
報酬
報酬係
仕分け結果
強化学習=篩い分けの結果に応じて報酬を与え,より⾼い報酬を⽬指させる
- 20. © 20201228 @tdys13 20
深層学習
モデル
教師あり学習
学習フェイズ ‒ ラベル付きデータをモデルに学習させる
深層学習 - 画像分類タスク
フルーツ
いぬ
⼀般的に⽤いられる教師あり学習では,学習時に画像と正解ラベルを学習させる
- 21. © 20201228 @tdys13 21
教師あり学習
学習フェイズ ‒ ラベル付きデータをモデルに学習させる
深層学習 - 画像分類タスク
フルーツ
いぬ
学習回数を増やすこと,深層学習モデルが⼊⼒された画像に対して正答率を上げていく
学習済み
深層学習
モデル
- 22. © 20201228 @tdys13
教師あり学習
テストフェイズ ‒ 未知データを処理する
22
深層学習 - 画像分類タスク
???
???
フルーツ90%
いぬ 10%
フルーツ 5%
いぬ 95%
学習済み
深層学習
モデル
学習済み深層学習モデルへ,⼊⼒画像と同ジャンルの『ラベルなし画像』を⼊⼒することで
未知な画像に対して⾃⾝の選択肢から推論する
- 23. © 20201228 @tdys13
教師あり学習
テストフェイズ ‒ 未知データを処理する
23
深層学習 - 画像分類タスク
???
???
フルーツ90%
いぬ 10%
フルーツ 5%
いぬ 95%
学習済み
深層学習
モデル
学習済み深層学習モデルへ,⼊⼒画像と同ジャンルの『ラベルなし画像』を⼊⼒することで
未知な画像に対して⾃⾝の選択肢から推論する
- 24. © 20201228 @tdys13 24
しかし,⼊⼒画像のジャンルと異なるものに対しても
無理やり知識の中で結論を出そうとしてしまうのが⽋点.
良い点と改善出来る点は?
???
フルーツ 40%
いぬ 60%学習済み
深層学習
モデル
教師あり学習
テストフェイズ ‒ 未知データを処理する
- 25. © 20201228 @tdys13 25
そのため対象領域が広い場合は,逃げ道を組み込んだ設計が必須
良い点と改善出来る点は?
???
フルーツ 20%
いぬ 30%
その他 50%
学習済み
深層学習
モデル
教師あり学習
テストフェイズ ‒ 未知データを処理する
- 26. © 20201228 @tdys13 26
最近では説明可能なAI研究において,
最終的な出⼒値における確からしさを出す研究などもされている
良い点と改善出来る点は?
???
フルーツ 20%
いぬ 30%
その他 50%
学習済み
深層学習
モデル
教師あり学習
テストフェイズ ‒ 未知データを処理する
確からしさ15%
確からしさ17%
確からしさ68%
- 27. © 20201228 @tdys13 27
多くの先⼈たちが道筋を作ってくれている
初学者向けコンテンツは?
中部⼤学,MPRG(機械知覚&ロボティクス研究室)が公開している
深層学習レクチャーノートブック
・引⽤
https://github.com/machine-perception-robotics-group/MPRGDeepLearningLectureNotebook
・引⽤
https://yutaroogawa.github.io/pytorch_tutorials_jp/
⽇本⼈の有志が⽇本語翻訳し公開している
Pytorchチュートリアル
- 28. © 20201228 @tdys13 28
多くの先⼈たちが道筋を作ってくれている
初学者向けコンテンツは?
株式会社キカガクが無料公開している講義
・引⽤
https://www.kikagaku.ai/
https://prtimes.jp/main/html/rd/p/000000020.000025642.html
・引⽤
https://www.facebook.com/StMariannaMedicalInformationTechnology/
https://preferred.jp/ja/news/pr20201207/
聖マリアンナ医科⼤学が無料で⾏なっている
医療AIセミナー(~2021.03)
株式会社PreferredNetworksが提供する教育コンテンツ
- 29. © 20201228 @tdys13 29
『AI×医⽤画像』の現状と可能性(2020年下半期)
まとめ
・AIとは深層学習・機械学習×○○の総称
・学習⽅法や⽬的に応じて使⽤する技術や,
使う深層学習モデルを変えていく
・初学者向けコンテンツもめちゃくちゃ増えた
- 30. © 20201228 @tdys13 30
予防・遺伝⼦解析
診察(問診・検診)
診断
治療
予兆
多くのジャンルがあるものの、ざっくりとこの5⼯程で分けられると個⼈的に考えます。
AIの医療応⽤
- 31. © 20201228 @tdys13 31
予防・遺伝⼦解析
◎診察(問診・検診)
◎診断
治療
予兆
AI×医⽤画像領域では,診断⽀援の際に⽤いることを前提に
研究とその後のサービス化・医療機器化されていることが多い
AIの医療応⽤
- 33. © 20201228 @tdys13 33
予防・遺伝⼦解析
診察(問診・検診)
診断
治療
予兆
2019年は診察・診断・治療に関する研究開発、事業開発が多くなった。
AIの医療応⽤
- 34. © 20201228 @tdys13 34
予防・遺伝⼦解析
診察(問診・検診)
診断
治療
予兆
2020年は診断や治療に関する事業が,
コロナ関連で問診・診断サービスがたくさん世に出た!
AIの医療応⽤
- 36. © 20201228 @tdys13 36
個⼈的に考えた2020年の深層学習×医⽤画像処理のトレンドまとめ①
・COVID-19に対する研究スピード
- 感染者確認後からの世界の動き
・⻑年の課題解消に向けて
- アノテーションのばらつきにどう対処する?
- アノテーターの学習⽅法込みで学習
- 少ない医⽤画像に対してどう対処する?
- 医⽤画像特有の空間分布による学習
- ⼈体に特化した深層学習モデル
・医⽤画像特有のタスク
- 医⽤画像の位置合わせ(image registration)
- 不明瞭な対象(臓器)に対するセグメンテーション
- 37. © 20201228 @tdys13 37
個⼈的に考えた2020年の深層学習×医⽤画像処理のトレンドまとめ②
・他技術との融合
- ⾃然⾔語処理×医⽤画像処理
- 画像から病変部位を特定し、診断書を⾃動⽣成
- 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する
・今後さらに研究が期待される
- ⼈体内部の3次元構成研究
- Transformer系
・オープンデータセットやコンペティションの動向
- 医⽤画像に関するコンペティションが数多く開催された2020年
- 医⽤画像領域が⾝近になるようなオープンデータセットが数多く登場
- 38. © 20201228 @tdys13 38
COVID-19に対する研究スピード
2019.12.08 - 中国・武漢にて初めてCOVID-19感染者が確認.
2020.01.24 - 中国・武漢での感染者41名の症状を基にしたクリニカルレポートが発表された.
(2020. 12.28現在 - 論⽂引⽤数20,440件)
・引⽤
Huang, Chaolin, et al.
"Clinical features of patients infected with 2019 novel coronavirus in Wuhan, China."
The lancet 395.10223 (2020): 497-506.
ü 感染者確認後からの世界の動き
ジャーナル誌
The lancet掲載
- 39. © 20201228 @tdys13 39
COVID-19に対する研究スピード
COVID-19肺炎,インフルエンザA型肺炎,正常肺を分類する深層学習研究が発表された
(2020.02.21 発表)
・引⽤
Xu, Xiaowei, et al.
"A deep learning system to screen novel coronavirus disease 2019 pneumonia."
Engineering (2020).
ü 感染者確認後からの世界の動き
感度 精度
(a)COVID-19, (b)Ful-A, (c)healthy
- 40. © 20201228 @tdys13 40
COVID-19に対する研究スピード
・引⽤
Xu, Xiaowei, et al.
"A deep learning system to screen novel coronavirus disease 2019 pneumonia."
Engineering (2020).
ü 感染者確認後からの世界の動き
・タスク
Classification(3クラス)
・データ
中国・浙江⼤学附属病院にて収集された胸部CT画像
Train : 胸部CT画像 - 528症例
(COVID-19:189症例, flu-A:194症例, healthy:145症例)
Test: 胸部CT画像 - 90症例
(COVID-19:30症例, flu-A:30症例, healthy:30症例)
Model:ResNet-18(⼯夫点を次ページに記載)
評価⽅法:Recall, Precision, Accuracy, f1-score
- Recall:COVID-19 = 0.867
Ful-A = 0.862
healthy = 0.915
- 41. © 20201228 @tdys13 41
COVID-19に対する研究スピード
・引⽤
Xu, Xiaowei, et al.
"A deep learning system to screen novel coronavirus disease 2019 pneumonia."
Engineering (2020).
ü 感染者確認後からの世界の動き
Model:ResNet-18
⼯夫点:『エッジからの相対距離』をFC層2層⽬に追加
胸膜付近に発⽣している影は,COVID-19の可能性が⾼いという臨床情報(2020.02.21当時)を元に追加.
「エッジからの相対距離」は
『パッチ画像内の肺の境界から中⼼までの距離(上図-c)』と
『胸部全体の対⾓線状の距離(上図-d)』より⽐率計算 .
- 42. © 20201228 @tdys13 42
臨床にて得られた有益な情報を深層学習部に組み込むことで精度の向上
COVID-19に対する研究スピード
ü 感染者確認後からの世界の動き
Model:ResNet-18
⼯夫点:『エッジからの相対距離』をFC層2層⽬に追加
「エッジからの相対距離」は
『パッチ画像内の肺の境界から中⼼までの距離(上図-c)』と
『胸部全体の対⾓線状の距離(上図-d)』より⽐率計算 .
・引⽤
Xu, Xiaowei, et al.
"A deep learning system to screen novel coronavirus disease 2019 pneumonia."
Engineering (2020).
- 43. © 20201228 @tdys13 43
COVID-19に対する研究スピード
ü 感染者確認後からの世界の動き
参考イメージ
covid-chestxray-dataset/images/000001-1.jpg
出⼒結果
(Grad-CAMにて候補部を⾊付け)
2020.03 には
ResNet50を⽤いたCOVID-19肺炎 / 市中肺炎 / 通常肺の分類にてAUC 0.96を達成した研究(2020. 03.19)や,
『X線で撮影されたCOVID-19画像』と『罹患者のメタデータ』に関するオープンデータセット(2020. 03.16)
なども公開された.
・引⽤
Li, Lin, et al.
"Artificial intelligence distinguishes COVID-19 from community acquired pneumonia on chest CT."
Radiology (2020).
covid-chestxray-dataset
https://github.com/ieee8023/covid-chestxray-dataset
- 44. © 20201228 @tdys13 44
COVID-19に対する研究スピード
ü 感染者確認後からの世界の動き
参考イメージ
covid-chestxray-dataset/images/000001-1.jpg
出⼒結果
(Grad-CAMにて候補部を⾊付け)
2020.03 には
ResNet50を⽤いたCOVID-19肺炎 / 市中肺炎 / 通常肺の分類にてAUC 0.96を達成した研究(2020. 03.19)や,
『X線で撮影されたCOVID-19画像』と『罹患者のメタデータ』に関するオープンデータセット(2020. 03.16)
なども公開された.
・引⽤
Li, Lin, et al.
"Artificial intelligence distinguishes COVID-19 from community acquired pneumonia on chest CT."
Radiology (2020).
covid-chestxray-dataset
https://github.com/ieee8023/covid-chestxray-dataset
オープンデータセット公開や,従来の研究をCOVID-19へ応⽤した研究が即座に発表された
- 46. © 20201228 @tdys13 46
COVID-19に対する研究スピード
2020. 01.01~2020. 12.21(355⽇間)において
COVID-19を題材とした機械学習(深層学習含む)×医⽤画像処理論⽂は何本発表された?
( ※2020. 1/1~2020. 07/17(198⽇間)では650本でした.
※Google Scholarによる集計値です.)
A. 1500本
B. 1800本
C. 2200本
D. 2500本
- 47. © 20201228 @tdys13 47
本スライドでは医⽤画像に特化していますが,
医⽤画像のみならず,全世界がCOVID-19に打ち勝つべく様々な領域で研究をしている.
COVID-19に対する研究スピード
2020. 01.01~2020. 12.21(355⽇間)において
COVID-19を題材とした機械学習(深層学習含む)×医⽤画像処理論⽂は何本発表された?
( ※2020. 1/1~2020. 07/17(198⽇間)では650本でした.
※Google Scholarによる集計値です.)
A. 1500本
B. 1800本
C. 2200本
D. 2500本
- 48. © 20201228 @tdys13 48
Kaggleでは⽶・ホワイトハウスなどが公開したCOVID-19に関するオープンデータセットを始め
罹患者数予測コンペ,ワクチン開発のためのRNA分解特性推定コンペなどが発表された.
COVID-19に対する研究スピード(医⽤画像以外)
引⽤
COVID19 Global Forecasting(Week1)
https://www.kaggle.com/c/covid19-global-forecasting-week-1
COVID-19 Open Research Dataset Challenge(CORD-19)
https://www.kaggle.com/allen-institute-for-ai/CORD-19-research-challenge
引⽤
OpenVaccine: COVID-19 mRNA Vaccine Degradation Prediction
https://www.kaggle.com/c/stanford-covid-vaccine/
ü 感染者確認後からの世界の動き
- 49. © 20201228 @tdys13 49
⻑年の課題解消に向けて
複数のアノテーターによるアノテーションのばらつきや癖も学習することで,
“より信頼性の⾼いアノテーション領域”を推測するloss(noisy label loss)の提案.
・引⽤
Zhang, Le, et al.
"Disentangling Human Error from the Ground Truth in Segmentation of Medical Images."
arXiv preprint arXiv:2007.15963 (2020).
https://github.com/moucheng2017/Learn_Noisy_Labels_Medical_Images
ü アノテーションのばらつきにどう対処する?
NeurlPS2020 accepted
- 50. © 20201228 @tdys13 50
⻑年の課題解消に向けて
ü アノテーションのばらつきにどう対処する?
・どんな研究?
同⼀画像を複数⼈にアノテーションされた場合に
⽣じるばらつきの中からアノテーションの信頼性を類推し,
それらから “より信頼性の⾼いアノテーション領域”を
算出する学習⼿法(loss)の提案.
・どんなアノテーターを想定?
GT(ground-truth)に忠実なアノテーター
オーバーセグメンテーション気味なアノテーター
アンダーセグメンテーション気味なアノテーター
間違ったセグメンテーションを⾏うアノテーター
常に全てを背景としてアノテーションするアノテーター
画像から擬似的に⽣成する.
・引⽤
Zhang, Le, et al.
"Disentangling Human Error from the Ground Truth in Segmentation of Medical Images."
arXiv preprint arXiv:2007.15963 (2020).
https://github.com/moucheng2017/Learn_Noisy_Labels_Medical_Images
様々なアノテーターに付けられたバラバラなアノテーション画像を想定し,
その中から“より信頼性の⾼いアノテーション領域”を抽出する
- 51. © 20201228 @tdys13 51
⻑年の課題解消に向けて
ü アノテーションのばらつきにどう対処する?
・noisy label lossの算出⽅法は?
⼯程1. 対象画像のセグメンテーションを⾏うSegmentation CNN
(通常のセグメンテーション)
⼯程2. ⼊⼒画像のピクセルごとの混合⾏列を推定することで
個々のアノテーターの特性を学習するAnnotation CNN
(各アノテーターの癖を混合⾏列で表現)
⼯程3. ⼯程1.と⼯程2.の出⼒を掛け合わせ,
各アノテーターが付けうるアノテーションの予測を出⼒.
⼯程4. 各アノテータがつけた正解ラベルと⼯程3.より算出された
出⼒値を元にCross Entropy Lossを算出
⼯程5. ⼯程2.の算出値の平均と⼯程4.の出⼒の総和を
最終的なloss(noisy label loss)として与える.
・引⽤
Zhang, Le, et al.
"Disentangling Human Error from the Ground Truth in Segmentation of Medical Images."
arXiv preprint arXiv:2007.15963 (2020).
https://github.com/moucheng2017/Learn_Noisy_Labels_Medical_Images
“より信頼性の⾼いアノテーション領域”を抽出するための損失関数が提案された
- 52. © 20201228 @tdys13 52
アノテーターの癖も学習することで,
“より信頼性の⾼いアノテーション領域”を得られる事が分かった
⻑年の課題解消に向けて
ü アノテーションのばらつきにどう対処する?
・引⽤
Zhang, Le, et al.
"Disentangling Human Error from the Ground Truth in Segmentation of Medical Images."
arXiv preprint arXiv:2007.15963 (2020).
https://github.com/moucheng2017/Learn_Noisy_Labels_Medical_Images
- 53. © 20201228 @tdys13 53
⻑年の課題解消に向けて
『同じ領域の医⽤画像データセットでは両データ間に共通する”不変的な特徴”が存在する』という前提のもと,
あるデータセットに存在する『その疾患に不変的な特徴』を学習し,別のデータセットに適応させる研究
・引⽤
Li, Haoliang, et al.
"Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization.”
Advances in Neural Information Processing Systems 33 (2020).
https://github.com/wyf0912/LDDG
ü 医⽤画像特有の不変的な特徴を学習する
ざっくりとしたイメージ図
※Domain Generalizationとは…
⼈間が写真の⽝,イラストの⽝を同じ”⽝”と捉えるように
AIにも,別のドメイン上(ex:イラストと写真など)の
同じ対象物に対して認識が⼀致するように,
不変的な特徴を学習させる⼿法
NeurlPS2020 accepted
- 54. © 20201228 @tdys13 54
⻑年の課題解消に向けて
・引⽤
Li, Haoliang, et al.
"Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization.”
Advances in Neural Information Processing Systems 33 (2020).
ü 医⽤画像特有の不変的な特徴を学習する
・どんな研究?
医⽤画像における『不変的な特徴』を抽出して
分類・セグメンテーション実験に適応した
・対象領域は?
医⽤画像全般,実験では⽪膚がん及び脊髄
・どうやってDomain Generalizationするの?
VAE, 線形モジュール(conv層,Linear層)のみを⽤いたNNを
⽤いる事で特徴空間を学習させる.
学習させた重みを⽤いて各タスクのモデルに転⽤する.
ある病院で脊髄灰⽩質を撮影したMR画像から不変的な特徴を学習し
別の4病院にて撮影した脊髄灰⽩質をセグメンテーションした結果
ある病院にて撮影されたMR画像から脊髄灰⽩質の“普遍的な特徴”を学習し,
別の病院にて撮影されたMR画像に映る脊髄灰⽩質をセグメンテーションする
・引⽤
https://github.com/wyf0912/LDDG
- 55. © 20201228 @tdys13 55
従来の膨⼤な画像を⽤いた事前学習(ImageNetなど)ではなく,
新規⼿法としてDomain Generalizationを⽤いた不変的な特徴での学習を提案した
⻑年の課題解消に向けて
ü 医⽤画像特有の不変的な特徴を学習する
・どんな研究?
医⽤画像における『不変的な特徴』を抽出して
分類・セグメンテーション実験に適応した
・対象領域は?
医⽤画像全般,実験では⽪膚がん及び脊髄
・使⽤モデルは?
Classification:ResNet18
Segmentation:U-Net
・検証⽅法は?
各タスクにおいて評価指標を設けた
Classification:Recall
Segmentation:Dice係数,TPRなど含めた5種類
・引⽤
Li, Haoliang, et al.
"Domain Generalization for Medical Imaging Classification with Linear-Dependency Regularization.”
Advances in Neural Information Processing Systems 33 (2020).
・引⽤
https://github.com/wyf0912/LDDG
- 56. © 20201228 @tdys13 56
⻑年の課題解消に向けて
ImageNetの医⽤画像版.
3D医⽤画像を事前学習することで,
2D/2.5D/3Dの医⽤画像においても精度向上を実現したAIモデルの提案.
・引⽤
Zhou, Zongwei, et al.
"Models Genesis."
arXiv preprint arXiv:2004.07882 (2020).
・https://github.com/MrGiovanni/ModelsGenesis
ü ⼈体に特化した深層学習モデル
MICCAI2019 accepted(Best Young Scientist Award)
ジャーナル誌 Medical Image Analysis(MedIA)
MICCAI2020 (MedIA Best Paper Award)
- 57. © 20201228 @tdys13 57
⻑年の課題解消に向けて
・引⽤
Zhou, Zongwei, et al.
"Models Genesis."
arXiv preprint arXiv:2004.07882 (2020).
ü ⼈体に特化した深層学習モデル
・どんな研究?
Genesis Chest CT / Genesis Chest X-rayの2種類の提案.
様々な領域の3D医⽤画像を事前学習・転移学習することで
どんな医⽤画像でもロバストなセグメンテーション・分類を
可能にした研究.
さらに2D/2.5Dに対してもImageNetでの事前学習モデル以上の
精度を出すことを確認
・対象領域は?
医⽤画像全般(CT画像/X線画像)
・使⽤モデルは?
U-Net
(Encoder部分のbackboneは様々.主に3D-ResNet101)
3次元医⽤画像で学習することで,3次元特徴を2次元/2.5次元に対しても
適応できることを確認した
・引⽤
・https://github.com/MrGiovanni/ModelsGenesis
- 58. © 20201228 @tdys13 58
⻑年の課題解消に向けて
ü ⼈体に特化した深層学習モデル
・どうやって学習する?
⼯程1. ⽤意した医⽤画像(Axial⾯, Sagittal⾯, Coronal⾯)に
様々な画像変換を施す(前処理)
⼯程2. ⼯程1.で前処理された画像をU-Netの⼊⼒として
元画像へと戻すように画像の再構成を⾏う.
⼯程3. Encoder部分をClassificationモデル,
Encoder-Decoder部分をSegmentationモデルとして
使⽤する
前処理で加⼯した画像を元画像へ再現する⼯程を通して
モデル⾃⾝が医⽤画像の特徴を学習していく
・引⽤
Zhou, Zongwei, et al.
"Models Genesis."
arXiv preprint arXiv:2004.07882 (2020).
・引⽤
・https://github.com/MrGiovanni/ModelsGenesis
- 59. © 20201228 @tdys13 59
⻑年の課題解消に向けて
・引⽤
Zhou, Zongwei, et al.
"Models Genesis."
arXiv preprint arXiv:2004.07882 (2020).
ü ⼈体に特化した深層学習モデル
・どんな画像を事前学習・転移学習しているの?
[ Genesis Chest CT ]
事前学習:胸部CT画像のオープンデータセットである
LUNA2016より623症例のCT画像
[ Genesis X-ray ]
事前学習:胸部X線画像のオープンデータセットである
ChestX-ray8
[ 共通 ]
転移学習:各領域に応じてTrain, Testを⾏う
脳腫瘍オープンデータセット(BraTS2018)、
肝臓腫瘍データセット(MICCAI Lits2017)、
肺結節オープンデータセット(LUNA2016)、
肺結節オープンデータセット(LIDC-IDRI)
事前学習の重み,コードはgithubにて公開中(商⽤利⽤不可)
・引⽤
・https://github.com/MrGiovanni/ModelsGenesis
- 60. © 20201228 @tdys13 60
⻑年の課題解消に向けて
・引⽤
https://github.com/Tencent/MedicalNet
https://niftynet.io/
ü ⼈体に特化した深層学習モデル
その他にもTencent/MedicalNetやNiftyNetなどが医⽤画像事前学習モデルとして公開されている.
(論⽂の⽐較実験より,ModelGenesisの⽅が軽量とのこと)
- 61. © 20201228 @tdys13 61
医⽤画像特有のタスク
・引⽤
Xu, Zhe, et al.
"Adversarial uni-and multi-modal stream networks for multimodal image registration."
International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020.
ü 医⽤画像の位置合わせ(image registration)
MICCAI2020 accpeted
CT画像とMR画像の位置合わせ,及び
動いた部分のCT画像やMR画像の修正⽅法を新規提案のCycle-GANを⽤いて提案
※image registrationとは?なぜ⾏う?
①呼吸したり動くことで,撮像された際にぶれるのを修正する⽬的.
②同じ患者のCT画像とMR画像をより正確に⾒⽐べる際に
きちんと位置情報を合わせる必要がある
- 62. © 20201228 @tdys13 62
Image RegistrationはMICCAIなどの国際学会でもセッションが
満員になるくらい注⽬されている領域.今後もさらに発展が⾒込まれる.
医⽤画像特有のタスク
ü 医⽤画像の位置合わせ(image registration)
・どんな研究?
CTtoMRの位置合わせ,及び動いたCT/MR画像の修正
・対象領域は?
腹部CT/MR画像
・使⽤モデルは?
論⽂にて提案した新規Cycle-GAN
・検証⽅法は?
Dice係数,TREなど
提案⽅法
・引⽤
Xu, Zhe, et al.
"Adversarial uni-and multi-modal stream networks for multimodal image registration."
International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020.
- 63. © 20201228 @tdys13 63
医⽤画像特有のタスク
・引⽤
Lee, Hong Joo, et al.
"Structure Boundary Preserving Segmentation for Medical Image With Ambiguous Boundary."
Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.
ü 不明瞭な対象(臓器)に対するセグメンテーション
CVPR2020 accpeted
医⽤画像に映る曖昧な臓器の境界をきちんと学習しセグメンテーションをする新規⼿法の提案
- 64. © 20201228 @tdys13 64
医⽤画像特有のタスク
・どんな研究?
曖昧な臓器の境界まで学習してセグメンテーションする研究
・対象領域は?
医⽤画像全般
・提案部分は?
曖昧な境界を学習するために,
『境界を保存する機構-BPB(Boundary Preserving Block)』,
『保存された境界から最適なものを探索する機構
- Boundary Key point selection module』
『上記2つの境界部と正解ラベルを⽐べ
フィードバックを送る機構
- SBE(Shape Boundary-aware Evaluator) 』
の3つが存在する
ü 不明瞭な対象(臓器)に対するセグメンテーション
・引⽤
Lee, Hong Joo, et al.
"Structure Boundary Preserving Segmentation for Medical Image With Ambiguous Boundary."
Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.
⾒慣れないと分からない程の“曖昧な臓器”の境界部分を
推測⇄フィードバックを通して鮮明にしていく
- 65. © 20201228 @tdys13 65
医⽤画像特有のタスク
ü 不明瞭な対象(臓器)に対するセグメンテーション
・引⽤
Lee, Hong Joo, et al.
"Structure Boundary Preserving Segmentation for Medical Image With Ambiguous Boundary."
Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020.
BPB(境界保存機構)とSBE(フィードバックを送る機構)
を追加することでどんなモデルでもセグメンテーション精度(Dice値)が向上することが判明.
⽪膚がんデータセット
経膣超⾳波検査のデータセット
- 66. © 20201228 @tdys13 66
『AI×医⽤画像』の現状と可能性(2020年下半期)
まとめ
・COVID-19を対象とした研究は引き続き急務として⾏われる
・医⽤画像の課題として画像数の不⾜,ラベルノイズなどが存在する
それらを解決するための新提案研究などが活発
・研究者が増えたことで,
優先度は⾼めだけど緊急性の低い研究テーマなどもどんどん活発化
- 67. © 20201228 @tdys13 67
他技術との融合(医⽤画像処理×⾃然⾔語処理)
・引⽤
Yuan, Jianbo, et al.
"Automatic radiology report generation based on multi-view image fusion and medical concept enrichment."
International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.
ü 画像から病変部位を特定し、診断書を⾃動⽣成
CVPR2019 accpeted
患者の画像から病変部位を予測し,診断書を⾃動⽣成する研究
- 68. © 20201228 @tdys13 68
他技術との融合(医⽤画像処理×⾃然⾔語処理)
・引⽤
Yuan, Jianbo, et al.
"Automatic radiology report generation based on multi-view image fusion and medical concept enrichment."
International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.
ü 画像から病変部位を特定し、診断書を⾃動⽣成
・どんな研究?
医⽤画像を学習・病変予測をすると同時に
医⽤画像から概念を抽出し
最終的に放射線科医の診断書を⾃動⽣成する研究
・対象領域は?
胸部X線&診断書
・使⽤データセットは?
事前学習:CheXpert,Indiana University Chest X-ray.
Train & Test:IU-RR(放射線検査集, 画像と診断書のセット)
・検証⽅法は?
医⽤画像:AUC
⾃然⾔語:BLEU Score
提案モデル
医⽤画像とペアになる診断書を学習することで,
医⽤画像から診断書に必要なワードの類推などを⾏い,最終的に診断書作成までを⾏う
- 69. © 20201228 @tdys13 69
他技術との融合(医⽤画像処理×⾃然⾔語処理)
・引⽤
Yuan, Jianbo, et al.
"Automatic radiology report generation based on multi-view image fusion and medical concept enrichment."
International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2019.
ü 画像から病変部位を特定し、診断書を⾃動⽣成
『医⽤画像の病変部分』と『⾔語情報』を紐付けて学習することで,
最終的に放射線の診断書を⾃動⽣成することを可能にした
提案モデル
・どんな研究?
医⽤画像を学習・病変予測をすると同時に
医⽤画像から概念を抽出し
最終的に放射線科医の診断書を⾃動⽣成する研究
・対象領域は?
胸部X線&診断書
・使⽤データセットは?
事前学習:CheXpert,Indiana University Chest X-ray.
Train & Test:IU-RR(放射線検査集, 画像と診断書のセット)
・検証⽅法は?
医⽤画像:AUC
⾃然⾔語:BLEU Score
- 70. © 20201228 @tdys13 70
他技術との融合(医⽤画像処理×⾃然⾔語処理)
・引⽤
Zhang, Yuhao, et al.
"Contrastive Learning of Medical Visual Representations from Paired Images and Text."
arXiv preprint arXiv:2010.00747 (2020).
ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する①
医⽤画像(ラベル不使⽤)とテキストデータの⾃然なペアデータから
医⽤画像の病変を推測する教師なし学習の提案
- 71. © 20201228 @tdys13 71
他技術との融合(医⽤画像処理×⾃然⾔語処理)
・引⽤
Zhang, Yuhao, et al.
"Contrastive Learning of Medical Visual Representations from Paired Images and Text."
arXiv preprint arXiv:2010.00747 (2020).
ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する①
・どんな研究?
医⽤画像とペアになるテキストデータから学習し
画像内の疾患候補部位を推測する研究
・対象領域は?
胸部X線&テキストデータ
・使⽤モデルは?
ConVIRT
Image Encoder : ResNet50
Text Encoder : BERT encoder
・⼯夫点は?
Image-to-text loss / text-to-image loss
2つを組み合わせた final train lossの提案
提案モデル ConVIRT
⾃然⾔語の学習部分にBERTを組み込んだ.
BERTとは⾃然⾔語領域にてSoTAを更新したモデル
- 72. © 20201228 @tdys13 72
他技術との融合(医⽤画像処理×⾃然⾔語処理)
・引⽤
Zhang, Yuhao, et al.
"Contrastive Learning of Medical Visual Representations from Paired Images and Text."
arXiv preprint arXiv:2010.00747 (2020).
ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する①
・どんな研究?
医⽤画像とペアになるテキストデータから学習し
画像内の疾患候補部位を推測する研究
・対象領域は?
胸部X線&テキストデータ
・使⽤モデルは?
ConVIRT
Image Encoder : ResNet50
Text Encoder : BERT encoder
・⼯夫点は?
Image-to-text loss / text-to-image loss
2つを組み合わせた final train lossの提案
提案モデル ConVIRT
⾃然⾔語部分のlossと医⽤画像部分のlossを組み合わせて共に学習を実施.
- 73. © 20201228 @tdys13 73
他技術との融合(医⽤画像処理×⾃然⾔語処理)
ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する①
・使⽤データセットは?
事前学習
- MIMIC-CXR(画像とテキストのペアデータ)
- private dataset(画像とテキストのペアデータ)
Image classification(画像のクラス分類)
- RSNA Pueumonia Detection (肺炎 / 正常)
- CheXpert (14クラス)
- COVIDx (COVID-19肺炎, 肺炎, 正常肺 )
- MURA(筋⾻格の異常/正常)
image-image Retrieval(⼊⼒画像に近しい画像探索)
- CheXpert 8x200 Retrieval Dataset
Text-image Retrieval(⼊⼒画像の概要に近しい画像探索)
- CheXpert 8x200 Retrieval Dataset
事前学習あり
事前学習なし
医⽤画像とテキストデータのペア学習は,
画像分類タスクにおいて⾼い性能を⽰す事ができた
・引⽤
Zhang, Yuhao, et al.
"Contrastive Learning of Medical Visual Representations from Paired Images and Text."
arXiv preprint arXiv:2010.00747 (2020).
- 74. © 20201228 @tdys13 74
他技術との融合(医⽤画像処理×⾃然⾔語処理)
ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する①
・使⽤データセットは?
事前学習
- MIMIC-CXR(画像とテキストのペアデータ)
- private dataset(画像とテキストのペアデータ)
Image classification(画像のクラス分類)
- RSNA Pueumonia Detection (肺炎 / 正常)
- CheXpert (14クラス)
- COVIDx (COVID-19肺炎, 肺炎, 正常肺 )
- MURA(筋⾻格の異常/正常)
image-image Retrieval(⼊⼒画像に近しい画像探索)
- CheXpert 8x200 Retrieval Dataset
Text-image Retrieval(⼊⼒画像の概要に近しい画像探索)
- CheXpert 8x200 Retrieval Dataset
事前学習あり
事前学習なし
COVID-19などの新規感染症に対しても効果が出る事が判明した.
・引⽤
Zhang, Yuhao, et al.
"Contrastive Learning of Medical Visual Representations from Paired Images and Text."
arXiv preprint arXiv:2010.00747 (2020).
- 75. © 20201228 @tdys13 75
他技術との融合(医⽤画像処理×⾃然⾔語処理)
ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する①
・使⽤データセットは?
事前学習
- MIMIC-CXR(画像とテキストのペアデータ)
- private dataset(画像とテキストのペアデータ)
Image classification(画像のクラス分類)
- RSNA Pueumonia Detection (肺炎 / 正常)
- CheXpert (14クラス)
- COVIDx (COVID-19肺炎, 肺炎, 正常肺 )
- MURA(筋⾻格の異常/正常)
image-image Retrieval(⼊⼒画像に近しい画像探索)
- CheXpert 8x200 Retrieval Dataset
Text-image Retrieval(⼊⼒画像の概要に近しい画像探索)
- CheXpert 8x200 Retrieval Dataset
画像探索においても有⽤だと判明した.
・引⽤
Zhang, Yuhao, et al.
"Contrastive Learning of Medical Visual Representations from Paired Images and Text."
arXiv preprint arXiv:2010.00747 (2020).
- 76. © 20201228 @tdys13 76
他技術との融合(医⽤画像処理×⾃然⾔語処理)
・引⽤
Zhang, Yuhao, et al.
"Contrastive Learning of Medical Visual Representations from Paired Images and Text."
arXiv preprint arXiv:2010.00747 (2020).
ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する①
・使⽤データセットは?
事前学習
- MIMIC-CXR(画像とテキストのペアデータ)
- private dataset(画像とテキストのペアデータ)
Image classification(画像のクラス分類)
- RSNA Pueumonia Detection (肺炎 / 正常)
- CheXpert (14クラス)
- COVIDx (COVID-19肺炎, 肺炎, 正常肺 )
- MURA(筋⾻格の異常/正常)
image-image Retrieval(⼊⼒画像に近しい画像探索)
- CheXpert 8x200 Retrieval Dataset
Text-image Retrieval(⼊⼒画像の概要に近しい画像探索)
- CheXpert 8x200 Retrieval Dataset
ImageNetではなく医⽤画像&テキストデータで事前学習することで
より近しい表現同⼠に収束する事が分かった
- 77. © 20201228 @tdys13 77
他技術との融合(医⽤画像処理×⾃然⾔語処理)
・引⽤
Tam, Leo K., et al.
"Weakly supervised one-stage vision and language disease detection using large scale pneumonia and pneumothorax studies."
International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020.
ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する②
医⽤画像(ラベル不使⽤)とテキストデータをそれぞれ学習し,画像内の病変を特定する研究
MICCAI2020 accpeted
- 78. © 20201228 @tdys13 78
他技術との融合(医⽤画像処理×⾃然⾔語処理)
・引⽤
Tam, Leo K., et al.
"Weakly supervised one-stage vision and language disease detection
using large scale pneumonia and pneumothorax studies."
International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020.
ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する②
・どんな研究?
医⽤画像とペアになるテキストデータをそれぞれ学習し
最終的に画像内の疾患候補部位を特定する研究
・対象領域は?
胸部X線&テキストデータ
・使⽤モデルは?
提案モデル ‒ LITERATI
YOLO v3 / BERT
・評価指標は?
IOU提案モデル - LITERATI
⾃然⾔語部分にBERTを使⽤
医⽤画像とテキストデータより疾患部位を特定する
- 79. © 20201228 @tdys13 79
他技術との融合(医⽤画像処理×⾃然⾔語処理)
・引⽤
Tam, Leo K., et al.
"Weakly supervised one-stage vision and language disease detection using large scale pneumonia and pneumothorax studies."
International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham, 2020.
ü 患者疾患データ(⾃然⾔語)と患者データ(医⽤画像)を共に学習する②
・使⽤データセットは?
ChestXray-14
MIMIC-CXR
・実験結果
Scene Label(ラベルが疾患名称データのみ)では
提案⼿法がIOU(0.1~0.3)は⾼い.
Scene Label(疾患名称データのみ)
Referring expression(疾患の状態データ)
Referring disease emphasis(疾患名称と位置のデータ)
の⽐較では
Referring disease emphasis(疾患の名称と位置データ)が
最も精度に影響する
疾患名称のみでもある程度の精度が出る事が判明
現状は疾患の状態データより,疾患の名称+位置データが精度に直結する
Scene Label
Whole Label
- 80. © 20201228 @tdys13 80
今度さらに研究が期待される領域
・引⽤
Ozyoruk, Kutsev Bengisu, et al.
"Quantitative Evaluation of Endoscopic SLAM Methods: EndoSLAM Dataset.”
arXiv preprint arXiv:2006.16670 (2020).
https://github.com/CapsuleEndoscope/EndoSLAM
ü 臓器内部の3次元構成研究
豚の臓器(not ⼈体)を対象とした内視鏡SLAMデータセット
※SLAM(Simultaneous Localization And Mapping)とは
⾃⼰位置推定と環境地図作成に⽤いられる技術です.
ルンバが迷わずにお掃除できるのもSLAM技術のおかげ
- 81. © 20201228 @tdys13 81
今度さらに研究が期待される領域
ü 臓器内部の3次元構成研究
⼈体内部の臓器を3次元再構成&経路を可視化.
リアルタイムで⼈体内部から経路作成&3次元再構成が可能になったらどんな技術⾰新が起こる?
・引⽤
Ozyoruk, Kutsev Bengisu, et al.
"Quantitative Evaluation of Endoscopic SLAM Methods: EndoSLAM Dataset.”
arXiv preprint arXiv:2006.16670 (2020).
https://github.com/CapsuleEndoscope/EndoSLAM
- 82. © 20201228 @tdys13 82
今度さらに研究が期待される領域
・引⽤
Devlin, Jacob, et al.
"Bert: Pre-training of deep bidirectional transformers for language understanding."
arXiv preprint arXiv:1810.04805 (2018).
ü Transformer系
他領域で話題となった技術が医⽤画像処理領域にも今後⼊ってくる
(すでに⾃然⾔語×医⽤画像処理などの新ジャンルにおいて活⽤され始めている)
⾃然⾔語領域で話題となったBERT(Transformer系)
Transformer系を画像処理に適応したViT
・引⽤
Dosovitskiy, Alexey, et al.
"An image is worth 16x16 words: Transformers for image recognition at scale."
arXiv preprint arXiv:2010.11929 (2020).
- 83. © 20201228 @tdys13 83
オープンデータセットやコンペティションの動向
前⽴腺癌のグレードを分類するコンペ*1,⽪膚病変を分類するコンペ*2、
CT画像から肺活量を予測するコンペ*3が2020年上半期で開催された。
引⽤:
・Kaggle Prostate cANcer graDe Assessment Challenge
https://www.kaggle.com/c/prostate-cancer-grade-assessment
・ SIIM-ISIC Melanoma Classification
https://www.kaggle.com/c/siim-isic-melanoma-classification
・ OSIC Pulmonary Fibrosis Progression
https://www.kaggle.com/c/osic-pulmonary-fibrosis-progression/overview
ü 医⽤画像に関するコンペティションが数多く開催された2020年
- 84. © 20201228 @tdys13 84
前⽴腺癌のグレードを分類するコンぺでは
上位10チームのうち1、4、6位が⽇本⼈所属チームとなった(全世界から1010チーム参加)
オープンデータセットやコンペティションの動向
引⽤:
・Kaggle Prostate cANcer graDe Assessment Challenge
https://www.kaggle.com/c/prostate-cancer-grade-assessment
ü 医⽤画像に関するコンペティションが数多く開催された2020年
- 85. © 20201228 @tdys13 85
オープンデータセットやコンペティションの動向
CT画像から肺塞栓症が存在するかどうかを予測するコンペ*1,
腎臓の病理画像からPAS染⾊された顕微鏡データ中の⽷球体をセグメンテーションするコンペ*2、
胸部X線画像からカテーテルとラインを検出するコンペ*3が2020年下半期で開催されている。
引⽤:
・Kaggle RSNA STR Pulmonary Embolism Detection
https://www.kaggle.com/c/rsna-str-pulmonary-embolism-detection
・Kaggle HuBMAP Hacking the Kidney
https://www.kaggle.com/c/hubmap-kidney-segmentation
・Kaggle RANZCR CLiP ‒ Catheter and Line position Challenge
https://www.kaggle.com/c/ranzcr-clip-catheter-line-classification
ü 医⽤画像に関するコンペティションが数多く開催された2020年
- 86. © 20201228 @tdys13 86
CT画像から肺塞栓症が存在するかどうかを予測するコンペでは
上位10チーム中の4、6、8、9位が⽇本⼈所属チームとなった(全世界から784チーム参加)
オープンデータセットやコンペティションの動向
引⽤:
・ Kaggle RSNA STR Pulmonary Embolism Detection
https://www.kaggle.com/c/rsna-str-pulmonary-embolism-detection/leaderboard
ü 医⽤画像に関するコンペティションが数多く開催された2020年
- 87. © 20201228 @tdys13 87
オープンデータセットやコンペティションの動向
引⽤:
https://grand-challenge.org/
ü 医⽤画像に関するコンペティションが数多く開催された2020年
GrandChallengeでは21の医⽤画像コンペが開催された
- 88. © 20201228 @tdys13 88
オープンデータセットやコンペティションの動向
引⽤:
https://medmnist.github.io/
ü 医⽤画像領域が⾝近になるようなオープンデータセットが数多く登場
医⽤画像版MNIST ‒ MedMNIST (2020.11 公開開始)
ラベル付けもされており数も多い.28x28のサイズだが⼯夫すれば発展の可能性に満ちてる
- 89. © 20201228 @tdys13 89
オープンデータセットやコンペティションの動向
引⽤:
https://github.com/lindawangg/COVID-Net
ü 医⽤画像領域が⾝近になるようなオープンデータセットが数多く登場
COVID-Net(カナダのスタートアップ企業が主導してるオープンソース)
⾃⾝でデータセットを収集できる
- 90. © 20201228 @tdys13 90
『AI×医⽤画像』の現状と可能性(2020年下半期)
まとめ
・医⽤画像×⾃然⾔語処理などの技術領域横断研究が増えた
→より現場で必要な複雑性に対応する研究が増えていく?
・深層学習×医⽤画像の領域でも,すぐには応⽤できないけれども
今後必要になりうるテーマが研究され始めた
・いろんなコンペで医⽤画像やCOVID-19題材のコンペが⾏われた
- 93. © 20201228 @tdys13 93
2020年のAI×医⽤画像に関する論⽂はDeepMindからスタートした(2020年1⽉1⽇発表@nature)
2020年の医療AI
引⽤:
McKinney, Scott Mayer, et al.
"International evaluation of an AI system for breast cancer screening."
Nature 577.7788 (2020): 89-94.
- 94. © 20201228 @tdys13 94
世界的にも引き続きヘルスケア・AI領域への投資額は伸びている
AIを⽤いた診断領域の市場
・引⽤
Healthcare AI Trends To Watch
https://www.cbinsights.com/research/report/ai-trends-healthcare/
- 95. © 20201228 @tdys13 95
しかし2019年末から中国・武漢を発祥源としてCOVID-19が世界的⼤流⾏。
COVID19
引⽤:
新型コロナウイルスに関連した患者の発⽣について
https://www.bousai.metro.tokyo.lg.jp/taisaku/saigai/1007261/1007264.html
- 96. © 20201228 @tdys13 96
⽇本でも罹患者が。
緊急事態であるが故に厚労省よりCOVID-19関連医薬品の優先審査が発表された(2020.04.13)
COVID19
引⽤:
新型コロナウイルス感染症の発⽣に伴う 当⾯の医薬品、医療機器、体外診断⽤医薬品及び
再⽣医療等製品の 承認審査に関する取扱いについて
https://www.pmda.go.jp/files/
000234904.pdf?fbclid=IwAR0Ln3WkVneZLMW6akrEF1JIDuBHw7WcBGJ_aI9UveW1K75wt75qRZ-3S5s
- 101. © 20201228 @tdys13 101
COVID19を題材とした⽇本における医療AI
とどろきが個⼈的に調べたものなので不⾜等あると思います!
不⾜分は勉強させてください!!
ここのリスト、16企業+α
⼀挙に紹介するよ!!
(上半期スライドで紹介したものはサクッと紹介)
- 102. © 20201228 @tdys13 102
COVID19を題材とした⽇本における医療AI
[ エムスリー株式会社 × Alibaba Cloud(中国) ]
COVID-19肺炎画像解析プログラム Ali-M3
プログラム医療機器薬事承認&提供開始
・⼀⾔
- クラウド型AIタイプのプログラム医療機器
- 中国で提供されているAIを
⽇本で臨床試験を⾏い、薬事申請
引⽤
エムスリーとアリババクラウド
AI医療技術「COVID-19肺炎画像解析プログラム Ali-M3」医療機器製造販売の承認取得・提供開始
・https://corporate.m3.com/press_release/2020/20200629_001616.html
- 103. © 20201228 @tdys13 103
COVID19を題材とした⽇本における医療AI
[ 株式会社CESデカルト × InferVision (中国)]
肺画像解析プログラム InferRead CT Pneumonia
プログラム医療機器薬事承認&提供開始
引⽤
CESデカルト
COVID-19 感染症に関係する症状を対象とした医療機器承認取得
http://desc.co.jp/covid-19/
・⼀⾔
- ⽇本初、COVID19関連で承認されたプログラム医療機器
- 中国で提供されているAIを
⽇本で臨床試験を⾏い、薬事申請
- 104. © 20201228 @tdys13 104
COVID19を題材とした⽇本における医療AI
[ 富⼠フイルム株式会社 ×京都⼤学]
AI技術を⽤いた新型コロナウイルス肺炎の診断⽀援技術開発を開始
引⽤
富⼠フィルム株式会社
AI技術を⽤いた新型コロナウイルス肺炎の診断⽀援技術開発を開始
https://www.fujifilm.com/jp/ja/news/list/4968
・⼀⾔
- 京都⼤学と共同研究をしていた間質性肺炎の
定量化技術をCOVID19向けに活⽤
- 105. © 20201228 @tdys13 105
COVID19を題材とした⽇本における医療AI
[ 株式会社NTTデータ ×DeepTek(インド)]
AI技術を⽤いた新型コロナウイルス肺炎の診断⽀援技術開発を開始
引⽤
AIを搭載した画像診断⽀援ソリューションがCOVID-19の診断⽀援に貢献
インドにてPOCを開始
https://www.nttdata.com/jp/ja/news/release/2020/052501/
・⼀⾔
- インドの病院にてAIを活⽤したCOVID19診断⽀援を開始
- 今後、⽇本展開やAPAC展開を⾏う
- 106. © 20201228 @tdys13 106
COVID19を題材とした⽇本における医療AI
[株式会社両備システムズ×岡⼭⼤学]
X線画像からの新型コロナウイルス肺炎の解析を⾏うAI・臨床試験中
引⽤
AIで新型コロナ肺炎を診断 岡⼭⼤⼤学院の河原教授ら開発
https://www.sanyonews.jp/article/1025348
COVID-Net
https://medium.com/@sheldon.fernandez/
covid-net-an-open-source-neural-network-for-covid-19-detection-48b8a55e6d44
・⼀⾔
- カナダのスタートアップDarwin AI社が開発した
コロナ罹患者のX線画像を学習したCOVID-Netを使⽤
- 現在岡⼭⼤学で臨床試験中
- 107. © 20201228 @tdys13 107
COVID19を題材とした⽇本における医療AI
[シーメンスヘルスケア株式会社]
CT画像からの新型コロナウイルス肺炎の解析を⾏うAI提供開始
・⼀⾔
- シーメンスヘルスケア(ドイツ)が開発したAIを
シーメンスヘルスケア(⽇本)が⽇本で提供開始
引⽤
シーメンスヘルスケア
AI技術によりCT画像を⽤いた新型コロナウイルス感染症の解析をサポートする
臨床研究⽤ソフトウェアの提供を開始
https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20200518-ct-ai-covid-19.html
- 108. © 20201228 @tdys13 108
COVID19を題材とした⽇本における医療AI
[シーメンスヘルスケア株式会社]
CT画像からの新型コロナウイルス肺炎の解析を⾏うAI提供開始
・⼀⾔
- シーメンスヘルスケア(ドイツ)が開発したAIを
シーメンスヘルスケア(⽇本)が⽇本で提供開始
京都⼤学の研究グループ以外は海外のCT画像やX線画像を学習したAI
引⽤
シーメンスヘルスケア
AI技術によりCT画像を⽤いた新型コロナウイルス感染症の解析をサポートする
臨床研究⽤ソフトウェアの提供を開始
https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20200518-ct-ai-covid-19.html
- 109. © 20201228 @tdys13 109
COVID19を題材とした⽇本における医療AI
[シーメンスヘルスケア株式会社]
CT画像からの新型コロナウイルス肺炎の解析を⾏うAI提供開始
・⼀⾔
- シーメンスヘルスケア(ドイツ)が開発したAIを
シーメンスヘルスケア(⽇本)が⽇本で提供開始
⼈種差ってあるの?ないの?
引⽤
シーメンスヘルスケア
AI技術によりCT画像を⽤いた新型コロナウイルス感染症の解析をサポートする
臨床研究⽤ソフトウェアの提供を開始
https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20200518-ct-ai-covid-19.html
- 110. © 20201228 @tdys13 110
多⼈種における性能差に関する調査
[ 株式会社NTTデータ×宮崎⼤学 ]
AIを⽤いたがん検出において⼈種差が⽣じないかに関する研究
・技術的視点
学習データ : 腹部CT画像11万枚(アメリカ⼈患者5000⼈で学習。⽇本⼈患者は⼀切含めず)
テストデータ : 宮崎⼤学付属病院の⽇本⼈患者700名、上記学習画像と機材も環境も異なる。
(250名の腎癌患者,200名の腎臓疾患患者,250名の健康患者)
モデル : ???
結果 : 感度82.0%,特異度95.0%
引⽤
・株式会社NTTデータ プレスリリース 2019 09.26
宮崎⼤学とNTTデータがAI画像診断の実証実験を実施
https://www.nttdata.com/jp/ja/news/release/2019/092600/
- 111. © 20201228 @tdys13
・技術的視点
学習データ : 腹部CT画像11万枚(アメリカ⼈患者5000⼈で学習。⽇本⼈患者は⼀切含めず)
テストデータ : 宮崎⼤学付属病院の⽇本⼈患者700名、上記学習画像と機材も環境も異なる。
(250名の腎癌患者,200名の腎臓疾患患者,250名の健康患者)
モデル : ???
結果 : 感度82.0%,特異度95.0%
111
多⼈種における性能差に関する調査
結論として⼈体画像に⼈種差はなかった。(撮像環境などの検証はこの研究では述べられていない)
引⽤
・株式会社NTTデータ プレスリリース 2019 09.26
宮崎⼤学とNTTデータがAI画像診断の実証実験を実施
https://www.nttdata.com/jp/ja/news/release/2019/092600/
[ 株式会社NTTデータ×宮崎⼤学 ]
AIを⽤いたがん検出において⼈種差が⽣じないかに関する研究
- 112. © 20201228 @tdys13 112
COVID19を題材とした⽇本における医療AI
[ エムスリー株式会社×兵庫県⽴⼤学×兵庫県⽴尼崎総合医療センター]
新型コロナウイルス感染者の予後予測指標及び
予測モデルの開発
・⼀⾔
- 感染者の予後予測と予測モデルの開発を発表.
- 予測モデルではCOVID-19陽性者の重症化を確率的に予測し,
診療にて使える判断指標の提供を⽬指す
引⽤
COVID-19肺炎AIの無償⽀援プロジェクト拡⼤と重症化予測AI開発のお知らせ
https://corporate.m3.com/press_release/2020/20200930_001637.html
- 113. © 20201228 @tdys13 113
COVID19を題材とした⽇本における医療AI
[ CESデカルト株式会社×テラ株式会社]
新型コロナウイルス感染症の重症化予測AIプログラム開発を発表
・⼀⾔
- COVID-19重症患者のCT画像含めたデータは
テラ株式会社の⼦会社にて収集されたデータの提供を計画
引⽤
tella
新型コロナ感染症重症化予測AIシステムの開発に関する基本合意締結のお知らせ
https://www.tella.jp/company/release/2020/11/2773/
- 114. © 20201228 @tdys13 114
COVID19を題材とした⽇本における医療AI
[ 名古屋⼤学×国⽴情報学研究所×⽇本医学放射線学会]
CT画像に映る新型コロナウイルス肺炎の解析⼿法の開発
・⼀⾔
- 正常部と肺炎部のセグメンテーションを実現.
- 正常部と肺炎部の識別性能83.3%
引⽤
新型コロナウイルスによる肺炎CT画像のAIによる解析析⼿法開発
http://www.nagoya-u.ac.jp/about-nu/public-relations/researchinfo/upload_images/20200928_i1.pdf
- 115. © 20201228 @tdys13 115
COVID19を題材とした⽇本における医療AI
[ 株式会社富⼠通×東品川病院]
新型コロナウイルス肺炎の診断⽀援を⾏うAI技術の共同研究開始
・⼀⾔
- 診断⽀援に⽤いるAIは株式会社富⼠通研究所が開発.
- CT画像の肺領域を分割し,肺炎候補部をヒートマップで表⽰
引⽤
新型コロナウイルス肺炎の診断を⽀援するAI技術の共同研究開発を開始
https://pr.fujitsu.com/jp/news/2020/09/2.html
- 116. © 20201228 @tdys13 116
COVID19を題材とした⽇本における医療AI
[ キヤノンメディカルシステムズ株式会社×藤⽥医科⼤学]
新型コロナウイルス肺炎の診断⽀援を⾏うAI技術の臨床適⽤評価を開始
・⼀⾔
- 新型コロナウイルス肺炎部の診断⽀援を⾏うAIを開発.
- 臨床適⽤評価を開始した.
- 2020.12.22 発売予定であった診断⽀援AIの発売中⽌を発表
引⽤
新型コロナウイルス肺炎診断⽀援に関する臨床への適⽤評価を開始
https://jp.medical.canon/News/PressRelease/Detail/59221-834
- 117. © 20201228 @tdys13 117
COVID19を題材とした⽇本における医療AI
[株式会社NTTデータ]
新型コロナウイルス画像診断AI向け学習⽤データの無償提供開始
・⼀⾔
- 研究者向けに医⽤画像の無償公開を開始
- アノテーションは医師&開発したAIが⾏う
引⽤
新型コロナウイルス画像診断AI向け学習⽤データの無償提供開始
https://www.nttdata.com/jp/ja/news/services_info/2020/100500/
- 118. © 20201228 @tdys13 118
COVID19を題材とした⽇本における医療AI
[⼀般社団法⼈⽇本医療受診⽀援研究機構]
AI受診相談サービス ユビー の提供開始
引⽤
AI受診相談サービス ユビー
https://ubie.app/
⾃宅で事前問診可能な「AI受診相談ユビー新型コロナウイルス版」を無償提供開始
https://prtimes.jp/main/html/rd/p/000000001.000057275.html
・⼀⾔
- Ubie社が提供するAI受診サービス ユビー
- いくつかの質問を答えた後に対処法を提⽰してくれる
- 119. © 20201228 @tdys13 119
COVID19を題材とした⽇本における医療AI
[塩野義製薬株式会社×株式会社SyntheticGestalt×北海道⼤学]
AI創薬技術により選出されたCOVID-19治療薬候補化合物の探索研究
引⽤
塩野義製薬プレスリリース
https://www.shionogi.com/jp/ja/news/2020/06/200603_02.html
・⼀⾔
- SyntheticGestalt社が保有するAI創薬技術を⽤いて
選出されたCOVID19治療薬候補化合物を実⽤実験
- 120. © 20201228 @tdys13 120
COVID19を題材とした⽇本における医療AI
[株式会社FRONTEO]
⾃然⾔語処理技術を応⽤して
新型コロナウイルス感染症(COVID-19)のパスウェイマップを構成する
引⽤
株式会社FRONTEO
https://www.fronteo.com/20200417
・⼀⾔
- 事象ごとの関連性を可視化することで
COVID19の治療薬に関する情報を羅列
- 121. © 20201228 @tdys13 121
COVID19を題材とした⽇本における医療AI
[株式会社ELIX]
AI創薬技術を応⽤してCOVID-19治療薬候補化合物の分⼦設計
引⽤
株式会社Elix
https://www.elix-inc.com/jp
Screening for COVID-19: Japanese Startup Uses AI for Drug Discovery
https://blogs.nvidia.com/blog/2020/07/08/elix-ai-covid-drug-discovery/
Nvidia GTC
https://on-demand.gputechconf.com/gtc/2020/s2747/
・⼀⾔
- グラフニューラルネットと呼ばれるモデルを⽤いて
薬剤候補のデータベースを分析し、特定の疾患を
治療するのに適した物理的・化学的特性を持つ薬剤を
推論する。
- 122. © 20201228 @tdys13 122
COVID19を題材とした⽇本における医療AI(番外編)
[Kaggle]
・COVID-19の罹患者数予測コンペ
・COVID-19 Open Research Dataset Challenge(CORD-19)
引⽤
https://www.kaggle.com/c/covid19-global-forecasting-week-1
・⼀⾔
- 罹患者数予測コンペは5回⾏われ、1回⽬の優勝者は⽇本⼈の医師兼エンジニア
- CORD-19はホワイトハウス主導のコンペ。AIの⼒を⽤いてCOVID19に対する
新たな洞察をしてほしいという旨。約3万本のCOVID19関連論⽂から
新型コロナウイルスに関して分かっていることを導き出す。
- 123. © 20201228 @tdys13 123
『AI×医⽤画像』の現状と可能性(特別編)
まとめ
<ひと⼝メモ>
・⽇本におけるCOVID19関連のAI×医⽤画像は
海外製をリメイクなどして⽇本で性能検証したのちに
提供開始された。
・COVID-19罹患者の重症度予測研究なども始まった
- 128. © 20201228 @tdys13 128
2020年下半期の⽇本における医療AI(会社×協業先or共同研究先)
2020 1228 とどろき調べ
めちゃくちゃ
増えたので
説明も大変!
(嬉しい)
- 129. © 20201228 @tdys13 129
2020年上半期編
とどろきが個⼈的に調べたものなので不⾜等あると思います!
不⾜分は勉強させてください!!
ここのリストの企業(44事業)
⼀挙に紹介するよ!!
(上半期に説明した企業はさらっとやるよ.
増えたね〜〜〜〜〜)
- 130. © 20201228 @tdys13 130
2020年上半期の⽇本における医療AI
引⽤
京都⼤学iCeMs
https://www.icems.kyoto-u.ac.jp/ja/news/5500
IEEE Access ”CGHF: A Computational Decision Support System for Glioma Classification
Using Hybrid Radiomics- and Stationary Wavelet-Based Features”
https://ieeexplore.ieee.org/document/9075214
・⼀⾔
- 97.54%の精度で判別する機械学習法を開発
低グレード:グレードIの⽑様細胞性星状細胞腫、
グレードIIの低グレードグリオーマ。
⾼グレード:グレードIIIの悪性神経膠腫、
グレードIVの多形性膠芽腫。
[京都⼤学×インド⼯科⼤学]
脳腫瘍を低グレード、⾼グレードに⾼精度に分類する⼿法の提案
- 131. © 20201228 @tdys13 131
2020年上半期の⽇本における医療AI
[ATR×広島⼤学]
fMRIとAIを⽤いたうつ病の新規診断⼿法
引⽤
広島⼤学
【研究成果】10分間のMRI検査とAIを⽤いたうつ病の⾼い精度の判定による新たな診断法を開発しました
https://www.hiroshima-u.ac.jp/news/56799
・⼀⾔
- fMRIより全脳137領域から時系列データを抽出し
時系列相関をまとめたデータを作成。
このデータを⽤いてメランコリア特徴を伴ううつ病診断。
AUC0.94
- 132. © 20201228 @tdys13 132
2020年上半期の⽇本における医療AI
[DeepEyeVision株式会社]
クラウド型AI診断⽀援ソリューション“DeepEyeVision”
引⽤
DeepEyeVision
https://deepeyevision.com/
・⼀⾔
- ⾃治医科⼤学発スタートアップ
クラウド型のAI画像解析サービス
糖尿病網膜症のフェーズを分類、円錐⾓膜を診断など
HPより引⽤
- 133. © 20201228 @tdys13 133
2020年上半期の⽇本における医療AI
[株式会社メニワン]
獣医師向け⽝猫の眼底疾患診断⽀援AI
引⽤
メニワン Fundus AIについて
https://ai.meni-one.com/about
・⼀⾔
- 昨年9⽉にメニコンがサービスを発表と
発売開始をリリース
- 眼領域のメニコンが⼈ではなく⽝猫に注⼒するのは
個⼈的に注⽬してます
HPより引⽤
- 134. © 20201228 @tdys13 134
2020年上半期の⽇本における医療AI
[兵庫医科⼤学×ツカザキ病院]
AIを⽤いて眼底写真から脈絡膜の厚さを推定
引⽤
兵庫医科⼤学
画像処理とAI(⼈⼯知能)により、眼底写真から脈絡膜の厚さを推定することが可能と証明
(眼科学 病院助⼿ ⼩椋 有貴)
https://www.hyo-med.ac.jp/research_facilities/output/gyoseki/20200401-01.html
Choroidal thickness estimation from colour fundus photographs by adaptive binarisation and
deep learning, according to central serous chorioretinopathy status
https://www.nature.com/articles/s41598-020-62347-7
・⼀⾔
- VGG16を⽤いて眼底写真から脈絡膜厚の推測を⾏った
カラー眼底写真から、網膜⾎管消去画像を作成。
脈絡膜⾎管を描出し、視神経乳頭を削除。
それによって得られた画像から特徴量(CVAI)を算出
特徴量と脈絡膜厚の実測値の相関を検討した。
- 135. © 20201228 @tdys13 135
2020年上半期の⽇本における医療AI
[プラスマン合同会社×PSP株式会社]
CT画像に映る肺結節をAIで表⽰する機能を持つプログラム医療機器
引⽤
Plus Lung.Nodule
https://plusmanllc.co.jp/products/
プラスマン合同会社、PSP株式会社との協業に関して
https://plusmanllc.co.jp/news/pr20200417/
・⼀⾔
- オンプレ型とクラウド型で提供を⾏うプログラム医療機器
- 顧客第⼀号として三重⼤学医学部附属病院
- 肺結節、すりガラス陰影を表⽰可能
- 136. © 20201228 @tdys13 136
2020年上半期の⽇本における医療AI
[三重⼤学]
胸部X線写真を⽤いた肺体⾎流⽐の類推による⼿術指針提⽰
引⽤
Quantitative Analysis of Chest X-Ray Using Deep Learning to Predict Pulmonary to Systemic Flow Ratio
in Patients With Congenital Heart Disease
https://www.ahajournals.org/doi/abs/10.1161/circ.140.suppl_1.14250
AI outperforms clinicians for predicting pulmonary to systemic flow ratio in congenital heart disease
https://www.healio.com/news/cardiology/20200122/ai-outperforms-clinicians-for-predicting-
pulmonary-to-systemic-flow-ratio-in-congenital-heart-diseas
Train:⼼臓カテーテル検査を受けた931例の胸部X線写真
ラベル:肺体⾎流⽐
Test:100例
結果:専⾨医よりも⾼い精度(詳細なし)
- 137. © 20201228 @tdys13 137
2020年上半期の⽇本における医療AI
[富⼠フイルム株式会社]
AIプラットフォーム「SYNAPSE SAI viewer」向け
肺結節⾃動検出プログラム提供開始
引⽤
「肺結節検出機能」新発売
https://www.fujifilm.com/jp/ja/news/list/4963
SYNAPSE SAI viewer
https://www.fujifilm.com/jp/ja/healthcare/healthcare-it/it-imaging/sai-viewer
⼀⾔
- 富⼠フイルムのAIプラットフォーム
- 他にもセグメンテーションや部位トラッキング、
4種の臓器に対応している
HPより引⽤
- 138. © 20201228 @tdys13 138
2020年上半期の⽇本における医療AI
[株式会社NTTデータ×岩⼿医科⼤学]
AIを⽤いた⼤動脈瘤の画像診断を⾏う実証実験
引⽤
NTTデータ
岩⼿医科⼤学とAI画像診断の実証実験を実施
https://www.nttdata.com/jp/ja/news/release/2020/052901/
⼀⾔
- 岩⼿医科⼤学にて検査をした患者約27,000⼈のCT画像を使⽤。
- 4,500例の⼤動脈瘤患者、22,500例のその他の患者
- 2020年6⽉19⽇から2023年1⽉31⽇まで(実証実験期間)
HPより引⽤
- 139. © 20201228 @tdys13 139
2020年上半期の⽇本における医療AI
[株式会社HACARUS×神⼾⼤学、京都⼤学]
(神⼾⼤学)AIを⽤いたMRIに映る肝細胞癌(HCC)の分類
(京都⼤学)AIを⽤いた⼦宮頸癌の予防、早期診断AIの開発に関する共同開発
引⽤
HACARUSと神⼾⼤学、 肝細胞がんのMRI画像解析と診断⽀援AIの共同研究を開始
https://hacarus.com/ja/press-release/20200518-kobe-liver-cancer/
HACARUSと京都⼤学、⼦宮頸がんの予防・早期診断AI⽀援システムの共同研究を開始
https://hacarus.com/ja/press-release/20200427-kyoto-university-cervical-cancer/
⼀⾔
- スパースモデリングに強いHACARUS社
- 医療領域のAI開発にも注⼒をしている
- 140. © 20201228 @tdys13 140
2020年上半期の⽇本における医療AI
[オリンパス株式会社]
DeepLearning機能を搭載したプログラム医療機器
EndoBrain-EYE発売開始
引⽤
AIを搭載した内視鏡画像診断⽀援ソフトウェア「EndoBRAIN-EYE」を発売
https://www.olympus.co.jp/news/2020/nr01577.html
初代EndoBRAINとの類似点
- 機械学習 / 深層学習
- クラス3 / クラス2
- 病変を分類して表⽰ / 病変が画像内にある際に警告
HPより引⽤
- 141. © 20201228 @tdys13 141
2020年上半期の⽇本における医療AI
引⽤
⼈⼯知能(AI)により潰瘍性⼤腸炎の内視鏡画像評価が可能に!
http://www.tmd.ac.jp/archive-tmdu/kouhou/20200302_1.pdf
Development and Validation of a Deep Neural Network for Accurate Evaluation of Endoscopic Images
From Patients With Ulcerative Colitis
https://pubmed.ncbi.nlm.nih.gov/32060000/
⼀⾔メモ
-「内視鏡的な寛解」に対する精度は 90.1%、
「組織学的な寛解」に対する精度は 92.9%
[SONY株式会社×東京医科⻭科⼤学]
AIを⽤いた潰瘍性⼤腸炎の内視鏡画像評価の実現
- 142. © 20201228 @tdys13 142
2020年上半期の⽇本における医療AI
[富⼠フイルム株式会社]
AIを⽤いた⼿術後の残存ガーゼ認識機能
引⽤
AI技術を活⽤した「⼿術⽤ガーゼの認識機能」新発売
https://www.fujifilm.com/jp/ja/news/list/3202
⼀⾔メモ
-超軽量移動型デジタルX線撮影装置
「FUJIFILM DR CALNEO AQRO (カルネオアクロ)」
のオプション機能として販売
- 143. © 20201228 @tdys13 143
2020年上半期の⽇本における医療AI
[カシオ計算機×信州⼤学]
ダーモカメラで撮影した画像にAIを⽤いた⽪膚がん(メラノーマ)診断⽀援システム
引⽤
ダーモカメラ
https://dz-image.casio.jp/?fbclid=IwAR39U9y4hM_Vyf6dMZU4_Mwa50xnzeQTGKd_G5jWck61Dz7jJVn2WTvwlXQ
医療の現場にもAIが! - ⽪膚がんのAI診断を可能にするカシオのカメラ技術
https://news.mynavi.jp/kikaku/20200107-950832/
⼀⾔メモ
- 2019年にAMED「先進的医療機器・システム等開発プロジェクト」に採択
- 2017年にはメラノーマ分類コンペで世界1位
- ⽪膚撮影⽤デジカメ ダーモカメラで撮影した画像共有サイトなどもある
ダーモカメラ HPより引⽤
- 144. © 20201228 @tdys13 144
2020年上半期の⽇本における医療AI
引⽤
PidPort
https://pidport.medmain.com/
「AIで病気を瞬時に判定できる時代に」 病理解析AIの商⽤化に成功。国内外受賞歴多数。
デジタル病理画像AI解析ソリューション「PidPort」の海外にむけたサービス提供を正式に開始
https://prtimes.jp/main/html/rd/p/000000009.000034505.html
⼀⾔メモ
- ⽇本国内におけるAI提供はまだ先。
- 海外から先に販売開始
[メドメイン株式会社]
病理解析AI「PidPort」の商⽤化
- 145. © 20201228 @tdys13 145
2020年上半期の⽇本における医療AI
引⽤
どんな薬のどんな副作⽤、効能でも予測できる⼈⼯知能(AI)を開発
https://www.jst.go.jp/pr/announce/20200110/index.html
⼀⾔メモ
- 現在流通している薬剤をマウスに投与した際の副作⽤と
⼈に投与した際の副作⽤をセットでAIに学習させる
- そこからヒトへの副作⽤が未知な薬剤をマウスに
投与した際の副作⽤からヒトへの予測値を返す
[ATR×Karydo Therapeutix]
ヒトでの副作⽤・有害事象および効能を、薬の種類を問わず
に予測できる、AIシステムの開発に成功
- 146. © 20201228 @tdys13 146
2020年上半期の⽇本における医療AI
引⽤
⼤⽇本住友製薬 プレスリリース
⼤⽇本住友製薬と Exscientia Ltd.の共同研究 ⼈⼯知能(AI)を活⽤して創製された新薬候補化合物のフェーズ 1 試験を開始
https://www.ds-pharma.co.jp/ir/news/pdf/ne20200130_2.pdf
群⾺⼤学 治験についての3ステップ
https://ciru.dept.showa.gunma-u.ac.jp/general/cr-steps/
⼀⾔メモ
- 強迫性障害治療剤候補
- 健康な成⼈に対して少しずつ量を増やし
安全性を確認する
[⼤⽇本住友製薬×Exscientia(イギリス)]
共同研究されていたAIによる新薬候補化合物がフェーズ1を開始
- 147. © 20201228 @tdys13 147
2020年上半期の⽇本における医療AI
引⽤
エムスリー、医⽤画像診断⽀援AIプラットフォーム事業を開始
https://corporate.m3.com/press_release/2020/20200507_001587.html
⼀⾔メモ
- 今年の⼤本命(⽕⼒が強い)
- クラウドAI
- NOBORIのエッジサーバーがベンダーレス仕様
[エムスリー株式会社×株式会社NOBORI]
医⽤画像診断⽀援AIプラットフォーム事業を開始
- 148. © 20201228 @tdys13 148
2020年上半期の⽇本における医療AI
引⽤
胸部全体のCT画像解析を⾏うAIソフトウェア「AI-Rad Companion 」を⽤いた
胸部CT画像AI解析受託サービスを開始
https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20200629-ai-rad-chest-ct.html
⼀⾔メモ
- 受託解析サービス
- 院内に新たに機器を設置する必要などもなく簡便
- infomity(コニカミノルタ)を導⼊している病院ですぐ導⼊可能
[シーメンス株式会社×コニカミノルタ株式会社]
AIを⽤いた医⽤画像受託解析サービスの開始
- 149. © 20201228 @tdys13 149
『AI×医⽤画像』の現状と可能性(特別編)
まとめ
<ひと⼝メモ>
・プログラム医療機器の認可を取得し、販売する企業も多く現れた
・個⼈的には統合プラットフォームや受託解析サービスに注⽬しています
あとはメニワン(⽝猫の眼底画像が⼈間と同じなのか純粋に気になる)
- 150. © 20201228 @tdys13 150
2020年下半期の⽇本における医療AI
引⽤
認知症へとつながるアルツハイマー病の発症時期が予測可能に
https://prtimes.jp/main/html/rd/p/000000147.000034112.html
Nakagawa, Tomonori, et al.
"Prediction of conversion to Alzheimerʼs disease using deep survival analysis of MRI images."
Brain communications 2.1 (2020): fcaa057.
⼀⾔メモ
- 島根⼤学との共同研究
- アルツハイマーに発症する確率を個⼈レベルで推定した
[株式会社ERISA×島根⼤学(追⼿⾨学院⼤学)]
アルツハイマー病の発症時期を予測する深層学習の提案
- 151. © 20201228 @tdys13 151
2020年下半期の⽇本における医療AI
引⽤
認知症へとつながるアルツハイマー病の発症時期が予測可能に
https://prtimes.jp/main/html/rd/p/000000147.000034112.html
Nakagawa, Tomonori, et al.
"Prediction of conversion to Alzheimerʼs disease using deep survival analysis of MRI images."
Brain communications 2.1 (2020): fcaa057.
技術的視点
- 使⽤データ:MRI 2,142症例
- 使⽤モデル:4層のNN
(https://github.com/onodak1/demo)
- 評価:深層テイラー分析により算出
(左図,⻩⾊いほど予測確率が⾼い)
[株式会社ERISA×島根⼤学(追⼿⾨学院⼤学)]
アルツハイマー病の発症時期を予測する深層学習の提案
提案モデルの概略図
引⽤
https://github.com/onodak1/demo
- 152. © 20201228 @tdys13 152
2020年下半期の⽇本における医療AI
引⽤
ディープラーニングを⽤いて設計した読影⽀援ソリューションの販売開始
https://jp.medical.canon/News/PressRelease/Detail/58721-834
Avicenna.AI Partners With Canon Medical on AI Stroke Detection
https://avicenna.ai/partnership-avicenna-ai-canon-medical/
⼀⾔メモ
- 初期費⽤込みで700万円(税別)での販売
[キヤノンメディカルシステムズ× Avicenna.ai(フランス)]
Avicenna.ai(フランス)が開発する脳卒中検出AI
CINA Headを⽇本で販売
Avicenna.AIのHPより
- 153. © 20201228 @tdys13 153
2020年下半期の⽇本における医療AI
引⽤
糖尿病網膜症,AIで診断
https://www.niigata-nippo.co.jp/news/economics/20201218588022.html
⼀⾔メモ
- カメラで撮影した網膜画像から疾患位置と軽重度合いを推測
- 推測された結果を診断書として出⼒し医師のが確認.
- 既に約8,000件の画像を学習
[株式会社オーヒラ×新潟⼤学]
糖尿病網膜症を診断⽀援するAIの開発
研究を進めている⼩型カメラ
- 154. © 20201228 @tdys13 154
2020年下半期の⽇本における医療AI
引⽤
株式会社OUI
https://www.ouiinc.jp/company/
⼀⾔メモ
- ⽬を撮影する専⽤のスマホカメラアタッチメントを開発
- ⽩内障か否かを判別するAIを⽤いて海外での臨床研究を⾏う
- CEOが医師
[株式会社OUI]
スマートフォンアタッチメントのカメラ(Smart Eye Camera)の開発
遠隔診断により,⽩内障か否か判別するAIの開発
- 155. © 20201228 @tdys13 155
2020年下半期の⽇本における医療AI
引⽤
⼈⼯知能画像解析による⻭科医院向けパノラマレントゲン画像からの⻭⽛全⾃動認識の確⽴
https://www.atpress.ne.jp/news/234218
⼀⾔メモ
- 開発したAIシステムは今後,
ナルコーム社の患者管理ソフトへ機能追加される
[株式会社ナルコーム×兵庫県⽴⼤学]
AI技術を⽤いた⻭科パノラマレントゲン画像の
⻭⽛認識システムの開発
- 156. © 20201228 @tdys13 156
2020年下半期の⽇本における医療AI
引⽤
Mahdi, Fahad Parvez, Kota Motoki, and Syoji Kobashi.
"Optimization technique combined with deep learning method for teeth recognition in dental panoramic radiographs."
Scientific Reports 10.1 (2020): 1-12.
技術的視点
- RPNで抽出した特徴情報をFast R-CNNに追加し検出を⾏う
- モデル:上図のモデル
- パノラマレントゲン画像
- Train:900枚,Test:100枚
- 評価指標:IOU
[株式会社ナルコーム×兵庫県⽴⼤学]
AI技術を⽤いた⻭科パノラマレントゲン画像の
⻭⽛認識システムの開発
提案モデル
パノラマレントゲン画像
- 157. © 20201228 @tdys13 157
2020年下半期の⽇本における医療AI
引⽤
NTTデータとNTT東⽇本関東病院,胸部CTの診断プロセスへのAI画像診断技術の適⽤を⽬指し
共同検証を開始
https://www.nttdata.com/jp/ja/news/release/2020/120700/
⼀⾔メモ
- 胸部CT画像から胸部全体の異常箇所の⾃動検出を⾏う
- 実際の診断業務に組み込み課題を洗い出す(~2021.03.31)
- COVID-19による異常の⾃動検出も今後⾏う
[株式会社NTTデータ×NTT東⽇本 関東病院]
胸部CT画像のAI画像診断技術適⽤に向けた共同検証の開始
画⾯の⼀例
- 158. © 20201228 @tdys13 158
2020年下半期の⽇本における医療AI
引⽤
胸部X線画像から「肺がん」が疑われる肺結節候補を検出する,医⽤画像解析ソフトウェア
EIRL Chest Noduleを発売
https://lpixel.net/news/press-release/2020/10089/
⼀⾔メモ
- 5mm~30mmの肺結節を検出するAI医療機器
- EIRL Chest Noduleを使うことで
医師の診断精度向上が認められた
[エルピクセル株式会社]
胸部X線画像から肺結節を診断⽀援する
AI医療機器EIRL Chest Noduleの薬事承認取得及び発売開始
画⾯の⼀例
- 159. © 20201228 @tdys13 159
2020年下半期の⽇本における医療AI
引⽤
アルム、医療アプリJoinのクラウドとAI診断プログラムを連携したAI診断サポートソリューション「Join AI Connect」を発表
〜エルピクセル「EIRL」との連携でAIプログラムの臨床利⽤を加速〜
https://www.allm.net/2020/11/09/9339/
⼀⾔メモ
- 肺結節検出⽀援のEIRL Chest Nodule,
脳動脈瘤検出⽀援のEIRL Brain Aneurysmの提供を発表
[エルピクセル株式会社×株式会社アルム]
医療アプリJoinのクラウドにて
LPIXEL社の医療AIサービスの提供を発表
画⾯の⼀例
- 160. © 20201228 @tdys13 160
2020年下半期の⽇本における医療AI
引⽤
徳島⼤学
胸部単純X線画像から肺⾼⾎圧を⼈⼯知能で検出
https://www.tokushima-u.ac.jp/docs/23442.html
⼀⾔メモ
- ⼀般的に利⽤される単純X線画像にて検出を可能にした
- COVID-19などへの応⽤を⽬指す
[徳島⼤学×帝京⼤学]
胸部単純X線画像から肺⾼⾎圧を検出するAIの開発
肺⾼⾎圧がある部分に注⽬
- 161. © 20201228 @tdys13 161
2020年下半期の⽇本における医療AI
引⽤
Kusunose, Kenya, et al.
"Deep learning to predict elevated pulmonary artery pressure in patients
with suspected pulmonary hypertension using standard chest X ray."
Scientific reports 10.1 (2020): 1-8.
技術的視点
- モデル:capsule network
- タスク:2クラス分類(肺⾼⾎圧 or 正常肺)
- 事前学習:Kaggle RSNA Pneumonia Detection Challenge Dataset
- Train:900症例,Test:90症例
- 評価指標:AUC
[徳島⼤学×帝京⼤学]
胸部単純X線画像から肺⾼⾎圧を検出するAIの開発
Grad-CAMによる
AIの注⽬場所の可視化結果
- 162. © 20201228 @tdys13 162
2020年下半期の⽇本における医療AI
引⽤
Innavi net
⼈⼯知能による胸部CT解析-間質性肺炎における定量評価「QZIP-ILD」
https://www.innervision.co.jp/ad/suite/ziosoft/ziovision/20200802
⼀⾔メモ
- 100症例のCT画像を元にAIを構築
- QZIP-ILD
(Quantification by Ziosoft Informatics Platform for Interstitial Lung Disease)
- COVID-19への応⽤も視野に.
[ザイオソフト株式会社]
びまん性肺疾患⽤,胸部CT解析システム「QZIP-ILD」
- 163. © 20201228 @tdys13 163
2020年下半期の⽇本における医療AI
引⽤
エムスリーと⽇本ベーリンガーインゲルハイム
間質性肺疾患を含む肺疾患に対するAI等を活⽤した診断⽀援に関する業務提携
https://www.boehringer-ingelheim.jp/press-release/20201208_01
⼀⾔メモ
- 間質性肺疾患を検出するAI開発を⾏う
[エムスリー株式会社×⽇本ベーリンガーインゲルハイム株式会社]
間質性肺疾患を含む肺疾患に対するAIを活⽤した診断⽀援開発
- 164. © 20201228 @tdys13 164
2020年下半期の⽇本における医療AI
引⽤
画像診断⽀援AI
徳洲会とシーメンスヘルスケア共同研究
https://www.tokushukai.or.jp/media/newspaper/1245/article-10.php
徳洲会グループとシーメンスヘルスケア、AI共同研究、検体検査の完全⾃動化、
⼈材最適化を図る研修プログラムに関するパートナーシップを締結
https://www.siemens-healthineers.com/jp/press-room/press-releases/pr-20190205-tokushukai.html
⼀⾔メモ
- 匿名化したデータは徳洲会インフォメーションシステムが提供
-
[シーメンスヘルスケア×⼀般社団法⼈徳洲会]
⼼臓,⼤動脈,脊椎などの胸部全体の画像診断⽀援AIを開発する共同研究
- 165. © 20201228 @tdys13 165
2020年下半期の⽇本における医療AI
引⽤
株式会社PreferredNetworks
京都府の肺がん検診にPreferred Networks開発の胸部X線画像診断補助ツールを試験導⼊
https://preferred.jp/ja/news/pr20201012/
⼀⾔メモ
- Kaggle RSNA Pneumonia Detection Challengeで
世界6位になった画像解析技術を応⽤
- NOBORI社のクラウドサービス「NOBORI」にて使⽤
[株式会社PreferredNetworks×株式会社NOBORI×⼀般社団法⼈京都府医師会]
京都府の肺がん検診にて肺がん診断補助ツールを試験導⼊
- 166. © 20201228 @tdys13 166
2020年下半期の⽇本における医療AI
引⽤
テラ株式会社
医療AI「乳がん診断⽀援医療機器」に関する基本合意のお知らせ
https://www.tella.jp/company/release/2020/11/2804/
⼀⾔メモ
- CESデカルド社が開発する乳がん診断⽀援AIを
テラ株式会社が独占販売権及び権利譲渡を報告.
- 乳がん診断⽀援医療機器は現在薬事承認を申請中.
[ CESデカルト株式会社×テラ株式会社]
乳がん診断⽀援医療機器システムの販売を合意
- 167. © 20201228 @tdys13 167
2020年下半期の⽇本における医療AI
引⽤
順天堂⼤学
臨床研究「内視鏡診断AIシステムの開発」
https://www.juntendo.ac.jp/hospital/clinic/shokaki/about/treatment/endoscope_ai.html
⼀⾔メモ
- 早期胃癌をターゲットにAIを学習させた
[株式会社AIメディカルサービス×順天堂⼤学]
NBI併⽤胃拡⼤内視鏡より早期胃癌を診断するAIの開発
- 168. © 20201228 @tdys13 168
2020年下半期の⽇本における医療AI
引⽤
Ueyama, Hiroya, et al.
"Application of artificial intelligence using a convolutional neural network for diagnosis of
early gastric cancer based on magnifying endoscopy with narrow‐band imaging.”
Journal of Gastroenterology and Hepatology (2020).
[株式会社AIメディカルサービス×順天堂⼤学]
NBI併⽤胃拡⼤内視鏡より早期胃癌を診断するAIの開発
技術的視点
- モデル:ResNet50
- タスク:2クラス分類(胃がん or ⾮がん)
- 事前学習:ImageNet
- Train:5,500枚,Test:2,300枚
- 評価指標:AUC
AIによる出⼒結果
左2つが胃がん,右2つが⾮がん ⼊⼒画像
- 169. © 20201228 @tdys13 169
2020年下半期の⽇本における医療AI
引⽤
富⼠フィルム株式会社
AI技術を活⽤して⼤腸ポリープ等の病変のリアルタイム検出・鑑別を⽀援
内視鏡診断⽀援機能「CAD EYE™(キャド アイ)」新発売
https://www.fujifilm.com/jp/ja/news/list/5581
⼀⾔メモ
- CAD EYEには『疾患検出モード(CADe)』と『疾患鑑別モード(CADx)』が搭載.
- 検出モードではポリープを⾒つけるとアラート⾳で知らせる
- 鑑別モードでは画像内のポリープの位置と,
⾮腫瘍性(⻩⾊) / 腫瘍性(緑) の鑑別結果を表⽰
[ 富⼠フイルム株式会社]
内視鏡診断⽀援AI医療機器 CAD EYEの薬事承認取得を発表 & 発売開始
鑑別モードの⼀例
- 170. © 20201228 @tdys13 170
2020年下半期の⽇本における医療AI
引⽤
オリンパス株式会社
AI を活⽤した内視鏡 CADプラットフォーム「ENDO-AID」を発売
https://www.olympus.co.jp/news/2020/contents/nr01856/nr01856_00001.pdf
⼀⾔メモ
- ENDO-AID CADeは最新鋭の内視鏡とセットで販売される
- ⽇本ではまだ発売されない
[ オリンパス株式会社]
AI医療機器,ENDO-AID CADeの販売を発表(欧州とアジア⼀部 ※⽇本は対象外)
- 171. © 20201228 @tdys13 171
2020年下半期の⽇本における医療AI
引⽤
会津⼤学
会津⼤学と県⽴医⼤との共同研究(⼤腸内視鏡⾃動診断装置)を公表、⼈⼯知能(AI)の技術により⼩さなポリープが発⾒可能に!
https://www.u-aizu.ac.jp/information/ai-20200530.html
⼀⾔メモ
- 5mm以下のポリープをターゲットに絞りAIを開発した.
- モニターに1秒以上出現する5mm以下のポリープをほぼ全て検出
[会津⼤学×福島県⽴医科⼤学]
⼤腸内視鏡から5mm以下のポリープを検出するAIの開発を発表
- 172. © 20201228 @tdys13 172
2020年下半期の⽇本における医療AI
引⽤
NPO 名古屋整形外科地域医療連携⽀援センター AI研究部⾨
https://www.fracture-ai.org/
⼀⾔メモ
- ⾻折×AIの領域で既に多数の論⽂を出している医師を中⼼としたチーム.
(1本の論⽂を次ページで紹介.)
- 2020年に本格始動.
[NPO 名古屋整形外科地域医療連携⽀援センター AI研究部⾨]
医師主導の⾻折×AIにフォーカスした研究拠点
- 173. © 20201228 @tdys13 173
2020年下半期の⽇本における医療AI
引⽤Sato, Yoichi, et al.
"A Computer-Aided Diagnosis System Using Artificial Intelligence for Proximal Femoral Fractures Enables Residents
to Achieve a Diagnostic Rate Equivalent to Orthopedic Surgeons--multi-institutional joint development research."
arXiv preprint arXiv:2003.12443 (2020).
技術的視点
- タスク:2クラス分類(⾻折 or 正常)
- モデル:EfficientNet-B4
- 事前学習:ImageNet
- データ:3病院から集められたX線画像,計10,484枚
- Train:8,484枚 / Val:1,000枚 / Test:1,000枚
- 評価指標:AUC
- AIを使った医師と使っていない医師の結果⽐較も実施
AIによる⾻折候補部の出⼒
[NPO 名古屋整形外科地域医療連携⽀援センター AI研究部⾨]
医師主導の⾻折×AIにフォーカスした研究拠点
- 174. © 20201228 @tdys13 174
2020年下半期の⽇本における医療AI
引⽤
SPORTS-SYNAPS
Melano-Checker(⽪膚悪性腫瘍の診断⽀援システム)の開発
https://www.spo-labo.com/research-1/cosmetic-dermatology-r-1/melanochecker-r/
⼀⾔メモ
- ダーモスコピー検査にて取得した写真を迅速にスマホでAI解析をする
[SPORTS-SYNAPS]
ダーモスコピーで撮影した写真をスマホアプリにてAI解析
メラノーマの診断⽀援システム
- 175. © 20201228 @tdys13 175
2020年下半期の⽇本における医療AI
引⽤
BonBon株式会社
https://bon-bon.co.jp/
⼀⾔メモ
- 病理位向けのwebサービスや,医療従事者向けの知識共有プラットフォームも開発している
- 病理医サポートAIとして病理画像から間質性肺炎を判断するAIを開発している
- CEOが医師
[BonBon株式会社]
⼈⼯知能の信頼性に関する技術開発事業にてNEDO採択.
病理画像と病理報告書を合わせた病理診断AIの研究開発