O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

RSNA 肺炎コンペ6th Place Solution チーム PFNeumonia

4.336 visualizações

Publicada em

2018年12月1日 Kaggle Tokyo Meetup #5 LT 講演資料
平野湧一郎「RSNA Pneumonia Detection Challenge 6th Place Solution」
ソースコード:https://github.com/pfnet-research/pfneumonia

Publicada em: Tecnologia
  • If you want to download or read this book, Copy link or url below in the New tab ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... .........................................................................................................................
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • ..............ACCESS that WEBSITE Over for All Ebooks ................ ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { https://urlzs.com/UABbn } ......................................................................................................................... Download Full EPUB Ebook here { https://urlzs.com/UABbn } .........................................................................................................................
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes ,Download or read Ebooks here ... ......................................................................................................................... Download FULL PDF EBOOK here { http://bit.ly/2m6jJ5M }
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes ,Download or read Ebooks here ... ......................................................................................................................... Download FULL PDF EBOOK here { http://bit.ly/2m6jJ5M }
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • If you want to download or read this book, copy link or url below in the New tab ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } .........................................................................................................................
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui

RSNA 肺炎コンペ6th Place Solution チーム PFNeumonia

  1. 1. RSNA 肺炎コンペ 6th Place Solution チーム PFNeumonia Preferred Networks, Inc. Kaggle Tokyo Meetup #5 on Dec 1st.
  2. 2. 参加までの経緯  PFDetの活躍をすごいな〜と思って見ていた  新しく肺炎のコンペが開催されると聞く  しかも同じObject detection!!  ちょうど他のプロジェクトが一段落したところ
  3. 3. チームメンバー Motoki ABE Yuichiro HIRANO Keita ODA Yohei SUGAWARA Shuji SUZUKI Masashi YOSHIKAWA
  4. 4.  期間:8月末〜10月末  Stage 1: 7th  Stage 2: 7th 6th
  5. 5. 問題設定
  6. 6.  X線画像 (1x1024x1024) から 肺炎の位置を矩形で予測  Bounding-boxのラベルは 「肺炎」一種類のみ  画像全体のラベルは3種類  正常  正常でも肺炎でもない  肺炎 Ground-truthの一例
  7. 7. 8525 11500 5659 0 2000 4000 6000 8000 10000 12000 14000 正常 正常でも肺炎でもない 肺炎
  8. 8.  t = 0.4, 0.45, 0.5, ..., 0.75 それぞれに対し, IoU ≥ t なら TP (true positive)  各画像について以下の値を計算  ↑の平均がスコア
  9. 9. 我々の解法  基本はU-net風のsemantic segmentation  各ピクセルが  Bounding-box内かどうか (‘seg’)  肺炎/非肺炎の境界にあるかどうか (‘edge’) をそれぞれ予測する
  10. 10. What is ‘seg’ and ‘edge’ layer? Ground-truth Ideal ‘seg’ layer Ideal ‘edge’ layer
  11. 11. Input Image 3x512x512 64x256x256 256x128x128 512x64x64 1024x32x32 2048x16x16 1024 ResNet 152 ⊕ 512 ⊕ 256 ⊕ 128 ⊕ 64x256x256 Output vector ⊕ 3x3 conv, ReLU 2x Unpooling Concatenation U-net-like Backbone
  12. 12. 64x256x256 Output vector 1x256x256 ‘seg’ layer ⊕ 4x256x256 ‘edge’ layer 1x1 conv sigmoid 1x1 conv sigmoid 3x3 conv ReLU 3x3 conv ReLU Network Head Copy
  13. 13. Inference 縦に2分割 長方形を全通り試す ‘edge’ layerの 相乗平均の積が 最大のものを見つける p = ptop * pbottom * pleft * pright
  14. 14. Loss  Ledge : ‘edge’ layer の cross entropy loss  Lseg : ‘seg’ layer の F1値をf1としたとき,1 – f1  L = Lseg + α2 Ledge  α: ‘seg’ layer の pixel-wise accuracy
  15. 15. 解法に至った経緯  問題設定としてはobject detection  下記のような理由で,semantic segmentation ベースの解法を考え始めた  Bounding-boxのラベルが一種類  Bounding-boxどうしのoverlapがない  肺炎は一部を切り取っても肺炎 ←?
  16. 16. Not a 猫 肺炎
  17. 17. Semantic segmentation  出力サイズは最初16x16  Score 0.14〜0.16程度  他の方のアドバイスにより,  Unpoolingで解像度を復元  肺炎と非肺炎の境界を予測 したところ,LB 0.2まで上昇
  18. 18. 問題点① 計算量  長方形を全通り試す→愚直にやるとO(N4) アルゴリズム的に改良できないか?  →頑張って考えたが思いつかなかった しょうがないので愚直に4重ループ+枝刈り
  19. 19.  辺の候補をスコアの良い順に試す  それより先が最高でも最高記録に届かなければbreak
  20. 20. 問題点② ‘edge’のインバランス  ‘edge’ layerは,たとえ肺炎の画像でも ほとんどのpixelがnegative  → negative pixel の約99.8%を 学習時に無視
  21. 21. アンサンブル  Test time augmentation (x-flip) + 10-fold CV  LB 0.211 → 0.231
  22. 22. アンサンブル  testデータは,bounding-boxが被っていた場合 3人の医師のintersectionを取ったとのこと  これを真似して,10モデルを5+5にわけて, それぞれで予測してintersectionを最終予測にした  LB 0.236
  23. 23. 最終提出  90-degree rotation, zoom-in/outを追加  ResNet101 → ResNet152  10 epoch → 30 epoch  LB 0.236 → 0.241 (Stage1 7th)
  24. 24. 他の上位陣の解法
  25. 25. 1st Place  Classification + Detection  膨大なアンサンブル  全てのbboxを87.5%に縮小  LB 0.222 → 0.260!
  26. 26. アンサンブル  Classification: InceptionResNetV2, Xception, DenseNet169  Detection: RetinaNet, Deformable R-FCN, Deformable Relation Networks  TTAも膨大
  27. 27. 2nd Place  SE-ResNeXt101-RetinaNet  4-fold CV  Box sizeのアンサンブル時に, 小さめ(20パーセンタイル値)の値を採用
  28. 28. 3rd Place  RetinaNet  全てのbboxを83%に縮小 → 全員bboxを縮小している……
  29. 29. 重要な気付き  Bboxを縮小すると,スコアが増える  我々の解法でも,アンサンブル時にintersectionを 取ることでimplicitに小さくしていたが, 固定倍率で縮小するのは試していなかった  (まさかそんなに変わるとは思っていなかった)
  30. 30.  5+5でアンサンブルしてスコアが伸びたのも, おそらく単にbboxが小さくなったため  試しに10-CVで予測 → 90%に縮小したところ, 0.23478 → 0.24877 (2位!)
  31. 31. 反省点・感想  Discussionをあまり読んでいなかった  trainとtestの違い等に気付くのが遅れた  Bboxを縮小することを試さなかった  PFNの計算環境は神 (Tesla P100を常時8〜16台使っていた)
  32. 32. 閾値 t によるスコアの変化(Stage 1) • Adopted t = 0.3 (mAP = 0.24128) • Best t = 0.29794 (mAP = 0.24388)
  33. 33. 実装の詳細  Data augmentation: x-flip, 90-degree rotation, zoom-in/out, random contrast changes  3x oversampling of positive samples  Optimizer: Adam w/ weight decay 1e-4, 30 epochs  divide alpha by 10 after 20 & 27 epochs finish  Batch size: 10  Code: https://github.com/pfnet-research/pfneumonia

×