Microsoft de:code2019 ディープラーニングのデータ・精度評価の重要性
•Download as PPTX, PDF•
1 like•946 views
AI10のパネルディスカッション用の資料（私の講演部分のみ） 昨日のAI05のほぼ抜粋となります。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Microsoft de:code2019 ディープラーニングのデータ・精度評価の重要性
Similar to Microsoft de:code2019 ディープラーニングのデータ・精度評価の重要性 (20)
More from Ridge-i
Microsoft de:code2019 ディープラーニングのデータ・精度評価の重要性
- 1. Ask the Speaker 写真撮影 動画撮影 セッション資 料 後日公開 Twitter ハッシュタグ AI10 知らずに AI のビジネス活用はできない、データ の AI 活用におけるアノテーション、法令・知財、 データの来歴管理と 製造物責任について考える株式会社Ridge-I 代表取締役社長 柳原 尚史 #decode19 #AI10公開あ り
- 2. de:code 2019 AI10 知らずに AI のビジネス活用はできない、 データの AI 活用におけるアノテーション、法令・知 財、 データの来歴管理と製造物責任について考え る 株式会社Ridge-I 代表取締役社長 柳原 尚史
- 4. 3 ©2019Ridge-iAllRightsReserved. Ridge-i（リッジアイ）について ビジネスニーズに最適化した AI技術を提供 • AIコンサルティング − 機械学習・ディープラー ニング・強化学習中心 • ソリューション開発 − AIゴミクレーン（実用済 − 放送品質彩色AI（放送実 績 オフィス • 千代田区大手町1-6-1 従業員数 • 26名 + α 機械学習エンジニア、 コンサルタント 就労スタイル • 裁量労働制 事業領域 会社概要 パートナーシップ ミッション 最高峰の先端技術を活用し、ビジネスの最高地点を クライアントと共に目指す
- 5. 4 ©2019Ridge-iAllRightsReserved. 代表について 柳原 尚史 （やなぎはら たかし） ブラックロックなど世界最大の大手金融機関にて、取引所との高速接続、高頻度取引、 リスク分析、アルゴリズム取引の設計・開発などに10年従事 2016年にディープラーニングを中心としたAI技術の可能性を、より広い業界・社会に 適用するためにRidge-iを創立、現在に至る • 小４からプログラマー。 • 早稲田大学在学中にプレイステーションゲーム開発 • 内閣府、総務省、経産省主体の複数の衛星事業に関する委員 • 3児のパパで、趣味はトレイルランニング − 富士山1日3往復 − UTMB（モンブラン 一周170Km） 45時間寝ずに走破
- 6. 5 ©2019Ridge-iAllRightsReserved. 尖った経営陣 CRO (非常勤) 牛久 祥孝 社外取締役 田丸 健三郎 日本マイクロソフト 業務執行役員 National Technology Officer 東京大学 大学院 情報理工学系研究科 博士課程修了 画像認識技術コンテスト 「ILSVRC 2012」で2位 執行役員 杉山 一成 東京工業大学大学院 理工学研究科卒 ボストンコンサルティング を経て参画 取締役副社長 小松 平佳 早稲田大学理工学卒 SUBARU, ボストンコンサルティング を経て参画 ビジネス・技術双方のエキスパート集団
- 7. 私たちのアプローチ
- 8. 7 ©2019Ridge-iAllRightsReserved. AIの定義のあいまいさ データ解析 ルール ベース 統計解析・確率 （平均・分散、主成分分析、ベイズ理論 etc) 機械学習 （回帰、SVM、ニューラルネット etc） ディープラーニング（深層学習） 深層強化学習 ソフトウェア AI ※強化学習、 最適化問題 なども 仲間入り AIとは? の混乱をほぐすことからスタート
- 9. 8 ©2019Ridge-iAllRightsReserved. 相違点 共通点 従来システム開発 AI開発 質が人（要件定義者）に依存 質がデータに依存 厳密解 近似解 演繹的・ホワイトボックス （改善が容易） 帰納的・ブラックボックス （改善が難しい） 目的や機能の定義は人 自動的に自ら改善や機能の追加はしない AIと従来システムは長所短所の関係 従来のシステム開発 と AIを組み合わせたベストミックスを提案
- 11. 10 ©2019Ridge-iAllRightsReserved. （参考）豊富な実績 • 白黒カラー化AI開発（NHKで放送実績あり） • ごみ識別AIによるクレーン自動化（実用化済み） • 物流機器自動運転に向けたパレット認識AI開発 • 物流機器自動運転に向けたデバイス/AI技術ロードマップの策定 • 衛星レーダー画像を活用した海上オイルスリック（海上に浮遊する油膜）検出ＡＩ開発 • 金属表面の異常検知ＡＩ開発（正常画像のみを学習データとする異常検知） • 不良情報の教師なし分類・定量分析ツール開発 • 燃焼状態の動画解析ＡＩ（動画シーンの異常検知及び、シーン分類）の開発 • 東京都主要エリアにおける人の動態解析 • ビルの冷熱エネルギー需要予測・自動運転ＡＩの開発 • 樹脂成型設備の品質ばらつき予測と設備条件最適化ＡＩの開発 • 遠赤外センサー画像解析ＡＩを用いた自動制御システム開発 • 衛星レーダー画像を用いた作物解析 • セキュリティカメラにおける任意人物の追跡・カメラ間での再照合ＡＩの開発 プロジェクト事例
- 12. 実運用AIの事例
- 16. AI導入までの課題
- 17. 16 ©2019Ridge-iAllRightsReserved. 個々のフェーズで様々な課題 • アノテーション負担 が大きい • データ数の不足 • ラベル条件が変わる • 何の指標をどう満た せば導入してよいの か？ • 精度が上がらない • 精度 vs 速度 • 目的と手段の行き違い • ROIを無視したプロジェクト設計 • 解けないプロジェクト • AI・ディープに偏った提案 • 実はルールで解決できる • データの外の情報が実は重要 • 精度劣化 • 改善が難しい • 誤認識による 障害 • 似たタスクで もイチから 開発 Phase-1 AI導入効果アセスメント・ パイロット検証 Phase-2 本格開発・実証実験 システム連携 Phase-0 AIの正しい 共通理解 醸成 Phase-3 運用・改善 横展開 よく ある 課題 各フェーズで、ディープラーニング特有の様々な課題が発生
- 18. 17 ©2019Ridge-iAllRightsReserved. P2－本格開発・実証実験フェーズ • アノテーション負担 が大きい • データ数の不足 • ラベル条件が変わる • 何の指標をどう満た せば導入してよいの か？ • 精度が上がらない • 精度 vs 速度 • 精度劣化 • 改善が難しい • 誤認識による 障害 • 似たタスクで もイチから 開発 Phase-1 AI導入効果アセスメント・ パイロット検証 Phase-2 本格開発・実証実験 システム連携 Phase-0 AIの正しい 共通理解 醸成 Phase-3 運用・改善 横展開 開発判断 導入判断 • 目的と手段の行き違い • ROIを無視したプロジェクト 設計 • 解けないプロジェクト • AI・ディープに偏った提案 • 実はルールで解決できる • データの外の情報が実は 重要 よく ある 課題
- 19. 18 ©2019Ridge-iAllRightsReserved. P2－本格開発・実証実験フェーズの課題 • アノテーション負担が 大きい • ラベルの条件が変わる • データ数の不足 • 精度が改善しない • 何の指標をどう満たせば 導入してよいのか？ • 精度 vs 速度 背景課題 ＜アノテーションの問題＞ • アノテーションの定義は ビジネス要件に直結 • アノテーションの精度は、ディープの精度に直結 ＜データ量の問題＞ • ビジネスレベルで1ピクセル毎に塗ると1日数枚のときも。 • 論文や事例は 数千枚で学習した結果（時には数万枚） • ベンダー側のスキル不足 ＜精度・導入判断の問題＞ • システムに100％を求める誤謬 • 精度と速度はほぼ反比例の関係で両取りが困難 Phase-2 本格開発・実証実験システム連携
- 20. 19 ©2019Ridge-iAllRightsReserved. アノテーション チェックポイント • 運用時のデータと、学習データの違い – 学習データと、実運用データに違いはないか？ – 学習データに、実運用で起こりうるケースがどれだけ含まれているか？ • データの定義とビジネス要件のマッチ – ビジネス要件に沿ったアノテーションポリシーになっているか？ – アノテーションポリシーに沿って正確にラベルがつけられているか？ （Garbage IN , Garbage OUT)
- 21. 20 ©2019Ridge-iAllRightsReserved. 精度と導入判断 チェックポイント • ラベルの優先度を決める – 運用上重要なラベルについて、より多くデータを集める努力 – 精度評価でも重視する項目（全部100点を狙うとつらい） • アルゴリズムの精度指標 – Recall（再現率）とPrecision（適合率）のどちらが適切か？ – 定量評価・定性評価 の両軸できちんと見ているか？ • 導入判断の指標 – アルゴリズムの精度は一つの導入判断の指標 – 人間を代替するタスクでは精度100％は求められない（人も間違える） – 実証実験での検証するポイントを明確にする。 （例：AIによる自動稼働時間がX時間を超える、など）
- 22. 21 ©2019Ridge-iAllRightsReserved. （状況） 自動運転車のディープラーニングが、 足だけ写った人を見逃して轢いてしまった。 問 （検証ポイント） • 足だけ写った人を、見つけたい対象としてアノテーションしていたか？ • 足のケースをどれだけ学習したか？ • 精度評価について適切だったか？（この場合Recall重視） • 足の映り方のバリエーションは適切だったか？ • 誤認識した場合に、クリティカルな事象を避ける仕組みはあったか？ ※ブラックボックス議論は学習過程・結果の可読性であって大事な論点ではない
- 24. © 2018 Microsoft Corporation. All rights reserved. 本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。 © 2019 Ridge-I All Rights Reserved. 本情報の内容 (添付文書、リンク先などを含む) は、de:code 2019 開催日 (2019年5月29~30日) 時点のものであり、予告なく変更される場 合があります。 本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属し ます。