ML@Loft 20200430

ML@Loft 20200430
AnnoFab開発企業が考えるアノテーションの課題と対策 A W S L o f t T o k y o 2 0 2 0 . 4 . 3 0 来栖川電算山口陽平 M L @ L o f t # 1 2 . アノテーション（オンライン開催） # M L L o f t
今日話すこと 1. はじめに 2. アノテーションの重要性 3. 来栖川電算のアノテーションプロセス 4. AnnoFab 5. アノテーション方法の工夫 6. 付録 2
はじめに自己紹介＆会社紹介 3
山口陽平 @melleo1978 • 所属 – 有限会社来栖川電算取締役 – 名古屋工業大学大学院博士前期課程修了 • 実績 – IPA 未踏ソフトウェア創造事業採択 – Mashup Awards 9 優秀賞受賞 • 興味 – 機械学習，強化学習，UI/UX – 高速化，省資源化，並列分散 ※実物に髪の毛はありません 4
山口陽平 @melleo1978 • ［実践］画像認識を執筆 WEB+DB PRESS Vol.83 – これから画像認識をはじめる人におススメ 5 – OpenCV の使い方や実装例 – SIFTなどの各種アルゴリズムや特定物体認識のしくみ – 精度改善への取り組み方
来栖川電算設立 2003年（名古屋工業大学発ベンチャー）従業員 70人 • SF 世界の技術を実現し、社会に役立てる – AI 技術のライセンス販売・研究・SI • 文字認識，物体認識，動作認識，行動認識 – スマホアプリの企画・制作・運営スマートライフ技術 NTTドコモ様との共同研究スマートドライブ技術大手自動車メーカー様むけメイドさんもふくめて 6
7 AR付箋書籍の中身を検索するアプリ Cellars ワインラベルで情報検索するアプリ画像認識API 商品パッケージで情報検索するAPI 生活情報調査道路沿いの視覚情報を収集し、活用交通情報調査道路沿いの視覚情報を収集し、活用研究開発支援タンゴチュウ写真に写る単語を抽出するサービス走行データ解析周辺環境を認識し、様々な解析に活用地図生成オルソ画像から地物・交通規則を抽出動作推定API 加速度センサで人の行動を推定毎朝体操腕の動きで体操採点するアプリヒーローの動きでゲームを制御なりきり2.0 ーション認識研究開発支援研究開発支援 AHAB 大量の実験と計算資源を効率的に管理 ANNOFAB 高品質なアノテーションを大量に生産可能 DNNコンパイラ DNNの推論を10～1000倍も効率化 GameControllerizer プログラマブル・ゲームコントローラ研究開発支援類似検索類似検索類似検索文字認識物体認識物体認識物体認識物体認識モーション認識モーション認識モーション認識物体認識瞳孔位置推定眼球運動を監視し、眠気の推定に活用
技術者集団様々なアルゴリズムや知識で課題解決 • 最先端の AI 技術 – 文字認識，物体認識，モーション認識 • 限界性能を引き出す優れた実装技術 – 機械学習・コンパイラ・データベースなどのアルゴリズムやバイナリハックを駆使した高精度化・高速化・省資源化・並列化・分散化 • 高品質なソフトウェアを実現する技術 – 言語・アーキテクチャ・プロセスに対する深い理解に基づく設計と計画 8
スコープ AI に関わる全てを提供 9 技術者育成プロセス開発ツール開発チーム育成データ収集データ作成サービス開発アルゴリズム研究アルゴリズム開発サービス運営企画
コミュニティ活動様々な勉強会を主催スタッフとして協力会場提供 10
アノテーションの重要性機械学習はアルゴリズムよりもデータ 11
深層学習以降の風潮一貫した正しいデータをたくさん作れたら勝ち • データ整備による性能改善がよく効く 12 推論の誤り性能の改善モデルアーキテクチャの改善データ収集・アノテーションの改善サンプリング・シンセサイズの改善評価手法の改善タスク設計の改善
アノテーションデータに対する説明学習や選別に利用 • タスクの内容や学習のさせ方により様々 – トレードオフ：量，正確さ，精密さ，… 13 出典: google street view出典: google street view出典: google street view 種類選択 ⇒ 識別タスク矩形選択 ⇒ 検出タスク画素選択 ⇒ 分割タスク
Q. 人はどれ？マネキン，ポスター，信号，映り込み，… 14 出典: google street view
Q. 看板はどれ？境界は？壁や窓の文字・ロゴ・ポスター，旗，カニ，… 15 出典: google street view
とても悩ましい我々の問題に対する理解は不十分だと思え！ • 簡単そうなのに何故？ – 同じ対象であっても使い方によってアノテーション方法が大きく異なる。やらないと分からない。 – 現実は想像より遥かに複雑で、解きたい問題に都合よく整理されていない。言語化も難しい。 • 機械学習の難しさと根本は同じ – 解き方が分から機械学習を使う。すると問題に対する理解の不足・誤りがある状況から出発する。データや実験結果を観察し、問題に対する理解を深め・訂正してゆくしかない。 16
来栖川電算のアノテーションプロセス丸投げなんて絶対しない 17
来栖川電算のプロセスまじめにアノテーションしようと考えて辿り着いた方式 • ユーザによる観察改善 • 管理者によるユーザの支援 • ランダム検査による教育と理解の統一 18 アノテーションユーザアノテータ管理者アノテータチェッカー生産アノテーション仕様質問・回答インタビューアドバイス生産計画生産実績アノテーション検査更新整理平易化把握更新把握
この方式を採用する理由ユーザが積極的に関わることは問題解決への近道 • アノテータやチェッカーが多い – 分割統治すると仕様の解釈に方言が生まれる • アノテーションは簡単そうで難しい – 少し複雑な仕様になると、検査（フィードバックを早く受け取れる仕組）が必須となる • そもそも問題への理解が不足している – 観察は品質や生産性を改善するだけでなく、解きたい問題への理解にもつながる – 理解を促進するので、軽めのアノテーションを積極的に実施できるようにすることが重要である 19
AnnoFab 企業・研究機関・アノテーション企業へ広がりつつある 20
21 機械学習の専門家のノウハウが詰め込まれたクラウド型アノテーションツールとサービス https://annofab.com/
リッチで生産的なエディタ漏れと矛盾を防ぎ迅速で正確な作業を可能にする機能が満載 ⇒ 自動検査，入力補完，ショートカット，ガイド表示，検査コメント，… 22
柔軟なカスタマイズ性要件ごとに適したエディタをすぐに調達可能 ※途中で変更も可能 ⇒ 様々な図形・属性・入力制限・表示色・ショートカットに対応 23
分かりやすい一覧アノテーション全体を素早く把握可能 ⇒ ID・ラベル・属性値によるアノテーションの検索・集計・一括編集 24
きめ細やかな課題管理指摘と現物を見比べながら円滑な修正が可能 ⇒ タスク一覧，エディタに統合された課題管理（前頁図） 25
自動的な計測と可視化リアルタイムな把握と最適化 ※海外拠点の遠隔制御に有効 ⇒ 品質・生産性に関わる様々な指標：時間，完成数，差戻数，指摘数，… 26
その他様々なタスクに対応 ⇒ 画像・映像・系列データの領域の分割・検出・追跡・識別・属性推定徹底的な自動化支援 ⇒ Web API・CLI により大量一括処理や外部システムとの連携が容易 ⇒ Web UI でできることは Web API・CLI で全て可能多言語対応 ⇒ 表示されるメッセージは全て日本語と英語に対応（カスタマイズ可能）プライベートストレージ対応 ⇒ 心配な方のためにユーザのストレージ（オンプレミス or S3）に対応プロフェッショナルサービス ※有料オプション ⇒ アノテーション，アルゴリズムの研究開発，これらに対するコンサルティング 27
アノテーション方法の工夫 AnnoFab なら簡単にできる 28
目視サンプリング動画アノテーションで目視サンプリング価値が高い（対象が写っている）フレームを動画アノテーションで特定し、ランダムサンプリングしたものに画像アノテーションを行う。全体の分布も分かる。 29 動画アノテーション動画集合時間帯集合フレーム集合サンプリング画像アノテーション
疑似 3D on 前方画像 3D 空間上での姿勢を画像アノテーション物体を囲う矩形だけでなく接地線（タイヤの接地点をつなぐ線）とリンク（物体と接地線の対応）を画像アノテーションする。矩形と接地線から姿勢を求める。 30
疑似 3D on 鳥観画像 3D 空間上での位置と姿勢を画像アノテーション LiDAR データから鳥観画像を作り、画像アノテーションを行う。天井と床を除去、点群を時刻で色分、カメラ画像を付与するとアノテーションしやすくなる。 31
特定物体の時系列変化物体検出追跡器 × 動画アノテーション物体検出追跡器を用いて検出枠に物体 ID を付与し、 ID ごとにそれだけを囲った動画を生成する。これに動画アノテーションを行えば物体ごとに分析できる。 32 物体検出追跡器動画集合物体 ID 付き検出枠集合物体ごとの動画集合物体 ID でサンプリング動画アノテーション
まとめ高度な分析も AnnoFab でスマートに実現可能 • 柔軟なアノテーション仕様 – 様々な図形や属性の組み合わせで対象を記述 • 多段工程を記述できる Web API・CLI – AnnoFab への投入・取得，前後のデータ変換 • アドバイス – 追加投入で何度も実行されるのでスクリプト化すべし – サンプリングしたフレームには追跡可能なように ID を付与すべし 33
事例・製品・サービス付録① 34
類似検索膨大なデータの中から類似データを高速・高精度に照合できる 35
画像認識 API 商品パッケージで情報検索する API 商品パッケージが写った画像を送信するだけで、膨大な DB から瞬時に種類を特定。クロールした画像から直接構築した DB を利用。 36
Cellars ワインラベルで情報検索するアプリワインラベルにスマホをかざすだけで、18 万件から瞬時に種類を特定。国内外のコンテストで入賞。株式会社 Cellars 様による弊社技術の応用事例。 37
AR 付箋書籍の中身を検索するアプリ書籍を開いてスマホをかざすだけで、膨大な DB から瞬時にページを特定し、貼られている付箋を表示。お客様による弊社技術の応用事例。 38
物体認識物体の位置・向き・姿勢・種類を高速・高精度に捉える 39
走行データ解析周辺環境を認識し、様々な解析に活用膨大な走行データから歩行者・車両・白線・標識などを検出・追跡し、索引化。必要に応じて、CAN や Lidar なども活用し、高品質化。 40
地図生成オルソ画像から地物・交通規則を抽出自動運転に使用可能な高品質な地図をオルソ画像から高速に抽出できる深層学習手法を開発。株式会社トヨタマップマスター様との応用事例。 41
交通情報調査道路沿いの視覚情報を収集し、活用首都圏を走行する大量の車両のドラレコを解析し、視覚情報（天候，路面状態，レーン別交通量，危険シーン，…）を DB 化。顧客との研究事例。 42
生活情報調査道路沿いの視覚情報を収集し、活用アスクル株式会社様の営業車のドラレコを解析し、視覚情報（ガソリン価格，駐車場満空，渋滞，事故，行列，…）を DB 化。ヤフー株式会社様との共同研究。 43
瞳孔位置推定眼球運動を監視し、眠気の推定に活用スマートグラスで撮影した映像から瞳孔位置・閉眼状態を高精度に推定。個人差・外乱に頑健。エッジで 60 fps。知の拠点あいち重点研究プロジェクト事業。 44
文字認識様々な書体・外乱に対応した 45
タンゴチュウ写真に写る単語を抽出するサービス情景画像（スマホで撮影した写真など）に写る単語を抽出。様々な書体・配置・劣悪な環境（歪み・隠れ・擦れ・照明など）での利用を想定。 46
モーション認識身体の動き・姿勢を高速・高精度に捉える 47
動作推定 API 加速度センサで人の行動を推定スマホやウォッチの動きから静止・歩行・走行・食事・睡眠などを推定。同じ仕組みで撮影時の手振れ検出も可能。株式会社 NTT ドコモ様との共同研究。 48
毎朝体操腕の動きで体操採点するアプリ 100 ヶ国 20 万人を超えるユーザから日々送られてくるセンサデータを学習することで体操採点の正確さが自動改善。JFE スチール株式会社様へ導入。 49
なりきり 2.0 ヒーローの動きでゲームを制御腕や脚に装着したセンサで体の動きを捉え、家庭用ゲーム機のコマンドを生成。格闘ゲームが遊べるほどの速さと正確さをスマホ上で実現。 50
研究開発支援日々使い改良される道具による 51
DNN コンパイラ DNNの推論を 10 ～ 1000 倍も高速化重みや活性の量子化・スパース化、計算の共有などの様々な手法で DNN を近似し、高速化・省資源化された実行形式（Linux・Android・iOS）へ変換。 52
AHAB 大量の実験と計算資源を効率的に管理計算資源をハイブリッドクラウド化する実験スケジューラ。実験のスクリプト化、信頼性や再現性の向上、資源割り当ての効率化などを促進。 53
ANNOFAB 高品質な教師データを大量に生産可能品質と生産性のトレードオフ、誤り漏れの削減、きめ細かく柔軟な仕様・課題・進捗の管理。実務で培ったノウハウが詰まったアノテーションサービス。 54
GameControllerizer プログラマブル・ゲームコントローラゲーム機・PC・スマホなどに接続するだけでゲーム操作をプログラミング可能にするデバイス。ビジュアル・プログラミング（Node-REDなど）にも対応。 55
ロボット人と混在する空間で働く 56
空港で働くロボットカート回収・荷物運搬 ※セントレアで実証実験 LiDAR 点群から求めた物体の３次元姿勢（位置・方向）をカメラ映像のみから高精度に推定。新明工業株式会社様・オンクラウズ株式会社様との共同研究。 57
体制・設備・サポート付録② 58
柔軟な体制 AI 実現のための業務と基盤業務をカバー 59 AI アプリ SI インフラ AI インフラデータモデル研究者アノテータデザイナ開発者役職研究者開発者デザイナアノテータその他合計役員・正社員 21.6 % 27.3 % 0.1 % 4.9 % 3.3 % 57.1 % アルバイト／即戦力枠 10.0 % 2.9 % 2.9 % 22.9 % 1.4 % 40.0 % アルバイト／育成枠 0.0 % 0.0 % 0.0 % 0.0 % 0.0 % 0.0 % アルバイト／試用枠 1.4 % 1.4 % 0.0 % 0.0 % 0.0 % 2.9 % 合計 33.0 % 31.6 % 3.0 % 27.7 % 4.7 % 100.0 %
豊富な資源研究開発を円滑にするためにあらゆる手を尽くす • 理想的な個人設備 – PC，椅子，モニタ，キーボード，マウス，… • スグに使える計算資源とアノテータ – Ahab：実験用ハイブリッドクラウド – ANNOFAB：アノテーションサービス • 世界中から集まるデータ – 自動運転用データ，商品認識用データ，文字認識用データ，体操採点用データ，… 60
創造的な働き方技術を磨きやすくするためにあらゆる手を尽くす • 様々な働き方 – 自由な時間帯・場所，冒険者制度，… • 優秀な同僚 ※メンタリング（JEDI 制度） – IPA 未踏ソフトウェア創造事業採択者，コンテスト入賞者，OSS コントリビュータ，… • その他 ※全て会社負担 – 自己研鑽のための書籍・機材の購入 – 勉強会・懇親会の開催・参加・移動・宿泊 – 会社の昼会・夕会・飲み会で供される飲食物 61
62 募集中研究者開発者デザイナ

Check these out next

ML@Loft 20200430

Recomendados

Mais conteúdo relacionado

Apresentações para você(20)

Similar a ML@Loft 20200430(20)

Mais de 陽平山口(20)

Último(20)

ML@Loft 20200430

ML@Loft 20200430

Recomendados

Mais conteúdo relacionado

Apresentações para você(20)

Similar a ML@Loft 20200430(20)

Mais de 陽平 山口(20)

Último(20)

ML@Loft 20200430

Mais de 陽平山口(20)