物体認識 IoT サービスを支える技術 〜クラウドアーキテクチャから組込み深層学習まで〜
•Transferir como PPTX, PDF•
15 gostaram•10,899 visualizações
Future Standard では、IoTを活用した映像解析のサービス開発を行っており、その仕組みを支える技術についてお話をさせて頂きます。前半では、AWSでサーバー側の仕組みを構築した際に、どのような設計思想に基づいてアーキテクチャを構築したのかといったポイントを中心に説明します。後半は、NVIDIAのJetsonという組み込みコンピューターを使った、Faster R-CNN を使ったエッジでのリアルタイム物体認識の取り組みについてお話させて頂きます。
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Destaque
Destaque (20)
Semelhante a 物体認識 IoT サービスを支える技術 〜クラウドアーキテクチャから組込み深層学習まで〜
Semelhante a 物体認識 IoT サービスを支える技術 〜クラウドアーキテクチャから組込み深層学習まで〜 (20)
Último
Último (8)
物体認識 IoT サービスを支える技術 〜クラウドアーキテクチャから組込み深層学習まで〜
- 1. Chief Analytics Officer 金田 卓士 物体認識 IoT サービスを支える技術 〜クラウドアーキテクチャから組込み深層学習まで〜 #TokyoWebmining 55th
- 3. 3
- 4. 1. 事業概要 2. サービスアーキテクチャの解説 システム概要とアーキテクチャの設計方針 デバイス構成 サーバー構成 3. 深層学習を利用した組込み物体検出の取り組み 目次 4
- 5. 事業概要
- 6. 世界の「見える化」を加速させる どれくらい混んでるのだろう？どれくらい、見られているのかな？ 上手い人との差ってどこだろう？ 見えているようで見えていない世界をリアルタイムに認知し、理解する 6
- 10. ビジネスモデル 10 インフラ設置済みカメラ 既存監視カメラ スマートフォン 解析データ 飲食店待ち時間データ 映像データ （1）カメラ網 （2）画像解析 （3）新しいソリューション 交通量・流動データ 店舗1 56人 50台 現在8人待ち
- 11. カメラソリューションにおける課題 11 現状 FSが目指す市場 開発 ユーザー 解析技術 （ソフト） ハード メーカー 専用カメラ （ハード） ソフト メーカー カメラ （ハード） 解析技術 （ソフト） ソフト メーカー ハード メーカー カメラ （ハード） 解析技術 （ソフト） 監視カメラ ヒートマップ 動線分析 + + + 監視カメラ ヒートマップ 動線分析 ・・・ • 同じ様な技術、同じような製品の再発明が繰り返されている状態 • 技術（ソリューション）ごとに製品が販売されており、ユーザーにとっても負担
- 12. 届けたい体験・・・ 12 お店の前って、どれく らい人が通っている のかしら？ クライアントの 屋外広告測定を してみたいな。 簡単な機能追加 インフラ設計不要 欲しいアプリ、 解析サービスを 探せるアプリマー ケット
- 13. サービスアーキテクチャの解説
- 15. アーキテクチャの設計方針 下記の方針に基づいて動画解析プラットフォームの設計を行っています。 主に安価な画像センサと小型コンピュータ （Raspberry Pi2 等）を組み合わせ “スマートカメラ ネットワーク”を 簡単・迅速・安価に構築 OS / HWを問わないマルチプラットフォーム 環境で、カメラ 数台～数百万台ま でカバーするスケーラブルかつ柔軟なシステム 撮影画像のタイムリーな蓄積・検索・分析に必要なミドルウェア群を完備し、 独 自ビジネスロジックの構築や、先端研究を 簡単に組み込める 導入が楽 学習が楽 運用が楽 15
- 16. 簡単・安価なネットワーク構築を実現するデバイス • 汎用品である Raspberry Pi と市販のUSBカメラを繋 げることで安価にスマートカメラネットワークシステム を構築可能 • 独自イメージを書き込むだけで、ドライバ導入やネッ トワーク設定は全て行われる • 機能のオンオフを設定ファイルで簡単に変更可能 • エッジで解析を行う場合は、OpenCV の動体検知と HOG特徴量フィルターを組み合わせて、顔検出や通 行人検知が可能 16
- 17. マルチプラットフォームかつスケーラブルな設計 コンポーネント間のインタフェースとなるプロトコルを規定し、サービスを疎結合とすることで、異種 HW・異種OS・異Version混在しても、全体の整合性を保てる構造にする。 この方針により、様々な形態での運用が可能となる • リアルタイムのカメラ映像の代わりに、録画済みのビデオ映像をPC上に送り、 PC上で動作させた画像解析サービスで処理 • IaaS クラウド上に、個別ニーズに最適化した、画像解析サービスを構築 • クラウド上の画像解析サービスを、一般向けに PaaS 提供 • 典型的な画像処理プラグインとパッケージング化して、一般向けに SaaS 提供 • ユーザのハードウェア上に、オンプレミスでシステム構築 17
- 20. 《MQTT》 アドバタイズ／ プロパティ提供 AWSマネージドサービスの活用 カメラ ネットワーク (CN) 《MQTT》 画像／メタ情報 処理デリゲート 操作 《MQTT》 サーチ／カメラ制御 情報提供 認証 Token ログイン DB ユーザID 認証Token 登録 API Gateway Cognito AWS IoT AWS IoT S3 Dynamo DB タグ 映像 Lambda Lambda Elastic Beanstalk 20
- 22. 現状の問題点とエッジ側での物体認識のニーズ • OpenCV を使って動体検知+HOG特徴量では認識精度が低い • 個人情報保護の観点からクラウドへ映像や画像を出したくない エッジ側でディープラーニングを使った精度の高い 一般物体認識ができないか検証を実施 22
- 23. 一般物体認識 • 制約のない実世界シーンの画像に対して計 算機がその中に含まれる物体を一般的な名 称で認識すること • 画像のどこに何が写っているかを知りたい • 一般物体認識ができれば個別の認識タスク は識別層を変更したりファインチューニングす ることであらかた実現可能？ Faster R-CNN の論文より引用 23
- 24. • クレジットサイズの組込み用コンピューター • 64bit の 4コアCPUを搭載 • 256 CUDA コアを搭載（GTX 1080 は 2560コア） • メモリは4GBでGPUと共有（TK1は2GB） • OSはUbuntu 14.04 LTS をベース • 実際の開発は、開発キットを使って行う NVIDIA Jetson TX1 開発キット 24
- 25. • 高速でほぼリアルタイムに近い物体認 識が可能なアルゴリズム • 物体候補領域の検出と、物体の判定を 一つのネットワークで行うため計算が速 い • 詳しくは、スライドと元論文読んでくださ い！ Faster R-CNN Faster R-CNN の論文より引用 25
- 26. PVCR2015 Tutorial: Convolutional Feature Maps論文紹介 Fast R-CNN & Faster R-CNN 26
- 27. R-CNN（参考） • Selective Search で領域の候補を検出 • それぞれの画像を規定のサイズに変換 • 特徴量から分類を行う • 矩形の座標を回帰 27
- 28. • 本家のMatlab実装でなくGitHubで公開されているPython実装を利用 • 使用したモデル VGG16: 13層の畳み込み層 ZF: 5層の畳み込み層 • 学習は行わず、Forward propagation のみ実施 • 候補領域数は最大300 に設定 • Jetsonの設定に関しては、別途 Qiita の記事にまとめておきました Jetson TX1 で Faster R-CNN を動かす 検証について 28
- 29. 検証結果 29 モデル 平均処理時間（秒） 平均領域候補数 VGG 16 3.01 230 ZF 0.91 233 TK1ではメモリ容量の関係で計算ができなかったが、TX1では特に調整することなく動いた。 各モデルの平均処理時間は下記の通り。
- 30. 今後の課題 • ZFでは約0.9秒で処理できたが、更に高速化が求められるタスクに対応するのにはどう したらよいか • 特定の物体認識タスクへ応用するのにどうするのがよいか 判別層の置き換え、ファインチューニング • 時系列フィルタリングをどうしたらよいか 30
Notas do Editor
- Futurestandard、世の中でまだ、見えていない、見えていないくても深く理解出来ていない部分の「見える化」を加速したいと思っています。 Webでは全てデータ化されて、効果測定が可能な広告。一方で、屋外広告や店頭のウィンドウディスプレイは一体どの程度見られているか定量的な測定は非常に難しいのが現状です。 料理の分野でも、なんとなく違う、その感覚はあるものの、具体的な作業のなどは、可視化されていません。 風景を見れば、すぐに分かる道路の込み具合も、GPSの活用などで、混雑度の測定は進んでいるものの、進歩の余地があるように思います。 このように、現実世界はデジタル世界に比べて、定量的に図ることが難しい物が、未だに多くあります。 それら、リアルタイムの世界の移り変わり、変化を認知するそんなサービスやソリューションを創出し、加速していきたいと思います。
- 「見える化」を進めるための我々の答えが画像解析プラットフォーム SCORERです。これは、これまで、非常に機能が少ない割に、コストが係る画像解析という分野において、早く、簡単に画像解析サービスを提供出来るようにするためのプラットフォームになります。
- MQTTは軽量なプロコトル FluentdのプラグインがMQTT3.1に対応していないためMosquittoを使っている
- ほぼサーバーレスな構成 一部、Dynqmo Stream から Lambda を経由して BigQuery へ書き出している Redshiftは高い