Mais conteúdo relacionado
Semelhante a ドライブレコーダの動画を使った道路情報の自動差分抽出 (20)
Mais de Tetsutaro Watanabe (19)
ドライブレコーダの動画を使った道路情報の自動差分抽出
- 20. ● 解決策
○ FSx for Lustreを使うことにより、S3からのダウンロードを1回にでき、
システム全体のIOスループットを向上できる
動画キャッシュファイルシステム(2/2)
20
S3 標識検出ワーカー
信号検出ワーカー
停止線検出
ワーカー
FSx for
Lustre
動画
ストレージ
動画
キャッシュ
初回アクセス時に
S3からダウンロード
以後はS3から
ダウンロード不要
- 23. 分散処理サービスの選定 (3/4)
● カスタムコンテナの分散バッチ実行環境の選択肢は4つある
23
SageMaker
batch transform jobs
+ カスタムコンテナ
AWS Batch ECS EKS
概要 機械学習の推論サービス。
それをカスタムコンテナで
動かす
コンテナベースのバッチを動
かすサービス
汎用コンテナ実行環境。
オンラインもバッチもできる。
Kubernetesベースの汎用コ
ンテナ環境。
運用 インスタンス管理不要 インスタンス管理不要 GPUを使う場合は、Fargate
が使えず、インスタンスの管
理が必要
Kubernetesの学習コストが
高い
開発・運用工数:小
制約:強
開発・運用工数:大
制約:弱
運用工数のかかるECSとEKSは外した
- 24. 分散処理サービスの選定 (4/4)
SageMaker batch transform jobs
+ カスタムコンテナ
比較 AWS Batch
並列実行
の制御
△
・自動で入力データの分割可能
→DBを検索して処理対象を選ぶ必要があるため、今回は利用できない
= △
・自前で開発が必要
推論処理
の実装
×
・システム構成が複雑
・HTTPの推論エンドポイント公開が必要だが、推論の入力には使わない。
・ファイルシステムの利用ができない。
< △
・システム構成がシンプル
・ファイルシステムが利用できる
推論コンテナ
SagaMeker batch transform jobs
推論コンテナ
ダミー
入力
S3
推論の
入力
HTTP
HTTP 推論コンテナ
推論コンテナ
AWS Batch
ファイルシステム
推論の
入力
24
SageMakerのフレームワークを活用できないため、AWS Batchを選択した
S3
- 27. 仮想マシン選定 (1/3)
● やりたいこと
○ 最も少ないクラウドコストで、日次処理を行いたい
● 考え方
○ 一枚の画像の処理速度は重要ではない
■ 理由:24時間のバッチウインドウにおさまればよいため
○ 一枚の画像をいくらのお金で処理できるかのコストパフォーマンスが重要
27
コストパフォーマンス =
処理画像数(枚/h)
インスタンスコスト($/h)
例:処理速度だとp3.2xlargeが最も速いが、コストパフォーマンスはg4dn.xlargeがよい
- 30. 開発フレームワーク (1/2)
● 開発チームはサイエンティスト5人、エンジニア2人のチーム
● サイエンティストには実行環境を意識すること無く、開発できるようにしたい
● フレームワークを作った
○ データサイエンティストは以下のような成果物を作るだけで良い
30
ROOT /
├── Pipfile # 必要なPythonライブラリを列挙
├── Pipfile.lock
├── install.sh # Pythonライブラリ以外のインストールコマンド
├── lib / # フレームワークから実行される処理を実装
│ ├── logic.py
└── test / # テストを実装
└── test_logic.py
サイエンティストはピュアなPythonのコードを書くだけで良い
- 33. まとめ
● プロジェクトの概要
○ DRIVE CHARTからとれるタクシーやトラックの情報から、物体を検出して、地図を更新するた
めの情報を地図会社に提供
● 5つの工夫
○ 動画キャッシュファイルシステム
■ FSx for Lustreを導入しS3のキャッシュとして利用
○ 分散処理サービスの選定
■ カスタムコンテナを利用できるAWS上の4つサービスを比較し、AWS Batchを選択
○ ジョブのオーケストレーション
■ AWS Batchの機能を活用して、開発無しでオーケストレーションを実現
○ 仮想マシン選定
■ コストパフォーマンスを計算し、処理ごとに最適な仮想マシンを選定した
○ 開発フレームワーク
■ サイエンティストが実行環境を意識せずに開発できるようにした
33
Notas do Editor
- 25MIN
自動運転時代には、今よりも更新頻度の高い地図が必要です。MoTでは大手地図会社であるゼンリンとの共同開発により、ドライブレコーダの動画を元に道路情報の差分を自動で抽出し、地図更新に役立てるプロジェクトを行っています。具体的には、深層学習やSLAMの技術を用い、AWS上でそれを実現しようとしています。それを紹介します。