JAWSUG名古屋 AWS勉強会 20180309
•
0 gostou•537 visualizações
JAWSDAYS 前夜祭を盛り上げるための発表です。 NVIDIAの回し者ではないですが、p3.2xlarge の紹介です。
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (11)
Semelhante a JAWSUG名古屋 AWS勉強会 20180309
Semelhante a JAWSUG名古屋 AWS勉強会 20180309 (20)
Mais de 陽平 山口
Mais de 陽平 山口 (20)
Último
Último (8)
JAWSUG名古屋 AWS勉強会 20180309
- 1. A m a z o n S a g e M a k e r が 高 い な と 思 っ た 人 の た め の p 3 . 2 x l a r g e 株 式 会 社 M i s o c a セ ミ ナ ー ル ー ム 2 0 1 8 . 3 . 9 来 栖 川 電 算 取 締 役 山 口 陽 平 J A W S - U G 名 古 屋 A W S 勉 強 会 J A W S D A Y S 2 0 1 8 前 夜 祭
- 2. 今日話すこと 1. はじめに 2. Amazon SageMaker 3. p3.2xparge 4. p3.2xparge を使うには？ 5. まとめ 6. 付録 2
- 4. 山 口 陽 平 @melleo1978 • 所属 ＆ 経歴 – 有限会社 来栖川電算 取締役 – 名古屋工業大学大学院 博士前期課程修了 – IPA未踏ソフトウェア創造事業 採択 – Mashup Awards 9 優秀賞受賞 • 自己紹介 企画から実装まで全部やる人 – 人工知能技術の研究開発 • 文字認識，物体認識，動作認識 • 空間復元，シミュレーション – 言語処理系の研究開発 • 分散DB，仮想機械，コンパイラ ※実物に髪の毛はありません。 4
- 5. 山 口 陽 平 @melleo1978 • ［実践］画像認識 を執筆 WEB+DB PRESS Vol.83 – これから画像認識をはじめる人におススメ 5 – OpenCV の使い 方や実装例 – SIFTなどの各種 アルゴリズムや 特定物体認識の しくみ – 精度改善への取 り組み方
- 6. 来栖川電算 設立 2003年（名古屋工業大学発ベンチャー） 従業員 45人 • SF世界の技術を実現し、社会に役立てる – AI技術のライセンス販売・研究・SI • 類似検索，物体認識，動作認識，文字認識，… – スマホアプリの企画・制作・運営 メイドさん もふくめて 6 走行データ解析 周辺環境を認識し、様々な解析に活用 動作推定API 加速度センサで人の行動を推定 車両メーカー様 NTTドコモ様
- 8. テクノロジー企業 様々なアルゴリズムを駆使する技術者集団 • 様々な AI 技術 – 類似検索，物体認識，動作認識，文字認識 • 限界性能を引き出す優れた実装技術 – 機械学習・コンパイラ・データベース・仮想 機械などのアルゴリズムとバイナリハック • 高速化，並列化，分散化，省空間化，高精度化 • ビジネスを差別化する認識エコシステム – スケールに応じた仕組，競争力の自動強化 8
- 15. Amazon SageMaker 機械学習プラットフォーム @ AWS re:Invent 2017 15
- 16. ん、どこかで・・・ KCI 実験スケジューラ @ JAWS-UG 名古屋 2016.7.29 16
- 17. ん、どこかで・・・ KCI 実験スケジューラ @ JAWS-UG 名古屋 2016.7.29 17 また同じの作っちゃったよ 毎朝体操のデータ同期基盤もヤラレタ Amazon Cognito Sync & AWS AppSync
- 18. KCI 実験スケジューラ たくさんの訓練・配備を安全かつ楽に管理する環境 • 計算資源・実験データの管理を自動化 18 ノートブック インスタンス ジョブ・エンドポイント インスタンス群 Amazon SageMaker
- 19. 料金 ML Instance への入出力にも課金 • 自前 EC2 より 40% + α ほど高い 19 計算資源 Building Training Hosting 自前 EC2 ML Instance / ml.t2.medium 0.0464 $/時 0.0065 $/時 0.0464 $/時 ML Instance / ml.m4.xlarge 0.2800 $/時 0.2800 $/時 0.2800 $/時 0.2000 $/時 ML Instance / ml.p2.xlarge 1.2600 $/時 1.2600 $/時 1.2600 $/時 0.9000 $/時 ML Instance / ml.p3.2xlarge 4.2800 $/時 4.2840 $/時 3.0600 $/時 ML Storage / EBS 0.140 $/GB月 0.140 $/GB月 0.140 $/GB月 0.100 $/GB月 Data Processed IN/OUT 0.016 $/GB月 0.016 $/GB月 0.016 $/GB月 0.000 $/GB月 US East (N.Virginia) での料金比較
- 21. p3.2xlarge 最強 GPU（Tesla V100 SXM2）が載った EC2 INSTANCE • こんなことにお勧め – 機械学習・深層学習関連のハイパフォーマン スコンピューティング，数値流体力学，金融 工学，耐震解析，音声認識，自動運転車，創 薬，… 21 INSTANCE CPU PROCESSOR CPU MEMORY GPU COUNT GPU MEMORY GPU P2P p3.2xlarge 8 core 61 GB 1 GPU 16 GB - p3.8xlarge 32 core 244 GB 4 GPU 64 GB NVLink p3.16xlarge 64 core 488 GB 8 GPU 128 GB NVLink
- 22. Tesla V100 SXM2 CPU (Xeon E5-2690v4 @ 2.6GHz) × 100 個分 GPU Architecture NIVIDIA Volta NVIDIA Tensor Cores 640 NVIDIA CUDA Cores 5,120 Double-Precision Performance 7.8 TFLOPS Single-Precision Performance 15.7 TFLOPS Tensor Performance 125 TFLOPS GPU Memory 16 GB Memory Bandwidth 900 GB/s Interconnect Bandwidth 300 GB/s System Interface NVIDIA NVLink Max Power Comsumption 300 W 22
- 23. DGX-1 with Tesla V100 8 枚載ったマシン 1,000 TFLOS 3,200 W 1,700 万円 23
- 24. p3 一択 PERFORMANCE / COST が圧倒的 24 INSTANCE g2.2xlarge g3.4xlarge p2.xlarge p3.2xlarge COST 0.65 $/h 1.14 $/h 0.90 $/h 3.06 $/h PERFORMANCE 2.458 TFLOPS 4.833 TFLOPS 4.368 TFLOPS 14.899 (~120) TFLOPS CPU Xeon E5-2670 (Sandy Bridge) Xeon E5-2686 v4 (Broadwell) Xeon E5-2686 v4 (Broadwell) Xeon E5-2686 v4 (Broadwell) PROCESSOR 2,600 MHz 2,300 MHz 2,300 MHz 2,300 MHz 8 core 16 core 4 core 8 core MEMORY 51.2 GB/s 76.8 GB/s 76.8 GB/s 76.8 GB/s 15 GB 122 GB 61 GB 61 GB GPU GRID K520 (Kepler) Tesla M60 (Maxwell) Tesla K80 (Kepler) Tesla V100 (Volta) PROCESSOR 800 MHz 1,180 MHz 875 MHz 1,455 MHz 1,536 core 2,048 core 2,496 core 5,120 core MEMORY 160.0 GB/s 160.0 GB/s 240.0 GB/s 900.0 GB/s 4 GB 8 GB 12 GB 16 GB
- 27. AMI の中身 OS と Driver と Docker だけ • インストールされているもの • Ubuntu: 1.04 TLS • NVIDIA Driver: 384.111 • Docker CE: 17.12.0-ce • Docker Engine Utilities for NVIDIA GPUs: 2.0 • ちゃんとした手法でやりたい人にお勧め • 必要なライブラリなどは全部コンテナの中に 閉じ込めて、どこでも同じ状況を再現したい 27
- 28. 手順 すごく簡単 1. NVIDIA GPU Cloud で API キー取得 2. p3.2xlarge の緩和申請 3. p3.2xlarge の起動 4. スクリプトの実行 28
- 29. 1. NVIDIA GPU Cloud 事前にアカウント登録し、API キーを取得する 29
- 30. 2. 緩和申請 数日前に p3.2xlarge の利用申請をしておくとよい 30
- 31. 3. p3.2xlarge の起動 AWS Marketplace で AMI を検索し、選択する 31
- 32. 4. スクリプトの実行 事前にローカルで Dockerfile 作ってテストしてから 1. SSH で接続 ※アカウントは ubuntu – この辺りはたくさん資料があるので割愛 2. 接続直後に API キーを入力 – NVIDIA GPU Cloud で発行した API キー 3. NVIDIA Docker でイメージを PULL – 最新の TensorFlow のもある 4. NVIDIA Docker でイメージを RUN – コンテナ中で好きなスクリプトを実行 32
- 35. まとめ p3.2xlarge × NVIDIA Volta Deep Learning AMI ⇒ ◎ • SageMaker より 40% ほど安くなる代償 – SageMaker みたいにしようとすると、自分で いろいろインストールする必要があるが… • 大抵は Dockerfile に pip install 追加するだけで OK – コンテナを使った開発が強制されるが… • 実験の再現性が高まったりして良い – 大量のインスタンスを扱うのが大変なら 35 KCI 実験スケジューラ
- 37. スタッフ募集中 学生さん、転職者さん、力を貸して！ • 職種 – 研究 機械学習，アルゴリズム，センサ – 開発 UI/UX，フロントエンド，サーバサイ ド，アーキテクチャ，インフラ，プロセス – 企画 新しい習慣を考える力・広める力 • よく使う技術 – 言語 Python，Scala，Java，C++，JavaScript – その他 Docker，Linux，Android，iOS，Git 37
- 38. オフィス 勉強会 もやってるよ！ メイドさん お手製の夕食も出るよ！ • 名古屋の中心 – 移転：2016 年 6 月 – 面積：以前の 2 倍！ • 最寄駅 – JR中央線 鶴舞駅 – 名古屋市営地下鉄 • 鶴舞線 鶴舞駅 • 名城線 矢場町駅 • 桜通線 新栄駅 38 いつでも 見学OK
- 42. 情景画像文字認識とは いわゆる “OCR” とは ”扱う画像” が違う • 悪環境下での文字認識 – 手書き・様々な書体・かすれ・点描・きつい パース・統一性のない並び・逆光・陰・影・ グラデーション・モアレなど • 使える場面 – 屋外でのスマホカメラを使った棚卸し – 車載カメラからの標識認識 – 商品パッケージからの成分情報抽出 – キーワードによるアルバム・ビデオの頭出し 42
- 44. 物体認識 技術紹介② 44
- 47. 物体認識とは モノをカウント、見た目で分からない情報を表示 • 使える場面 工場内で箱の仕分け 体験や評判の調査 ワインラベルで情報検索 AR付箋 集めて応募キャンペーン ARフィギュア 47
- 48. 事例：1000sors 誰でも簡単に使えるクラウド型物体認識エンジン • 広い適用範囲 – 照明姿勢の変化に強く、様々な撮影環境に対応 • 驚異的な精度 – 数十万種類をほぼ完ぺきに識別 • 圧倒的な性能 – たった１台のＰＣで１００万種類を瞬時に識別 – 台数を増やせばリニアにスケールアウト 48
- 49. 事例：1000sors 手元の画像で精度や速度をすぐに確認可能 • ShotPreview for Android / iOS ①設定 ②撮影 ③確認 49
- 52. 事例：Cellars 18万件のワインラベルを認識するアプリ • 世界で賞を獲得したアプリをダウンロード！ – Asia Smartphone Apps Contest • 広告マーケティング部門 Silver Award 2位 – 立命館大学 学生ベンチャーコンテスト • 最優秀賞 NICT賞 52
- 53. 事例：画像認識API 画像を送るだけで写っている商品の情報を取得 • 登録商品：500 万件以上（昨年10月）の市販商品 – 書籍，DVD，CD，PCソフト，ゲームソフト， 食品パッケージ，… どんどん増加中 • 定期更新：網羅性 と 認識精度 の改善 – データ追加，パラメータ・アルゴリズム改良 53
- 54. 事例：画像認識API だれでも、かんたんに、マッシュアップ！ • docomo Developer support より提供中 画像認識 画像に写っている物体の情報を取得 環境センサー 日本全国の気温、降水量、紫外線量を取得 音声認識 話した内容を即座に文字に変換 雑談対話 自然な会話をやり取り 知識Q&A 今知りたいことをピンポイントで回答 音声合成 入力した文字を読み上げ トレンド記事抽出 今人気の話題をジャンルやキーワードで検索 文字認識 画像の文字を読み取り 発話理解 要求を理解して、適切な機能を提示 動作推定 行っていた動作の推定 54
- 56. 事例：注目領域抽出 『人の視線を集めそう』な領域をヒートマップ化 • 認識の事前処理に – 交通標識・道路標示・ 信号・看板・商品パッ ケージなど • 教師作成の省力化に – 抽出領域をクラスタリ ングすることで、教師 がなくても類似物体を 検索可能 56 交通標識 がありそう German Traffic Sign Dataset
- 58. モーション認識 技術紹介③ 58
- 60. 事例：動作推定API ドコモ と 来栖川電算 の共同研究 • 加速度データから人の動作や行動を検出 – 静止，歩き，走り，自転車，睡眠，食事 • 動作と直接対応しない行動も検出可能 • スマホ・スマートウォッチに対応 – Android，Android Wear，… • 加速度データにアクセスできるウェアラブル機器 60
- 61. 事例：動作推定API だれでも、かんたんに、マッシュアップ！ • docomo Developer support より提供中 画像認識 画像に写っている物体の情報を取得 環境センサー 日本全国の気温、降水量、紫外線量を取得 音声認識 話した内容を即座に文字に変換 雑談対話 自然な会話をやり取り 知識Q&A 今知りたいことをピンポイントで回答 音声合成 入力した文字を読み上げ トレンド記事抽出 今人気の話題をジャンルやキーワードで検索 文字認識 画像の文字を読み取り 発話理解 要求を理解して、適切な機能を提示 動作推定 行っていた動作の推定 61
- 63. 事例：毎朝体操 だれでも、いつでも、どこでも、すぐできる • Android & iPhone ⇒ http://maiasa.jp/ 63
- 64. 事例：なりきり 2.0 ウェアラブルで現実のモノを操作する作品 • ゲームコントローラへの応用 – 格闘ゲームが遊べる程、応答が速く、精度もよい。 64
- 65. 研究環境 技術紹介④ 65
- 68. 研究が捗る 実験サイクルが高速化 実験の再現性が向上 • 計算資源の隔離 – 実験スクリプトが他と干渉しないので、実験が失 敗したり、出力が混じったりしない。 • 計算資源の抽象化 – 計算資源（自社・お客様・クラウドなど）の変化 に頑健な実験スクリプトを作りやすい。 • 便利な機能 – 実験が自動的に永続化され、すぐに再現できる。 – テンプレートから簡単に実験をはじめられる。 68
- 69. どんどん拡大 実験スケジューラのハイブリッドクラウド化 • 効率的な計算資源の割当 – 個人で計算資源を専有せず、全員で共有 • 様々な計算資源への対応 – クラウドの計算資源：普段使い – 自社で購入した計算資源：上記の節約 – お客様が弊社に設置する計算資源 – お客様の敷地にある計算資源 • 大量に使わせてもらえる。ありがたや。 69
- 71. DNNコンパイラ DNN を効率的な実行形式へ変換するツール • DNN の推論計算を近似し て、高速化・省メモリ化 – 量子化，パラメータ削減， 計算順序変更，計算共有， 基底分解，確率的近似，カ スケード，… • 限界性能を引き出す実装 – アーキテクチャに最適化さ れたコード（専用命令， キャッシュ戦略），… 71
- 72. 配布が捗る スマホやサーバへの組み込みがスムーズに • DNN の推論計算の効率化 – スマホなどに収まるように演算量やメモリ使用量 を抑えることができる。 – 計算共有・順序変更・部分計算など応用に合わせ た実装に変更できる。 • DNN のアーキテクチャの隠蔽 – ハックやノウハウを解析しづらくできる。 • コンパクトな実装・依存関係 – 容量が小さいのでアプリにも組み込める。 – 依存物が少なく実行環境で問題が起こりにくい。 72