Cogbot勉強会 #19 (2019年1月22日 https://cogbot.connpass.com/event/115061/ ) LT資料 Azure Machine Learning 入門として、特にコンピューティング先について説明

1. Cogbot 勉強会！#19
2019年1月22日
瀬尾佳隆 (@seosoft)
Microsoft MVP for AI
Machine Learning Service を
使ってみよう

2. 自己紹介
◼瀬尾 佳隆 (せお よしたか)
• MVP for AI
• https://yseosoft.wordpress.com/
• 坂道 と仏像 / 屏風絵が好き、京都も好き
◼「AI をビジネスにどう利用するか」 を考えるのが今の仕事
2

3. 今日の内容
◼ML サービスで出来ること
◼モデル作成時・訓練時の主な環境
◼どの環境を使うとよいか
◼ローカル環境の作り方
◼ML コンピューティング作成の Tips
3

4. ML サービスで出来ること
https://docs.microsoft.com/ja-jp/azure/machine-learning/service/overview-what-is-azure-ml
4

5. ML サービスで出来ること
5
データ前処理 モデル作成 訓練 モデル管理 イメージ作成 デプロイ
= ML 案件でやるべきこと

6. ML サービスで出来ること
6
データ前処理 モデル作成 訓練 モデル管理 イメージ作成 デプロイ
= ML 案件でやるべきこと

7. モデル作成・訓練時の主な環境
主なコンピューティング 特徴
モデル作成時
ローカルマシン VS Code が便利
手元の GPU マシンが使える場合はコレ
Azure Notebooks
Free Compute
無償で環境構築の手間がない
（が、遅い・・・）
Ubuntu DSVM 高速で環境構築の手間がない
訓練時
ML Compute
(旧 Batch AI)
“使った分だけ” お支払い
Low Priority VM ならば低コスト
Ubuntu DSVM 高速で環境構築の手間がない
ローカルマシン イニシャルコストだけでよい
7
詳しくは https://docs.microsoft.com/en-us/azure/machine-learning/service/how-to-set-up-training-targets

8. どの環境を使うとよいか (私見)
GPU ありマシンが使える場合 ローカルマシン
深層学習ではない場合 Azure Notebooks
“サクッ” と試したい場合
(環境構築が面倒)
Azure Notebooks
業務利用などで「万単位」の課金が
許容される場合
Ubuntu DSVM
どれにも当てはまらない場合 ローカルマシン (GPU なし)
8
モデル作成時

9. どの環境を使うとよいか (私見)
業務利用などで訓練を絶対に中断されたく
ない場合
ML Compute
高速かつ低コストで訓練したい場合 Low Priority
ML Compute
訓練専用の GPU ありマシンがある場合 ローカルマシン
低速でもいいのでできるだけ低コスト ローカルマシン
(GPU なし)
9
訓練時

10. ローカル環境の作り方
1. Anaconda or Miniconda インストール
2. Conda 仮想環境を作成
• conda create -n <環境名> Python=3.6 cython numpy
• conda activate <環境名>
3. SDK インストール
• pip install --upgrade azureml-sdk[notebooks,automl] azureml-
dataprep
4. Python Extension Pack (VS Code 用)
インストール
• https://marketplace.visualstudio.com/items?itemName=donjaya
manne.python-extension-pack
10

11. ローカル環境 (サービスポータル)
11

12. ローカル環境 (モデル作成時)
12

13. ML コンピューティング作成の Tips
Low Priority NC6 を使用したい場合
13
compute_name = os.environ.get("AML_COMPUTE_CLUSTER_NAME", "gpucluster")
compute_min_nodes = os.environ.get("AML_COMPUTE_CLUSTER_MIN_NODES", 0)
compute_max_nodes = os.environ.get("AML_COMPUTE_CLUSTER_MAX_NODES", 4)
vm_size = os.environ.get("AML_COMPUTE_CLUSTER_SKU", "STANDARD_NC6")
if compute_name in ws.compute_targets:
compute_target = ws.compute_targets[compute_name]
if compute_target and type(compute_target) is AmlCompute:
print('found compute target. just use it. ' + compute_name)
else:
print('creating a new compute target...')
provisioning_config = AmlCompute.provisioning_configuration(vm_size = vm_size,
min_nodes = compute_min_nodes,
max_nodes = compute_max_nodes,
vm_priority = 'lowpriority',
idle_seconds_before_scaledown = '30')
min_nodes は
絶対に 0
GPU ありなら
“STANDARD_NC6”
コストを抑えるには
“lowpriority”
アイドルタイムは
30秒でよさそう
(個人的な感想)

14. ML コンピューティング作成の Tips
14

15. ML コンピューティング作成の Tips
15

16. まとめ ～ 今日の内容
◼ML サービスで出来ること
◼モデル作成時・訓練時の主な環境
◼どの環境を使うとよいか
◼ローカル環境の作り方
◼ML コンピューティング作成の Tips
16

17. 参考情報
◼ML サービス の Get Started
• https://notebooks.azure.com/azureml/projects/azureml-getting-started
◼Machine Learning サービスの公式ドキュメント
• https://docs.microsoft.com/ja-jp/azure/machine-learning/service/
◼モデルトレーニング用のコンピューティングターゲットを設定する
• https://docs.microsoft.com/ja-jp/azure/machine-learning/service/how-to-set-
up-training-targets
◼Azure Machine Learning のための開発環境を構成する
• https://docs.microsoft.com/ja-jp/azure/machine-learning/service/how-to-
configure-environment#create-workspace-configuration-file
◼Azure #Notebooks 最新情報
• https://yseosoft.wordpress.com/2018/12/09/azurenotebooks-connect2018/
17