Einsteinvision - object detection を試してみよう
•
1 gostou•1,828 visualizações
2018年1月11日 (木) に開催された Web セミナーです。
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a Einsteinvision - object detection を試してみよう
Semelhante a Einsteinvision - object detection を試してみよう (20)
Mais de Salesforce Developers Japan
Mais de Salesforce Developers Japan (20)
Último
Último (11)
Einsteinvision - object detection を試してみよう
- 1. 画像認識 AI 機能 Einstein Vision Object Detection を試してみよう 2018年1⽉11⽇ 株式会社セールスフォース・ドットコム
- 2. 今⽇の話者はこの3⼈ Michikazu Sugahara DEMO Engineer Kazuki Hayakawa Solution Engineer Hiroyuki Inaba Platform Specialist
- 3. 今⽇の狙い ※※アプリ開発者向けの内容であることあらかじめご了承ください※※ 画像認識 AI を使ったアプリってどう作れば良いのだろう… Einstein て簡単に使えるらしいし、Object Detection と⾔う 新しい機能が出たらしいけどどうやって使うのだろう… 悩めるアプリ開発者 なるほど! Object Detection ってそういう機能なんだ ⼀通りの試し⽅も理解できたし、まずはやってみよう
- 4. 話の流れ Salesforce Einstein と Einstein Vision - Object Detection 概要 サンプルアプリのデモ データセット・モデルの作り⽅ データセット作成⽀援ツールのご紹介 各種情報・全体まとめ 1 2 3 4 5 ü 最後に質問への回答の時間を設けます ü 質問はいつでも送ってもらってOKです
- 5. Salesforce Einstein と Einstein Vision - Object Detection 概要 1
- 6. Salesforce Einstein お客様の CRM をよりスマートにすることに焦点をあてた AI 機能群
- 7. 様々な製品で実装・提供される Einstein 機能 Marketing Cloud Einstein Engagement Scoring Einstein Segmentation Einstein Vision for Social Service Cloud Einstein Bots Einstein Agent Einstein Vision for Field Service Sales Cloud Einstein Forecasting Einstein Lead & Opportunity Scoring Einstein Activity Capture Commerce Cloud Einstein Recommendations Einstein Search Dictionaries Einstein Predictive Sort Salesforce Platform Einstein Prediction Builder Einstein Vision & Language Einstein Discovery Community Cloud Einstein Answers Community Sentiment Einstein Recommendations Austin Buchan CEO, College Forward
- 8. 画像認識の Vision と⾃然⾔語処理の Language Web API サービスとして機能を提供 Einstein Platform Services (Vision & Language) https://einstein.ai Einstein Vision Einstein Language • Einstein Image Classification Ø ⼊⼒画像全体を解析し、仕分けを⾏う • Einstein Object Detection Ø ⼊⼒画像から、物体を検出する • Einstein Sentiment Ø ⼊⼒⽂章の感情を識別する • Einstein Intent Ø ⼊⼒⽂章をカテゴリ分けする まだ 英語のみ 今⽇は この話
- 9. Einstein Vision の⼆つの機能の違い 画像全体を⾒て仕分けする Image Classification と物体を検出する Object Detection Image Classification (画像仕分け) Object Detection (物体検出) • レモン • みかん • トマト • にんにく Image Classification モデル 画像 仕分け トマトの確率が 99% ⼊⼒ 出⼒ Einstein Vision • レモン • みかん • トマト • にんにく Object Detection モデル 物体 検出 ⼊⼒ 出⼒ Einstein Vision ⼊⼒画像全体から、モデルが持つどのラベルの特徴がどれくらい 現れているかを返す ⼊⼒画像の中から、モデルが持つどのラベルの特徴がどこに検出 されたかを返す • X1,Y1にみかん:68% • X2,Y2にトマト:95% • X3,Y3ににんにく:90%
- 10. 提供形態は Web API サービス REST API を通して画像認識 AI 機能を利⽤してもらう (GUIが無い) Einstein Vision 仕分け/ 物体検出 Food Image Classifier General Image Classifier 商品検出 プリセットの モデル 独⾃作成の モデル REST APIのエンドポイント (https://api.einstein.ai/[バージョン]/vision/[コマンド]) HTTPリクエスト ・OAuthトークン ・画像データ ・モデル指定 HTTPレスポンス ・結果(JSON形式) Heroku や Lightning Platform で UIとなるアプリを作成 利⽤者 お客様/パートナー様での開発が必要 Einstein Vision が提供
- 11. $ curl -X POST -H “Authorization: Bearer [アクセストークン]” -H “Content-Type: multipart/form-data” -F “sampleContent=@[ファイルへのパス]" -F “modelId=[使⽤するモデル]" https://api.einstein.ai/v2/vision/detect 例) Object Detection の使い⽅ (1/2) PCにある画像ファイルの物体検出を実⾏する curl コマンドを例に解説
- 12. { "probabilities": [ { "label": "Alpine - Oat Cereal", "probability": 0.98904955, "boundingBox": { "minX": 305, "minY": 130, "maxX": 390, "maxY": 262 } }, { "label": "Alpine - Oat Cereal", "probability": 0.97531146, "boundingBox": { "minX": 394, "minY": 259, "maxX": 485, "maxY": 399 } }, (以下省略) 例) Object Detection の使い⽅ (2/2) HTTP のレスポンスとして検出したラベル・確度・位置が返される
- 13. この章のまとめ • "Einstein" とは、Salesforce が提供する各製品の様々な AI 機能群 • Salesforce Platform 領域の Einstein 機能として、Einstein Platform Services (Vision & Language)を提供 • Einstein Vision - Image Classification は、画像全体を⾒て仕分けを⾏い、 Object Detection は画像内から対象物体を⾒つけ出す • Web API サービスとして機能を提供
- 16. DEMO
- 17. アプリの仕組み LINE Bot で Salesforce ロゴ画像を検出 画像選択・ 送信 受信データ 表⽰ データ受信 認証キー取得 データ送信・ 結果取得 画像編集・ 結果送信 認証処理 物体検出 LINEアプリ サーバーアプリ (Bot 本体) Einstein Object Detection データ転送 データ転送 アインシュタインくん (LINE Bot) 独⾃の検出 モデルを構築
- 19. データセット・モデルの作り⽅ 3
- 20. ⾔葉の定義 ①ラベル / ②データセット / ③トレーニング / ④モデル 物体検出 ④ モデル ② データセット ③ トレーニング { "label":"tomato", "probability":0.97663295, "boundingBox": { "minX": 54, 〜中略〜 } ラベルと抽出された 特徴の集合体 ラベルとトレーニング (学習)⽤画像の集合体 ① ラベル 特徴適合度 Einstein Vision ZIP データセット作成⽤の 位置情報ファイルと 学習⽤画像データの実体
- 21. データセット・モデル作成全体の流れ 要件整理・ ラベルの定義 画像収集・ アノテーション ファイルの作成 Zipファイル化・ アップロード (データセット 作成) トレーニング 実⾏ 1 2 3 4 モデル
- 23. ラベルの定義 12種類(商品)のティーバッグが存在する → ラベルを12個定義 1. Twinings_LadyGrey 2. Twinings_PrinceOfWales 3. Twinings_EarlGray 4. Twinings_Darjeeling 5. Twinings_CeylonOrangePekoe 6. Twinings_JasminEarlGrey 7. Twinings_OrangeEarlGrey 8. Lipton_ZestyEarlGrey 9. Lipton_IncredibleDarjeeling 10. Lipton_PureNuwaraEliya 11. Lipton_FineCeylon 12. Lipton_FragrantEnglishBreakfast
- 26. Zipファイル作成 ガイドに従い各ファイルを所定位置に配置しZipファイルを作成 ZIP このフォルダでzipファイルを作成 学習⽤画像データは examples フォルダ以下に配置 位置情報を記述したファイルは名前を"annotations.csv"とし zipファイルのルートディレクトリ直下に配置
- 32. DEMO
- 33. 各種情報・全体まとめ 5
- 34. 試してみるには何が必要? まずはアカウントのサインナップ。無償のトライアルライセンスを⽤意 クイックスタート: Einstein Image Classification 単元「Einstein プラットフォームサービスアカウントの取得」 を参照 次のスライドを参照 https://api.einstein.ai/signup
- 35. 参考) Heroku での Einstein Vision アカウント取得 アドオンを追加することで、アカウント情報を取得できる ①Heroku アプリの作成 ②Einstein Vision アドオンの追加 ③アカウント情報を取得 Heroku でアプリケーション(枠) を新規に作成する ※既存のアプリでも可 作成したアプリケーションの 「Resource」タブに遷移 し、"Add-ons"セクション で"Einstein Vision"を検索・選択 する 「Starter - Free」を選択し 「Provision」ボタンをクリック する 「Settings」タブの"Congfig Variables"セクションで「Reveal Config Vars」ボタンをクリックす ると必要なアカウント情報(IDと KEY)が確認できる
- 36. 参考) Token の取得 curl コマンドなどで必要になる TOKEN は、専⽤サイトで取得できる https://api.einstein.ai/token ① 払い出されたIDとKeyを貼り付ける ② 有効時間を設定する ③ 「GET TOKEN」ボタンを押す ④ 出⼒されたTOEKNをコピーする ■例⽂ curl -X GET -H "Authorization: Bearer <TOKEN>" https://api.einstein.ai/v2/apiusage ↓ ■実⾏⽂ curl -X GET -H "Authorization: Bearer CQIJJ2HD4NL2JUT3STLUPWYQIENPTHJEHYOUXBFFZNARW2GPTWVUO7 7MDHYRSBQ4LQ23ON3FEFAX2NBAEULIV72YFOIVAMIEXVGKSEY" https://api.einstein.ai/v2/apiusage TOEKN の利⽤例
- 37. 課⾦体系・ライセンス価格 仕分け・物体検出を実⾏する API を⽉に何回まで呼び出せるか、によって変わる プラットフォーム ⽉間の仕分け・物体検出実⾏ API 呼び出し回数上限★1 価格 Lightning Platform 1,000★2 無償 1,000,000 お問い合わせ Heroku 1,000★2 無償 10,000 $40/⽉ 250,000 $850/⽉ 1,000,000 $3,400/⽉ ★1: 学習⽤画像データの枚数やデータセット・モデル数、各種指⽰ API 呼び出し回数はライセンス種類に依存しない ★2: 2018年2⽉から2,000に引き上げ予定
- 38. Object Detection で想定されている利⽤シナリオ グローバルで実施していた Pilot プログラムでは店舗利⽤が多かった模様 商品在庫のあり/なし確認や 発注のサポート 表に出ている商品の 個数割合計算 ⾃社の掲⽰物確認 競合他社の侵蝕検出 在庫管理 表出率算出 ガイドライン準拠確認 いくつかの検証の結果、現状ではかなり限定された環境下でのみ実⽤に耐えられると考える 個々の要件に適合できるかは事前検証が必須
- 39. まず試すならこのチュートリアルから "Object Detection Quick Start" • https://metamind.readme.io/docs/od_qs_scenario シリアル商品箱を検出する Tutorial
- 40. オンラインドキュメント • https://metamind.readme.io/docs 公式サイト • https://einstein.ai/products/custom-detection Image Classification や Language - Intent の Trailhead • クイックスタート: Einstein Image Classification • Build a Cat Rescue App That Recognizes Cat Breeds • Einstein Intent API の基礎 オンラインドキュメントに全てが記載されている 各種情報源へのリンク
- 41. 全体のまとめ • Einstein Vision - Object Detection は静⽌画像の中から物体を検出し、その位 置情報を返す Web API サービス • 独⾃のモデルを作成するには、学習⽤画像データに加えて、対象物体の位置情 報を記した annotations.csv ファイルが必要 • 学習⽤画像データは、実際に検出させたい画像に極⼒似せたものを使⽤し、 対象物体のサンプル(定義数)が100以上になるように • 実際の要件に適応できそうか、必ず事前検証を実施
- 42. & QA