[基調講演] DLL_RealtimeAI
•
3 gostaram•1,614 visualizações
DLLAB DAY 2018 Keynote
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a [基調講演] DLL_RealtimeAI
Semelhante a [基調講演] DLL_RealtimeAI (20)
Mais de Deep Learning Lab（ディープラーニング・ラボ）
Mais de Deep Learning Lab（ディープラーニング・ラボ） (20)
Último
Último (10)
[基調講演] DLL_RealtimeAI
- 2. 榊原 彰 日本マイクロソフト株式会社 執行役員 最高技術責任者 松岡 聡 理化学研究所 計算科学研究センター センター長 西川 徹 株式会社Preferred Networks 創業者 代表取締役社長 最高経営責任者
- 3. Booth Sponsors Media Sponsors Official SupportFood Sponsor Academy Sponsors
- 4. ついに一周年！
- 12. 50 & 140
- 13. ソリューション 概要 Automatic Discovery Service for Connected Factory IoTリファレンスアーキテクチャーにコンポーネントを追加。 インダストリー機器の活用の容易化と、セキュアな接続可能として管理コストの削 減を可能。Azure IoT Suite Connected Factory、Azure IoT Edge および 既存OPC UA機 器向けのOPC UA Global Discovery Server interfaceなどのマイクロサービスなどで利 用可能 Azure Time Series Insights マネージドクラウドサービス。時系列データの保存、検索、可視化により動向分析 等が可能 (HMI2017で発表）にて Azure上のストレージも対象に。 Azure IoT Hub & Azure IoT Hub Device Provisioning on Azure Stack Azure IoT Hubと、デバイスの自動的な登録と設定を行うAzure IoT Hub Device ProvisioningサービスをAzure Stackで提供し、オンプレミスのみの環境でも利用可能 に。クラウド仕様が制限されている施設内でもIoT機器の展開管理、データ収集、活 用を可能 Azure Sphere 年間90億台以上も出荷されているMCUで稼働する機器も、セキュアMCU、セキュア クラウド、セキュアOSの組み合わせにて、安心してクラウドに接続、各サービスの 活用を可能に Azure IoT Edge Gateway Partner Program Azure IoT Edge搭載機器提供パートナー向けのプログラム Hannover Messe 2018前後で発表されたソリューション
- 14. © Microsoft Corporation Cognitive Search LUIS: Speech to Intent Text Analytics: Engity Link Preview Translator Text API V3 Custom Translator Speech Service -> Speech Devices SDK / Speech SDK Q&A Maker GA Cognitive Services Labs Bot Framework Azure DevOps Projects Azure Dev Spaces Private Preview Azure Container Registry (ACR) / ACR Build Azure Blockchain Workbench Azure App Service Red Hat OpenShift on Azure (Build終了後に開催されたRed Had Summitで発表） その他 多数… App Service Environment Durable Functions GA Azure Event Grid Service Fabric Mesh Azure SignalR Service Public Preview Visual Studio App Center GitHub Integration Azure Cosmos DB: Multi Master Write Azure Database Migration Service GA Azure Event Hubs for Kafka Ecosystems Public Preview Shared Gallaery Limited Preview Azure CDN Azure Lab Services Azure DevTest Labs Azure Media Services API V3 Public Preview Auzre Mobile App GA Azure Confidential Computing Update Azure ML Packages Azure ML SDK for Python Project Brainwave for IoT Edge AKS Update Build 2018で発表されたソリューション
- 15. ONNX Model Parameters Hyperparameters Caffe2, PyTorch, CNTK, Chainer, Apple CoreML, SciKit-Learn Caffe2, CNTK, TensorFlow, Appache MXNet, Apple CoreML,
- 16. Application #1 Application #2 WinML RT API WinML Win32 API WinML Runtime Model Inference Engine DirectML API CPUDirect3D GPU Input Surface Output Surface
- 25. Megapixel Sensor Wide FOV Dual lasers for close and far range
- 26. Windows 10 IoT Core Smart Things MPU Windows 10 IoT Enterprise PC-like Device MPU Azure Sphere Basic & Tiny Things MCU
- 28. 68
- 32. DNN Processing Units EFFICIENCYFLEXIBILITY Soft DPU (FPGA) Contro l Unit (CU) Registers Arithmeti c Logic Unit (ALU) CPUs GPUs ASICsHard DPU Cerebras Google TPU Graphcore Groq Intel Nervana Movidius Wave Computing Etc. BrainWave Baidu SDA Deephi Tech ESE Teradeep Etc.
- 33. スケーラブルなDNN H/Wマイクロサービス F F F L0 L1 F F F L0 Pretrained DNN Model in CNTK, etc. Scalable DNN Hardware Microservice BrainWave Soft DPU Instr Decoder & Control Neural FU 33 Network switches FPGAs
- 35. Catapult v0 Catapult v1 Scale v1 Catapult v2 2011 2012 2013 2014 2015 2016 Ignite unveiling Bng Production 2017 Project BrainWave
- 36. 36
- 37. A framework-neutral federated compiler and runtime for compiling pretrained DNN models to soft DPUs 37
- 38. A framework-neutral federated compiler and runtime for compiling pretrained DNN models to soft DPUs Adaptive ISA for narrow precision DNN inference Flexible and extensible to support fast-changing AI algorithms 38
- 39. A framework-neutral federated compiler and runtime for compiling pretrained DNN models to soft DPUs Adaptive ISA for narrow precision DNN inference Flexible and extensible to support fast-changing AI algorithms BrainWave Soft DPU microarchitecture Highly optimized for narrow precision and low batch 39
- 40. A framework-neutral federated compiler and runtime for compiling pretrained DNN models to soft DPUs Adaptive ISA for narrow precision DNN inference Flexible and extensible to support fast-changing AI algorithms BrainWave Soft DPU microarchitecture Highly optimized for narrow precision and low batch Persist model parameters entirely in FPGA on-chip memories Support large models by scaling across many FPGAs 40
- 41. A framework-neutral federated compiler and runtime for compiling pretrained DNN models to soft DPUs Adaptive ISA for narrow precision DNN inference Flexible and extensible to support fast-changing AI algorithms BrainWave Soft DPU microarchitecture Highly optimized for narrow precision and low batch Persist model parameters entirely in FPGA on-chip memories Support large models by scaling across many FPGAs Intel FPGAs deployed at scale with HW microservices [MICRO’16] 41
- 42. 42
- 44. 44A Cloud-Scale Acceleration Architecture [MICRO’16]
- 45. WCS Gen4.1 Blade with NIC and Catapult FPGA Catapult v2 Mezzanine card 45[ISCA’14, HotChips’14, MICRO’16]
- 46. 46
- 47. Web search ranking Traditional software (CPU) server plane QPICPU QSFP 40Gb/s ToR FPGA CPU 40Gb/s QSFP QSFP Hardware acceleration plane 相互接続されたFPGAが従来のソ フトウェアレイヤーとは分離さ れて動作 CPUから独立して管理・使用が 可能 Web search ranking Deep neural networks SDN offload SQL 47 CPUs FPGAs Routers
- 48. 2x CPU 2x CPU 2x CPU 2x CPU 2x CPU 2x CPU 2x CPU 2x CPU 48 LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM
- 49. 2x CPU 2x CPU 2x CPU 2x CPU 2x CPU 2x CPU 2x CPU 2x CPU 49 LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM
- 50. 2x CPU 2x CPU 2x CPU 2x CPU 2x CPU 2x CPU 2x CPU 2x CPU 50 LSTM LSTM LSTM LSTM LSTM LSTM LSTM LSTM
- 51. 51
- 52. FPGA0 FPGA1 Add500 1000-dim Vector 1000-dim Vector Split 500x500 Matrix MatMul500 500x500 Matrix MatMul500 MatMul500 MatMul500 500x500 Matrix Add500 Add500 Sigmoid500 Sigmoid500 Split Add500 500 500 Concat 500 500 500x500 Matrix 52 Target compiler FPGA Target compiler CPU-CNTK Frontends Portable IR Target compiler CPU-Caffe Transformed IRs Graph Splitter and Optimizer Deployment Package Caffe Model FPGA HW Microservice CNTK Model Tensorflow Model
- 57. Empower every person and every organization on the planet to achieve more 地球上のすべての人々とすべての組織が より多くのことを達成できるようにする
- 58. 本書に記載した情報は、本書各項目に関する発行日現在の Microsoft の見解を表明するものです。Microsoftは絶えず変化する市場に対応しなければならないため、ここに記載した情報に 対していかなる責務を負うものではなく、提示された情報の信憑性については保証できません。 本書は情報提供のみを目的としています。 Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません。 すべての当該著作権法を遵守することはお客様の責務です。Microsoftの書面による明確な許可なく、本書の如何なる部分についても、転載や検索システムへの格納または挿入を行うこと は、どのような形式または手段（電子的、機械的、複写、レコーディング、その他）、および目的であっても禁じられています。これらは著作権保護された権利を制限するものではあり ません。 Microsoftは、本書の内容を保護する特許、特許出願書、商標、著作権、またはその他の知的財産権を保有する場合があります。Microsoftから書面によるライセンス契約が明確に供給さ れる場合を除いて、本書の提供はこれらの特許、商標、著作権、またはその他の知的財産へのライセンスを与えるものではありません。 Microsoft, Windows, その他本文中に登場した各製品名は、Microsoft Corporation の米国およびその他の国における登録商標または商標です。 その他、記載されている会社名および製品名は、一般に各社の商標です。