1) O documento discute o uso do NVIDIA DeepStream para executar modelos de IA no Azure IoT Edge. 2) É apresentada a agenda do tópico que inclui Internet das Coisas, dispositivos, Azure IoT Hub, Azure IoT Edge e NVIDIA DeepStream. 3) Uma demonstração é realizada no final para exemplificar o fluxo completo.

3. INTERNET DAS COISAS
Utilização do NVIDIA DeepStream para
execução de modelos de IA no Azure IoT E
Walter Coan

4. MINI-BIO
WALTER
COAN
Microsoft MVP, Azure Solutions Architect, Azure IoT/Dev Cert,
MCT, MCSD, AWS Academy Accredited Educator, AWS Developer
Certified, SCP Java. Professor do Bacharelado em Sistemas de
Informação e do Bacharelado em Engenharia de Software da
UNIVILLE, mestre em Ciência da Computação na área de
Sistemas Distribuídos e Redes de Sensores sem Fio.
/waltercoan
@waltercoan
/waltercoan
@waltercoan
walter.coan@gmail.com
www.waltercoan.com.br

5. Utilização do NVIDIA DeepStream para execução de modelos de
IA no Azure IoT Edge
• Tema
• Internet das Coisas
• Dispositivos
• Azure IoT Hub
• Azure IoT Edge
• NVIDIA DeepStream
• Demo
Agenda

6. INSIRA A TECNOLOGIA MICROSOFT AQUI
Como monitorar ambientes de forma inteligente para detectar
eventos importantes?

7. INSIRA A TECNOLOGIA MICROSOFT AQUI
Como monitorar funcionários em um canteiro de obras que não estão utilizando seus
EPIs

8. INSIRA A TECNOLOGIA MICROSOFT AQUI
Monitorar pacientes em um ambiente hospitalar
https://customers.microsoft.com/en-us/story/810724-ocuvera-health-provider-azure-kinect?WT.mc_id=AZ-MVP-5003638

11. INSIRA A TECNOLOGIA MICROSOFT AQUI
Azure Kinect
https://azure.microsoft.com/pt-br/services/kinect-dk/?WT.mc_id=AZ-MVP-5003638

12. Vision AI DevKit
https://azure.microsoft.com/pt-br/services/kinect-dk/?WT.mc_id=AZ-MVP-5003638

13. NVIDIA Jetson Nano
https://developer.nvidia.com/embedded/jetson-nano-developer-kit
GPU 128-core Maxwell
CPU Quad-core ARM A57 @ 1.43 GHz
Memory 4 GB 64-bit LPDDR4 25.6 GB/s
Storage microSD (not included)
Video Encode 4K @ 30 | 4x 1080p @ 30 | 9x 720p @ 30 (H.264/H.265)
Video Decode 4K @ 60 | 2x 4K @ 30 | 8x 1080p @ 30 | 18x 720p @ 30
(H.264/H.265)
Camera 2x MIPI CSI-2 DPHY lanes
Connectivity Gigabit Ethernet, M.2 Key E
Display HDMI and display port
USB 4x USB 3.0, USB 2.0 Micro-B
Others GPIO, I
2
C, I
2
S, SPI, UART

14. NVIDIA Jetson Xavier NX
https://developer.nvidia.com/embedded/jetson-xavier-nx-devkit
Jetson Nano Developer Kit
Jetson Xavier NX
Developer Kit
AI Performance 0.5 TFLOPS (FP16)
6 TFLOPS (FP16)
21 TOPS (INT8)
GPU 128-core NVIDIA Maxwell™ GPU
NVIDIA Volta architecture with 384
NVIDIA CUDA® cores and 48
Tensor cores
CPU Quad-core ARM A57 @ 1.43 GHz
6-core NVIDIA Carmel ARM®v8.2
64-bit CPU 6 MB L2 + 4 MB L3
Memory 4 GB 64-bit LPDDR4 25.6 GB/s
8 GB 128-bit LPDDR4x @
51.2GB/s
Power Consumption 5-10W 10-15W
Price $99 $399

15. INSIRA A TECNOLOGIA MICROSOFT AQUI
O Azure IoT Hub é o serviço do Azure para registro,
autenticação, troca de mensagens de dispositivos de internet
das coisas
• Canal de comunicação segura (bidirecional)
• Gerenciamento dos dispositivos
• Integração com os demais serviços do Azure
• Mais IoT Edge...

16. INSIRA A TECNOLOGIA MICROSOFT AQUI
1
• Criar o IoT Hub
2
• Registrar um novo dispositivo
3
• Escolher o MCU, e programa-lo utilizando um SDK
4
• Estabelecer a conexão com o IoT Hub
5
• Realizar a troca de mensagens

17. INSIRA A TECNOLOGIA MICROSOFT AQUI
O Azure IoT Edge permite que aplicações complexas possam
ser executadas e gerenciadas em dispositivos de IoT.
DOCKER

18. 1 • Criar IoT Hub
2 • Criar um novo dispositivo IoT Edge
3 • Instalar o módulo do IoT Edge no dispositivo
4 • Configurar a conexão do dispositivo com o IoT Hub
5 • Desenvolver o módulo que será publicado no IoT Edge
6 • Publicar o módulo no IoT Edge

19. https://docs.microsoft.com/en-us/azure/iot-edge/how-to-install-iot-edge?WT.mc_id=AZ-MVP-5003638

20. https://docs.microsoft.com/en-us/azure/iot-edge/quickstart-linux#deploy-a-module?WT.mc_id=AZ-MVP-
5003638
Codificação
• Desenvolvimento do módulo do IoT Edge
Container
• Compilação
• Geração da imagem do container Docker
Publicação
da Imagem
• Imagem copiada para um Container
Registry
Deploy
• Azure Iot Edge aciona publicação nos
dispositivos.

21. Custom Vision – Cognitive Services
https://www.customvision.ai/

22. https://developer.nvidia.com/deepstream-sdk

23. https://developer.nvidia.com/deepstream-sdk

24. https://developer.nvidia.com/deepstream-sdk

25. https://www.youtube.com/watch?v=475nlIETSkw
Fonte: Emmanuel Bertrand, Senior Program Manager, Azure IoT
Edge

26. https://github.com/Azure-Samples/NVIDIA-Deepstream-Azure-IoT-Edge-on-a-NVIDIA-Jetson-
Nano
Fonte: Emmanuel Bertrand, Senior Program Manager, Azure IoT
Edge

27. 1) Treinar o modelo de machine learning
2) Transformar o modelo em um container e
publicar no ACR
3) Criar a instância do IoT Hub
4) Registrar o dispositivo no serviço do IoT
Edge
5) Instalar o módulo IoT Edge no dispositivo
e configurar a conexão com o IoT Hub
6) Programar os arquivos de configuração
para execução e publicação do módulo
IoT Edge container
7) Modificar o Digital Twins do dispositivo
para que o IoT Hub service envie a
solicitação de deploy da aplicação para o
módulo
8) O IoT Hub comunica a publicação e o
módulo instalado no device recebe o
comando.
9) O device realiza o pull do container com o
módulo e coloca em execução
10)O módulo se conecta na câmera IP,
recebe o stream, processa as imagens
com o modelo de machine learning
11)Ao identificar um objeto, apenas uma
mensagem é enviada ao IoT Hub service.