Evento ".NET Saturday + Novidades .NET Conf 2020" no dia 09/01/2021 pelo Youtube.

1. Como executar modelos de Machine
Learning para reconhecimento de objetos
em stream de vídeo utilizando o Azure IoT
Edge e o NVIDIA Jetson Nano
Prof.Walter Silvestre Coan, MSc.
walter.s@univille.br
walter.coan@gmail.com

2. Walter Silvestre Coan
walter.s@univille.br - walter.coan@gmail.com
www.waltercoan.com.br• Bacharel em Informática - UNIVILLE
• Pós-Graduado em Engenharia de Software - PUCPR
• Mestre em Ciência da Computação na área de Sistemas
Distribuídos e Redes de Sensores sem Fio - PUCPR
• Professor no Bacharelado em Sistemas de Informação e do
Bacharelado em Engenharia de Software da UNIVILLE
• Microsoft MVP em Azure 2020/2021
• AWS Academy Accredited Educator
• Certificações
Azure SolutionsArchitect - Expert
Azure IoT Developer – Specialty
Azure Developer – Associate
Azure Administrator - Associate
Azure Fundamentals
Microsoft CertifiedTrainer
MCSD – MCSA (C# e Web Apps)
AWS Certified Cloud Practitioner
AWS Certified Developer
Sun Certified Programmer em Java 5.0

3. Problema
Como monitorar ambientes de forma inteligente para
detectar eventos importantes?

4. Exemplos
Funcionários em um canteiro de obras que não estão utilizando seus EPIs

5. Exemplos
Monitorar pacientes em um ambiente hospitalar
https://customers.microsoft.com/en-us/story/810724-ocuvera-health-provider-azure-kinect?WT.mc_id=AZ-MVP-5003638

6. Tecnologias
Azure Kinect
https://azure.microsoft.com/pt-br/services/kinect-dk/ ?WT.mc_id=AZ-MVP-5003638

7. Tecnologias
VisionAI DevKit
https://azure.github.io/Vision-AI-DevKit-Pages/

8. Tecnologias
NVIDIA Jetson Nano
https://developer.nvidia.com/embedded/jetson-nano-developer-kit
GPU 128-core Maxwell
CPU Quad-core ARM A57 @ 1.43 GHz
Memory 4 GB 64-bit LPDDR4 25.6 GB/s
Storage microSD (not included)
Video Encode 4K @ 30 | 4x 1080p @ 30 | 9x 720p @ 30 (H.264/H.265)
Video Decode 4K @ 60 | 2x 4K @ 30 | 8x 1080p @ 30 | 18x 720p @ 30
(H.264/H.265)
Camera 2x MIPI CSI-2 DPHY lanes
Connectivity Gigabit Ethernet, M.2 Key E
Display HDMI and display port
USB 4x USB 3.0, USB 2.0 Micro-B
Others GPIO, I
2
C, I
2
S, SPI, UART

9. Tecnologias
https://www.customvision.ai/

10. Internet das Coisas
AçõesDispositivos Intuições

11. Internet das Coisas
Things Insights Actions

12. Internet das Coisas
Things Insights Actions

13. Internet das Coisas
Things Insights Actions

14. Internet das Coisas
Things Insights Actions

15. Internet das Coisas
Things Insights Actions

16. Internet das Coisas
Things Insights Actions

17. Internet das Coisas
Things Insights Actions

18. Internet das Coisas
Things Insights Actions

19. Azure IoT Hub

20. Azure IoT Hub
O Azure IoT Hub é o serviço do Azure para registro,
autenticação, troca de mensagens de dispositivos de
internet das coisas
• Canal de comunicação segura (bidirecional)
• Gerenciamento dos dispositivos
• Integração com os demais serviços do Azure
• Mais IoT Edge...

21. 1
• Criar o IoT Hub
2
• Registrar um novo dispositivo
3
• Escolher o MCU, e programa-lo utilizando um SDK
4
• Estabelecer a conexão com o IoT Hub
5
• Realizar a troca de mensagens
Azure IoT Hub

22. Azure IoT Edge

23. Azure IoT Edge
DOCKER
O Azure IoT Edge permite que aplicações complexas possam ser executadas e
gerenciadas em dispositivos de IoT.

24. 1
• Criar IoT Hub
2
• Criar um novo dispositivo IoT Edge
3
• Instalar o módulo do IoT Edge no dispositivo
4
• Configurar a conexão do dispositivo com o IoT Hub
5
• Desenvolver o módulo que será publicado no IoT Edge
6
• Publicar o módulo no IoT Edge
Azure IoT Edge

25. https://docs.microsoft.com/en-us/azure/iot-edge/how-to-install-iot-edge?WT.mc_id=AZ-MVP-5003638
Azure IoT Edge

26. https://docs.microsoft.com/en-us/azure/iot-edge/quickstart-linux#deploy-a-module?WT.mc_id=AZ-MVP-5003638
Codificação
• Desenvolvimento do módulo do
IoT Edge
Container
• Compilação
• Geração da imagem do container
Docker
Publicação
da Imagem
• Imagem copiada para um
Container Registry
Deploy
• Azure Iot Edge aciona publicação
nos dispositivos.
Azure IoT Edge

27. Solução
1) Treinar o modelo de ML
2) Transformar o modelo em um container e
publicar no ACR
3) Criar o IoT Hub
4) Registrar o dispositivo no IoT Edge
5) Instalar o módulo do IoT Edge no
dispositivo e configurá-lo para conectar o
IoT Hub
6) Publicar o módulo no IoT Edge que irá
modificar o DigitalTwin do dispositivo
7) As modificações no DT são enviadas ao IoT
Hub
8) IoT Hub comunica a mudança do DT para o
dispositivo que coloca o módulo IoT Edge
em execução
9) O container que possui a lógica do módulo é
baixado no dispositivo e colocado em
execução
10) O container utiliza do DeepStream para
capturar o stream de vídeo da Câmera IP e
roda modelo de ML sobre o stream de vídeo
11) A cada novo objeto identificado no stream
de vídeo gera uma mensagem que é
enviada pelo IoT Edge Client ao IoT Hub.

28. NVIDIA DeepStream SDK
https://developer.nvidia.com/deepstream-sdk

29. Azure IoT Edge
https://www.youtube.com/watch?v=475nlIETSkw
Fonte: Emmanuel Bertrand, Senior
Program Manager, Azure IoT Edge

30. Azure IoT Edge
https://github.com/Azure-Samples/NVIDIA-Deepstream-
Azure-IoT-Edge-on-a-NVIDIA-Jetson-Nano
Fonte: Emmanuel Bertrand, Senior
Program Manager, Azure IoT Edge

31. Como estudar mais?

32. Obrigado!
www.waltercoan.com.br
walter.s@univille.br
walter.coan@gmail.com