Transferir como PDF, PPTX
Carregado porAlvaro Viebrantz
Edge computing na prática com IoT, Machine Learning e Google Cloud
1) O documento discute edge computing na prática usando câmeras IoT, TensorFlow e Google Cloud. 2) É mostrado como construir um cenário usando câmeras ESP32 e Raspberry Pi para processar imagens localmente e enviar dados para a nuvem. 3) Os modelos pré-treinados do TensorFlow.js são usados para detecção e classificação de objetos nas imagens na borda antes de enviar para armazenamento em nuvem.
Edge computing na prática com IoT, Machine Learning e Google Cloud
- 1. EDGE COMPUTING NAPRÁTICA COM IOT, TENSORFLOW E GOOGLE CLOUD Alvaro Viebrantz Google Developer Expert for IoT and Product Engineer at Leverege aviebrantz.com @alvaroviebrantz
- 2. O que vamosver hoje ? O que é Edge Computing ? Cenário Prático Como construir esse cenário!
- 3.
- 4.
- 5. MAS O QUEÉ EDGE COMPUTING ?
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12. FALAR É FÁCIL VAMOSVER NA PRÁTICA
- 13.
- 15. 15 Cameras como sensores Nossoprojeto de Edge Computing • Usar cameras Wifi baratas • Servidor local recebendo e processando as imagens • Detecção de objetos usando Machine Learning • Enviar dados processados para nuvem • Prover uma interface web local e uma remota para mostrar os dados
- 16.
- 17.
- 18. 18 ESP32 Cam RaspberryPi 3 10$ 35$
- 19.
- 20. 20 Camera Firmware github.com/alvarowolfx/gcloud-iot-edge-tensorflow/tree/master/esp32-camera-firmware • Conectarna rede Wifi • Prover uma interface HTTP para adquirir as images • Ler as imagens da camera local (OV2640)
- 21. 21 Descoberta de Camerascom mDNS Protocolo de Descoberta Local • Encontra as cameras locais automaticamente {INSTANCE_NAME}.local/jpg • Serviço _camera e protocolo _tcp
- 22. 22 Encontrando cameras locais Podemostestar localmente using a ferramenta dns-sd • http://indoor-camera-ec5d.local/jpg • http://indoor-camera-60d8.local/jpg
- 23.
- 24. GATEWAY NA REDELOCAL
- 25. BAIXAR IMAGENS, CLASSIFICAR EENVIAR PARA A NUVEM
- 26. 26 QUALQUER LINGUAGEM PODE SERUSADA AQUI
- 27.
- 28. ATENÇÃO EU NÃO SOUNENHUM EXPERT EM MACHINE LEARNING
- 29. MAS TALVEZ ESSASEJA A MELHOR PARTE DESSE PROJETO
- 30. tensorflow.org/js/models Modelos Pré Treinadosem TensorFlow.js que podem ser usados sem muitas alterações
- 31. Classification Mobilenet model Object Detection CocoSSDmodel Cat, Dog, DuckCat Classification vs Object Detection
- 32.
- 33.
- 34.
- 35. DEMO - EDGESERVER
- 36.
- 37.
- 38. 38 Meu Computador RaspberryPi 3 TensorFlow.js Core 8 seconds per frame 45 seconds per frame TensorFlow.js Node 200 milliseconds per frame 1 second per frame Performance Dica - Use tfjs-node ou tfjs-node-gpu se possível
- 39.
- 40.
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 51.
- 52.
- 53.
- 54.
- 55.
- 56. Artigo descrevendo tudoque mostrei até agora bit.ly/gcloud-iot-edge
- 57.
- 58. Eu amo gatos Ese eu pudesse rastrear meus gatos em casa ?
- 59. Treinando um modelocustomizado Primeira tentativa
- 60. Transfer Learning Usando modelospré treinados para treinar novos modelos com datasets menores
- 61. Construindo o dataset Geralmentea parte mais dificil de qualquer projeto de ML
- 62. BAIXA ACURÁCIA NOMEU MODELO 😭😿
- 63. Treinar um modelode classificação Usando o mesmo dataset
- 64. Train a classificationmodel Using the same dataset
- 65. Melhor dos doismundos Usar um modelo pré treinado para detecção de objetos primeiro e depois o modelo customizado Detect Objects using CocoSSD Filtrar gatos e cortar as imagens Classificar com modelo customizado
- 66. DEMO - CUSTOMMODEL
- 68. 68 Found a catFound Jam
- 69. 69 Found a catFound Berry
- 70. 70 Found two catsFoundJam Found Muffin Found Berry
- 71.
- 72. Edge Devices Performance melhorna borda
- 73. Outros Edge Devices Performancemelhor na borda Sipeed Maix Bit Sparkfun Edge
- 74. Identificação de Faces Identificarapenas pessoas autorizadas em um determinado local github.com/ageitgey/face_recognition
- 75. Estimação de Pose ModeloPré Treinado - Posenet
- 76.
- 77. Resumindo tudo 77 Usar opoder do dispositivo na borda Extrair mais informação usando Machine Learning Escalabilidade, Flexibilidade e Facilidade de Uso Usando o poder tanto local quanto em nuvem
- 78. OBRIGADO! AVIEBRANTZ.COM Alvaro Viebrantz GoogleDeveloper Expert for IoT and Product Engineer at Leverege aviebrantz.com @alvaroviebrantz