Baixado 12 vezes
Carregado porAlvaro Viebrantz
Edge computing na prática com IoT, Machine Learning e Google Cloud
O documento explora a implementação de edge computing com IoT e machine learning, destacando um projeto prático que utiliza câmeras como sensores para detecção de objetos. Utiliza servidores locais para processar dados e enviar informações à nuvem, empregando ferramentas como o Google Cloud e modelos do TensorFlow. Future work is suggested, including custom model training for specific person detection and alert systems.
Edge computing na prática com IoT, Machine Learning e Google Cloud
- 1. EDGE COMPUTING NAPRÁTICA COM IOT, MACHINE LEARNING E COM GOOGLE CLOUD Alvaro Viebrantz aviebrantz.com @alvaroviebrantz
- 2. Alvaro Viebrantz @alvaroviebrantz aviebrantz.com Google DeveloperExpert for IoT Product Engineer @ Leverege Organizador do GDG Cuiabá e DevMT
- 3.
- 5.
- 6.
- 7. O QUE É EDGE COMPUTING ?
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15. VAMOS VER ISSONA PRÁTICA USANDO CAMERAS COMO SENSORES
- 16. 16 Cameras como sensores Projetode Edge Computing • Cameras com Wifi o mais barato possível • Servidor local processando as imagens • Detecção de objetos usando Machine Learning • Enviar dados processados para a nuvem • Fornecer interface web para ver localmente e remotamente os dados
- 17.
- 18.
- 19. 19 ESP32 Cam RaspberryPi 3 10$ FTDI
- 20.
- 21. OBJETIVO FORNECER AS IMAGENS NAREDE LOCAL
- 22.
- 24. 24 ESP-IDF SDK Oficial paraprogramar micro-controladores da Espressif • Várias coisas estão sendo lançadas usando essa SDK. • esp32-camera — Drivers para cameras • esp-who — Framework de visão computacional • esp-adf — Trabalhar com audio • esp-mdf — Redes mesh
- 25.
- 26. 26 Firmware das cameras github.com/alvarowolfx/gcloud-iot-edge-tensorflow/tree/master/esp32-camera-firmware •Conexão com a camera OV2640 • Endpoint HTTP para acesso a foto • Serviço mDNS • Para que as cameras possam ser encontradas na rede local — {INSTANCE_NAME}.local/jpg • Serviço _camera e protocolo _tcp
- 27. 27 mDNS Protocolo de descobertana rede local • http://indoor-camera-ec5d.local/jpg • http://indoor-camera-60d8.local/jpg
- 28. DEMO TIME MAY THEDEMO GODS BE WITH US
- 29.
- 30.
- 33.
- 35.
- 37.
- 38. MENSAGERIA - FILADE PROCESSAMENTO
- 40.
- 41. OBJETIVO BUSCAR IMAGENS, CLASSIFICARE ENVIAR PRA NUVEM
- 42. 42 PODEMOS PROGRAMAR EM QUALQUERLINGUAGEM
- 43.
- 44. 44 @tensorflow/models — npmpackage Modelo prontos para serem usados • Classificação e detecção de objetos • Estimativa de posição • Comandos de voz
- 45.
- 46. 46 • Busca camerasusando mDNS — DeviceListener • Detecta objeto nas imagens (Image Classifier) • Tensorflow e o modelo cocossd • Envia dados via mqtt para a nuvem (CloudIoTCoreGateway) • Utiliza o modo Gateway do Cloud IoT Core • Disponibiliza interface web que sincroniza usando socket.io Server local github.com/alvarowolfx/gcloud-iot-edge-tensorflow/tree/master/edge-server
- 47.
- 48.
- 49.
- 50.
- 51.
- 52.
- 53.
- 54.
- 55.
- 56.
- 57.
- 59. DADOS EM FORMADE ÁRVORE - JSON SDK PARA VÁRIAS LINGUAGENS
- 60.
- 61.
- 62.
- 63.
- 64.
- 65.
- 66.
- 67.
- 68. DEMO TIME MAY THEDEMO GODS BE WITH US
- 69.
- 70.
- 71. Treinar modelo customizado Detectarpessoas especificas ou diferenciar meus gatos
- 72. Treinar modelo customizado Detectarpessoas especificas ou diferenciar meus gatos
- 73. Enviar alertas Definir regraspara mandar mensagens — se uma classe for vista em um cômodo
- 74.