1) O documento discute edge computing na prática usando câmeras IoT, TensorFlow e Google Cloud. 2) É mostrado como construir um cenário usando câmeras ESP32 e Raspberry Pi para processar imagens localmente e enviar dados para a nuvem. 3) Os modelos pré-treinados do TensorFlow.js são usados para detecção e classificação de objetos nas imagens na borda antes de enviar para armazenamento em nuvem.

1. EDGE COMPUTING NA PRÁTICA
COM IOT, TENSORFLOW E GOOGLE CLOUD
Alvaro Viebrantz
Google Developer Expert for IoT and Product Engineer at Leverege
aviebrantz.com
@alvaroviebrantz

2. O que vamos ver hoje ?
O que é Edge
Computing ?
Cenário
Prático
Como
construir esse
cenário!

3. 3

4. Disponibilidade Escalabilidade Manutenção
Gastar Menos
4

5. MAS O QUE É
EDGE COMPUTING ?

6. QUANDO FAZ SENTIDO ?

7. Privacidade

8. Banda de Rede

9. Latencia

10. Confiabilidade

11. Custos

12. FALAR É FÁCIL
VAMOS VER NA PRÁTICA

13. USAR CAMERAS
COMO SENSORES

15. 15
Cameras como sensores
Nosso projeto de Edge Computing
• Usar cameras Wifi baratas
• Servidor local recebendo e processando as imagens
• Detecção de objetos usando Machine Learning
• Enviar dados processados para nuvem
• Prover uma interface web local e uma remota para mostrar
os dados

16. 16
Arquitetura do Projeto

17. HARDWARE

18. 18
ESP32 Cam Raspberry Pi 3
10$
35$

19. PROVER IMAGENS NA
REDE LOCAL

20. 20
Camera Firmware
github.com/alvarowolfx/gcloud-iot-edge-tensorflow/tree/master/esp32-camera-firmware
• Conectar na rede Wifi
• Prover uma interface HTTP para adquirir as images
• Ler as imagens da camera local (OV2640)

21. 21
Descoberta de Cameras com mDNS
Protocolo de Descoberta Local
• Encontra as cameras locais automaticamente
{INSTANCE_NAME}.local/jpg
• Serviço _camera e protocolo _tcp

22. 22
Encontrando cameras locais
Podemos testar localmente using a ferramenta dns-sd
• http://indoor-camera-ec5d.local/jpg
• http://indoor-camera-60d8.local/jpg

23. 23

24. GATEWAY NA REDE LOCAL

25. BAIXAR IMAGENS, CLASSIFICAR
E ENVIAR PARA A NUVEM

26. 26
QUALQUER LINGUAGEM
PODE SER USADA AQUI

27. 27

28. ATENÇÃO
EU NÃO SOU NENHUM EXPERT
EM MACHINE LEARNING

29. MAS TALVEZ ESSA SEJA A MELHOR
PARTE DESSE PROJETO

30. tensorflow.org/js/models
Modelos Pré Treinados em TensorFlow.js que podem ser usados sem muitas alterações

31. Classification
Mobilenet model
Object Detection
CocoSSD model
Cat, Dog, DuckCat
Classification vs Object Detection

32. 32

33. 33
Arquitetura da Rede Local

34. 34
Edge/Gateway server
github.com/alvarowolfx/gcloud-iot-edge-tensorflow/tree/master/edge-server

35. DEMO - EDGE SERVER

36. 36

37. 37

38. 38
Meu Computador Raspberry Pi 3
TensorFlow.js
Core
8 seconds
per frame
45 seconds
per frame
TensorFlow.js
Node
200 milliseconds
per frame
1 second
per frame
Performance
Dica - Use tfjs-node ou tfjs-node-gpu se possível

39. CONFIGURAÇÃO EM NUVEM

40. 40
Arquitetura em Nuvem

44. cloud.google.com/iot/docs/how-tos/gateways/

45. INGESTÃO DOS DADOS

46. PLATFORMA
SERVERLESS
Cloud
Functions

47. NODEJS
PYTHON
GOLANG
Cloud
Functions

48. 48

49. ARMAZENANDO OS DADOS

51. 51

52. 52
firebase deploy 🔥 🔥 🔥

53. 53

54. 54

55. 55

56. Artigo descrevendo tudo que mostrei até agora
bit.ly/gcloud-iot-edge

57. EVOLUINDO O PROJETO

58. Eu amo gatos
E se eu pudesse rastrear meus gatos em casa ?

59. Treinando um modelo customizado
Primeira tentativa

60. Transfer Learning
Usando modelos pré treinados para treinar novos modelos com datasets menores

61. Construindo o dataset
Geralmente a parte mais dificil de qualquer projeto de ML

62. BAIXA ACURÁCIA NO MEU MODELO
😭😿

63. Treinar um modelo de classificação
Usando o mesmo dataset

64. Train a classification model
Using the same dataset

65. Melhor dos dois mundos
Usar um modelo pré treinado para detecção de objetos primeiro e depois o modelo
customizado
Detect
Objects using
CocoSSD
Filtrar
gatos e
cortar as
imagens
Classificar
com modelo
customizado

66. DEMO - CUSTOM MODEL

68. 68
Found a cat Found Jam

69. 69
Found a cat Found Berry

70. 70
Found two catsFound Jam
Found Muffin
Found Berry

71. TRABALHO FUTURO

72. Edge Devices
Performance melhor na borda

73. Outros Edge Devices
Performance melhor na borda
Sipeed Maix Bit Sparkfun Edge

74. Identificação de Faces
Identificar apenas pessoas autorizadas em um determinado local
github.com/ageitgey/face_recognition

75. Estimação de Pose
Modelo Pré Treinado - Posenet

76. RESUMINDO TUDO

77. Resumindo tudo
77
Usar o poder do
dispositivo na borda
Extrair mais
informação
usando Machine
Learning
Escalabilidade,
Flexibilidade
e Facilidade de Uso
Usando o poder tanto local quanto em nuvem

78. OBRIGADO!
AVIEBRANTZ.COM
Alvaro Viebrantz
Google Developer Expert for IoT and Product Engineer at Leverege
aviebrantz.com
@alvaroviebrantz