O documento discute a Internet das Coisas, aprendizado de máquina e seu aplicação em projetos como uma máquina de doces inteligente. Ele fornece uma introdução aos conceitos-chave de IoT, incluindo identificação de dispositivos, sensores, comunicação e integração. Demonstra como aprendizado de máquina pode ser usado em aplicativos do mundo real e fornece links para projetos open source e codelabs relacionados.

1. INTERNET DAS COISAS
MACHINE LEARNING
E MÁQUINAS
DE DOCES
Alvaro Viebrantz
aviebrantz.com.br
@alvaroviebrantz
medium.com/@alvaroviebrantz
1

2. Alvaro Viebrantz
DevMT e GDGCuiabá
Fullstack developer
aviebrantz.com.br // @alvaroviebrantz
medium.com/@alvaroviebrantz
2

3. Agenda de eventos
meetup.com/devmatogrosso
meetup.com/gdgcuiaba
Chat e Fórum - slack.devmt.com.br
3

4. 38anos
Computadores Primitivos Computadores Pessoais
4

5. 15anos
Computadores Pessoais Internet
5

6. 12anos
Internet Smartphones / Nuvem / Mobile
6

7. “The more advanced we become
the faster we become at
advancing”
"Marco Annunziata: Welcome to the Age of the Industrial Internet"
7

8. Nossa noção de sucesso mudou…
8

9. http://press.spotify.com/us/category/pictures/
9

10. 4.7
bilhões de
página
A Web é gigante hoje
Era do
Zetabyte*
* 1000 Exabytes
36.000
anos
de video
em hd
Últimos
20anos
http://www.livescience.com/54094-how-big-is-the-internet.html
10

11. 11

12. A Web é gigante hojeComputação Ubiqua
12

13. 13

14. Conceito de IoT
Não é só acender lâmpadas
14

15. Conceito de IoT
Refere-se a objetos identificados de forma
única e suas representações virtuais em uma
estrutura similar a internet.
Kevin Ashton em 2009
15

16. IDIdentificável
I/O
Sensores e
Atuadores
Comuni
cação
Conceito de IoT
16

17. Demo
Cadeira inteligente
Status na
web
17

18. IDIdentificável
I/O
Sensores e
Atuadores
Comuni
cação
Cadeira Inteligente
URL
cadeira.aviebrantz.com.br
MQTT WiFi
Sensor Proximidade
18

19. Demo
Cadeira inteligente
cadeira.aviebrantz.com.br
https://github.com/alvarowolfx/iot-chair-sensor
19

20. Integração é o ponto chave
Cadeira inteligente
20

21. Internet of Sh**T
“Just because it’s connected doesn't mean it’s smart”
21https://youtu.be/TIhW61FMNIc

22. “Estamos sendo substituidos ?”
Disse Joãozinho preocupado
22

23. Nós já confiamos nas máquinas
Para coisas não exatas
23

24. Conceito de IoT
"Se tivéssemos computadores que
soubessem tudo que se poderia saber sobre
coisas - utilizando dados que coletaram sem
nenhuma ajuda nossa - seríamos capazes de
rastrear contabilizar tudo e reduzir
desperdícios, perdas e custos."
Kevin Ashton, That 'Internet of Things' thing.
RFID Journal, Julho de 2009
A idéia não é nos substituir
24

25. Revolução
Estamos vivendo isso
25

26. Revolução
O que o futuros no reserva ?
26

27. Smart Devices
Termostato
Brinquedo
Lâmpada
Vaso de planta
27

28. Apple Siri
Assistentes Pessoais
Coisas que pensam
28

29. IoT é serviço
O importante não é o hardware,
mas o que você entrega
29

30. 30

31. Como começar ?
Dados
Comuni
cação
Hardware
Progra
mação
31
Alguns pilares em IoT

32. Equipamentos profissionais
32
Focar no software

33. Cultura Maker
33
DIY - Faça você mesmo

34. Hardware - Micro controladores (MCU)
34
Como desenvolver hardware para IoT
Particle PhotonESP8266 👑
+ Ecossistema Arduino
+ Wifi embutido
LinkIt Smart
+ Ecossistema Arduino
+ Linux embarcado

35. Hardware - Micro controladores (MCU)
35
Como desenvolver hardware para IoT
ESP8266 👑
+ Ecossistema Arduino
+ Wifi embutido
mDNS
Wifi
Manager
MQTT
Over
The Air
Update

36. Hardware - Single Board Computer (SBC)
36
Como desenvolver hardware para IoT
Raspberry Pi 👑
+ Ecossistema gigante
+ Wifi e Bluetooth embutido
+ Muito material na internet
BeagleBone Orange Pi 🍊
- Documentação ruim
+ Wifi e Bluetooth embutido
+ Muito barato

37. Programação
37
Como desenvolver software para IoT
• Micro controladores
• C/C++
• MicroPython
• Lua
• Single Board Computer
• Linux 🐧
• Praticamente qualquer
linguagem
• Muita coisa em Python e
Java

38. Comunicação
38
Protocolos e padrões de comunicação
• Software
• HTTP
• MQTT
• Atenção a uso de
banda
• Hardware - Radio Frequência
• Wifi
• NRF e RFM
• LoraWan
• Sigfox
• GPRS/3G

39. Dados e Nuvem
39
Onde e como armazenar e processar informações
• Conceitos importantes
• BigData e NoSQL
• Machine Learning
• Data Mining
• Nuvem
• Google Cloud
• Microsoft Azure
• Amazon AWS

40. AIY Projects - Voice Kit
40
IA para humanos

41. Demo
41
AIY com Google Assistant SDK
https://developers.google.com/assistant/sdk/

42. Demo
42
AIY com Google Assistant SDK
https://www.facebook.com/alvarowolfx/videos/1372040179529841/

43. Alexa Voice Service
43
DIY Amazon Echo - Alexa
https://www.youtube.com/watch?v=FvmdYvQnJpk
https://developer.amazon.com/alexa-voice-service

44. É uma extensão da plataforma
Android para IoT e dispositivos
embarcados.
44
Android Things

45. Android SDK Android
Studio
Play Services Firebase Cloud
Platform
Mesmo ecossistema do Android
45
Todo poder dos serviços do Google

46. Android Things Dev Preview
Você pode iniciar com um Raspberry Pi 3
46

47. Produção em escala
Google Managed
BSP
SoM
Architecture
Módulos pré-certificados (SoM - System On Module)
47

48. Machine Learning
“Smart Devices”
“Coisas que pensam”
e
48

49. Na prática
O que é machine learning ?
49

50. Na prática
O que é machine learning ?
50

51. Na prática
O que é machine learning ?
51

52. Novo problema ?
Comece do zero :(
52

53. Machine Learning
Aprendizado de máquina
Reconhecer padrões
em dados de treinamento
Aplica padrões reconhecidos
em dados desconhecidos
Regressão ou classificação
dos dados
Ajuste do modelo
53

54. • Usar a Cloud ou a Mobile API (Vision,
Natural Language, etc.)
• Usar um arquitetura existente e re-treinar
ela ou fazer um ajuste fino para o seu
conjunto de dados
• Desenvolver o seu próprio modelo para
resolver novos problemas
Mais
flexível,
mas requer
maior
esforço
Como você pode iniciar com Machine Learning?
Três caminhos, com diferentes complexidades:
54

55. Cloud
Natural Language
Cloud
Speech
Cloud
Vision
Cloud Machine Learning APIs
Veja, Ouça e Entenda o mundo
55

56. Faces
Faces, marcações faciais,
emoções
OCR
Ler e extrair texto, com
suporte para > 10 linguagens
Classificação
Detectar entidades de mobília a
meios de transporte
Logos
Identificar logos de produtos
Marcos e Propriedades
da imagem
Busca Segura
Detectar conteúdo explícito - adulto,
violência, médicas e fraudes
Cloud Vision API
56
Reconhecimento de imagens

57. Extrair frases, identificar partes
da fala e criar uma árvore de
dependências para cada
sentença.
Identificar entidades e
classificá-las por tipos, como
pessoa, organização local,
evento, produto e media.
Entender o sentimento
dominante do bloco de texto.
Análise de Sintaxe Reconhecimento de entidades
Análise de sentimentos
57
Cloud Natural Language API
Reconhecimento de linguagem natural

58. Automatic Speech Recognition
(ASR) powered by deep learning
neural networking to power your
applications like voice search or
speech transcription.
Recognizes over 80
languages and
variants with an
extensive
vocabulary.
Returns partial
recognition results
immediately, as they
become available.
Filter inappropriate
content in text
results.
Audio input can be captured by an
application’s microphone or sent from a
pre-recorded audio file. Multiple audio file
formats are supported, including FLAC,
Handles noisy audio from
many environments without
requiring additional noise
cancellation.
Audio files can be uploaded in
the request and, in future
releases, integrated with
Google Cloud Storage.
Automatic Speech Recognition Global Vocabulary
Inappropriate Content
Filtering
Streaming
Recognition
Real-time or Buffered Audio Support Noisy Audio Handling Integrated API
58
Cloud Speech API
Reconhecimento de áudio e voz

59. Face API
faces, marcações faciais, olhos
abertos, sorrisos
Barcode API
Códigos de barra 1D e
2D
Text API
Alfabeto latino /
estrutura
Common Mobile Vision API
Suporte para detecção e rastreio de imagens e vídeos no dispositivo
Mobile Vision API
Provendo visão para aplicações diretamente no dispositivo
59

60. Combinado Visão e Tradução
60

61. • Funções especificas para
Deep Learning
• Para pesquisa e produção
• Licença Apache 2.0
61
TensorFlow
Biblioteca de machine learning Open source

62. Raspberry PiDatacentersSeu laptop Android iOS
62
Portável e Escalável
Rode em qualquer lugar

63. 63
Reconhecimento de Imagens
Modelo Inception V3 - Modelo desenvolvido pelo Google
https://research.googleblog.com/2016/03/train-your-own-image-classifier-with.html
Fire Salamander
Golden Retriever
Dalmatian

64. Projetos e Aplicações
64

65. Contagem de pessoas na fila
Processamento de imagens e envio apenas de informação relevante
65

66. Classificação de Pepinos
Tensorflow rodando local no dispositivo embarcado
66
https://cloud.google.com/blog/big-data/2016/08/how-a-japanese-
cucumber-farmer-is-using-deep-learning-and-tensorflow

67. Irrigação inteligente
Aprender a irrigar corretamente utilizando sensores de umidade do
solo, controle de irrigação e técnicas de aprendizado por reforço
67

68. Apple Siri
Reconhecimento de voz
Entender e identificar entidades
68

69. A.I. Candy Dispenser
Máquina de doces inteligente
Android
Things
Cloud
Vision
69

70. A.I. Candy Dispenser
Máquina de doces inteligente
Cloud
Vision
70
Android Things
Tira uma foto
Classifica foto
Libera doces
ou

71. A.I. Candy Dispenser
Máquina de doces inteligente
71

72. A.I. Candy Dispenser
Na mídia 🎉
https://blog.hackster.io/
hacksters-handpicked-projects-of-
the-week-e2403bdf387a
http://www.htxt.co.za/2017/06/07/
this-ai-candy-dispenser-swaps-
pictures-for-sweets/ 72
https://www.raspberrypi.org/
blog/android-things-candy-
dispenser/

73. Open Source - Máquina de Doces Inteligente
https://github.com/alvarowolfx/ai-candy-dispenser
73
https://www.hackster.io/alvarowolfx/android-things-a-i-candy-
dispenser-a47e74

74. Projetos - Monitor Energia AndroidThings
https://github.com/riggaroo/android-things-electricity-monitor
74

75. Projetos - Piano distribuido
https://riggaroo.co.za/android-things-building-distributed-piano/
75

76. Codelab - Estação Meteorológica AndroidThings
https://codelabs.developers.google.com/codelabs/androidthings-weatherstation
76

77. Codelab - Android Things Image Classifier
https://codelabs.developers.google.com/codelabs/androidthings-classifier

78. Codelab - Face Detection with Mobile Vision API
https://codelabs.developers.google.com/codelabs/face-detection

79. Codelab - Cloud Function + Cloud Vision API
https://codelabs.developers.google.com/codelabs/firebase-cloud-functions

80. DUVIDAS ?
Alvaro Viebrantz
aviebrantz.com.br
@alvaroviebrantz
medium.com/@alvaroviebrantz
80

81. Links úteis
• https://cloud.google.com/vision/
• https://cloud.google.com/products/
• https://developers.google.com/assistant/sdk/
• https://developer.android.com/things/
• https://iot.google.com
• https://www.tensorflow.org
• https://developer.amazon.com
• https://www.youtube.com/user/GoogleDevelopers/videos
• https://www.hackster.io/alvarowolfx/android-things-a-i-candy-dispenser-a47e74
81

82. Referência
• https://www.slideshare.net/andrecurvello/internet-das-coisas-do-sensor-nuvem-e-
voc
• https://www.youtube.com/watch?v=ETWhOWvqH5E
• https://www.youtube.com/watch?v=0JWGFMtDDy0
82