INTERNET DAS COISAS
MACHINE LEARNING
E MÁQUINAS
DE DOCES
Alvaro Viebrantz
aviebrantz.com.br
@alvaroviebrantz
medium.com/@alvaroviebrantz
1
Alvaro Viebrantz
DevMT e GDGCuiabá
Fullstack developer
aviebrantz.com.br // @alvaroviebrantz
medium.com/@alvaroviebrantz
2
Agenda de eventos
meetup.com/devmatogrosso
meetup.com/gdgcuiaba
Chat e Fórum - slack.devmt.com.br
3
38anos
Computadores Primitivos Computadores Pessoais
4
15anos
Computadores Pessoais Internet
5
12anos
Internet Smartphones / Nuvem / Mobile
6
“The more advanced we become
the faster we become at
advancing”
"Marco Annunziata: Welcome to the Age of the Industrial Internet"
7
Nossa noção de sucesso mudou…
8
http://press.spotify.com/us/category/pictures/
9
4.7
bilhões de
página
A Web é gigante hoje
Era do
Zetabyte*
* 1000 Exabytes
36.000
anos
de video
em hd
Últimos
20anos
http://www.livescience.com/54094-how-big-is-the-internet.html
10
11
A Web é gigante hojeComputação Ubiqua
12
13
Conceito de IoT
Não é só acender lâmpadas
14
Conceito de IoT
Refere-se a objetos identificados de forma
única e suas representações virtuais em uma
estrutura similar a internet.
Kevin Ashton em 2009
15
IDIdentificável
I/O
Sensores e
Atuadores
Comuni
cação
Conceito de IoT
16
Demo
Cadeira inteligente
Status na
web
17
IDIdentificável
I/O
Sensores e
Atuadores
Comuni
cação
Cadeira Inteligente
URL
cadeira.aviebrantz.com.br
MQTT WiFi
Sensor Proximidade
18
Demo
Cadeira inteligente
cadeira.aviebrantz.com.br
https://github.com/alvarowolfx/iot-chair-sensor
19
Integração é o ponto chave
Cadeira inteligente
20
Internet of Sh**T
“Just because it’s connected doesn't mean it’s smart”
21https://youtu.be/TIhW61FMNIc
“Estamos sendo substituidos ?”
Disse Joãozinho preocupado
22
Nós já confiamos nas máquinas
Para coisas não exatas
23
Conceito de IoT
"Se tivéssemos computadores que
soubessem tudo que se poderia saber sobre
coisas - utilizando dados que coletaram sem
nenhuma ajuda nossa - seríamos capazes de
rastrear contabilizar tudo e reduzir
desperdícios, perdas e custos."
Kevin Ashton, That 'Internet of Things' thing.
RFID Journal, Julho de 2009
A idéia não é nos substituir
24
Revolução
Estamos vivendo isso
25
Revolução
O que o futuros no reserva ?
26
Smart Devices
Termostato
Brinquedo
Lâmpada
Vaso de planta
27
Apple Siri
Assistentes Pessoais
Coisas que pensam
28
IoT é serviço
O importante não é o hardware,
mas o que você entrega
29
30
Como começar ?
Dados
Comuni
cação
Hardware
Progra

mação
31
Alguns pilares em IoT
Equipamentos profissionais
32
Focar no software
Cultura Maker
33
DIY - Faça você mesmo
Hardware - Micro controladores (MCU)
34
Como desenvolver hardware para IoT
Particle PhotonESP8266 👑
+ Ecossistema Arduino
+ Wifi embutido
LinkIt Smart
+ Ecossistema Arduino
+ Linux embarcado
Hardware - Micro controladores (MCU)
35
Como desenvolver hardware para IoT
ESP8266 👑
+ Ecossistema Arduino
+ Wifi embutido
mDNS
Wifi

Manager
MQTT
Over
The Air
Update
Hardware - Single Board Computer (SBC)
36
Como desenvolver hardware para IoT
Raspberry Pi 👑
+ Ecossistema gigante
+ Wifi e Bluetooth embutido

+ Muito material na internet
BeagleBone Orange Pi 🍊
- Documentação ruim
+ Wifi e Bluetooth embutido

+ Muito barato
Programação
37
Como desenvolver software para IoT
• Micro controladores
• C/C++
• MicroPython
• Lua
• Single Board Computer
• Linux 🐧
• Praticamente qualquer
linguagem
• Muita coisa em Python e
Java
Comunicação
38
Protocolos e padrões de comunicação
• Software
• HTTP
• MQTT
• Atenção a uso de
banda
• Hardware - Radio Frequência
• Wifi
• NRF e RFM
• LoraWan
• Sigfox
• GPRS/3G
Dados e Nuvem
39
Onde e como armazenar e processar informações
• Conceitos importantes
• BigData e NoSQL
• Machine Learning
• Data Mining
• Nuvem
• Google Cloud
• Microsoft Azure
• Amazon AWS
AIY Projects - Voice Kit
40
IA para humanos
Demo
41
AIY com Google Assistant SDK
https://developers.google.com/assistant/sdk/
Demo
42
AIY com Google Assistant SDK
https://www.facebook.com/alvarowolfx/videos/1372040179529841/
Alexa Voice Service
43
DIY Amazon Echo - Alexa
https://www.youtube.com/watch?v=FvmdYvQnJpk
https://developer.amazon.com/alexa-voice-service
É uma extensão da plataforma
Android para IoT e dispositivos
embarcados.
44
Android Things
Android SDK Android
Studio
Play Services Firebase Cloud
Platform
Mesmo ecossistema do Android
45
Todo poder dos serviços do Google
Android Things Dev Preview
Você pode iniciar com um Raspberry Pi 3
46
Produção em escala
Google Managed
BSP
SoM
Architecture
Módulos pré-certificados (SoM - System On Module)
47
Machine Learning
“Smart Devices”
“Coisas que pensam”
e
48
Na prática
O que é machine learning ?
49
Na prática
O que é machine learning ?
50
Na prática
O que é machine learning ?
51
Novo problema ?
Comece do zero :(
52
Machine Learning
Aprendizado de máquina
Reconhecer padrões
em dados de treinamento
Aplica padrões reconhecidos
em dados desconhecidos
Regressão ou classificação
dos dados
Ajuste do modelo
53
• Usar a Cloud ou a Mobile API (Vision,
Natural Language, etc.)
• Usar um arquitetura existente e re-treinar
ela ou fazer um ajuste fino para o seu
conjunto de dados
• Desenvolver o seu próprio modelo para
resolver novos problemas
Mais
flexível,
mas requer
maior
esforço
Como você pode iniciar com Machine Learning?
Três caminhos, com diferentes complexidades:
54
Cloud 

Natural Language
Cloud 

Speech
Cloud 

Vision
Cloud Machine Learning APIs
Veja, Ouça e Entenda o mundo
55
Faces
Faces, marcações faciais,
emoções
OCR
Ler e extrair texto, com
suporte para > 10 linguagens
Classificação
Detectar entidades de mobília a
meios de transporte
Logos
Identificar logos de produtos
Marcos e Propriedades
da imagem
Busca Segura
Detectar conteúdo explícito - adulto,
violência, médicas e fraudes
Cloud Vision API
56
Reconhecimento de imagens
Extrair frases, identificar partes
da fala e criar uma árvore de
dependências para cada
sentença.
Identificar entidades e
classificá-las por tipos, como
pessoa, organização local,
evento, produto e media.
Entender o sentimento
dominante do bloco de texto.
Análise de Sintaxe Reconhecimento de entidades
Análise de sentimentos
57
Cloud Natural Language API
Reconhecimento de linguagem natural
Automatic Speech Recognition
(ASR) powered by deep learning
neural networking to power your
applications like voice search or
speech transcription.
Recognizes over 80
languages and
variants with an
extensive
vocabulary.
Returns partial
recognition results
immediately, as they
become available.
Filter inappropriate
content in text
results.
Audio input can be captured by an
application’s microphone or sent from a
pre-recorded audio file. Multiple audio file
formats are supported, including FLAC,
Handles noisy audio from
many environments without
requiring additional noise
cancellation.
Audio files can be uploaded in
the request and, in future
releases, integrated with
Google Cloud Storage.
Automatic Speech Recognition Global Vocabulary
Inappropriate Content
Filtering
Streaming
Recognition
Real-time or Buffered Audio Support Noisy Audio Handling Integrated API
58
Cloud Speech API
Reconhecimento de áudio e voz
Face API
faces, marcações faciais, olhos
abertos, sorrisos
Barcode API
Códigos de barra 1D e
2D
Text API
Alfabeto latino /
estrutura
Common Mobile Vision API
Suporte para detecção e rastreio de imagens e vídeos no dispositivo
Mobile Vision API
Provendo visão para aplicações diretamente no dispositivo
59
Combinado Visão e Tradução
60
• Funções especificas para
Deep Learning
• Para pesquisa e produção
• Licença Apache 2.0
61
TensorFlow
Biblioteca de machine learning Open source
Raspberry PiDatacentersSeu laptop Android iOS
62
Portável e Escalável
Rode em qualquer lugar
63
Reconhecimento de Imagens
Modelo Inception V3 - Modelo desenvolvido pelo Google
https://research.googleblog.com/2016/03/train-your-own-image-classifier-with.html
Fire Salamander
Golden Retriever
Dalmatian
Projetos e Aplicações
64
Contagem de pessoas na fila
Processamento de imagens e envio apenas de informação relevante
65
Classificação de Pepinos
Tensorflow rodando local no dispositivo embarcado
66
https://cloud.google.com/blog/big-data/2016/08/how-a-japanese-
cucumber-farmer-is-using-deep-learning-and-tensorflow
Irrigação inteligente
Aprender a irrigar corretamente utilizando sensores de umidade do
solo, controle de irrigação e técnicas de aprendizado por reforço
67
Apple Siri
Reconhecimento de voz
Entender e identificar entidades
68
A.I. Candy Dispenser
Máquina de doces inteligente
Android
Things
Cloud 

Vision
69
A.I. Candy Dispenser
Máquina de doces inteligente
Cloud 

Vision
70
Android Things
Tira uma foto
Classifica foto
Libera doces
ou
A.I. Candy Dispenser
Máquina de doces inteligente
71
A.I. Candy Dispenser
Na mídia 🎉
https://blog.hackster.io/
hacksters-handpicked-projects-of-
the-week-e2403bdf387a
http://www.htxt.co.za/2017/06/07/
this-ai-candy-dispenser-swaps-
pictures-for-sweets/ 72
https://www.raspberrypi.org/
blog/android-things-candy-
dispenser/
Open Source - Máquina de Doces Inteligente
https://github.com/alvarowolfx/ai-candy-dispenser
73
https://www.hackster.io/alvarowolfx/android-things-a-i-candy-
dispenser-a47e74
Projetos - Monitor Energia AndroidThings
https://github.com/riggaroo/android-things-electricity-monitor
74
Projetos - Piano distribuido
https://riggaroo.co.za/android-things-building-distributed-piano/
75
Codelab - Estação Meteorológica AndroidThings
https://codelabs.developers.google.com/codelabs/androidthings-weatherstation
76
Codelab - Android Things Image Classifier
https://codelabs.developers.google.com/codelabs/androidthings-classifier
Codelab - Face Detection with Mobile Vision API
https://codelabs.developers.google.com/codelabs/face-detection
Codelab - Cloud Function + Cloud Vision API
https://codelabs.developers.google.com/codelabs/firebase-cloud-functions
DUVIDAS ?
Alvaro Viebrantz
aviebrantz.com.br
@alvaroviebrantz
medium.com/@alvaroviebrantz
80
Links úteis
• https://cloud.google.com/vision/
• https://cloud.google.com/products/
• https://developers.google.com/assistant/sdk/
• https://developer.android.com/things/
• https://iot.google.com
• https://www.tensorflow.org
• https://developer.amazon.com
• https://www.youtube.com/user/GoogleDevelopers/videos
• https://www.hackster.io/alvarowolfx/android-things-a-i-candy-dispenser-a47e74
81
Referência
• https://www.slideshare.net/andrecurvello/internet-das-coisas-do-sensor-nuvem-e-
voc
• https://www.youtube.com/watch?v=ETWhOWvqH5E
• https://www.youtube.com/watch?v=0JWGFMtDDy0
82

Internet das coisas, machine learnign e maquinas de doces