Palestra falando sobre todos os componentes necessários para construir interfaces de conversa e voz, misturando isso com projetos de hardware e internet das coisas.

1. CONSTRUINDO PROJETOS COM
GOOGLE ASSISTANT E IoT
Alvaro Viebrantz
aviebrantz.com
@alvaroviebrantz

2. Alvaro Viebrantz
@alvaroviebrantz
aviebrantz.com
Google Developer Expert for IoT
Product Engineer @ Leverege
Organizador do GDG Cuiabá e DevMT

4. Um número
crescente de
dispositivos

5. VOCÊ PODE
CONSTRUIR TAMBÉM

6. COMO ISSO FUNCIONA?
Design Develop Discover

7. Google Home/Mobile device — A superfície para interagir com
o Google Assistant.
The Google Assistant — Uma conversa entre você e o Google
que te ajuda a realizar uma atividade no seu dia a dia.
Actions on Google — Como desenvolvedores podem extender
o Google Assistant (com Assistant apps)

9. Well, it’s kind of cold outside, so I'd like
something to warm me up, like a hot
soup, and I want it fast.
I have some chicken, and also canned
tomatoes.

10. Ok Google, talk
to Personal
Chef
Well, it’s kind of
cold outside, so
I’d like...
Sure, here’s
Personal Chef
What are you
in the mood
for?
What protein
would you like
to use?
Speech to Text
NLP
Knowledge Graph
ML Ranking
User Profile
Text to Speech
Speech to Text
Text to Speech
...
Invoke Personal
Chef action
Parse query and
generate
response

11. Well, it’s kind of cold outside, so I'd like
something to warm me up, like a hot
soup, and I want it fast.
I have some chicken, and also canned
tomatoes.

12. “
Intent Matching — Relacione e categorize o que o
usuário diz com alguma intenção.
Entity Extraction — Identificar palavras chaves e
frases ditas pelo usuário.@

14. Ok Google, talk
to Personal
Chef
Well, it’s kind of
cold outside, so
I’d like...
Sure, here’s
Personal Chef
What are you
in the mood
for?
What protein
would you like
to use?
Speech to Text
NLP
Knowledge Graph
ML Ranking
User Profile
Speech to Text
Text to Speech
...
...
...
Trigger WELCOME
event
...
NLP:
Intent Matching
Entity Extraction

16. MÃO NA MASSA

17. COMO FALAR COM PLANTAS
🌱🛠🗣

18. Como falar com plantas !!!
Google Assistant + Dialogflow + Internet das Coisas

19. 19
Particle Photon
Tbm tem versão com ESP8266
Sensor de umidade
do solo
BMP280
Sensor de Temperatura
e Pressão
Anel de Neopixels
Leds endereçaveis

20. 20
Bomba d’agua
Duh
Módulo relé
Acionar luz e bomba d’água
Luz de crescimento
(Grow Light)
Luz especifica para plantas

21. 21

22. VOICE USER INTERFACE - VUI
COMO FOI MODELADA A CONVERSA

27. ENTITIES

28. ENTITIES

29. RESPOSTAS

30. FULFILLMENTS

32. !32

33. !33

34. PROCESSAMENTO DA CONVERSA

35. F L U XO DA A P L I C AÇ ÃO
!35

36. PROGRAMAÇÃO
ORIENTADA A EVENTOS

37. NODEJS
PYTHON (BETA)
GOLANG (ALPHA)

39. 39

40. 40

41. 41

42. Relembrando arquitetura
Google Assistant + Dialogflow + Internet das Coisas

43. RECEBIMENTO DOS DADOS

46. ARMAZENAMENTO DOS DADOS

48. DADOS EM FORMA DE ÁRVORE - JSON
SDK PARA VÁRIAS LINGUAGENS

49. 49

50. 50

51. 51

52. 52

53. 53

54. 54

55. 55

56. 56
FIREBASE DEPLOY 🔥 🔥 🔥

57. DEMO TIME
MAY THE DEMO GODS BE WITH US

59. DÁ PRA FAZER MAIS COISAS ?

60. SEGUNDO PROJETO
GOPHER ROBOTIC ARM
github.com/alvarowolfx/golang-voice-iot

63. 63
PCA9685
Module de 16 Canais PWM
Orange Pi Zero 🍊
4x Micro Servo Motores
MeArm
Garra robotica Open Source

67. DEMO TIME [2]
MAY THE DEMO GODS BE WITH US - AGAIN

70. OUTRAS FORMAS DE COMEÇAR
COM O GOOGLE ASSISTANT

71. 71
AIY Projects - Voice Kit
IA para humanos

72. 72
https://www.facebook.com/alvarowolfx/videos/
1372040179529841/
Demo
AIY com Google Assistant SDK

73. 73
https://www.youtube.com/watch?v=FvmdYvQnJpk
https://developer.amazon.com/alexa-voice-service
Alexa Voice Service
DIY Amazon Echo - Alexa

74. COMO COMEÇAR ?

77. Blog posts
Dois tutoriais com arquitetura completa de IoT e Google Cloud

78. ""www.iotforall.com

79. OBRIGADO
Alvaro Viebrantz
aviebrantz.com
@alvaroviebrantz