O documento descreve o projeto de criar um robô para autistas usando visão computacional, aprendizado de máquina e arquitetura serverless. O robô será capaz de se locomover, reconhecer objetos por meio de visão e aprender a evitar obstáculos com reforço. O projeto visa tornar o robô acessível e fácil de controlar e programar.

1. Criando um robô para autistas
usando Serverless, AI e
Image Recognition
Gabriel Couto (Bob)
@gabrielrcouto - github.com/gabrielrcouto

2. Em 2016, fui morar sozinho em
São Paulo…

4. Depois de um tempo,
senti falta de algo…

6. Uma das melhores companhias
do homem…

8. Eu não tenho espaço para um
cão, mas e se for um robô?

10. O projeto não andou muito,
até que…

12. Propósito = Combustível

14. Problemas dos robôs que encontrei
• Custo elevado
• Difíceis de montar
• Você que aprende com ele, não ele com você
• São “educacionais”, não como um “pet”
• Não são realmente Open Source
• Difíceis de “pegar"
• Personagem é distante do humano

18. Como fazer o MVP
de um robô?

20. COMPUTADOR
=
INTELIGÊNCIA
CARRINHO
=
TERMINAL BURRO

22. NodeMCU - ESP12E
R$49,90 - Wifi - LUA

23. Primeira coisa que fiz

25. O robô precisa andar via HTTP!

27. LUA
VENHA AQUI!

30. WIFI - HTTP POST
Controle
+
NodeMCU
RF AM 27MHz

31. RF AM < WIFI

35. WIFI - HTTP POST

37. Agora ele precisa enxergar!

38. HTTP POST
HTTP POST
1 FOTO/SEG

44. JAVA
VENHA AQUI!

46. • Usar API antiga do Android é trabalhoso
• Tirar foto consome mais processamento do que usar um “snapshot” do
preview
• É mais fácil enviar a foto usando base64
• É necessário usar uma fila de requests
Lições aprendidas

47. HTTP POST
HTTP POST
1 FOTO/SEG
LUA
JAVA
PHP

48. Será que consigo fazer ele
desviar de objetos?

50. Não quero usar mais sensores,
o robô já vê pela câmera!

51. Stereo Cameras
Com dois olhos, já faz tempo que sabemos como medir a distância

52. Mas só tenho uma câmera :-(

53. Deep3D: Automatic 2D-to-3D Video Conversion with CNNs
2015 - Obrigado ConvNets o/
https://github.com/piiswrong/deep3d

56. Predicting Depth, Surface Normals and Semantic Labels
with a Common Multi-Scale Convolutional Architecture
Paper de 2015

57. Unsupervised Monocular Depth Estimation
with Left-Right Consistency
Paper de 2017
https://github.com/mrharicot/monodepth

58. Better hardware and new AI smarts means this year's Google phone
is better with low-light photos while adding a new portrait mode.
Google's Pixel 2 portrait mode works on a dog, even though it can't use machine
learning that recognizes human faces. At left, portrait mode is on.

59. PYTHON
VENHA AQUI!

62. Sabendo a distância, consigo
programar como ele vai se
movimentar!

65. AQUI
TEM
OBJETO
PERTO
AQUI
TEM
OBJETO
QUASE
PERTO
AQUI
TEM
OBJETO
LONGE

66. VIRE
PARA
A
DIREITA

67. E se eu não programar? E se
ele APRENDER?

69. Q-learning
Aprendendo como as ações afetam o estado atual com base em recompensas

70. Deep Q-networks
Desenvolvida pelo Google DeepMind - 2015

72. Serverless

73. Motivos
• Precisa ser fácil adicionar um comportamento ao robô
• Precisa ser orientado a comando/eventos, podendo fazer chaining das
ações
• Precisa suportar N linguagens e containers customizados

77. Sem executar nenhuma função
% CPU muito alta!

81. PHP
Python Python Linguagem X
Kernel Signal
USR1
Running containers - Sleeping waiting the kernel signal

82. Manter uma rede neural do
Tensorflow em memória é menos
custoso do que instanciá-la toda vez

83. Por que o servidor do robô
precisa ficar na casa do dono?
• Privacidade
• Suporte a ficar offline
• Baixa latência

84. O conceito de serverless é lindo, mas para o
meu caso, irei apenas me inspirar na forma
como os “nano-services” se comunicam

85. 25%
Timeline do projeto
6 meses
hoje beta

86. Próximos passos

87. Simulador e Transfer Learning
Vai acelerar o aprendizado

88. Emoção
Identificar o rosto, olhar nos olhos, demonstrar felicidade/tristeza

89. Estrutura Esférica
Vai ajudar a ter uma locomoção mais simples e ser “pegável"

90. Reflexão

91. –Juramento da Eng. da Computação
“não me deixarei cegar pelo brilho excessivo da tecnologia, de forma
a não me esquecer de que trabalho para o bem do Homem e não da
máquina”

92. Tecnologia = Super poder

93. Nos quadrinhos temos heróis e
vilões, e no mundo da tecnologia, é
quase a mesma coisa

94. Acredito, de coração, que esta
sala está repleta de heróis

95. Muito obrigado
@gabrielrcouto
github.com/gabrielrcouto
Ajude a resolver os problemas do mundo:
github.com/php-wpi
Venha trabalhar comigo na Memed
vagas@memed.com.br