O documento apresenta pesquisas em machine learning e machine teaching conduzidas na IBM Research Lab, incluindo aplicações como transferência de estilo em imagens, leitura labial, detecção de fraude em vídeos e interação humano-máquina no desenvolvimento de modelos.

1. 0© Copyright IBM Corporation 2019.
Dr. Mauro Pichiliani
Pesquisador/cientista
IBM Research Lab
Machine Learning & Machine Teaching

2. 1© Copyright IBM Corporation 2019.
• Transferência de estilo de caligrafia para imagens
• Rede convolucional + LSTM
• Live demo: https://ibm.biz/Bd2UhE
Style transfer de caligrafia

3. 2© Copyright IBM Corporation 2019.
• Uso de estratégias evolucionárias para treinamento de múltiplos agentes
• Treinamento de estratégias “avançadas”
• Descobriu um bug em um jogo de Atari (Q*bert) de 1982!
Encontrando bugs em software

4. 3© Copyright IBM Corporation 2019.
• Leitura labial em vídeo – rede LipNet (2016)
• Superou avaliação humana (H: 52% x C: 95.2%)
• Recurrent network com spatiotemporal convolutions
Leitura labial

5. 4© Copyright IBM Corporation 2019.
• Substituição de rostos em filmes
• Impacto importante na mídia e discussões sobre consentimento
• App para desktop (FakeApp) facilitou o processo
• Baseado no modelo Face2Face (detecção de rosto e 3D rendering)
DeepFakes

6. 5© Copyright IBM Corporation 2019.
• Dado um discurso, gera vídeo com áudio sincronizado
• Paper “Synthesizing Obama: Learning Lip Sync from Audio” (SIGGRAPH
2017)
• Redes LSTM+optical flow+ 3D pose estimation
Síntese de video para discurso

7. 6© Copyright IBM Corporation 2019.
• Mudar a cor do cabelo em tempo real
• App ModiFace 3D: arquitetura da rede patentiada
• Mas de dados 220.00 imagens rotuladas em 6 anos
Mudança da cor de cabelo

8. 7© Copyright IBM Corporation 2019.
• Rede neural consegue “abrir” os olhos de quem “piscou na foto”
• Redes ExGANs (Exemplar GANs)
Abrindo os olhos

9. 8© Copyright IBM Corporation 2019.
• Olhar indica onde está atenção da pessoa
• Rede DeepWarp: https://ibm.biz/Bd2Uhs
Mudança de direção do olhar

10. 9© Copyright IBM Corporation 2019.
• Baseado na rede do Google Pix2Pix (rede GAN para image to image)
• Rápida prototipação de ideias
• Live demo: https://ibm.biz/Bd2UJ4
Geração de imagens a partir de rascunhos

11. 10© Copyright IBM Corporation 2019.
• Analisa corpus de perguntas e respostas (QA)
• Baseado em redes com mecanismo de atenção e transformers
• Novos word embendings e arquiteturas (ELMO, BERT, OpenAI Gpt2)
• Live demo: https://ibm.biz/Bd2UJs
Compreensão de texto

12. 11© Copyright IBM Corporation 2019.
• Requer muitos dados (rotulados e de qualidade)
• Tuning de modelo por cientista de dados
• Muitos recursos para re-treino do modelo com novos
dados
• Dificuldade para transferência de aprendizado entre
domínios e tarefas
• Modelos “caixa preta”
“Problemas” do Machine Learning com Deep Learning

13. 12© Copyright IBM Corporation 2019.
• MT sugere que especialistas de domínio ensinem a
máquina (human in the loop)
• Vai além de rotular novos dados e retreinar o modelo
+
• Lida melhor com mudança no negócio e novos dados
• Redefine o fluxo de coleta de dados+treinamento+tuning
+teste
• Permite interpretação e explicação do modelo
Machine Teaching: ensinando as máquinas

14. 13© Copyright IBM Corporation 2019.
MT: Comparação com programação
Machine Teaching A New Paradigm for Building Machine Learning Systems. Simard et al., 2017

15. 14© Copyright IBM Corporation 2019.
MT: Interative Machine Learning
Power to the People: The Role of Humans in Interactive Machine Learning. Amershi et al., 2014

16. 15© Copyright IBM Corporation 2019.
MT: Exemplo
• NLPReViz: https://ibm.biz/Bd2UA4

17. 16© Copyright IBM Corporation 2019.
MT: Exemplo
• ModelTracker: https://ibm.biz/Bd2UAY

18. 17© Copyright IBM Corporation 2019.
Conclusão
• Machine learning + deep learning: rápida evolução e
resultados muito bons
• Diversas áreas sendo beneficiadas
• ML tradicional requer muitos recursos
• Machine Teaching: humanos ensinando as máquinas
• Futuro reserva novas abordagens e ideias

19. 18© Copyright IBM Corporation 2019.
Perguntas?
Dr. Mauro Pichiliani
pichiliani@gmail.com
@pichiliani
@databasecast