Transfer learning e tensorflow hub

1. Transfer Learning &
Tensorflow Hub
LUCAS V. OLIVEIRA

2. About me
- Engenheiro de Controle e Automação
- Iniciei estudos em Machine Learning em 2015
- Atualmente trabalho como consultor de Data Science

3. O que é Machine Learning?
- Algoritmos capazes de aprender automaticamente um comportamento ideal (ou próximo disso).
-Decision Trees
-K Nearest Neighbors
-Neural Networks
-Support Vector Machines

4. O que é Deep Learning?
-Consegue extrair automaticamente features complexas ao preço de muito mais dados e computação.
-Vanilla Neural Networks
-Convolutional Neural Networks
-Recurrent Neural Networks
-GANs

5. O que são essas features?

6. O que é Transfer Learning?
- É uma forma de reutilizar modelos treinados ou parte deles em outros modelos.
- Análogo ao criar bibliotecas para reutilizarmos código em diferentes projetos.
Camadas Pré-treinadas

7. Por quê reutilizar modelos?
- Deep learning é caro!
◦ Adquirir dados
◦ Capacidade computacional
◦ Tempo (semanas, meses)
◦ Conhecimento avançado
- Transfer Learning ajuda:
◦ Economizar tempo
◦ Economizar dinheiro
◦ Time To Market
◦ Contribui para o avanço e disseminação da Inteligência Artificial

8. Então é só pegar um pedaço da rede?
Quase isso. Precisamos de boas representações (features)!

9. Qual a melhor representação?
? + ? = 10
9 + 1 = 10
5 + 5 = 10
2.77 + 7.23 = 10

10. Solução: Multitask learning!
-Otimizar a rede para diversas tarefas similares para forçar representações genéricas

11. Resumindo:
-Transfer learning é uma técnica de compartilhar e reutilizar partes de um modelo.
-Não reinventar a roda!
-Muito importante que as representações sejam boas.

12. Tensorflow Hub
- Plataforma criada para compartilhar e reutilizar modelos dentro do Tensorflow
- Diversos modelos:
Classificação Imagens
Classificação de Texto
Geração de Imagens

13. Módulos
- Basicamente “pedaços” de grafos de Tensorflow pré treinados

14. Instalando Tensorflow Hub
pip install tensorflow-hub
import tensorflow_hub as hub

15. Escolhendo o módulo
https://tfhub.dev/

16. Universal Sentence Encoder
- Modelo para codificar frases inteiras!
- Só inglês :/

17. Análise de Sentimento (Sem TFHub)
a [1,0,0,0]
comida [0,1,0,0]
estava [0,0,1,0]
otima [0,0,0,1]
Positivo
Negativo
Sua rede neural (tokenizar, normalizar, codificar...]

18. Análise de Sentimento (Com TFHub)
A comida estava ótima! Positivo
Negativo
Modulo TFHub Sua rede neural

19. Coding time! Obrigado!
https://iolucas.github.io
Mais informações:
https://www.deeplearningbook.org/
https://tensorflow.org/
https://www.tensorflow.org/hub
https://distill.pub/