Introduction to Data Augmentation and Transfer Learning

1. Data Augmentation e Transfer Learning
Cristian E. Muñoz Villalobos

2. Agenda
Datasets
Data Augmentation
- Data Generator
- Transformações
Modelos Pré-treinados
- AlexNet, VGG, ResNet
Transfer Learning
- Ex: Transfer Learning (MNIST)
- Estudo de Caso

3. Agenda
Datasets
Data Augmentation
- Data Generator
- Transformações
Modelos Pré-treinados
- AlexNet, VGG, ResNet
Transfer Learning
- Ex: Transfer Learning (MNIST)
- Estudo de Caso

4. Obs:
Repositorios Material:
Transfer Learning:
https://github.com/crismunoz/DeepLearningExamples/tree/master/week1
Google Colab:
https://colab.research.google.com

5. Datasets
Deep Learning Grande quantidades de dados.

6. ImageNet: http://www.image-net.org/ (Classificação de Objetos)
Datasets
IM GENET

7. Pascal VOC: http://host.robots.ox.ac.uk/pascal/VOC/index.html (Detecção de objetos)
Datasets

8. Pascal VOC: http://host.robots.ox.ac.uk/pascal/VOC/index.html (Segmentação de Objetos)
Datasets

9. Datasets
DAVIS datasets: https://fperazzi.github.io/projects/bvs/ (Segmentação em Videos)

10. Datasets
Y Texto?

11. Datasets
Y Texto?

12. Datasets
Deep Learning Grande quantidades de dados.
Qual é a diferença entre um aprendizado de máquina e de um ser humano?

13. Agenda
Datasets
Data Augmentation
- Data Generator
- Transformações
Modelos Pré-treinados
- AlexNet, VGG, ResNet
Transfer Learning
- Ex: Transfer Learning (MNIST)
- Estudo de Caso

14. Data Augmentation
Como evitar overfitting em nosso treinamento?

15. Data Augmentation
Como evitar overfitting em nosso treinamento?
● Procurar mais dados
● Data augmentation
● Usar arquiteturas generalizadas (Transfer Learning)
● Regularização
● Reduzir a complexidade da arquitetura.

16. Data Augmentation
Como evitar overfitting em nosso treinamento?
● Procurar mais dados
● Data augmentation
● Usar arquiteturas generalizadas (Transfer Learning)
● Regularização
● Reduzir a complexidade da arquitetura.

17. Data Augmentation
Na prácticas trasnformações geometricas e de color são realizadas na figura.
São realizadas transformações aleatórias como:
Flipping
Zooming
Rotating
Stretching
Changing Lighting ….

18. Feed Data
Em Deep Learning, qual é a forma (na prática) de entregar os dados ao modelo de
aprendizado?

19. Vamos programar um data generator!
Tarefa 1: Criar um gerador que retorne um professor em cada chamada.
professores = ['Manoela','Leonardo','Cristian','Smith', 'Carol','Ashade', 'Pedro',
'Evelyn','Julia']
Tarefa 2: Criar um gerador que retorne um grupo de professores em cada
chamada.
Tarefa 3: Criar um gerador que retorne um grupo de tweets em cada chamada.
file = open('data/tweets.txt').read().split('n')
Ex: Feed Data

20. Agenda
Datasets
Data Augmentation
- Data Generator
- Transformações
Modelos Pré-treinados
- AlexNet, VGG, ResNet
Transfer Learning
- Ex: Transfer Learning (MNIST)
- Estudo de Caso

21. Modelos Pré-treinados

22. AlexNet
# Parametros: 60,000,000
https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

23. VGG
- Usar pequenos filtros, conexões
profundas
- Uma camadas de filtros pequenos (3x3)
são igual de efectivas que uma camadas
de (7x7).
- Maior profundidade, maior
não-linearidade
- Pequenos filtros, menos parametros.

24. VGG

25. ResNet (Residual Connections)
A profundidade da rede é um fator importante em sua arquitetura, porém
incrementa a dificuldade do treinamento. As conexões residuais facilitam o
treinamento da rede neural e permitem substancialmente incrementar a
profundidade da rede.
Solução: Deixar que as camadas
se encaixem em um mapeamento
residual.

26. ResNet (Residual Connections)

27. AlexNet
VGG-16
ResNet50
GoogleNet

28. Transfer Learning

29. Agenda
Datasets
Data Augmentation
- Data Generator
- Transformações
Modelos Pré-treinados
- AlexNet, VGG, ResNet
Transfer Learning
- Ex: Transfer Learning (MNIST)
- Estudo de Caso

30. Transfer Learning
Modelos pré-treinados tem que aprender features de imagens que são utilizados
para diferenciar uma imagem de outra (Classes)
Os features das camadas iniciais codificam contornos e cores, depois codificam
texturas e formas.

31. Passo a passo ...
Treinado
Remover as camadas FC (Full Connected) do modelo
VGG-16 pré-treinado.
Rodar as imagens do dataset na rede truncada para
produzir os vetores de imagem ( features).
Utilizar estes vetores para treinar outro classificador
para prever os rótulos dos dados de treinamento.
Previsão:
A imagem precisa ser pré-processada em um vetor de
imagem pelo modelo VGG-16 pré-treinado.
A saída (vetor de imagem) passa pelo segundo
classificador como entrada.

32. Passo a passo ...
Treinado
Remover as camadas FC (Full Connected) do modelo
VGG-16 pré-treinado.
Rodar as imagens do dataset na rede truncada para
produzir os vetores de imagem ( features).
Utilizar estes vetores para treinar outro classificador
para prever os rótulos dos dados de treinamento.
Previsão:
A imagem precisa ser pré-processada em um vetor de
imagem pelo modelo VGG-16 pré-treinado.
A saída (vetor de imagem) passa pelo segundo
classificador como entrada.
Full Connected
softmax