Introduction to NLP

1. Processamento de
Linguagem Natural
Msc. Cristian Muñoz Villalobos

2. Obs:
Repositorios Material:
Transfer Learning:
https://github.com/crismunoz/DeepLearningExamples/tree/master/week1
Processamento de Linguagem Natural:
https://github.com/crismunoz/DeepLearningExamples/tree/master/week2
Google Colab:
https://colab.research.google.com

3. Sumário
Representação de Palavras
- Introdução (Vetores Pré-treinados)
- Word2vector, WmdSimilarity e Tensorboard
- Exemplo usando vetores pré-treinados: Emojify (BoW e LSTM)
Modelamento de Linguagem (LSTM Teaching Forcing)
LSTM (Séries Temporais)

4. Aprendizado de Representações
O que é uma representação? Conceitos / Caracteristicas.
O que é uma boa representação? / Facilita a resolução de determinada tarefa.
Tipos de Representações:
- Localizada (One-Hot encoding)
- Entrada representada por um único símbolo ou categoria.
- Distribuida (Embedding)
- Representa conceitos que são composta de elementos (caracteristica).

5. Aprendizado de Representações

6. Vocabulario x<1>
x<2>
x<3>
x<4>
….. x<8>
….
a 1 0 . 0 0 1
…. ... ... ... ... ...
desgasta 1051 0 0 1 0 0
deadpool 1052 0 0 1 0
…. .. ... ... ... ...
o 2174 1 0 0 0
... .. ... .. ... ...
que 3054 0 1 0 0
... 0 0 0 0 0
O que desgasta Deadpool 2 mesmo é a indecisão.
x<1>
x<2>
x<3 >
x<4>
x<5>
x<6>
x<7>
x<8>
x<9>

7. Representação de Palavras
A palavra é uma codificação criada pelos humanos para representar algum tipo de ideia.
Codificação complicada para um computador.
O significado das palavras dependem muito do contexto.
Qual é o problema com one-hot:
Se um usuario procurar frases com significado parecidos.
- Hotel e Motel
Mas:
Motel [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0]T
.
Hotel [0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0] = 0
Estes vetores sempre são ortogonais pelo qual não conseguem representar uma ideia de
similaridade

8. Representação de Palavras
Qual é o problema com one-hot?
Se um usuario procurar frases com significado parecidos.
- Hotel e Motel
Mas:
Motel [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0]T
.
Hotel [0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0] = 0
Estes vetores sempre são ortogonais pelo qual não conseguem representar uma ideia de
similaridade
Θ
cos(Θ) ~ Motel . Hotel
Motel
Hotel

9. Representação de Palavras
● Criar uma representação numérica de uma palavra
● Tenta pegar as relações entre as palavras (features vectors)

10. Exemplo 1
- Introdução (Vetores Pré-treinados)
- Abrir: https://colab.research.google.com
- https://github.com/crismunoz/DeepLearningExamples/blob/master/week2/Word_Representation_(Parte_1).ipynb

11. word2vec
● Criar uma representação numérica de uma palavra
● Tenta pegar as relações entre as palavras (features vectors)

12. Word Mover’s Distance
WMD é um método que permite estimar a distância entre dois frases (ou documentos),
mesmo quando não tem palavras em comum. Este método utiliza os vetores de
representação de word2vec.
Assim como WMD, existem vários métodos focados a este tipo de aplicações. WMD é
apresentado para 2 frases na figura inferior. As frases não tem palavras em comum, mas as
palavras estão correlacionadas. WMD é capaz de calcular a similaridade entre estas
sentenças:

13. Word Mover’s Distance
https://markroxor.github.io/gensim/static/notebooks/WMD_tutorial.html
Matriz de transportação T : Quanto tem
que viajar a palavra i para chegar a
palavra j.

14. Exemplo 2
- Word2vector, WmdSimilarity e Tensorboard
- Abrir: https://colab.research.google.com
- https://github.com/crismunoz/DeepLearningExamples/blob/master/week2/Word_Representation_(Parte_2).ipynb

15. Introdução
RNN é um modelo de Rede Neural usado para processar dados sequências,
atualmente, suas aplicações em reconhecimento automática de fala, máquinas
de tradução, linguagem natural são das mais comuns. Este modelo oferece muita
flexibilidade na conexão de suas arquiteturas.

16. One to many: Image Captioning (legenda/descrição da imagem)
Entrada: Imagem de dimensão fixa de entrada
Saída: Sequência de palavras que descrevem o conteúdo da imagem
DeepMind(Google)

17. One to many: Image Captioning (legenda/descrição da imagem)
Entrada: Imagem de dimensão fixa de entrada
Saída: Sequência de palavras que descrevem o conteúdo da imagem
Li-feifei,StanfordVisionLab

18. Many to many: Machine Translation (Tradutores)
Entrada: Sequência de palavras em Português
Saída: Sequência de palavras em Francês

19. Many to many: Video classification on frame level
Entrada: Imagem de entrada
Saída: Classificação em função da imagem atual e imagens passadas.

20. Estrutura de dados para RNN
One to One:
One to Many:
Many to One:
Many to Many:

21. Estrutura de dados para RNN
One to One: I: [batch_size, feature_size]
O: [batch_size, output_size]
One to Many: I: [batch_size, feature_size]
O: [batch_size, sequence_length,output_size]
Many to One: I:[batch_size, sequence_length,feature_size]
O:[batch_size, output_size]
Many to Many: I:[batch_size, sequence_length,feature_size] ->
O: [batch_size, sequence_length, output_size]

22. Lookuptables e Embeddings

24. Exemplo 3
- Word2vector, WmdSimilarity e Tensorboard
- Abrir: https://colab.research.google.com
- https://github.com/crismunoz/DeepLearningExamples/blob/master/week2/Word_Representation_(Parte_3).ipynb

25. Exemplo 4
- Modelamento de Linguagem
- Simple:
- I:
- O:
- Teaching Forcing
- I:
- O:

26. Exemplo 4
- Modelamento de Linguagem
- Simple:
- I: [batch_size, sequence_length, feature_size]
- O: [batch_size, output_size]
- Teaching Forcing
- I: [batch_size, sequence_length, feature_size]
- O: [batch_size, sequence_length, output_size]

27. Teaching Forcing
O livro conta a história de uma menina chamada Alice que cai numa toca de coelho
que a transporta para um lugar fantástico povoado por …
Entrada: O livro conta a história de uma
Saída : menina
Entrada: O livro conta a história de uma
Saída : livro conta a história de uma menina

28. Exemplo 4
- Modelamento de Linguagem (LSTM Teaching Forcing)
- Abrir: https://colab.research.google.com
- https://github.com/crismunoz/DeepLearningExamples/blob/master/week2/Language_Modeling.ipynb

29. Exempo 5
- Modelamento de Linguagem (LSTM Teaching Forcing)
- Abrir: https://colab.research.google.com
- https://github.com/crismunoz/DeepLearningExamples/blob/master/week2/LSTM_Time_Series.ipynb