Visitando a literatura em Redes NeuraisRecorrentesMestrado – ECOMPDiógenes Ricardo Freitas de Oliveiradrfo@ecomp.poli.br
Roteiro• Introdução– Redes Neurais– Redes Recorrentes– Recorrente Bidirecionais• Long Short Term Memory– Framewise Phoneme...
Introdução• Redes Neurais.– Redes feedforward (MLP - (1988));– Redes Recorrentes (Reservoir computing, MLP, LSTM, etc);
Redes Recorrentes (1990)• Inspirada nas NN para dados sequenciais. Uma vez que sãosensíveis ao contexto anterior. (Como?)•...
Redes Recorrentes (1990)• Vantagem– Uma MLP limita-se a mapear vetores de entrada em vetores de saídaenquanto uma RNN é ca...
Redes Recorrentes• Funcionamento– Quanto ao treinamento as RNN possuem assim como NN osalgoritmos de forward e backward, n...
Redes Recorrentes Bidirecionais (1997)
Redes Recorrentes Bidirecionais (1997)• Vantagens– Utilizada com sucesso em predição de estrutura de proteínas (Baldi et a...
Redes Recorrentes Bidirecionais• Conclusão• Um Modelo Oculto de Markov com processo de Redes Neuraispra distribuir os peso...
Redes Recorrentes Bidirecionais
Redes LSTM (1997)• Tutorial http://www.idsia.ch/~juergen/lstm/• O que é?– Uma rede "inteligente", que pode se lembrar de u...
Redes LSTM• Vantagem: Informação contextual.• O range das informações contextuais são limitados, ou seja, oconhecido probl...
Redes LSTM• Activation of the Input Gate• Um portão de entrada é introduzido para proteger o conteúdoda memória de perturb...
Redes LSTM• Activation of the Output Gate• Um portão de saída é introduzido para proteger outrasunidades de conteúdo irrel...
Redes LSTM• No ano 2001 foi adaptada surgindo um novo “portão”• Problema:– Quando os dados de treinamento eram grandes ou ...
Redes LSTM• A arquitetura LSTM consiste de um conjunto de sub-redesconectadas recorrentemente.
Redes LSTM – Aplicações• Robot control[6]• Time series prediction[7]• Speech recognition[8][9]• Rhythm learning[10]• Music...
Gostei dessa rede! E agora?• Alex Graves - Rnnlib
Framewise Phoneme Classification• O problema de dissipação de gradiente afeta diretamente alongo prazo as dependencias ent...
Framewise Phoneme Classification• A LSTM RNN mapeia todos os frames de um sinal de voz acústicoem um conjunto fonemas.• O ...
Framewise Phoneme Classification
Hidden Markov Model Hybrids• Boa parte dos modelos híbridos são com MLP.• A idéia básica é usar HMM para modelar a estrutu...
Multidimensional Recurrent Neural Networks• RNN são eficazes para atividades de aprendizagem de tarefas queonde os dados e...
Multidimensional Recurrent Neural Networks• Como assim multidimensional?• Por exemplo, uma imagem binaria é uma sequênciab...
Multidimensional Recurrent Neural Networks• Uma diferença dessa abordagem é que ao invés de uma únicaconexão recorrente, e...
Multidimensional Recurrent Neural Networks
Vou ter que implementar isso?Eu fiz e tá na net, podepegar, usar, modificar,fique a vontade, mas éGNU General PublicLicense
Nossa propostaExtração de Características Modelo AcústicoModelo de LinguagemSistema decombinaçãoSinal da fala Sequênciade ...
Nossa proposta– Modelo acústico– A palavra “cela” e “sela” terão o mesmo valor (e agora?)P(Palavras|Sinal)
Nossa proposta• Modelo de linguagemP(Palavras)• A probabilidade acima é chamado de modelo de linguagem,nele especifica-se ...
Nossa proposta• É utilizar modelos de RNN bidirecionais, para classificar osfonemas, uma vez que o treinamento destas rede...
Referências[7] H. Mayer, F. Gomez, D. Wierstra, I. Nagy, A. Knoll, and J. Schmidhuber. A System for Robotic Heart Surgery ...
Dúvidas?
Próximos SlideShares
Carregando em…5
×

Visitando a literatura em redes neurais recorrentes

897 visualizações

Publicada em

LSTM, Redes Neurais, Redes Neurais Recorrentes, Redes Neurais Recorrentes Bidirecionais, Hidden Markov Model
Hybrids,

Publicada em: Tecnologia
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
897
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
0
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide
  • Falar das motivações, que o tempo de treinamento aumenta com aumento do números de camadas escondidas como a implementação, minimizando o tempo de treinamento e a complexidade de implementação.
  • Visitando a literatura em redes neurais recorrentes

    1. 1. Visitando a literatura em Redes NeuraisRecorrentesMestrado – ECOMPDiógenes Ricardo Freitas de Oliveiradrfo@ecomp.poli.br
    2. 2. Roteiro• Introdução– Redes Neurais– Redes Recorrentes– Recorrente Bidirecionais• Long Short Term Memory– Framewise Phoneme Classification– Hidden Markov Model Hybrids• Multidimensional Recurrent Neural Networks• Nossa proposta.
    3. 3. Introdução• Redes Neurais.– Redes feedforward (MLP - (1988));– Redes Recorrentes (Reservoir computing, MLP, LSTM, etc);
    4. 4. Redes Recorrentes (1990)• Inspirada nas NN para dados sequenciais. Uma vez que sãosensíveis ao contexto anterior. (Como?)• Mais robustos a deformações no tempo do que NN nãorecursivas.(Por que?)• Por exemplo, no reconhecimento de face osistema deve ser robusto para atender diferençasDe perspectivas e distancias
    5. 5. Redes Recorrentes (1990)• Vantagem– Uma MLP limita-se a mapear vetores de entrada em vetores de saídaenquanto uma RNN é capaz de usar toda a história de entradaspassadas para fazer o mapeamento para saída.– Mais fáceis de implementar• Menos camadas;• Menos interações
    6. 6. Redes Recorrentes• Funcionamento– Quanto ao treinamento as RNN possuem assim como NN osalgoritmos de forward e backward, no caso do backpropagation.
    7. 7. Redes Recorrentes Bidirecionais (1997)
    8. 8. Redes Recorrentes Bidirecionais (1997)• Vantagens– Utilizada com sucesso em predição de estrutura de proteínas (Baldi et al.,2001; Chen and Chaudhari,2004), processamento de fala (Schuster, 1999;Fukada et al., 1999).– Graves (2008) com rotulamento de sequências de tarefas do mundo real,como escrita e os modelos de linguagem para reconhecimento de fala.– Domina a área de bioinformática.• Desvantagens– Domínios onde há casualidades, por exemplo, predição financeira,navegação de robôs.
    9. 9. Redes Recorrentes Bidirecionais• Conclusão• Um Modelo Oculto de Markov com processo de Redes Neuraispra distribuir os pesos/probabilidades.• O problema é que o efeito de um dado de entrada na camadaescondida, e por conseguinte, a saída da rede, ou decaimentosou funde-se exponencialmente, uma vez que os ciclos derepetição em ligações da rede
    10. 10. Redes Recorrentes Bidirecionais
    11. 11. Redes LSTM (1997)• Tutorial http://www.idsia.ch/~juergen/lstm/• O que é?– Uma rede "inteligente", que pode se lembrar de um valor por umperíodo arbitrário de tempo. Um bloco LSTM contém portões quedeterminam quando a entrada é significativo o suficiente para selembrar, quando se deve continuar a lembrar ou esquecer o valor, equando deve exibir o valor.
    12. 12. Redes LSTM• Vantagem: Informação contextual.• O range das informações contextuais são limitados, ou seja, oconhecido problema da dissipação do gradiente (vanishinggradient problem)• Falha para encontrar as dependências de longo prazo.
    13. 13. Redes LSTM• Activation of the Input Gate• Um portão de entrada é introduzido para proteger o conteúdoda memória de perturbações irrelevantes
    14. 14. Redes LSTM• Activation of the Output Gate• Um portão de saída é introduzido para proteger outrasunidades de conteúdo irrelevante da memória.Ruído
    15. 15. Redes LSTM• No ano 2001 foi adaptada surgindo um novo “portão”• Problema:– Quando os dados de treinamento eram grandes ou contínuos,obrigando a dividir os dados para um treinamento apropriado.– Normalmente em séries temporais.
    16. 16. Redes LSTM• A arquitetura LSTM consiste de um conjunto de sub-redesconectadas recorrentemente.
    17. 17. Redes LSTM – Aplicações• Robot control[6]• Time series prediction[7]• Speech recognition[8][9]• Rhythm learning[10]• Music composition[11]• Grammar learning[12][13][14]• Handwriting recognition[15][16]• Human action recognition[17]• Protein Homology Detection[18]
    18. 18. Gostei dessa rede! E agora?• Alex Graves - Rnnlib
    19. 19. Framewise Phoneme Classification• O problema de dissipação de gradiente afeta diretamente alongo prazo as dependencias entre os fonemas.• RNN tradicionais não estão capazes de descobrir asprobabilidades das sequencias das palavras• Mesmo em curto prazo, as deformações naturais dos fonemasacabavam atrapalhando os limites.• LSTM procura resolver esses problemas que RNNs tradicionaisenfrentam.
    20. 20. Framewise Phoneme Classification• A LSTM RNN mapeia todos os frames de um sinal de voz acústicoem um conjunto fonemas.• O treinamento envolve o uso de um conjunto de dados derotulados.• Dois RNNs LSTM são usadas:– Estima-se a probabilidade de um fonema de nível frame,– Calcula-se um mapeamento das previsões dos fonemas em palavras, ouseja, quando a rede é treinada, prevê sequências de palavras a partir desequências de telefones que foram obtidos a partir da primeira rede.
    21. 21. Framewise Phoneme Classification
    22. 22. Hidden Markov Model Hybrids• Boa parte dos modelos híbridos são com MLP.• A idéia básica é usar HMM para modelar a estrutura de longos rangeseqüencias dos dados e redes neurais para fornecer classificaçõeslocalizadas.
    23. 23. Multidimensional Recurrent Neural Networks• RNN são eficazes para atividades de aprendizagem de tarefas queonde os dados estão fortemente correlacionados em umadimensão, normalmente o tempo, no entanto, são poucoadaptadas aos dados multidimensionais.• Propostas são levantadas com HMM multidimensionais– Aumento do custo computacional com o Algoritmo de Viterbi– As probabilidades de transição crescer exponencialmente com asdimensões– Algumas propostas também abordam essas limitações, mas que acabamnão explorando a multidimensionalidade completa dos dados
    24. 24. Multidimensional Recurrent Neural Networks• Como assim multidimensional?• Por exemplo, uma imagem binaria é uma sequênciabidimensional, um vídeo é uma sequência de três dimensões, euma série de exames cerebrais de ressonância magnética éuma sequência quadridimensional.
    25. 25. Multidimensional Recurrent Neural Networks• Uma diferença dessa abordagem é que ao invés de uma únicaconexão recorrente, existem tantas ligações recorrentesquanto existe dimensões nos dados.
    26. 26. Multidimensional Recurrent Neural Networks
    27. 27. Vou ter que implementar isso?Eu fiz e tá na net, podepegar, usar, modificar,fique a vontade, mas éGNU General PublicLicense
    28. 28. Nossa propostaExtração de Características Modelo AcústicoModelo de LinguagemSistema decombinaçãoSinal da fala Sequênciade palavrasSistema LVCSR
    29. 29. Nossa proposta– Modelo acústico– A palavra “cela” e “sela” terão o mesmo valor (e agora?)P(Palavras|Sinal)
    30. 30. Nossa proposta• Modelo de linguagemP(Palavras)• A probabilidade acima é chamado de modelo de linguagem,nele especifica-se a probabilidade a priori de encontrar umadeterminada palavra• Com esse modelo definimos que “cela trancada” é maisprovável que “sela trancada”.
    31. 31. Nossa proposta• É utilizar modelos de RNN bidirecionais, para classificar osfonemas, uma vez que o treinamento destas redes não maisrápidos e tem se mostrado mais eficazes na distribuição dospesos na rede.
    32. 32. Referências[7] H. Mayer, F. Gomez, D. Wierstra, I. Nagy, A. Knoll, and J. Schmidhuber. A System for Robotic Heart Surgery that Learns to Tie Knots Using Recurrent NeuralNetworks. Advanced Robotics, 22/13–14, pp. 1521–1537, 2008.[8] J. Schmidhuber and D. Wierstra and F. J. Gomez. Evolino: Hybrid Neuroevolution / Optimal Linear Search for Sequence Learning. Proceedings of the 19thInternational Joint Conference on Artificial Intelligence (IJCAI), Edinburgh, pp. 853–858, 2005.[9] A. Graves and J. Schmidhuber. Framewise phoneme classification with bidirectional LSTM and other neural network architectures. Neural Networks 18:5–6,pp. 602–610, 2005.[10] S. Fernandez, A. Graves, J. Schmidhuber. An application of recurrent neural networks to discriminative keyword spotting. Intl. Conf. on Artificial NeuralNetworks ICANN07, 2007.[11] F. Gers, N. Schraudolph, J. Schmidhuber. Learning precise timing with LSTM recurrent networks. Journal of Machine Learning Research 3:115–143, 2002.[12] D. Eck and J. Schmidhuber. Learning The Long-Term Structure of the Blues. In J. Dorronsoro, ed., Proceedings of Int. Conf. on Artificial Neural NetworksICANN02, Madrid, pages 284–289, Springer, Berlin, 2002.[13] J. Schmidhuber, F. Gers, D. Eck. J. Schmidhuber, F. Gers, D. Eck. Learning nonregular languages: A comparison of simple recurrent networks and LSTM.Neural Computation 14(9):2039–2041, 2002.[14] F. A. Gers and J. Schmidhuber. LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages. IEEE Transactions on Neural Networks12(6):1333–1340, 2001.[15] J. A. Perez-Ortiz, F. A. Gers, D. Eck, J. Schmidhuber. Kalman filters improve LSTM network performance in problems unsolvable by traditional recurrent nets.Neural Networks 16(2):241–250, 2003.[16] A. Graves, J. Schmidhuber. Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks. Advances in Neural Information ProcessingSystems 22, NIPS22, pp 545–552, Vancouver, MIT Press, 2009.[17] A. Graves, S. Fernandez,M. Liwicki, H. Bunke, J. Schmidhuber. Unconstrained online handwriting recognition with recurrent neural networks. Advances inNeural Information Processing Systems 21, NIPS21, pp 577–584, 2008, MIT Press, Cambridge, MA, 2008.[18] M. Baccouche, F. Mamalet, C Wolf, C. Garcia, A. Baskurt. Sequential Deep Learning for Human Action Recognition. 2nd International Workshop on HumanBehavior Understanding (HBU), A.A. Salah, B. Lepri ed. Amsterdam, Netherlands. pp. 29–39. Lecture Notes in Computer Science 7065. Springer. 2011[19] S. Hochreiter, M. Heusel and K. Obermayer. Fast model-based protein homology detection without alignment. Bioinformatics, 23 (14): 1728–1736, 2007.
    33. 33. Dúvidas?

    ×