Self-Organizing Maps 101 (Dhiana Deva)

837 visualizações

Publicada em

Apresentação sobre Self-Organizing Maps para disciplina de Redes Neurais na Universidade Federal do Rio de Janeiro.

Publicada em: Tecnologia
0 comentários
1 gostou
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
837
No SlideShare
0
A partir de incorporações
0
Número de incorporações
16
Ações
Compartilhamentos
0
Downloads
10
Comentários
0
Gostaram
1
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Self-Organizing Maps 101 (Dhiana Deva)

  1. 1. Self-Organizing Maps 101 @DhianaDeva
  2. 2. Self-Organizing WHAT?!
  3. 3. Self. Organizing. Maps. Self Aprendizado não-supervisionado Organizing Maps Organização = ordenação contextual Aprendizado adaptativo Arranjo topológico Sistema de coordenadas significativo
  4. 4. Redes neurais capazes de transformar adaptativamente padrões de sinais de entrada de dimensão arbitrária em um mapa discreto, geralmente uni/bidimensional, e topologicamente ordenado
  5. 5. Rede neural??? ● Classe especial de redes neurais artificiais ● Inerentemente não-linear ● Baseado em aprendizado competitivo
  6. 6. A-ha! Motivação biológica! O cérebro humano é organizado de maneira que diferentes entradas sensoriais são mapeadas em áreas no córtex cerebral de forma topologicamente ordenada
  7. 7. Sim, nós temos neurônios! ● Neurônios são dispostos como nós de uma grade ● Cada neurônio é totalmente conectado à todos os nós da camada de entrada ● Cada neurônio possui, portanto, um vetor de pesos da mesma dimensão do espaço de entrada
  8. 8. Modelo de Kohonen (the father of the son, quer dizer, SOM!)
  9. 9. Mas, como?
  10. 10. Um número suficiente de realizações dos padrões de entrada devem ser apresentados à rede e passar por três processos: ● Competição ● Cooperação ● Adaptação
  11. 11. Ps: Notações básicas Entrada (dimensão m): Pesos sinápticos (rede com l neurônios):
  12. 12. Processo #1: Competição ● Neurônios competem entre si para serem ativados ● É identificado apenas um vencedor através da discriminação do neurônio de máxima correspondência em relação à entrada:
  13. 13. Processo #2: Cooperação Determinação de uma vizinhança topológica: ● Simétrica ao redor do neurônio vencedor ● Decaimento suave com distância lateral ● Adivinha??? Gaussiana!
  14. 14. Processo #3: Adaptação ● Atualização dos pesos dos neurônios excitados aumentando a resposta deles para apresentações futuras do mesmo padrão (sintonização seletiva) ● Diferencia-se do aprendizado Hebbiano: ○ Taxa de esquecimento para evitar saturação
  15. 15. A formação do mapa se dá em duas fases: ● Ordenação ● Convergência “Procurar, depois convergir!”
  16. 16. Ps2: Atualizando as notações
  17. 17. Fase #1: Ordenação A partir de um estado inicial de completa desordem, gradualmente é formada uma representação organizada do espaço de entrada A taxa de aprendizado deve começar com um valor perto de 0.1 e diminuir gradativamente, mas permanecer acima de 0.01 A função de vizinhança deve inicialmente incluir quase todos os neurônios da rede e encolher com o tempo
  18. 18. Fase #2: Convergência Esta fase é necessária para aperfeiçoar o mapeamento de características, fornecendo uma quantificação estatística precisa do espaço de entrada. A taxa de aprendizado deve ser mantida em um valor baixo, da ordem de 0.01, sem chegar a zero. A função de vizinhança deve conter apenas os vizinhos próximos, reduzindo eventualmente para um ou até nenhum vizinho.
  19. 19. Propriedades
  20. 20. Aproximação do espaço de entrada i(x): Projeção de um ponto do espaço contínuo no espaço neural discreto wi: Ponteiro de um neurônio de volta ao espaço original de entrada.
  21. 21. Redução de dimensionalidade Espaço de entrada: bidimensional Mapeamento: unidimensional Curva de Peano: preenchedora de espaço
  22. 22. Modelo codificador-decodificador O esquema ótimo de codificação e decodificação é determinado variando as funções c(x) e x’(c) de maneira a minimizar a distorção esperada:
  23. 23. Mapas contextuais
  24. 24. Um exemplo ANIMAL!
  25. 25. Mapa de características
  26. 26. Mapa semântico
  27. 27. Aplicações
  28. 28. Mapeamento em larga-escala O Self-Organizing Map é uma poderosa ferramenta para aplicações em larga escala, onde a dimensão do espaço de entrada pode ser da ordem de mil e o número de neurônios chega à ordem de centenas de milhares
  29. 29. Processamento de linguagem natural
  30. 30. Detecção de relações ontológicas em uma imagem
  31. 31. Mapeamento de emoções em expressões faciais
  32. 32. E com vocês... DJ SOM! http://vimeo.com/7714780
  33. 33. Sistemas de recomendação
  34. 34. Separação cega de fontes
  35. 35. Curtiu? Quer saber mais?
  36. 36. Self-Organizing Maps 201 ● ● ● ● ● Modelo codificador-decodificador ruidoso Quantizador vetorial hierárquico Kernel Self-Organizing Maps Termo de consciência ...
  37. 37. Referência, imagens e expressões: Neural Networks and Learning Machines Capítulo 9 - Self-Organizing Maps 3ª edição Simon Haykin Exemplos de aplicações: www.intechopen.com, ...
  38. 38. Obrigada!

×