Slow Feature Analysis

391 visualizações

Publicada em

Publicada em: Tecnologia
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Slow Feature Analysis

  1. 1. Slow Feature Analysis Rafael C.P.
  2. 2. Roteiro  Motivação  Formulação  Experimentos  Conclusões
  3. 3. Slow Feature Analysis  Problema:    Sinais sensoriais primários variam rapidamente... ...mas o ambiente não Como extrair características invariantes do ambiente?
  4. 4. Slow Feature Analysis  Objetivo:   Invariância a partir do tempo Encontrar uma função g(x) que mapeie um conjunto de sinais x em um novo conjunto y, ordenado por “lentidão”
  5. 5. Slow Feature Analysis  Exemplo:   3 fotoreceptores são monitorados As letras S, F e A passam pelo campo visual
  6. 6. Slow Feature Analysis  Exemplo (cont.):   Sinais visuais primários variam rapidamente Sinais de mais alto nível representam identidade e local, e variam lentamente
  7. 7. Slow Feature Analysis  Exemplo em ambiente real:    Vídeo de um macaco Sinais visuais primários variam rapidamente Sinais de mais alto nível extraídos representam identidade e local
  8. 8. Formulação  Entrada: x(t) = [x1(t), …, xI(t)]T  Saída: g(x) = [g1(x),...,gJ(x)]T  Saída: y(t) = [y1(t),...,yJ(t)]   T yj(t) := gj(x(t)) Minimizar ∆j := ∆(yj) := ⟨ẏ2j⟩  ⟨yj⟩ = 0 (média 0)  ⟨y2j⟩ = 1 (variância 1)  ∀j' < j: ∀j ⟨yj'yj⟩ = 0 (descorrelação)
  9. 9. Solução Proposta  Simplificando: g(x) pode ser uma combinação linear de K funções não-lineares aplicadas sobre o sinal de entrada:     gj(x) : = ∑Kk=1 wjkhk(x) z(t) := h(x(t)) pode ser tratado como um problema linear yj(t) := wTjz(t) h pode ser obtido por uma esferização do sinal de entrada, obtendo média 0 e covariância unitária
  10. 10. Solução Proposta   Objetivo reescrito: Minimizar ∆j := ∆(yj) := ⟨ẏ2j⟩ := wTj⟨żżT⟩wj Reescrevendo as restrições:  ⟨yj⟩ = wTj⟨z⟩ = 0  ⟨y2j⟩ = wTj⟨zzT⟩wTj = 1   ∀j ∀j' < j: (⟨z⟩ = 0) (⟨zzT⟩ = I, wTjwj = 1) ⟨yj'yj⟩ = wTj'⟨zzT⟩wTj = 0 (⟨zzT⟩ = I, wTj'wj = 0) Logo, w precisa ser um conjunto de vetores ortonormais
  11. 11. Solução Proposta    Solução: Autovetores normalizados de ⟨żżT⟩ Autovetor correspondente ao menor autovalor é a solução ótima Autovetores subsequentes representam sinais com variações temporais maiores, incrementalmente
  12. 12. Algoritmo  Normalização  Expansão (opcional)  Esferização  Diferenciação  PCA  Repetição (opcional)
  13. 13. Normalização   Os dados de entrada são normalizados pela subtração da média e divisão pelo desvio padrão Dados resultantes possuem média 0 e desvio padrão 1
  14. 14. Expansão (opcional)     Dados expandidos não-linearmente para um espaço de dimensão maior A partir daí, o problema é tratado como linear Mais comum: expansão quadrática (SFA2) Sem expansão: linear (SFA1)
  15. 15. Esferização (Sphering/Whitening)  Usa-se PCA (ou SVD) para que a matriz de covariância dos dados expandidos torne-se a identidade  S(z(t) - ⟨z⟩)  S = VD-1/2VT
  16. 16. Diferenciação  Como queremos encontrar os T autovetores de ⟨żż ⟩, precisamos diferenciar os dados ao longo do tempo para obter ż
  17. 17. PCA   PCA (ou SVD) é usado para efetivamente encontrar os T autovetores de ⟨żż ⟩, a matriz w Multiplicando-se w por z obtemos os dados transformados
  18. 18. Repetição (opcional)    Em vez de fazer uma expansão muito grande (cúbica ou mais), usa-se a expansão quadrática apenas Após obter y, ele é tratado como novos dados de entrada x e passado novamente pelo algoritmo Efetivamente faz expansões maiores com menor custo
  19. 19. Experimentos  Campos receptivos  Extração de forças  Reconhecimento de dígitos  Reconhecimento de objetos  Reconhecimento de ações  Reconhecimento de gestos
  20. 20. Campos Receptivos  Os filtros produzidos pelo SFA são similares aos encontrados no córtex visual primário
  21. 21. Extração de Forças  Extração da força por trás do mapa logístico (série temporal caótica)
  22. 22. Reconhecimento de Dígitos    Não há estrutura temporal em um conjunto de dígitos... ...então ela é forjada mostrando sequências de variações dos mesmos dígitos para o SFA Características extraídas pelo SFA são usadas como entrada em algoritmos de classificação
  23. 23. Reconhecimento de Objetos  SFA consegue extrair sinais que representam diferentes objetos sob diferentes transformações
  24. 24. Reconhecimento de Ações
  25. 25. Reconhecimento de gestos
  26. 26. Conclusões    SFA permite extrair características de alto nível de sinais de baixo nível As características extraídas variam lentamente no tempo, possuindo diversas invariâncias As características extraídas podem ser usadas em classificadores de padrões  Além de aumentar a eficiência com a redução de dimensionalidade, fornecem informações mais úteis
  27. 27. Referências      Wiskott L. and Sejnowski T.J. - Slow Feature Analysis: Unsupervised Learning of Invariances – Neural Computation 2002 Wiskott L., Berkes P., Franzius M., Sprekeler H. and Wilbert, N. - Slow feature analysis – Scholarpedia (http://www.scholarpedia.org/article/Slow_feature_analysis, acessado em 07/2012) Nickisch H. - Extraction of visual features from natural video data using Slow Feature Analysis – Thesis – 2006 M. Franzius, N. Wilbert, L. Wiskott - Invariant Object Recognition with Slow Feature Analysis - 18th International Conference on Artificial Neural Networks 2008 Berkes, P. - Pattern Recognition with Slow Feature Analysis - Cognitive Sciences EPrint Archive (CogPrints) 4104, 2005

×