SlideShare uma empresa Scribd logo
Slow Feature Analysis

Rafael C.P.
Roteiro


Motivação



Formulação



Experimentos



Conclusões
Slow Feature Analysis


Problema:





Sinais sensoriais
primários variam
rapidamente...
...mas o ambiente não
Como extrair
características
invariantes do
ambiente?
Slow Feature Analysis


Objetivo:




Invariância a partir do
tempo
Encontrar uma função
g(x) que mapeie um
conjunto de sinais x
em um novo conjunto
y, ordenado por
“lentidão”
Slow Feature Analysis


Exemplo:




3 fotoreceptores são
monitorados
As letras S, F e A
passam pelo campo
visual
Slow Feature Analysis


Exemplo (cont.):



Sinais visuais primários variam rapidamente
Sinais de mais alto nível representam identidade e
local, e variam lentamente
Slow Feature Analysis


Exemplo em
ambiente real:





Vídeo de um macaco
Sinais visuais
primários variam
rapidamente
Sinais de mais alto
nível extraídos
representam
identidade e local
Formulação


Entrada: x(t) = [x1(t), …, xI(t)]T



Saída: g(x) = [g1(x),...,gJ(x)]T



Saída: y(t) = [y1(t),...,yJ(t)]




T

yj(t) := gj(x(t))

Minimizar ∆j := ∆(yj) := ⟨ẏ2j⟩


⟨yj⟩ = 0 (média 0)



⟨y2j⟩ = 1 (variância 1)



∀j' < j:

∀j

⟨yj'yj⟩ = 0 (descorrelação)
Solução Proposta


Simplificando: g(x) pode ser uma combinação
linear de K funções não-lineares aplicadas
sobre o sinal de entrada:








gj(x) : = ∑Kk=1 wjkhk(x)
z(t) := h(x(t)) pode ser tratado como um problema
linear
yj(t) := wTjz(t)
h pode ser obtido por uma esferização do sinal de
entrada, obtendo média 0 e covariância unitária
Solução Proposta




Objetivo reescrito:
Minimizar ∆j := ∆(yj) := ⟨ẏ2j⟩ := wTj⟨żżT⟩wj
Reescrevendo as restrições:


⟨yj⟩ = wTj⟨z⟩ = 0



⟨y2j⟩ = wTj⟨zzT⟩wTj = 1





∀j

∀j' < j:

(⟨z⟩ = 0)
(⟨zzT⟩ = I, wTjwj = 1)

⟨yj'yj⟩ = wTj'⟨zzT⟩wTj = 0 (⟨zzT⟩ = I, wTj'wj = 0)

Logo, w precisa ser um conjunto de vetores
ortonormais
Solução Proposta






Solução: Autovetores normalizados de ⟨żżT⟩
Autovetor correspondente ao menor autovalor
é a solução ótima
Autovetores subsequentes representam sinais
com variações temporais maiores,
incrementalmente
Algoritmo


Normalização



Expansão (opcional)



Esferização



Diferenciação



PCA



Repetição (opcional)
Normalização




Os dados de entrada são normalizados pela
subtração da média e divisão pelo desvio
padrão
Dados resultantes possuem média 0 e desvio
padrão 1
Expansão (opcional)








Dados expandidos
não-linearmente para
um espaço de
dimensão maior
A partir daí, o
problema é tratado
como linear
Mais comum:
expansão quadrática
(SFA2)
Sem expansão: linear
(SFA1)
Esferização (Sphering/Whitening)


Usa-se PCA (ou
SVD) para que a
matriz de covariância
dos dados
expandidos torne-se
a identidade



S(z(t) - ⟨z⟩)



S = VD-1/2VT
Diferenciação


Como queremos
encontrar os
T
autovetores de ⟨żż ⟩,
precisamos
diferenciar os dados
ao longo do tempo
para obter ż
PCA




PCA (ou SVD) é
usado para
efetivamente
encontrar os
T
autovetores de ⟨żż ⟩,
a matriz w
Multiplicando-se w
por z obtemos os
dados transformados
Repetição (opcional)






Em vez de fazer uma expansão muito grande
(cúbica ou mais), usa-se a expansão
quadrática apenas
Após obter y, ele é tratado como novos dados
de entrada x e passado novamente pelo
algoritmo
Efetivamente faz expansões maiores com
menor custo
Experimentos


Campos receptivos



Extração de forças



Reconhecimento de dígitos



Reconhecimento de objetos



Reconhecimento de ações



Reconhecimento de gestos
Campos Receptivos


Os filtros produzidos pelo SFA são similares
aos encontrados no córtex visual primário
Extração de Forças


Extração da força por trás do mapa logístico
(série temporal caótica)
Reconhecimento de Dígitos






Não há estrutura
temporal em um
conjunto de dígitos...
...então ela é forjada
mostrando sequências
de variações dos
mesmos dígitos para o
SFA
Características
extraídas pelo SFA são
usadas como entrada
em algoritmos de
classificação
Reconhecimento de Objetos


SFA consegue extrair sinais que representam
diferentes objetos sob diferentes
transformações
Reconhecimento de Ações
Reconhecimento de gestos
Conclusões






SFA permite extrair características de alto nível
de sinais de baixo nível
As características extraídas variam lentamente
no tempo, possuindo diversas invariâncias
As características extraídas podem ser usadas
em classificadores de padrões


Além de aumentar a eficiência com a redução de
dimensionalidade, fornecem informações mais
úteis
Referências










Wiskott L. and Sejnowski T.J. - Slow Feature Analysis: Unsupervised Learning of
Invariances – Neural Computation 2002
Wiskott L., Berkes P., Franzius M., Sprekeler H. and Wilbert, N. - Slow feature
analysis – Scholarpedia (http://www.scholarpedia.org/article/Slow_feature_analysis,
acessado em 07/2012)
Nickisch H. - Extraction of visual features from natural video data using Slow Feature
Analysis – Thesis – 2006
M. Franzius, N. Wilbert, L. Wiskott - Invariant Object Recognition with Slow Feature
Analysis - 18th International Conference on Artificial Neural Networks 2008
Berkes, P. - Pattern Recognition with Slow Feature Analysis - Cognitive Sciences
EPrint Archive (CogPrints) 4104, 2005

Mais conteúdo relacionado

Destaque

Inteligência Artificial - Aula5 - PageRank
Inteligência Artificial - Aula5  - PageRankInteligência Artificial - Aula5  - PageRank
Inteligência Artificial - Aula5 - PageRank
Rafael Pinto
 
Ratslam
RatslamRatslam
Ratslam
Rafael Pinto
 
Inteligência Artificial - Aula1 intro
Inteligência Artificial - Aula1 introInteligência Artificial - Aula1 intro
Inteligência Artificial - Aula1 intro
Rafael Pinto
 
Deep Learning
Deep LearningDeep Learning
Deep Learning
Rafael Pinto
 
Curso Inteligência Artificial - Parte 1 -
Curso Inteligência Artificial - Parte 1 -Curso Inteligência Artificial - Parte 1 -
Curso Inteligência Artificial - Parte 1 -
ronaldo ramos
 
Inteligência Artificial
Inteligência ArtificialInteligência Artificial
Inteligência Artificial - Aula15 - Algoritmos Genéticos
Inteligência Artificial - Aula15 - Algoritmos GenéticosInteligência Artificial - Aula15 - Algoritmos Genéticos
Inteligência Artificial - Aula15 - Algoritmos Genéticos
Rafael Pinto
 
Inteligência Artificial - Aula2 - Busca em Grafos
Inteligência Artificial - Aula2 - Busca em GrafosInteligência Artificial - Aula2 - Busca em Grafos
Inteligência Artificial - Aula2 - Busca em Grafos
Rafael Pinto
 
Inteligência Artificial e suas aplicações - A experiência do TECPAR
Inteligência Artificial e suas aplicações - A experiência do TECPARInteligência Artificial e suas aplicações - A experiência do TECPAR
Inteligência Artificial e suas aplicações - A experiência do TECPAR
Bruno Campagnolo
 
Dancas Folclóricas
Dancas FolclóricasDancas Folclóricas
Dancas Folclóricas
silsiane
 

Destaque (10)

Inteligência Artificial - Aula5 - PageRank
Inteligência Artificial - Aula5  - PageRankInteligência Artificial - Aula5  - PageRank
Inteligência Artificial - Aula5 - PageRank
 
Ratslam
RatslamRatslam
Ratslam
 
Inteligência Artificial - Aula1 intro
Inteligência Artificial - Aula1 introInteligência Artificial - Aula1 intro
Inteligência Artificial - Aula1 intro
 
Deep Learning
Deep LearningDeep Learning
Deep Learning
 
Curso Inteligência Artificial - Parte 1 -
Curso Inteligência Artificial - Parte 1 -Curso Inteligência Artificial - Parte 1 -
Curso Inteligência Artificial - Parte 1 -
 
Inteligência Artificial
Inteligência ArtificialInteligência Artificial
Inteligência Artificial
 
Inteligência Artificial - Aula15 - Algoritmos Genéticos
Inteligência Artificial - Aula15 - Algoritmos GenéticosInteligência Artificial - Aula15 - Algoritmos Genéticos
Inteligência Artificial - Aula15 - Algoritmos Genéticos
 
Inteligência Artificial - Aula2 - Busca em Grafos
Inteligência Artificial - Aula2 - Busca em GrafosInteligência Artificial - Aula2 - Busca em Grafos
Inteligência Artificial - Aula2 - Busca em Grafos
 
Inteligência Artificial e suas aplicações - A experiência do TECPAR
Inteligência Artificial e suas aplicações - A experiência do TECPARInteligência Artificial e suas aplicações - A experiência do TECPAR
Inteligência Artificial e suas aplicações - A experiência do TECPAR
 
Dancas Folclóricas
Dancas FolclóricasDancas Folclóricas
Dancas Folclóricas
 

Semelhante a Slow Feature Analysis

Aula 3
Aula   3Aula   3
Canais Assíncronos II - Aplicações
Canais Assíncronos II - AplicaçõesCanais Assíncronos II - Aplicações
Canais Assíncronos II - Aplicações
Heron Carvalho
 
Aprendizado Profundo & CNNs
Aprendizado Profundo & CNNsAprendizado Profundo & CNNs
Aprendizado Profundo & CNNs
Fabio Spanhol
 
Programação Reativa e Funcional e extensões para PHP
Programação Reativa e Funcional e extensões para PHPProgramação Reativa e Funcional e extensões para PHP
Programação Reativa e Funcional e extensões para PHP
Juliana Chahoud
 
Inteligência Artificial em Séries Temporais na Arrecadação
Inteligência Artificial em Séries Temporais na ArrecadaçãoInteligência Artificial em Séries Temporais na Arrecadação
Inteligência Artificial em Séries Temporais na Arrecadação
Guttenberg Ferreira Passos
 
Caracteristica sensores doc
Caracteristica sensores docCaracteristica sensores doc
Caracteristica sensores doc
Alziane Lima
 

Semelhante a Slow Feature Analysis (6)

Aula 3
Aula   3Aula   3
Aula 3
 
Canais Assíncronos II - Aplicações
Canais Assíncronos II - AplicaçõesCanais Assíncronos II - Aplicações
Canais Assíncronos II - Aplicações
 
Aprendizado Profundo & CNNs
Aprendizado Profundo & CNNsAprendizado Profundo & CNNs
Aprendizado Profundo & CNNs
 
Programação Reativa e Funcional e extensões para PHP
Programação Reativa e Funcional e extensões para PHPProgramação Reativa e Funcional e extensões para PHP
Programação Reativa e Funcional e extensões para PHP
 
Inteligência Artificial em Séries Temporais na Arrecadação
Inteligência Artificial em Séries Temporais na ArrecadaçãoInteligência Artificial em Séries Temporais na Arrecadação
Inteligência Artificial em Séries Temporais na Arrecadação
 
Caracteristica sensores doc
Caracteristica sensores docCaracteristica sensores doc
Caracteristica sensores doc
 

Último

PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...
PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...
PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...
Faga1939
 
DESENVOLVIMENTO DE SOFTWARE I_aula1-2.pdf
DESENVOLVIMENTO DE SOFTWARE I_aula1-2.pdfDESENVOLVIMENTO DE SOFTWARE I_aula1-2.pdf
DESENVOLVIMENTO DE SOFTWARE I_aula1-2.pdf
Momento da Informática
 
História da Rádio- 1936-1970 século XIX .2.pptx
História da Rádio- 1936-1970 século XIX   .2.pptxHistória da Rádio- 1936-1970 século XIX   .2.pptx
História da Rádio- 1936-1970 século XIX .2.pptx
TomasSousa7
 
Manual-de-Credenciamento ANATER 2023.pdf
Manual-de-Credenciamento ANATER 2023.pdfManual-de-Credenciamento ANATER 2023.pdf
Manual-de-Credenciamento ANATER 2023.pdf
WELITONNOGUEIRA3
 
Logica de Progamacao - Aula (1) (1).pptx
Logica de Progamacao - Aula (1) (1).pptxLogica de Progamacao - Aula (1) (1).pptx
Logica de Progamacao - Aula (1) (1).pptx
Momento da Informática
 
Certificado Jornada Python Da Hashtag.pdf
Certificado Jornada Python Da Hashtag.pdfCertificado Jornada Python Da Hashtag.pdf
Certificado Jornada Python Da Hashtag.pdf
joaovmp3
 
Segurança Digital Pessoal e Boas Práticas
Segurança Digital Pessoal e Boas PráticasSegurança Digital Pessoal e Boas Práticas
Segurança Digital Pessoal e Boas Práticas
Danilo Pinotti
 
TOO - TÉCNICAS DE ORIENTAÇÃO A OBJETOS aula 1.pdf
TOO - TÉCNICAS DE ORIENTAÇÃO A OBJETOS aula 1.pdfTOO - TÉCNICAS DE ORIENTAÇÃO A OBJETOS aula 1.pdf
TOO - TÉCNICAS DE ORIENTAÇÃO A OBJETOS aula 1.pdf
Momento da Informática
 
Escola Virtual - Fundação Bradesco - ITIL - Gabriel Faustino.pdf
Escola Virtual - Fundação Bradesco - ITIL - Gabriel Faustino.pdfEscola Virtual - Fundação Bradesco - ITIL - Gabriel Faustino.pdf
Escola Virtual - Fundação Bradesco - ITIL - Gabriel Faustino.pdf
Gabriel de Mattos Faustino
 
ATIVIDADE 1 - ADSIS - ESTRUTURA DE DADOS II - 52_2024.docx
ATIVIDADE 1 - ADSIS - ESTRUTURA DE DADOS II - 52_2024.docxATIVIDADE 1 - ADSIS - ESTRUTURA DE DADOS II - 52_2024.docx
ATIVIDADE 1 - ADSIS - ESTRUTURA DE DADOS II - 52_2024.docx
2m Assessoria
 

Último (10)

PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...
PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...
PRODUÇÃO E CONSUMO DE ENERGIA DA PRÉ-HISTÓRIA À ERA CONTEMPORÂNEA E SUA EVOLU...
 
DESENVOLVIMENTO DE SOFTWARE I_aula1-2.pdf
DESENVOLVIMENTO DE SOFTWARE I_aula1-2.pdfDESENVOLVIMENTO DE SOFTWARE I_aula1-2.pdf
DESENVOLVIMENTO DE SOFTWARE I_aula1-2.pdf
 
História da Rádio- 1936-1970 século XIX .2.pptx
História da Rádio- 1936-1970 século XIX   .2.pptxHistória da Rádio- 1936-1970 século XIX   .2.pptx
História da Rádio- 1936-1970 século XIX .2.pptx
 
Manual-de-Credenciamento ANATER 2023.pdf
Manual-de-Credenciamento ANATER 2023.pdfManual-de-Credenciamento ANATER 2023.pdf
Manual-de-Credenciamento ANATER 2023.pdf
 
Logica de Progamacao - Aula (1) (1).pptx
Logica de Progamacao - Aula (1) (1).pptxLogica de Progamacao - Aula (1) (1).pptx
Logica de Progamacao - Aula (1) (1).pptx
 
Certificado Jornada Python Da Hashtag.pdf
Certificado Jornada Python Da Hashtag.pdfCertificado Jornada Python Da Hashtag.pdf
Certificado Jornada Python Da Hashtag.pdf
 
Segurança Digital Pessoal e Boas Práticas
Segurança Digital Pessoal e Boas PráticasSegurança Digital Pessoal e Boas Práticas
Segurança Digital Pessoal e Boas Práticas
 
TOO - TÉCNICAS DE ORIENTAÇÃO A OBJETOS aula 1.pdf
TOO - TÉCNICAS DE ORIENTAÇÃO A OBJETOS aula 1.pdfTOO - TÉCNICAS DE ORIENTAÇÃO A OBJETOS aula 1.pdf
TOO - TÉCNICAS DE ORIENTAÇÃO A OBJETOS aula 1.pdf
 
Escola Virtual - Fundação Bradesco - ITIL - Gabriel Faustino.pdf
Escola Virtual - Fundação Bradesco - ITIL - Gabriel Faustino.pdfEscola Virtual - Fundação Bradesco - ITIL - Gabriel Faustino.pdf
Escola Virtual - Fundação Bradesco - ITIL - Gabriel Faustino.pdf
 
ATIVIDADE 1 - ADSIS - ESTRUTURA DE DADOS II - 52_2024.docx
ATIVIDADE 1 - ADSIS - ESTRUTURA DE DADOS II - 52_2024.docxATIVIDADE 1 - ADSIS - ESTRUTURA DE DADOS II - 52_2024.docx
ATIVIDADE 1 - ADSIS - ESTRUTURA DE DADOS II - 52_2024.docx
 

Slow Feature Analysis