Redes de Função de Base Radial

1.187 visualizações

Publicada em

Boa parte do conteúdo eu li no livro: Neural Networks: A Comprehensive Foundation (S Haykin).
Também fiz uso de alguns conceitos vistos nas notas de aula do professor Adrião (DCA/UFRN).

0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
1.187
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
30
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Redes de Função de Base Radial

  1. 1. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP Bibliograa REDES NEURAIS: Redes de Função de Base Radial Edson Anibal de Macedo Reis Batista UERN - Universidade do Estado do Rio Grande do Norte. Departamento de Ciências da Computação. 30 de janeiro de 2010 Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  2. 2. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP Bibliograaíndice 1 Introdução 2 Teorema de Cover sobre a separabilidade dos padrões 3 O problema XOR 4 Funções Radiais 5 Redes RBF 6 Aplicações da RBF 7 Comparativo RBF x MLP 8 Bibliograa Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  3. 3. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaIntrodução Na RBF, aprender é encontrar uma superfície, em um espaço multidimensional, que forneçe o melhor ajuste para os dados de treinamento. Correspondentemente, generalização é o uso dessas superfícies multidimensionais para interpolar os dados. A camada oculta forneçe um conjunto de funções que constituem uma base arbitrária para os padrões de entrada. Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  4. 4. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaTeorema de Cover sobre a separabilidade dos padrões Um problema complexo de classicação de padrões disposto não linearmente em um espaço de alta dimensão tem maior probabilidade de ser linearmente separável do que em um espaço de baixa dimensionalidade. Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  5. 5. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaTeorema de Cover sobre a separabilidade dos padrões OU EM OUTRAS PALAVRAS ... Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  6. 6. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaTeorema de Cover sobre a separabilidade dos padrões Um determinado problema Não Linearmente Separável pode, de forma probabilística, ser transformado em um problema Linearmente Separável através de uma transformação não linear que mapeia o espaço para outro espaço de ordem maior. Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  7. 7. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaTeorema de Cover sobre a separabilidade dos padrões Considere um conjunto de superfícies onde cada uma divide o espaço de entrada em duas dimensões. Considere que χ represente um conjunto de N padrões (vetores) x1, x2, . . . x . Onde cada padrão é atribuído a uma de n duas classes χ1 ou χ2 . Dizemos que esta dicotomia (partição binária) dos pontos é separável em relação a família de superfícies, se existir uma superfície da família que separe os pontos da classe χ1 daqueles da classe χ2 . Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  8. 8. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaTeorema de Cover sobre a separabilidade dos padrões Para cada padrão x ∈ χ , dena um vetor constituído de um conjunto de funções de valor real {ϕ (x) | i = 1, 2, . . . , m1 }, i como mostrado por1 : ϕ (x) = [ϕ1 (x) , ϕ2 (x) , . . . , ϕm1 (x)]T Suponha que o padrão x é um vetor em um espaço de entrada de dimensão m0 . O vetor ϕ (x) mapeia pontos do espaço de entrada m0 para pontos em um novo espaço de dimensão m1 . 1 Referimo-nos a ϕi (x) como função oculta, porque desempenha papel similar a uma unidade oculta em uma rede feed foward. Correspondentemente, o espaço abrangido pelo conjunto de funções ocultas é referido como espaço oculto ou espaço de características. Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  9. 9. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaTeorema de Cover sobre a separabilidade dos padrões Uma dicotomia {χ1 , χ2 } de χ é dita ser separável por ϕ , se existir um vetor w de dimensão m1 para o qual podemos escrever (Cover, 1965): wT ϕ (x) 0, x ∈ χ1 wT ϕ (x) 0, x ∈ χ2 O hiperplano denido pela equação wT ϕ (x) = 0 descreve a superfície de separação no espaço oculto ϕ . A imagem inversa deste hiperplano, isto é, x : wT ϕ (x) = 0 dene a superfície de separação no espaço de entrada. Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  10. 10. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaTeorema de Cover sobre a separabilidade dos padrões Figura: Exemplos de dicotomias separáveis por ϕ de diferentes conjuntos de cinco pontos em duas dimensões: (a) dicotomia linearmente separável; (b) dicotomia esfericamente separável; (c) dicotomia quadraticamente separável. Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  11. 11. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaTeorema de Cover sobre a separabilidade dos padrões Resumindo: O teorema de Cover sobre a separabilidade de padrões engloba dois ingredientes básicos: 1 A formulação não-linear da função oculta denida por ϕi (x), onde x é o vetor de entrada e i = 1, 2, . . . , m1 . 2 A alta dimensionalidade do espaço oculto comparado com o espaço de entrada; esta dimensionalidade é determinada pelo valor atribuído a m1 (i.e., o número de unidades ocultas). Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  12. 12. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaTeorema de Cover sobre a separabilidade dos padrões Em geral, como dito anteriormente, um problema complexo de classicação de padrões disposto não linearmente, tem maior probabilidade de ser linearmente separável em um espaço de alta dimensão que num espaço de baixa dimensão. Entretanto, em alguns casos o uso do mapeamento não-linear (i.e., ponto 1 do slide anterior) pode ser suciente para produzir uma separabilidade linear sem ter que aumentar a dimensionalidade do espaço das unidades ocultas. Isto será ilustrado na resolução do problema do XOR Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  13. 13. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaPorta lógica: OU EXCLUSIVO p q 0 0 0 0 1 1 1 0 1 1 1 0 A saída é verdadeira se as proposições verdadeiras de entrada forem ímpar. Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  14. 14. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaO problema XOR Existem quatro pontos (padrões) em um espaço de entrada bidimensional: O objetivo é construir um classicador de padrões que produza a saída 0 em resposta ao padrão de entrada (1,1) ou (0,0), e a saída 1 em resposta ao padrão de entrada (0,1) e (1,0). Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  15. 15. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaO problema XOR Dena um par de funções ocultas gausianas como segue: ϕ1 (x) = e − x−t1 2 , t1 = [1, 1] T ϕ2 (x) = e − x−t2 2 , t2 = [0, 0] T Podemos então obter os resultados para os quatro padrões de entrada: Padrão de entrada, x Primeira função oculta, ϕ1 (x) Segunda função oculta, ϕ2 (x) (1,1) 1 0,1353 (0,1) 0,3678 0,3678 (0,0) 0,1353 1 (1,0) 0,3678 0,3678 Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  16. 16. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaO problema XOR Figura: Diagrama de tomada de decisão Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  17. 17. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaO problema XOR Neste exemplo, não há aumento da dimensionalidade do espaço oculto, em relação ao espaço de entrada. A não linearidade das funções gausianas foi suciente para transformar o problema XOR em um problema linearmente separável. Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  18. 18. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaFunções Radiais Funções radiais são uma classe especial de funções em que sua resposta decresce (ou cresce) monotonicamente com o distanciamento de um ponto central. Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  19. 19. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaFunções Radiais Uma típica função radial é a Gaussiana que decresce monotonicamente com a distância do centro: (x−c )2 ϕ (x) = e − r2 onde c é o centro, e r o raio. Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  20. 20. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaFunções Radiais Já a função multiquadrática cresce com a distância do centro: √ ϕ (x) = r 2 +(x−c )2 r Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  21. 21. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaRedes RBF Uma rede de função de base radial é composta por 3 camadas: Camada de entrada, onde há um neurônio para cada dimensão de entrada. Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  22. 22. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaRedes RBF Uma única camada escondida - onde o número de neurônios é variável e a quantidade ótima é obtida no treinamento. Cada neurônio consiste de uma função de base radial e representa uma dimensão. Os centros e o espalhamento é obtido durante o treinamento. Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  23. 23. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaRedes RBF Camada de saída. Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  24. 24. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaAplicações da RBF Processamento de Imagem Reconhecimento de voz Análise de séries temporais Equalização adaptativa Radar point source location Reconhecimento de padrões Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  25. 25. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaAproximação de funções - Aproximador Universal Uma RBF pode aproximar qualquer função contínua através da combinação linear de funções gaussianas com centros em diferentes posições do espaço de entrada. Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  26. 26. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaReconhecimento de caracteres Uma RBF pode reconhecer padrões de caracteres em imagens com uma performace excelente. Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  27. 27. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaComparativo RBF x MLP Tanto as RBF quando MLP são aproximadores universais. Porém existem algumas diferenças: 1 Uma rede RBF (na sua forma básica) tem apenas uma camada oculta, enquanto o MLP pode ter várias. 2 Normalmente os nós da camada escondida e de saída de uma MLP compartilham um modelo neuronal comum. Já na RBF os nós da camada oculta são bem diferentes e servem a um propósito diferente. 3 A camada oculta de uma RBF é não-linear, enquanto a camada de saída é linear. 4 MLP constroem aproximações globais, enquanto a RBF faz aproximações locais. Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF
  28. 28. IntroduçãoTeorema de Cover sobre a separabilidade dos padrões O problema XOR Funções Radiais Redes RBF Aplicações da RBF Comparativo RBF x MLP BibliograaBIBLIOGRAFIA Edson Anibal de Macedo Reis Batista REDES NEURAIS: RBF

×