Redes Neurais: classificação e regressão

1.605 visualizações

Publicada em

Publicada em: Educação
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
1.605
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
14
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Redes Neurais: classificação e regressão

  1. 1. Redes Neurais:Classificação e Regressão Renato Vicente rvicente@if.usp.br 10/01, mpmmf, IME/FEA – USP
  2. 2. RN s para Regressão e ClassificaçãoBreve históricoClassificação e RegressãoAplicaçõesPerceptronsRedes MulticamadaBackpropagation
  3. 3. Uma Breve História das RNs1943 McCuloch e Pitts Computational Neuron Model1948 Turing B-type Unorganised Machine1949 Hebb Aprendizado no Cérebro1962 Rosenblatt Perceptron1969 Minsky e Papert “Perceptrons”1974 Werbos Backpropagation1982 Hopfield Relação com a Física Estatística1983 Hinton e Sejnowski Boltzmann Machines1988 Broomhead e Lowe Redes Radial Basis1992 MacKay e Neal Métodos Bayesianos1996 Williams, Rasmussen e Barber Processos Gaussianos
  4. 4. Classificação e Regressão Dado um conjunto com N exemplos L ={xn , t }N n n=1 encontrar a função t = y(x, w ) * que minimize uma função erro w = arg min E(w) * estabelecida *Treinamento de uma RN = determinação de w
  5. 5. AplicaçõesClassificação: Rating automático para crédito Detecção de fraudes Sistemas de early warning para riscos Validação automática de informações financeirasRegressão: Determinação de Smile de opções Interpolação de curvas de juros Missing data para ativos não líquidos Detecção automática de tendências de mercado
  6. 6. Perceptron Contínuo ⎛ ⎞ y = g ⎜ ∑ wj x j + μ ⎟ 1 Função de 0.8 ⎝ j ⎠ transferência 0.6 1g (a ) = 0.4 −a 1+ e 0.2 -4 -2 2 4
  7. 7. Gradient Descent 1 NA função erro é E (w ) = ∑ [ yn (w ) − tn ]2 2 n =1Correção na direção demaior decréscimo w t +1 = w t − η ∇E Wtdo erro N ∇ E = ∑ x g ′( w ⋅ x ) ( y n − t n ) n n n =1
  8. 8. Minimização do Erro de Treinamento Δw (1) E Δw (2) Δw (3) w
  9. 9. Método de Newton 1 E (w ) ≅ E (w ) + (w − w ) ⋅∇E w + (w − w ) ⋅ H (w − w ) ˆ ˆ ˆ ˆ ˆ 2 ∂E H jk = ∇E ≅ ∇E w + H ( w − w ) ˆ ∂w j ∂wk ˆ w ˆSe w* for o mínimo de E ∇E ≅ H ( w − w ) * −1 Assim w ≅ w − H ∇E *
  10. 10. Minimizando Erro com o Método de Newton −∇E w* −1 − H ∇E w
  11. 11. Redes Multicamada ⎛ ⎞ g 0 ⎜ ∑ w j g j (w j ⋅ x j + μ j ) ⎟ (2) (1) ⎝ j ⎠ g j ( xk , w jk ) w jk xk
  12. 12. Exemplo1 :Classificação com rede Softmax j = index max{ y1 , y2 , y3 } ⎛ ⎞ exp ⎜ ∑ wkj x j ⎟ yl = ⎝ j ⎠ ⎛ ⎞ ∑ exp ⎜ ∑ wlj x j ⎟ l ⎝ j ⎠ x1 x2 x3
  13. 13. Treinando a RedeO conjunto de treinamentoconsiste de N pares com L = {x , t }n n N n =1vetores em 3d. t ∈ {(0, 0,1), (0,1, 0), (1, 0, 0)} nA função erro é E = −∑∑ t n ln y n j jO treinamento é efetuado n jem paralelo nas unidadesda camada interna t +1 −1utilizando o método deNewton w j = w − H ∇ jE t j j
  14. 14. RegressãoUma RN Multicamada com saída linear e um número suficientementegrande de unidades na camada interna pode aproximar qualquerfunção com precisão arbitrária. N g ( z) g ( z0 ) + ∑ {gi +1 − gi }Θ( z − zi ) i =0 1 Θ( x ) 0 x=0
  15. 15. Exemplo 2:Regressão não-linear em 1 dimensão y y = ∑ w(2) tanh( w(1) x) j j j Exemplos gerados por : tn = sen(2π xn ) + ruido Função Erro dada por: x 1 N E (w ) = ∑ [ yn (w ) − tn ]2 2 n =1
  16. 16. Backpropagation:Treinando redes genéricas y Rede com M camadas, cada unidade k de camada específica m (m,k) possui função de transferência g km) ( A saída da unidade k da camada m é yk m ) ( X
  17. 17. Backpropagation yk m ) ( ⎛ ⎞ (m) yk m ) = g k m ) ⎜ ∑ wikm ) yi( m −1) ⎟ ( ( (g k ⎝ i ⎠ (m) ⎛ ( m −1) ⎞ = g k ⎜ ∑ wik gi (hi (m) ( m ) ( m −1) w ik )⎟ ⎝ i ⎠ , onde hi( m ) ≡ ∑ wikm ) yi( m −1) ( yi( m −1) i
  18. 18. Backpropagation O conjunto de n n N treinamento consiste de {(x , t )} n=1 pares E = ∑ ( t k − yk ( x ) )O treinamento é efetuado 1 n n 2 através da minimização 2 k ,n da função erro
  19. 19. BackpropagationApresenta-se um exemplo ( x, t )Calculam-se as saídas yk m ) ( Calculam-se os “erros” da δ (M ) k = (t − yk )[ g (M ) k ]′camada de saída dados por Propagam-se estes erros paracamadas interiores usando: δ k( M −1) = (∑ wlkM )δ l( M ) )[ g k( M −1) ]′ ( l
  20. 20. BackpropagationAtualizam-se os parâmetros utilizando: Δwkjm ) = −ηδ k( m ) y (jm −1) (Repete o procedimento o mesmoprocedimento para o próximo exemplo
  21. 21. BibliografiaNeural Networks for PatternRecognitionby Christopher M. Bishop www.ncrg.aston.ac.uk

×