SlideShare uma empresa Scribd logo
Redes Neurais:
Classificação e Regressão

            Renato Vicente
           rvicente@if.usp.br
    10/01, mpmmf, IME/FEA – USP
RN s para Regressão e
         Classificação
Breve histórico
Classificação e Regressão
Aplicações
Perceptrons
Redes Multicamada
Backpropagation
Uma Breve História das RNs
1943 McCuloch e Pitts Computational Neuron Model
1948 Turing B-type Unorganised Machine
1949 Hebb Aprendizado no Cérebro
1962 Rosenblatt Perceptron
1969 Minsky e Papert “Perceptrons”
1974 Werbos Backpropagation
1982 Hopfield Relação com a Física Estatística
1983 Hinton e Sejnowski Boltzmann Machines
1988 Broomhead e Lowe Redes Radial Basis
1992 MacKay e Neal Métodos Bayesianos
1996 Williams, Rasmussen e Barber Processos Gaussianos
Classificação e Regressão
    Dado um conjunto
     com N exemplos
                        L ={xn , t }N
                                  n n=1


   encontrar a função   t = y(x, w )
                                  *



    que minimize uma
          função erro    w = arg min E(w)
                           *

         estabelecida
                                                *
Treinamento de uma RN = determinação de     w
Aplicações
Classificação:
  Rating automático para crédito
  Detecção de fraudes
  Sistemas de early warning para riscos
  Validação automática de informações financeiras

Regressão:
  Determinação de Smile de opções
  Interpolação de curvas de juros
  Missing data para ativos não líquidos
  Detecção automática de tendências de mercado
Perceptron Contínuo




           ⎛              ⎞
     y = g ⎜ ∑ wj x j + μ ⎟
                                              1

                                Função de 0.8
           ⎝ j            ⎠
                              transferência 0.6
           1
g (a ) =
                                             0.4

              −a
         1+ e                                0.2


                                   -4   -2         2   4
Gradient Descent
                                  1 N
A função erro é           E (w ) = ∑ [ yn (w ) − tn ]2
                                  2 n =1


Correção na direção de
maior decréscimo              w t +1 = w t − η ∇E Wt
do erro

                  N
      ∇ E = ∑ x g ′( w ⋅ x ) ( y n − t n )
                      n                  n

              n =1
Minimização do Erro de
     Treinamento
       Δw (1)
  E
                    Δw (2)




                Δw (3)
                             w
Método de Newton
                                         1
       E (w ) ≅ E (w ) + (w − w ) ⋅∇E w + (w − w ) ⋅ H (w − w )
                   ˆ          ˆ       ˆ
                                               ˆ            ˆ
                                         2
           ∂E
  H jk =                        ∇E ≅ ∇E w + H ( w − w )
                                                    ˆ
         ∂w j ∂wk   ˆ
                    w
                                        ˆ




Se w* for o mínimo de E                ∇E ≅ H ( w − w )       *



                                           −1
   Assim                w ≅ w − H ∇E
                         *
Minimizando Erro com o Método de
            Newton


            −∇E    w*
                  −1
              − H ∇E
          w
Redes Multicamada
       ⎛                              ⎞
   g 0 ⎜ ∑ w j g j (w j ⋅ x j + μ j ) ⎟
            (2)      (1)

       ⎝ j                            ⎠




                                           g j ( xk , w jk )


                                          w jk
                 xk
Exemplo1 :
Classificação com rede Softmax

                 j = index max{ y1 , y2 , y3 }

                                ⎛           ⎞
                            exp ⎜ ∑ wkj x j ⎟
                      yl =      ⎝ j         ⎠
                                  ⎛           ⎞
                           ∑ exp ⎜ ∑ wlj x j ⎟
                           l      ⎝ j         ⎠
  x1   x2   x3
Treinando a Rede
O conjunto de treinamento
consiste de N pares com     L = {x , t }n   n N
                                              n =1
vetores em 3d.
                            t ∈ {(0, 0,1), (0,1, 0), (1, 0, 0)}
                             n

A função erro é


                            E = −∑∑ t n ln y n
                                      j      j
O treinamento é efetuado                n   j
em paralelo nas unidades
da camada interna
                                 t +1                −1
utilizando o método de
Newton
                            w     j     = w − H ∇ jE
                                                t
                                                 j   j
Regressão
Uma RN Multicamada com saída linear e um número suficientemente
grande de unidades na camada interna pode aproximar qualquer
função com precisão arbitrária.    N
                    g ( z)   g ( z0 ) + ∑ {gi +1 − gi }Θ( z − zi )
                                      i =0



                                                                     1
                                             Θ( x )
                                       0
                                                      x=0
Exemplo 2:
Regressão não-linear em 1 dimensão
      y
                 y = ∑ w(2) tanh( w(1) x)
                        j          j
                       j



                Exemplos gerados por :

                  tn = sen(2π xn ) + ruido


               Função Erro dada por:

      x                   1 N
                  E (w ) = ∑ [ yn (w ) − tn ]2
                          2 n =1
Backpropagation:Treinando redes genéricas
                y
                        Rede com M camadas,
                          cada unidade k de
                        camada específica m
      (m,k)                possui função de
                             transferência


                                 g km)
                                   (



                       A saída da unidade k da
                             camada m é

                                 yk m )
                                  (


        X
Backpropagation

          yk m )
           (


                                                 ⎛                    ⎞
    (m)                         yk m ) = g k m ) ⎜ ∑ wikm ) yi( m −1) ⎟
                                  (        (          (
g   k                                            ⎝ i                  ⎠
                                            (m) ⎛                       ( m −1) ⎞
                                       = g k ⎜ ∑ wik gi (hi
                      (m)                              ( m ) ( m −1)
                      w
                      ik
                                                                               )⎟
                                                 ⎝ i                            ⎠
                               , onde hi( m ) ≡ ∑ wikm ) yi( m −1)
                                                        (

          yi( m −1)                                i
Backpropagation

 O conjunto de                    n   n   N
 treinamento consiste de
                           {(x , t )}     n=1
 pares




                           E = ∑ ( t k − yk ( x ) )
O treinamento é efetuado      1      n         n    2

 através da minimização       2 k ,n
 da função erro
Backpropagation
Apresenta-se um exemplo
                                  ( x, t )

Calculam-se as saídas                 yk m )
                                       (




 Calculam-se os “erros” da       δ   (M )
                                     k         = (t − yk )[ g   (M )
                                                                k      ]′
camada de saída dados por

 Propagam-se estes erros para
camadas interiores usando:

           δ k( M −1) = (∑ wlkM )δ l( M ) )[ g k( M −1) ]′
                            (

                             l
Backpropagation
Atualizam-se os parâmetros utilizando:


                         Δwkjm ) = −ηδ k( m ) y (jm −1)
                           (

Repete o procedimento o mesmo
procedimento para o próximo exemplo
Bibliografia

Neural Networks for Pattern
Recognition
by Christopher M. Bishop




   www.ncrg.aston.ac.uk

Mais conteúdo relacionado

Mais procurados

Risco de Crédito 3: KMV
Risco de Crédito 3: KMVRisco de Crédito 3: KMV
Risco de Crédito 3: KMV
Renato Vicente
 
V@R ajustado a liquidez
V@R ajustado a liquidezV@R ajustado a liquidez
V@R ajustado a liquidez
Renato Vicente
 
Derivada
DerivadaDerivada
08 derivadas
08 derivadas08 derivadas
08 derivadas
Rodrigo Oliveira
 
Formulário - Estatística
Formulário - EstatísticaFormulário - Estatística
Formulário - Estatística
Rodrigo Thiago Passos Silva
 
[Robson] 7. Programação Não Linear Irrestrita
[Robson] 7. Programação Não Linear Irrestrita[Robson] 7. Programação Não Linear Irrestrita
[Robson] 7. Programação Não Linear Irrestrita
lapodcc
 
Apostila 2 calculo i derivadas
Apostila 2 calculo i derivadasApostila 2 calculo i derivadas
Apostila 2 calculo i derivadas
trigono_metrico
 
Mae0330 formulario-2012
Mae0330 formulario-2012Mae0330 formulario-2012
Mae0330 formulario-2012
Adriana Maria Meneghetti
 
Tadeu
TadeuTadeu
Tadeu
diegomd51
 
Funçoes
FunçoesFunçoes
[Robson] 5. Análise de Sensibilidade
[Robson] 5. Análise de Sensibilidade[Robson] 5. Análise de Sensibilidade
[Robson] 5. Análise de Sensibilidade
lapodcc
 
Função Exponencial
Função ExponencialFunção Exponencial
Função Exponencial
Antonio Carneiro
 
Funcao exponencial
Funcao exponencialFuncao exponencial
Funcao exponencial
slidericardinho
 
Calculo1 aula16
Calculo1 aula16Calculo1 aula16
Calculo1 aula16
Élica Dias
 
Ex algebra (8)
Ex algebra  (8)Ex algebra  (8)
Ex algebra (8)
Andrei Bastos
 
1939 d (2)
1939 d (2)1939 d (2)
1939 d (2)
Tuane Paixão
 
Matematica2 5
Matematica2 5Matematica2 5
Matematica2 5
Débora Bastos
 
Função exponencial
Função exponencialFunção exponencial
Função exponencial
Jesrayne Nascimento
 
Algebra Linear cap 04
Algebra Linear cap 04Algebra Linear cap 04
Algebra Linear cap 04
Andrei Bastos
 
Equações diferenciais ordinárias
Equações diferenciais ordináriasEquações diferenciais ordinárias
Equações diferenciais ordinárias
Herlan Ribeiro de Souza
 

Mais procurados (20)

Risco de Crédito 3: KMV
Risco de Crédito 3: KMVRisco de Crédito 3: KMV
Risco de Crédito 3: KMV
 
V@R ajustado a liquidez
V@R ajustado a liquidezV@R ajustado a liquidez
V@R ajustado a liquidez
 
Derivada
DerivadaDerivada
Derivada
 
08 derivadas
08 derivadas08 derivadas
08 derivadas
 
Formulário - Estatística
Formulário - EstatísticaFormulário - Estatística
Formulário - Estatística
 
[Robson] 7. Programação Não Linear Irrestrita
[Robson] 7. Programação Não Linear Irrestrita[Robson] 7. Programação Não Linear Irrestrita
[Robson] 7. Programação Não Linear Irrestrita
 
Apostila 2 calculo i derivadas
Apostila 2 calculo i derivadasApostila 2 calculo i derivadas
Apostila 2 calculo i derivadas
 
Mae0330 formulario-2012
Mae0330 formulario-2012Mae0330 formulario-2012
Mae0330 formulario-2012
 
Tadeu
TadeuTadeu
Tadeu
 
Funçoes
FunçoesFunçoes
Funçoes
 
[Robson] 5. Análise de Sensibilidade
[Robson] 5. Análise de Sensibilidade[Robson] 5. Análise de Sensibilidade
[Robson] 5. Análise de Sensibilidade
 
Função Exponencial
Função ExponencialFunção Exponencial
Função Exponencial
 
Funcao exponencial
Funcao exponencialFuncao exponencial
Funcao exponencial
 
Calculo1 aula16
Calculo1 aula16Calculo1 aula16
Calculo1 aula16
 
Ex algebra (8)
Ex algebra  (8)Ex algebra  (8)
Ex algebra (8)
 
1939 d (2)
1939 d (2)1939 d (2)
1939 d (2)
 
Matematica2 5
Matematica2 5Matematica2 5
Matematica2 5
 
Função exponencial
Função exponencialFunção exponencial
Função exponencial
 
Algebra Linear cap 04
Algebra Linear cap 04Algebra Linear cap 04
Algebra Linear cap 04
 
Equações diferenciais ordinárias
Equações diferenciais ordináriasEquações diferenciais ordinárias
Equações diferenciais ordinárias
 

Destaque

Inteligencia financeira II
Inteligencia financeira IIInteligencia financeira II
Inteligencia financeira II
Renato Vicente
 
Inteligencia financeira I
Inteligencia financeira IInteligencia financeira I
Inteligencia financeira I
Renato Vicente
 
Estatistica: introducao a teoria de decisao
Estatistica: introducao a teoria de decisaoEstatistica: introducao a teoria de decisao
Estatistica: introducao a teoria de decisao
Renato Vicente
 
Testes de Stress
Testes de StressTestes de Stress
Testes de Stress
Renato Vicente
 
Estatística: introdução
Estatística: introduçãoEstatística: introdução
Estatística: introdução
Renato Vicente
 
Risco de Crédito 2: CreditRisk+
Risco de Crédito 2: CreditRisk+Risco de Crédito 2: CreditRisk+
Risco de Crédito 2: CreditRisk+
Renato Vicente
 
Risco sistêmico
Risco sistêmicoRisco sistêmico
Risco sistêmico
Renato Vicente
 
Estatística: Probabilidade
Estatística: ProbabilidadeEstatística: Probabilidade
Estatística: Probabilidade
Renato Vicente
 
Backtesting
BacktestingBacktesting
Backtesting
Renato Vicente
 
Estatística: Modelos Discretos
Estatística: Modelos DiscretosEstatística: Modelos Discretos
Estatística: Modelos Discretos
Renato Vicente
 
Estatística: Introduçao à Estimacao Bayesiana
Estatística: Introduçao à Estimacao BayesianaEstatística: Introduçao à Estimacao Bayesiana
Estatística: Introduçao à Estimacao Bayesiana
Renato Vicente
 
Risco de derivativos
Risco de derivativosRisco de derivativos
Risco de derivativos
Renato Vicente
 
Risco de Crédito 1
Risco de Crédito 1Risco de Crédito 1
Risco de Crédito 1
Renato Vicente
 
V@R Histórico
V@R HistóricoV@R Histórico
V@R Histórico
Renato Vicente
 
V@R Monte Carlo
V@R Monte CarloV@R Monte Carlo
V@R Monte Carlo
Renato Vicente
 
Migrating an application from Angular 1 to Angular 2
Migrating an application from Angular 1 to Angular 2 Migrating an application from Angular 1 to Angular 2
Migrating an application from Angular 1 to Angular 2
Ross Dederer
 
Angular 2 overview
Angular 2 overviewAngular 2 overview
Angular 2 overview
Jesse Warden
 
Angular 2 - Core Concepts
Angular 2 - Core ConceptsAngular 2 - Core Concepts
Angular 2 - Core Concepts
Fabio Biondi
 
Introduction to Angular 2
Introduction to Angular 2Introduction to Angular 2
Introduction to Angular 2
Knoldus Inc.
 

Destaque (19)

Inteligencia financeira II
Inteligencia financeira IIInteligencia financeira II
Inteligencia financeira II
 
Inteligencia financeira I
Inteligencia financeira IInteligencia financeira I
Inteligencia financeira I
 
Estatistica: introducao a teoria de decisao
Estatistica: introducao a teoria de decisaoEstatistica: introducao a teoria de decisao
Estatistica: introducao a teoria de decisao
 
Testes de Stress
Testes de StressTestes de Stress
Testes de Stress
 
Estatística: introdução
Estatística: introduçãoEstatística: introdução
Estatística: introdução
 
Risco de Crédito 2: CreditRisk+
Risco de Crédito 2: CreditRisk+Risco de Crédito 2: CreditRisk+
Risco de Crédito 2: CreditRisk+
 
Risco sistêmico
Risco sistêmicoRisco sistêmico
Risco sistêmico
 
Estatística: Probabilidade
Estatística: ProbabilidadeEstatística: Probabilidade
Estatística: Probabilidade
 
Backtesting
BacktestingBacktesting
Backtesting
 
Estatística: Modelos Discretos
Estatística: Modelos DiscretosEstatística: Modelos Discretos
Estatística: Modelos Discretos
 
Estatística: Introduçao à Estimacao Bayesiana
Estatística: Introduçao à Estimacao BayesianaEstatística: Introduçao à Estimacao Bayesiana
Estatística: Introduçao à Estimacao Bayesiana
 
Risco de derivativos
Risco de derivativosRisco de derivativos
Risco de derivativos
 
Risco de Crédito 1
Risco de Crédito 1Risco de Crédito 1
Risco de Crédito 1
 
V@R Histórico
V@R HistóricoV@R Histórico
V@R Histórico
 
V@R Monte Carlo
V@R Monte CarloV@R Monte Carlo
V@R Monte Carlo
 
Migrating an application from Angular 1 to Angular 2
Migrating an application from Angular 1 to Angular 2 Migrating an application from Angular 1 to Angular 2
Migrating an application from Angular 1 to Angular 2
 
Angular 2 overview
Angular 2 overviewAngular 2 overview
Angular 2 overview
 
Angular 2 - Core Concepts
Angular 2 - Core ConceptsAngular 2 - Core Concepts
Angular 2 - Core Concepts
 
Introduction to Angular 2
Introduction to Angular 2Introduction to Angular 2
Introduction to Angular 2
 

Semelhante a Redes Neurais: classificação e regressão

Exame matematica
Exame matematicaExame matematica
Exame matematica
João Pinto
 
Aula8
Aula8Aula8
P3 calculo i_ (4)
P3 calculo i_ (4)P3 calculo i_ (4)
P3 calculo i_ (4)
Andrei Bastos
 
Mat logaritmos 005
Mat logaritmos  005Mat logaritmos  005
Mat logaritmos 005
trigono_metrico
 
Lista 1 ed
Lista 1   edLista 1   ed
Matematica2 7
Matematica2 7Matematica2 7
Matematica2 7
Débora Bastos
 
www.AulasDeMatematicaApoio.com.br - Matemática - Função Afim
 www.AulasDeMatematicaApoio.com.br  - Matemática - Função Afim www.AulasDeMatematicaApoio.com.br  - Matemática - Função Afim
www.AulasDeMatematicaApoio.com.br - Matemática - Função Afim
Beatriz Góes
 
www.AulasDeMatematicanoRJ.Com.Br -Matemática - Função Afim
 www.AulasDeMatematicanoRJ.Com.Br  -Matemática -  Função Afim www.AulasDeMatematicanoRJ.Com.Br  -Matemática -  Função Afim
www.AulasDeMatematicanoRJ.Com.Br -Matemática - Função Afim
Clarice Leclaire
 
03 função quadrática - parte III (gráfico)
03   função quadrática - parte III (gráfico)03   função quadrática - parte III (gráfico)
03 função quadrática - parte III (gráfico)
Angelo Moreira Dos Reis
 
Integral de linha campo vetorial - calculo iii
Integral de linha   campo vetorial - calculo iiiIntegral de linha   campo vetorial - calculo iii
Integral de linha campo vetorial - calculo iii
Jailson Nascimento
 
www.AulasDeMatematicaApoio.com - Matemática - Função Afim
www.AulasDeMatematicaApoio.com  - Matemática - Função Afimwww.AulasDeMatematicaApoio.com  - Matemática - Função Afim
www.AulasDeMatematicaApoio.com - Matemática - Função Afim
Aulas De Matemática Apoio
 
Macetes Matematica Fisica
Macetes Matematica FisicaMacetes Matematica Fisica
Macetes Matematica Fisica
guesta4929b
 
FORMA ANALÍTICA E MÉTODOS DAS DIFERENÇAS FINITAS APLICADO AO POTENCIAL DENTRO...
FORMA ANALÍTICA E MÉTODOS DAS DIFERENÇAS FINITAS APLICADO AO POTENCIAL DENTRO...FORMA ANALÍTICA E MÉTODOS DAS DIFERENÇAS FINITAS APLICADO AO POTENCIAL DENTRO...
FORMA ANALÍTICA E MÉTODOS DAS DIFERENÇAS FINITAS APLICADO AO POTENCIAL DENTRO...
JÚLIO PEIXOTO
 
www.aulaparticularonline.net.br - Matemática - Função Afim
www.aulaparticularonline.net.br - Matemática -  Função Afimwww.aulaparticularonline.net.br - Matemática -  Função Afim
www.aulaparticularonline.net.br - Matemática - Função Afim
Lucia Silveira
 
Potencial EléTrico
Potencial EléTricoPotencial EléTrico
Potencial EléTrico
dalgo
 
P3 calculo i_ (5)
P3 calculo i_ (5)P3 calculo i_ (5)
P3 calculo i_ (5)
Andrei Bastos
 
Ms impresso aula05
Ms impresso aula05Ms impresso aula05
Ms impresso aula05
Fabiano Ferraz
 
Aula10
Aula10Aula10
Calculo1 aula16
Calculo1 aula16Calculo1 aula16
Calculo1 aula16
Cleide Soares
 
Função exponencial logaritmo_2012
Função exponencial logaritmo_2012Função exponencial logaritmo_2012
Função exponencial logaritmo_2012
cristianomatematico
 

Semelhante a Redes Neurais: classificação e regressão (20)

Exame matematica
Exame matematicaExame matematica
Exame matematica
 
Aula8
Aula8Aula8
Aula8
 
P3 calculo i_ (4)
P3 calculo i_ (4)P3 calculo i_ (4)
P3 calculo i_ (4)
 
Mat logaritmos 005
Mat logaritmos  005Mat logaritmos  005
Mat logaritmos 005
 
Lista 1 ed
Lista 1   edLista 1   ed
Lista 1 ed
 
Matematica2 7
Matematica2 7Matematica2 7
Matematica2 7
 
www.AulasDeMatematicaApoio.com.br - Matemática - Função Afim
 www.AulasDeMatematicaApoio.com.br  - Matemática - Função Afim www.AulasDeMatematicaApoio.com.br  - Matemática - Função Afim
www.AulasDeMatematicaApoio.com.br - Matemática - Função Afim
 
www.AulasDeMatematicanoRJ.Com.Br -Matemática - Função Afim
 www.AulasDeMatematicanoRJ.Com.Br  -Matemática -  Função Afim www.AulasDeMatematicanoRJ.Com.Br  -Matemática -  Função Afim
www.AulasDeMatematicanoRJ.Com.Br -Matemática - Função Afim
 
03 função quadrática - parte III (gráfico)
03   função quadrática - parte III (gráfico)03   função quadrática - parte III (gráfico)
03 função quadrática - parte III (gráfico)
 
Integral de linha campo vetorial - calculo iii
Integral de linha   campo vetorial - calculo iiiIntegral de linha   campo vetorial - calculo iii
Integral de linha campo vetorial - calculo iii
 
www.AulasDeMatematicaApoio.com - Matemática - Função Afim
www.AulasDeMatematicaApoio.com  - Matemática - Função Afimwww.AulasDeMatematicaApoio.com  - Matemática - Função Afim
www.AulasDeMatematicaApoio.com - Matemática - Função Afim
 
Macetes Matematica Fisica
Macetes Matematica FisicaMacetes Matematica Fisica
Macetes Matematica Fisica
 
FORMA ANALÍTICA E MÉTODOS DAS DIFERENÇAS FINITAS APLICADO AO POTENCIAL DENTRO...
FORMA ANALÍTICA E MÉTODOS DAS DIFERENÇAS FINITAS APLICADO AO POTENCIAL DENTRO...FORMA ANALÍTICA E MÉTODOS DAS DIFERENÇAS FINITAS APLICADO AO POTENCIAL DENTRO...
FORMA ANALÍTICA E MÉTODOS DAS DIFERENÇAS FINITAS APLICADO AO POTENCIAL DENTRO...
 
www.aulaparticularonline.net.br - Matemática - Função Afim
www.aulaparticularonline.net.br - Matemática -  Função Afimwww.aulaparticularonline.net.br - Matemática -  Função Afim
www.aulaparticularonline.net.br - Matemática - Função Afim
 
Potencial EléTrico
Potencial EléTricoPotencial EléTrico
Potencial EléTrico
 
P3 calculo i_ (5)
P3 calculo i_ (5)P3 calculo i_ (5)
P3 calculo i_ (5)
 
Ms impresso aula05
Ms impresso aula05Ms impresso aula05
Ms impresso aula05
 
Aula10
Aula10Aula10
Aula10
 
Calculo1 aula16
Calculo1 aula16Calculo1 aula16
Calculo1 aula16
 
Função exponencial logaritmo_2012
Função exponencial logaritmo_2012Função exponencial logaritmo_2012
Função exponencial logaritmo_2012
 

Último

UFCD_3546_Prevenção e primeiros socorros_geriatria.pdf
UFCD_3546_Prevenção e primeiros socorros_geriatria.pdfUFCD_3546_Prevenção e primeiros socorros_geriatria.pdf
UFCD_3546_Prevenção e primeiros socorros_geriatria.pdf
Manuais Formação
 
UFCD_6580_Cuidados na saúde a populações mais vulneráveis_índice.pdf
UFCD_6580_Cuidados na saúde a populações mais vulneráveis_índice.pdfUFCD_6580_Cuidados na saúde a populações mais vulneráveis_índice.pdf
UFCD_6580_Cuidados na saúde a populações mais vulneráveis_índice.pdf
Manuais Formação
 
cidadas 5° ano - ensino fundamental 2 ..
cidadas 5° ano - ensino fundamental 2 ..cidadas 5° ano - ensino fundamental 2 ..
cidadas 5° ano - ensino fundamental 2 ..
MatheusSousa716350
 
Slides Lição 12, Central Gospel, O Milênio, 1Tr24, Pr Henrique.pptx
Slides Lição 12, Central Gospel, O Milênio, 1Tr24, Pr Henrique.pptxSlides Lição 12, Central Gospel, O Milênio, 1Tr24, Pr Henrique.pptx
Slides Lição 12, Central Gospel, O Milênio, 1Tr24, Pr Henrique.pptx
LuizHenriquedeAlmeid6
 
Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptxPsicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
TiagoLouro8
 
As sequências didáticas: práticas educativas
As sequências didáticas: práticas educativasAs sequências didáticas: práticas educativas
As sequências didáticas: práticas educativas
rloureiro1
 
Loteria - Adição, subtração, multiplicação e divisão.
Loteria - Adição,  subtração,  multiplicação e divisão.Loteria - Adição,  subtração,  multiplicação e divisão.
Loteria - Adição, subtração, multiplicação e divisão.
Mary Alvarenga
 
Aula de filosofia sobre Sexo, Gênero e sexualidade
Aula de filosofia sobre Sexo, Gênero e sexualidadeAula de filosofia sobre Sexo, Gênero e sexualidade
Aula de filosofia sobre Sexo, Gênero e sexualidade
AlessandraRibas7
 
3ª série HIS - PROVA PAULISTA DIA 1 - 1º BIM-24.pdf
3ª série HIS - PROVA PAULISTA DIA 1 - 1º BIM-24.pdf3ª série HIS - PROVA PAULISTA DIA 1 - 1º BIM-24.pdf
3ª série HIS - PROVA PAULISTA DIA 1 - 1º BIM-24.pdf
AdrianoMontagna1
 
Slides Lição 12, Betel, Ordenança para amar o próximo, 2Tr24.pptx
Slides Lição 12, Betel, Ordenança para amar o próximo, 2Tr24.pptxSlides Lição 12, Betel, Ordenança para amar o próximo, 2Tr24.pptx
Slides Lição 12, Betel, Ordenança para amar o próximo, 2Tr24.pptx
LuizHenriquedeAlmeid6
 
AUTISMO LEGAL - DIREITOS DOS AUTISTAS- LEGISLAÇÃO
AUTISMO LEGAL - DIREITOS DOS AUTISTAS- LEGISLAÇÃOAUTISMO LEGAL - DIREITOS DOS AUTISTAS- LEGISLAÇÃO
AUTISMO LEGAL - DIREITOS DOS AUTISTAS- LEGISLAÇÃO
FernandaOliveira758273
 
-Rudolf-Laban-e-a-teoria-do-movimento.ppt
-Rudolf-Laban-e-a-teoria-do-movimento.ppt-Rudolf-Laban-e-a-teoria-do-movimento.ppt
-Rudolf-Laban-e-a-teoria-do-movimento.ppt
fagnerlopes11
 
FUNCAO EQUAÇÃO DO 2° GRAU SLIDES AULA 1.ppt
FUNCAO EQUAÇÃO DO 2° GRAU SLIDES AULA 1.pptFUNCAO EQUAÇÃO DO 2° GRAU SLIDES AULA 1.ppt
FUNCAO EQUAÇÃO DO 2° GRAU SLIDES AULA 1.ppt
MarceloMonteiro213738
 
planejamento maternal 2 atualizado.pdf e
planejamento maternal 2 atualizado.pdf eplanejamento maternal 2 atualizado.pdf e
planejamento maternal 2 atualizado.pdf e
HelenStefany
 
Telepsiquismo Utilize seu poder extrassensorial para atrair prosperidade (Jos...
Telepsiquismo Utilize seu poder extrassensorial para atrair prosperidade (Jos...Telepsiquismo Utilize seu poder extrassensorial para atrair prosperidade (Jos...
Telepsiquismo Utilize seu poder extrassensorial para atrair prosperidade (Jos...
fran0410
 
O século XVII e o nascimento da pedagogia.pptx
O século XVII e o nascimento da pedagogia.pptxO século XVII e o nascimento da pedagogia.pptx
O século XVII e o nascimento da pedagogia.pptx
geiseortiz1
 
UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
Manuais Formação
 
Aula04A-Potencia em CA eletricidade USP.pdf
Aula04A-Potencia em CA eletricidade USP.pdfAula04A-Potencia em CA eletricidade USP.pdf
Aula04A-Potencia em CA eletricidade USP.pdf
vitorreissouzasilva
 
Resumo de Química 10º ano Estudo exames nacionais
Resumo de Química 10º ano Estudo exames nacionaisResumo de Química 10º ano Estudo exames nacionais
Resumo de Química 10º ano Estudo exames nacionais
beatrizsilva525654
 
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTALPlanejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
katbrochier1
 

Último (20)

UFCD_3546_Prevenção e primeiros socorros_geriatria.pdf
UFCD_3546_Prevenção e primeiros socorros_geriatria.pdfUFCD_3546_Prevenção e primeiros socorros_geriatria.pdf
UFCD_3546_Prevenção e primeiros socorros_geriatria.pdf
 
UFCD_6580_Cuidados na saúde a populações mais vulneráveis_índice.pdf
UFCD_6580_Cuidados na saúde a populações mais vulneráveis_índice.pdfUFCD_6580_Cuidados na saúde a populações mais vulneráveis_índice.pdf
UFCD_6580_Cuidados na saúde a populações mais vulneráveis_índice.pdf
 
cidadas 5° ano - ensino fundamental 2 ..
cidadas 5° ano - ensino fundamental 2 ..cidadas 5° ano - ensino fundamental 2 ..
cidadas 5° ano - ensino fundamental 2 ..
 
Slides Lição 12, Central Gospel, O Milênio, 1Tr24, Pr Henrique.pptx
Slides Lição 12, Central Gospel, O Milênio, 1Tr24, Pr Henrique.pptxSlides Lição 12, Central Gospel, O Milênio, 1Tr24, Pr Henrique.pptx
Slides Lição 12, Central Gospel, O Milênio, 1Tr24, Pr Henrique.pptx
 
Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptxPsicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
 
As sequências didáticas: práticas educativas
As sequências didáticas: práticas educativasAs sequências didáticas: práticas educativas
As sequências didáticas: práticas educativas
 
Loteria - Adição, subtração, multiplicação e divisão.
Loteria - Adição,  subtração,  multiplicação e divisão.Loteria - Adição,  subtração,  multiplicação e divisão.
Loteria - Adição, subtração, multiplicação e divisão.
 
Aula de filosofia sobre Sexo, Gênero e sexualidade
Aula de filosofia sobre Sexo, Gênero e sexualidadeAula de filosofia sobre Sexo, Gênero e sexualidade
Aula de filosofia sobre Sexo, Gênero e sexualidade
 
3ª série HIS - PROVA PAULISTA DIA 1 - 1º BIM-24.pdf
3ª série HIS - PROVA PAULISTA DIA 1 - 1º BIM-24.pdf3ª série HIS - PROVA PAULISTA DIA 1 - 1º BIM-24.pdf
3ª série HIS - PROVA PAULISTA DIA 1 - 1º BIM-24.pdf
 
Slides Lição 12, Betel, Ordenança para amar o próximo, 2Tr24.pptx
Slides Lição 12, Betel, Ordenança para amar o próximo, 2Tr24.pptxSlides Lição 12, Betel, Ordenança para amar o próximo, 2Tr24.pptx
Slides Lição 12, Betel, Ordenança para amar o próximo, 2Tr24.pptx
 
AUTISMO LEGAL - DIREITOS DOS AUTISTAS- LEGISLAÇÃO
AUTISMO LEGAL - DIREITOS DOS AUTISTAS- LEGISLAÇÃOAUTISMO LEGAL - DIREITOS DOS AUTISTAS- LEGISLAÇÃO
AUTISMO LEGAL - DIREITOS DOS AUTISTAS- LEGISLAÇÃO
 
-Rudolf-Laban-e-a-teoria-do-movimento.ppt
-Rudolf-Laban-e-a-teoria-do-movimento.ppt-Rudolf-Laban-e-a-teoria-do-movimento.ppt
-Rudolf-Laban-e-a-teoria-do-movimento.ppt
 
FUNCAO EQUAÇÃO DO 2° GRAU SLIDES AULA 1.ppt
FUNCAO EQUAÇÃO DO 2° GRAU SLIDES AULA 1.pptFUNCAO EQUAÇÃO DO 2° GRAU SLIDES AULA 1.ppt
FUNCAO EQUAÇÃO DO 2° GRAU SLIDES AULA 1.ppt
 
planejamento maternal 2 atualizado.pdf e
planejamento maternal 2 atualizado.pdf eplanejamento maternal 2 atualizado.pdf e
planejamento maternal 2 atualizado.pdf e
 
Telepsiquismo Utilize seu poder extrassensorial para atrair prosperidade (Jos...
Telepsiquismo Utilize seu poder extrassensorial para atrair prosperidade (Jos...Telepsiquismo Utilize seu poder extrassensorial para atrair prosperidade (Jos...
Telepsiquismo Utilize seu poder extrassensorial para atrair prosperidade (Jos...
 
O século XVII e o nascimento da pedagogia.pptx
O século XVII e o nascimento da pedagogia.pptxO século XVII e o nascimento da pedagogia.pptx
O século XVII e o nascimento da pedagogia.pptx
 
UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
 
Aula04A-Potencia em CA eletricidade USP.pdf
Aula04A-Potencia em CA eletricidade USP.pdfAula04A-Potencia em CA eletricidade USP.pdf
Aula04A-Potencia em CA eletricidade USP.pdf
 
Resumo de Química 10º ano Estudo exames nacionais
Resumo de Química 10º ano Estudo exames nacionaisResumo de Química 10º ano Estudo exames nacionais
Resumo de Química 10º ano Estudo exames nacionais
 
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTALPlanejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
 

Redes Neurais: classificação e regressão

  • 1. Redes Neurais: Classificação e Regressão Renato Vicente rvicente@if.usp.br 10/01, mpmmf, IME/FEA – USP
  • 2. RN s para Regressão e Classificação Breve histórico Classificação e Regressão Aplicações Perceptrons Redes Multicamada Backpropagation
  • 3. Uma Breve História das RNs 1943 McCuloch e Pitts Computational Neuron Model 1948 Turing B-type Unorganised Machine 1949 Hebb Aprendizado no Cérebro 1962 Rosenblatt Perceptron 1969 Minsky e Papert “Perceptrons” 1974 Werbos Backpropagation 1982 Hopfield Relação com a Física Estatística 1983 Hinton e Sejnowski Boltzmann Machines 1988 Broomhead e Lowe Redes Radial Basis 1992 MacKay e Neal Métodos Bayesianos 1996 Williams, Rasmussen e Barber Processos Gaussianos
  • 4. Classificação e Regressão Dado um conjunto com N exemplos L ={xn , t }N n n=1 encontrar a função t = y(x, w ) * que minimize uma função erro w = arg min E(w) * estabelecida * Treinamento de uma RN = determinação de w
  • 5. Aplicações Classificação: Rating automático para crédito Detecção de fraudes Sistemas de early warning para riscos Validação automática de informações financeiras Regressão: Determinação de Smile de opções Interpolação de curvas de juros Missing data para ativos não líquidos Detecção automática de tendências de mercado
  • 6. Perceptron Contínuo ⎛ ⎞ y = g ⎜ ∑ wj x j + μ ⎟ 1 Função de 0.8 ⎝ j ⎠ transferência 0.6 1 g (a ) = 0.4 −a 1+ e 0.2 -4 -2 2 4
  • 7. Gradient Descent 1 N A função erro é E (w ) = ∑ [ yn (w ) − tn ]2 2 n =1 Correção na direção de maior decréscimo w t +1 = w t − η ∇E Wt do erro N ∇ E = ∑ x g ′( w ⋅ x ) ( y n − t n ) n n n =1
  • 8. Minimização do Erro de Treinamento Δw (1) E Δw (2) Δw (3) w
  • 9. Método de Newton 1 E (w ) ≅ E (w ) + (w − w ) ⋅∇E w + (w − w ) ⋅ H (w − w ) ˆ ˆ ˆ ˆ ˆ 2 ∂E H jk = ∇E ≅ ∇E w + H ( w − w ) ˆ ∂w j ∂wk ˆ w ˆ Se w* for o mínimo de E ∇E ≅ H ( w − w ) * −1 Assim w ≅ w − H ∇E *
  • 10. Minimizando Erro com o Método de Newton −∇E w* −1 − H ∇E w
  • 11. Redes Multicamada ⎛ ⎞ g 0 ⎜ ∑ w j g j (w j ⋅ x j + μ j ) ⎟ (2) (1) ⎝ j ⎠ g j ( xk , w jk ) w jk xk
  • 12. Exemplo1 : Classificação com rede Softmax j = index max{ y1 , y2 , y3 } ⎛ ⎞ exp ⎜ ∑ wkj x j ⎟ yl = ⎝ j ⎠ ⎛ ⎞ ∑ exp ⎜ ∑ wlj x j ⎟ l ⎝ j ⎠ x1 x2 x3
  • 13. Treinando a Rede O conjunto de treinamento consiste de N pares com L = {x , t }n n N n =1 vetores em 3d. t ∈ {(0, 0,1), (0,1, 0), (1, 0, 0)} n A função erro é E = −∑∑ t n ln y n j j O treinamento é efetuado n j em paralelo nas unidades da camada interna t +1 −1 utilizando o método de Newton w j = w − H ∇ jE t j j
  • 14. Regressão Uma RN Multicamada com saída linear e um número suficientemente grande de unidades na camada interna pode aproximar qualquer função com precisão arbitrária. N g ( z) g ( z0 ) + ∑ {gi +1 − gi }Θ( z − zi ) i =0 1 Θ( x ) 0 x=0
  • 15. Exemplo 2: Regressão não-linear em 1 dimensão y y = ∑ w(2) tanh( w(1) x) j j j Exemplos gerados por : tn = sen(2π xn ) + ruido Função Erro dada por: x 1 N E (w ) = ∑ [ yn (w ) − tn ]2 2 n =1
  • 16. Backpropagation:Treinando redes genéricas y Rede com M camadas, cada unidade k de camada específica m (m,k) possui função de transferência g km) ( A saída da unidade k da camada m é yk m ) ( X
  • 17. Backpropagation yk m ) ( ⎛ ⎞ (m) yk m ) = g k m ) ⎜ ∑ wikm ) yi( m −1) ⎟ ( ( ( g k ⎝ i ⎠ (m) ⎛ ( m −1) ⎞ = g k ⎜ ∑ wik gi (hi (m) ( m ) ( m −1) w ik )⎟ ⎝ i ⎠ , onde hi( m ) ≡ ∑ wikm ) yi( m −1) ( yi( m −1) i
  • 18. Backpropagation O conjunto de n n N treinamento consiste de {(x , t )} n=1 pares E = ∑ ( t k − yk ( x ) ) O treinamento é efetuado 1 n n 2 através da minimização 2 k ,n da função erro
  • 19. Backpropagation Apresenta-se um exemplo ( x, t ) Calculam-se as saídas yk m ) ( Calculam-se os “erros” da δ (M ) k = (t − yk )[ g (M ) k ]′ camada de saída dados por Propagam-se estes erros para camadas interiores usando: δ k( M −1) = (∑ wlkM )δ l( M ) )[ g k( M −1) ]′ ( l
  • 20. Backpropagation Atualizam-se os parâmetros utilizando: Δwkjm ) = −ηδ k( m ) y (jm −1) ( Repete o procedimento o mesmo procedimento para o próximo exemplo
  • 21. Bibliografia Neural Networks for Pattern Recognition by Christopher M. Bishop www.ncrg.aston.ac.uk