SlideShare uma empresa Scribd logo
Técnicas Bayesianas


          Renato Vicente
        rvicente@if.usp.br
  10/01, mpmmf, IME/FEA – USP
Técnicas Bayesianas
Teorema de Bayes
Modelos Hierárquicos
Inferência de Parâmetros
Inferência de Hiperparâmetros
Seleção de Modelos
Teorema de Bayes
Seja dado um conjunto de dados D e um conjunto de
hipóteses sobre os dados H1 , H2 , ..., Hn.

A teoria elementar de probabilidades nos fornece:

   P ( D, H k ) = P ( D H k ) P ( H k ) = P ( H k D ) P ( D )

Daí decorre que:
                         P( D H k ) P( H k )
             P( H k D) =
                              P( D)
Bayes em Palavras


            VEROSSIMILHANÇA × A PRIORI
POSTERIOR =
                        ˆ
                    EVIDENCIA
Bayesianos X Freqüencistas
Freqüencistas: Probabilidades como “freqüência” de ocorrência de
 um evento ao repetir-se o experimento infinitas vezes.

                                   N
                               1
             P( A) = lim
                               N
                                   ∑χ
                                   j =1
                                          A   (x j )
                        N →∞

             χ A ( x j ) = 1 se x j ∈ A, ou = 0 c.c.

Bayesianos: Probabilidades como “grau de crença” na ocorrência de
um evento.

             Jaynes, Probability: The Logic of Science
         http://omega.albany.edu:8008/JaynesBook.html
Perceptron Contínuo




       ⎛              ⎞                   1

 y = g ⎜ ∑ wj x j + μ ⎟     Função de 0.8
       ⎝ j            ⎠   transferência 0.6
           1
g (a ) =
                                         0.4

              −a
         1+ e                            0.2


                               -4   -2         2   4
Bayes, Perceptron e Classificação
Dados em duas classes C1 e C2 são gerados
a partir de duas Gaussianas centradas em m1 e m2. Assim:


                                1                  ⎧ 1                             ⎫
  P (x C1 ) =                                  exp ⎨ − ( x - m1 ) ⋅ Σ -1 (x - m1 ) ⎬
                ( 2π )                             ⎩ 2                             ⎭
                         d /2
                                Det ( Σ)1/ 2
Utilizando o Teorema de Bayes:



                                   P ( x C1 ) P (C1 )
            P (C1 x ) =
                        P ( x C1 ) P (C1 ) + P ( x C2 ) P (C2 )
Bayes, Perceptron e Classificação

   Assumindo a seguinte forma para o posterior P(C1|x):


                             1
             P (C1 x) =        −a
                                   = g (a)
                          1+ e
                    ⎡ P ( x C1 ) P (C1 ) ⎤
             a ≡ ln ⎢                    ⎥
                    ⎣ P ( x C2 ) P (C2 ) ⎦
   Retomando o Perceptron:


                 ⎛               ⎞
           y = g ⎜ ∑ w j x j + μ ⎟ = P (C1 | x)
                 ⎝ j             ⎠
Bayes, Perceptron e Classificação
Retomando o Perceptron:
                      ⎛               ⎞
                y = g ⎜ ∑ w j x j + μ ⎟ = P (C1 | x)
                      ⎝ j             ⎠

Com
       w = Σ -1 (m1 - m 2 )
            1            1                 ⎛ P (C1 ) ⎞
       μ = − m1 ⋅ Σ m 2 + m1 ⋅ Σ m 2 + log ⎜
                   -1           -1
                                                     ⎟
            2            2                 ⎝ P(C2 ) ⎠
Modelos Hierárquicos
Dados D são produzidos por um processo estocástico com
parâmetros w , P(D|w).


Os parâmetros w são, por sua vez, produzidos por um processo
estocástico com hiperparâmetros α , P(w| α).


A hierarquia pode continuar indefinidamente ...


... inclusive acomodando diversas hipóteses a serem testadas H1 , H2 ,
..., HN e seus respectivos graus de plausibilidade P(w,α|Hk).
Inferência de Parâmetros
Dado um conjunto de dados D e um modelo Hi , encontrar os
parâmetros mais prováveis w* .

                        P( D | w, H i ) P(w | H i )
     P ( w | D, H i ) =
                               P( D | H i )
Deve-se minimizar a função “erro” a seguir

  E (w ) = − ln P(w | D, H i ) =
          = − ln P ( D | w, H i ) − ln P(w | H i ) + cte
               max verossimilhança   conhecimento a priori
Ex: Perceptron Contínuo
H i : y ( x, w ) = g ( w ⋅ x )              t = t0 + ε , ε ∼ N (0, σ )
                                            D = {( xn , tn )}n =1
                                                             N



                     N
                                                          1
      P( D | w ) = ∏ P(tn | xn ,w )         P(w | H i ) =
                    n =1                                  Ωi
                           1          ⎧ [ yn ( x, w ) − tn ]2 ⎫
      P(tn | xn , w ) =        exp ⎨−                         ⎬
                        2πσ  2
                                      ⎩         2σ  2
                                                              ⎭
                1 N
      E ( w ) = ∑ [ yn ( x, w ) − t n ]
                                       2

                2 n =1
Intervalos de Confiança

   ln P(w | D, H i ) ≈ ln P (w* | D, H i ) − (w − w*)∇E *
                      1
                     − (w − w*) ⋅ H *(w − w*)
                      2

                                       ⎡ 1                        ⎤
P (w | D, H i ) ≈ P (w* | D, H i ) exp ⎢ − (w − w*) ⋅ H *(w − w*) ⎥
                                       ⎣ 2                        ⎦
                       0.8


                       0.6


                       0.4


                       0.2


                        0
                        2
                             1                                   2
                                 0                           1
                                                         0
                                     -1             -1
                                          -2   -2
Inferência de Hiperparâmetros

D = {xm , tm }                H = {g }  K
                                      j j =1
         K
y ( x) = ∑ w j g j ( x)
         j =1

Ruido : tm = y ( xm ) + ε   ε ∼ N (0, σ )
Hiperparâmetro da Verossimilhança

                             1
P( D | w, β , H , Ruido) =         exp [ − β ED ( D | w, H ) ]
                           ZD (β )
                                 N
                      ⎛   1 ⎞  ⎡  1 N          2⎤
P(D| w, β, H, Ruido) =⎜ 2 ⎟ exp⎢− 2 ∑ y(xm)−tm) ⎥
                                       (
                                 2

                      ⎝ 2πσ ⎠  ⎣ 2σ m=1         ⎦

                                 1
                          β=
                                σ    2
Hiperparâmetro da Distribuição a Priori

     P( y | α , R) =
                        1
                     Z y (α )
                                            {
                              exp −α ∫ dx [ y′′( x) ]
                                                     2
                                                         }
                    K
     H : y′′( x) = ∑ w j g ′′( x)
                            j
                   j =1

                          1
     P(w | α , H , R) =         exp [ −α EW (w | H , R) ]
                        ZW (α )
                           K
     EW (w | H , R) =     ∑ w w ∫ dx g ′′( x) g ′′( x)
                          j ,i =1
                                    j   i       j   i



    ZW (α ) = ∫ d w exp [ −α EW (w | H , R) ]
Estimação de hiperparâmetros

                       verossimilhança         Pr ior flat

                   P( D | α , β , H ) P(α , β | H )
P(α , β | D, H ) =
                              P( D | H )
                                   Evidencia


                              Z E (α , β )
       P( D | α , β , H ) =
                            Z D ( β ) ZW (α )

      (α *, β *) = arg max P(α , β | D, H )
Seleção de Modelos
           Maximiza-se a evidência


    P( H i | D) ∝ P( D | H i ) P( H i )

 Não há necessidade de normalização já que sempre
podemos introduzir um novo modelo para comparação
                  com os demais.
Navalha de Occam
Entre modelos de mesma capacidade explicativa o mais
simples deve ser preferido.

         P ( D | H1 )
                                      P( D | H 2 )

                                                     D
                        Ω
                                   P( D)    prior
Avaliando a Evidência

P ( D | H i ) = ∫ dw P ( D | w , H i ) P ( w | H i )
P( D | H i )   P( D | w*, H i ) P (w* | H i )Δw
  Evidencia     max verossimilhança     Fator de Occam

                                                Δw j
                                      F .O. =
                Δw 2                            Δw 0
                                  Δw1
                                                         D

                          Δw 0
Aproximação para a Evidência


P ( D | H i ) = ∫ dw P ( D | w , H i ) P ( w | H i )
                                                        ⎡ 1                       ⎤
P( D | H i )     P( D | w*, H i ) P(w* | H i ) ∫ dw exp ⎢ − (w − w*) ⋅ H (w − w*) ⎥
                                                        ⎣ 2                       ⎦
               = P( D | w*, H i ) P(w* | H i ) (2π ) K / 2 Det ( H )
                                                       Fator de Occam
Bibliografia

  David MacKay, Information Theory, Inference, and Learning
Algorithms (http://wol.ra.phy.cam.ac.uk/mackay/)


  David MacKay, Bayesian Methods for Adaptive Models
(http://wol.ra.phy.cam.ac.uk/mackay/)


 Differential Geometry in Statistical Inference
(Ims Lecture Notes-Monograph Ser.: Vol. 10)
by S. Amari

Mais conteúdo relacionado

Mais procurados

Anatomia Comparativa de Modelos de Risco de Crédito
Anatomia Comparativa de Modelos de Risco de CréditoAnatomia Comparativa de Modelos de Risco de Crédito
Anatomia Comparativa de Modelos de Risco de Crédito
Renato Vicente
 
Aula 05 derivadas - conceitos iniciais
Aula 05   derivadas - conceitos iniciaisAula 05   derivadas - conceitos iniciais
Derivada
DerivadaDerivada
[Robson] 1. Programação Linear
[Robson] 1. Programação Linear[Robson] 1. Programação Linear
[Robson] 1. Programação Linear
lapodcc
 
[Robson] 7. Programação Não Linear Irrestrita
[Robson] 7. Programação Não Linear Irrestrita[Robson] 7. Programação Não Linear Irrestrita
[Robson] 7. Programação Não Linear Irrestrita
lapodcc
 
Integral de linha campo vetorial - calculo iii
Integral de linha   campo vetorial - calculo iiiIntegral de linha   campo vetorial - calculo iii
Integral de linha campo vetorial - calculo iii
Jailson Nascimento
 
Derivadas
DerivadasDerivadas
Derivadas
mlthomaz
 
Calculo vetorial
Calculo vetorialCalculo vetorial
Calculo vetorial
tooonks
 
[Robson] 4. Dualidade
[Robson] 4. Dualidade[Robson] 4. Dualidade
[Robson] 4. Dualidade
lapodcc
 
[Robson] 5. Análise de Sensibilidade
[Robson] 5. Análise de Sensibilidade[Robson] 5. Análise de Sensibilidade
[Robson] 5. Análise de Sensibilidade
lapodcc
 
Derivadas Aplicações
Derivadas AplicaçõesDerivadas Aplicações
Derivadas Aplicações
Jones Fagundes
 
Ex algebra (8)
Ex algebra  (8)Ex algebra  (8)
Ex algebra (8)
Andrei Bastos
 
[Robson] 3. Método Simplex
[Robson] 3. Método Simplex[Robson] 3. Método Simplex
[Robson] 3. Método Simplex
lapodcc
 
[Alexandre] 8. Não Linear Restrita
[Alexandre] 8. Não Linear Restrita[Alexandre] 8. Não Linear Restrita
[Alexandre] 8. Não Linear Restrita
lapodcc
 
funçoes
funçoesfunçoes
funçoes
tagma33
 
V@R ajustado a liquidez
V@R ajustado a liquidezV@R ajustado a liquidez
V@R ajustado a liquidez
Renato Vicente
 
Formulário - Estatística
Formulário - EstatísticaFormulário - Estatística
Formulário - Estatística
Rodrigo Thiago Passos Silva
 
Esboço - Gráfico de Função
Esboço - Gráfico de FunçãoEsboço - Gráfico de Função
Esboço - Gráfico de Função
Rodrigo Thiago Passos Silva
 
[Alexandre] 2. Geometria
[Alexandre] 2. Geometria[Alexandre] 2. Geometria
[Alexandre] 2. Geometria
lapodcc
 
Cálculo Diferencial em R
Cálculo Diferencial em RCálculo Diferencial em R
Cálculo Diferencial em R
tintintest
 

Mais procurados (20)

Anatomia Comparativa de Modelos de Risco de Crédito
Anatomia Comparativa de Modelos de Risco de CréditoAnatomia Comparativa de Modelos de Risco de Crédito
Anatomia Comparativa de Modelos de Risco de Crédito
 
Aula 05 derivadas - conceitos iniciais
Aula 05   derivadas - conceitos iniciaisAula 05   derivadas - conceitos iniciais
Aula 05 derivadas - conceitos iniciais
 
Derivada
DerivadaDerivada
Derivada
 
[Robson] 1. Programação Linear
[Robson] 1. Programação Linear[Robson] 1. Programação Linear
[Robson] 1. Programação Linear
 
[Robson] 7. Programação Não Linear Irrestrita
[Robson] 7. Programação Não Linear Irrestrita[Robson] 7. Programação Não Linear Irrestrita
[Robson] 7. Programação Não Linear Irrestrita
 
Integral de linha campo vetorial - calculo iii
Integral de linha   campo vetorial - calculo iiiIntegral de linha   campo vetorial - calculo iii
Integral de linha campo vetorial - calculo iii
 
Derivadas
DerivadasDerivadas
Derivadas
 
Calculo vetorial
Calculo vetorialCalculo vetorial
Calculo vetorial
 
[Robson] 4. Dualidade
[Robson] 4. Dualidade[Robson] 4. Dualidade
[Robson] 4. Dualidade
 
[Robson] 5. Análise de Sensibilidade
[Robson] 5. Análise de Sensibilidade[Robson] 5. Análise de Sensibilidade
[Robson] 5. Análise de Sensibilidade
 
Derivadas Aplicações
Derivadas AplicaçõesDerivadas Aplicações
Derivadas Aplicações
 
Ex algebra (8)
Ex algebra  (8)Ex algebra  (8)
Ex algebra (8)
 
[Robson] 3. Método Simplex
[Robson] 3. Método Simplex[Robson] 3. Método Simplex
[Robson] 3. Método Simplex
 
[Alexandre] 8. Não Linear Restrita
[Alexandre] 8. Não Linear Restrita[Alexandre] 8. Não Linear Restrita
[Alexandre] 8. Não Linear Restrita
 
funçoes
funçoesfunçoes
funçoes
 
V@R ajustado a liquidez
V@R ajustado a liquidezV@R ajustado a liquidez
V@R ajustado a liquidez
 
Formulário - Estatística
Formulário - EstatísticaFormulário - Estatística
Formulário - Estatística
 
Esboço - Gráfico de Função
Esboço - Gráfico de FunçãoEsboço - Gráfico de Função
Esboço - Gráfico de Função
 
[Alexandre] 2. Geometria
[Alexandre] 2. Geometria[Alexandre] 2. Geometria
[Alexandre] 2. Geometria
 
Cálculo Diferencial em R
Cálculo Diferencial em RCálculo Diferencial em R
Cálculo Diferencial em R
 

Destaque

Inteligencia financeira II
Inteligencia financeira IIInteligencia financeira II
Inteligencia financeira II
Renato Vicente
 
Inteligencia financeira I
Inteligencia financeira IInteligencia financeira I
Inteligencia financeira I
Renato Vicente
 
Risco de Crédito 2: CreditRisk+
Risco de Crédito 2: CreditRisk+Risco de Crédito 2: CreditRisk+
Risco de Crédito 2: CreditRisk+
Renato Vicente
 
Estatística: introdução
Estatística: introduçãoEstatística: introdução
Estatística: introdução
Renato Vicente
 
Risco sistêmico
Risco sistêmicoRisco sistêmico
Risco sistêmico
Renato Vicente
 
Backtesting
BacktestingBacktesting
Backtesting
Renato Vicente
 
Testes de Stress
Testes de StressTestes de Stress
Testes de Stress
Renato Vicente
 
Estatistica: introducao a teoria de decisao
Estatistica: introducao a teoria de decisaoEstatistica: introducao a teoria de decisao
Estatistica: introducao a teoria de decisao
Renato Vicente
 
Estatística: Probabilidade
Estatística: ProbabilidadeEstatística: Probabilidade
Estatística: Probabilidade
Renato Vicente
 
Estatística: Modelos Discretos
Estatística: Modelos DiscretosEstatística: Modelos Discretos
Estatística: Modelos Discretos
Renato Vicente
 
Estatística: Introduçao à Estimacao Bayesiana
Estatística: Introduçao à Estimacao BayesianaEstatística: Introduçao à Estimacao Bayesiana
Estatística: Introduçao à Estimacao Bayesiana
Renato Vicente
 
Risco de derivativos
Risco de derivativosRisco de derivativos
Risco de derivativos
Renato Vicente
 
Risco de Crédito 1
Risco de Crédito 1Risco de Crédito 1
Risco de Crédito 1
Renato Vicente
 
V@R Histórico
V@R HistóricoV@R Histórico
V@R Histórico
Renato Vicente
 
V@R Monte Carlo
V@R Monte CarloV@R Monte Carlo
V@R Monte Carlo
Renato Vicente
 
Seminário redes bayesianas
Seminário redes bayesianasSeminário redes bayesianas
Seminário redes bayesianas
iaudesc
 
Teorema de bayes
Teorema de bayesTeorema de bayes
Teorema de bayes
Carmen Cedeno
 
Teorema de bayes
Teorema de bayesTeorema de bayes
Teorema de bayes
Raul Rodriguez
 
Teorema de bayes
Teorema de bayesTeorema de bayes
Teorema de bayes
Selenne Ramirez Duarte
 
Ejemplos del teorema de Bayes
Ejemplos del teorema de BayesEjemplos del teorema de Bayes
Ejemplos del teorema de Bayes
Luis Felipe Hernández
 

Destaque (20)

Inteligencia financeira II
Inteligencia financeira IIInteligencia financeira II
Inteligencia financeira II
 
Inteligencia financeira I
Inteligencia financeira IInteligencia financeira I
Inteligencia financeira I
 
Risco de Crédito 2: CreditRisk+
Risco de Crédito 2: CreditRisk+Risco de Crédito 2: CreditRisk+
Risco de Crédito 2: CreditRisk+
 
Estatística: introdução
Estatística: introduçãoEstatística: introdução
Estatística: introdução
 
Risco sistêmico
Risco sistêmicoRisco sistêmico
Risco sistêmico
 
Backtesting
BacktestingBacktesting
Backtesting
 
Testes de Stress
Testes de StressTestes de Stress
Testes de Stress
 
Estatistica: introducao a teoria de decisao
Estatistica: introducao a teoria de decisaoEstatistica: introducao a teoria de decisao
Estatistica: introducao a teoria de decisao
 
Estatística: Probabilidade
Estatística: ProbabilidadeEstatística: Probabilidade
Estatística: Probabilidade
 
Estatística: Modelos Discretos
Estatística: Modelos DiscretosEstatística: Modelos Discretos
Estatística: Modelos Discretos
 
Estatística: Introduçao à Estimacao Bayesiana
Estatística: Introduçao à Estimacao BayesianaEstatística: Introduçao à Estimacao Bayesiana
Estatística: Introduçao à Estimacao Bayesiana
 
Risco de derivativos
Risco de derivativosRisco de derivativos
Risco de derivativos
 
Risco de Crédito 1
Risco de Crédito 1Risco de Crédito 1
Risco de Crédito 1
 
V@R Histórico
V@R HistóricoV@R Histórico
V@R Histórico
 
V@R Monte Carlo
V@R Monte CarloV@R Monte Carlo
V@R Monte Carlo
 
Seminário redes bayesianas
Seminário redes bayesianasSeminário redes bayesianas
Seminário redes bayesianas
 
Teorema de bayes
Teorema de bayesTeorema de bayes
Teorema de bayes
 
Teorema de bayes
Teorema de bayesTeorema de bayes
Teorema de bayes
 
Teorema de bayes
Teorema de bayesTeorema de bayes
Teorema de bayes
 
Ejemplos del teorema de Bayes
Ejemplos del teorema de BayesEjemplos del teorema de Bayes
Ejemplos del teorema de Bayes
 

Semelhante a Redes Neurais: Técnicas Bayesianas

Lista polinomio equaçoes_3_ano_2012_pdf
Lista polinomio equaçoes_3_ano_2012_pdfLista polinomio equaçoes_3_ano_2012_pdf
Lista polinomio equaçoes_3_ano_2012_pdf
cristianomatematico
 
Formulário de Análise Matemática
Formulário de Análise MatemáticaFormulário de Análise Matemática
Formulário de Análise Matemática
Pedro Dias
 
Polinomios
PolinomiosPolinomios
Polinomios
Agostinho Samuel
 
Mat polinomios 002
Mat polinomios  002Mat polinomios  002
Mat polinomios 002
trigono_metrico
 
Apostila 1 calculo i
Apostila 1 calculo iApostila 1 calculo i
Apostila 1 calculo i
trigono_metrico
 
Lista 3 - Bases Matemáticas - Indução
Lista 3  - Bases Matemáticas - InduçãoLista 3  - Bases Matemáticas - Indução
Lista 3 - Bases Matemáticas - Indução
Rodrigo Thiago Passos Silva
 
Polinômios cn 2013 - exercícios
Polinômios  cn 2013 - exercíciosPolinômios  cn 2013 - exercícios
Polinômios cn 2013 - exercícios
Curso Progressão Autêntico
 
OperaçõEs Com PolinôMios2
OperaçõEs Com PolinôMios2OperaçõEs Com PolinôMios2
OperaçõEs Com PolinôMios2
guestd49fc4
 
OperaçõEs Com PolinôMios2
OperaçõEs Com PolinôMios2OperaçõEs Com PolinôMios2
OperaçõEs Com PolinôMios2
guestd49fc4
 
Polinomios
PolinomiosPolinomios
Polinomios
Dinho Paulo Clakly
 
Polinomios
PolinomiosPolinomios
Polinomios
Dinho Paulo Clakly
 
As equações do segundo grau são abordadas na história da matemática desde a é...
As equações do segundo grau são abordadas na história da matemática desde a é...As equações do segundo grau são abordadas na história da matemática desde a é...
As equações do segundo grau são abordadas na história da matemática desde a é...
leosilveira
 
Sessao 2 Introdução à T.I e Entropias
Sessao 2 Introdução à T.I e EntropiasSessao 2 Introdução à T.I e Entropias
Sessao 2 Introdução à T.I e Entropias
Pedro De Almeida
 
Ex algebra (14)
Ex algebra  (14)Ex algebra  (14)
Ex algebra (14)
Andrei Bastos
 
Polinomios aula
Polinomios aulaPolinomios aula
Polinomios aula
ELIZEU GODOY JR
 
Mat logaritmos 005
Mat logaritmos  005Mat logaritmos  005
Mat logaritmos 005
trigono_metrico
 
Variaveis+aleatorias
Variaveis+aleatoriasVariaveis+aleatorias
Variaveis+aleatorias
Fagner Talles
 
Revisão de polinômios
Revisão de polinômiosRevisão de polinômios
Revisão de polinômios
matheuslw
 
Formulario estatistica descritiva univariada e bivariava 2013
Formulario estatistica descritiva univariada e bivariava  2013Formulario estatistica descritiva univariada e bivariava  2013
Formulario estatistica descritiva univariada e bivariava 2013
Pedro Casquilho
 
Aula 4 - Educação física
Aula 4 - Educação físicaAula 4 - Educação física
Aula 4 - Educação física
Caroline Godoy
 

Semelhante a Redes Neurais: Técnicas Bayesianas (20)

Lista polinomio equaçoes_3_ano_2012_pdf
Lista polinomio equaçoes_3_ano_2012_pdfLista polinomio equaçoes_3_ano_2012_pdf
Lista polinomio equaçoes_3_ano_2012_pdf
 
Formulário de Análise Matemática
Formulário de Análise MatemáticaFormulário de Análise Matemática
Formulário de Análise Matemática
 
Polinomios
PolinomiosPolinomios
Polinomios
 
Mat polinomios 002
Mat polinomios  002Mat polinomios  002
Mat polinomios 002
 
Apostila 1 calculo i
Apostila 1 calculo iApostila 1 calculo i
Apostila 1 calculo i
 
Lista 3 - Bases Matemáticas - Indução
Lista 3  - Bases Matemáticas - InduçãoLista 3  - Bases Matemáticas - Indução
Lista 3 - Bases Matemáticas - Indução
 
Polinômios cn 2013 - exercícios
Polinômios  cn 2013 - exercíciosPolinômios  cn 2013 - exercícios
Polinômios cn 2013 - exercícios
 
OperaçõEs Com PolinôMios2
OperaçõEs Com PolinôMios2OperaçõEs Com PolinôMios2
OperaçõEs Com PolinôMios2
 
OperaçõEs Com PolinôMios2
OperaçõEs Com PolinôMios2OperaçõEs Com PolinôMios2
OperaçõEs Com PolinôMios2
 
Polinomios
PolinomiosPolinomios
Polinomios
 
Polinomios
PolinomiosPolinomios
Polinomios
 
As equações do segundo grau são abordadas na história da matemática desde a é...
As equações do segundo grau são abordadas na história da matemática desde a é...As equações do segundo grau são abordadas na história da matemática desde a é...
As equações do segundo grau são abordadas na história da matemática desde a é...
 
Sessao 2 Introdução à T.I e Entropias
Sessao 2 Introdução à T.I e EntropiasSessao 2 Introdução à T.I e Entropias
Sessao 2 Introdução à T.I e Entropias
 
Ex algebra (14)
Ex algebra  (14)Ex algebra  (14)
Ex algebra (14)
 
Polinomios aula
Polinomios aulaPolinomios aula
Polinomios aula
 
Mat logaritmos 005
Mat logaritmos  005Mat logaritmos  005
Mat logaritmos 005
 
Variaveis+aleatorias
Variaveis+aleatoriasVariaveis+aleatorias
Variaveis+aleatorias
 
Revisão de polinômios
Revisão de polinômiosRevisão de polinômios
Revisão de polinômios
 
Formulario estatistica descritiva univariada e bivariava 2013
Formulario estatistica descritiva univariada e bivariava  2013Formulario estatistica descritiva univariada e bivariava  2013
Formulario estatistica descritiva univariada e bivariava 2013
 
Aula 4 - Educação física
Aula 4 - Educação físicaAula 4 - Educação física
Aula 4 - Educação física
 

Último

UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
Manuais Formação
 
TUTORIAL PARA LANÇAMENTOGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGG
TUTORIAL PARA LANÇAMENTOGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGTUTORIAL PARA LANÇAMENTOGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGG
TUTORIAL PARA LANÇAMENTOGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGG
ProfessoraTatianaT
 
TREINAMENTO DE BRIGADA DE INCENDIO BRIGADA CCB 2023.pptx
TREINAMENTO DE BRIGADA DE INCENDIO BRIGADA CCB 2023.pptxTREINAMENTO DE BRIGADA DE INCENDIO BRIGADA CCB 2023.pptx
TREINAMENTO DE BRIGADA DE INCENDIO BRIGADA CCB 2023.pptx
erssstcontato
 
UFCD_4667_Preparação e confeção de molhos e fundos de cozinha_índice.pdf
UFCD_4667_Preparação e confeção de molhos e fundos de cozinha_índice.pdfUFCD_4667_Preparação e confeção de molhos e fundos de cozinha_índice.pdf
UFCD_4667_Preparação e confeção de molhos e fundos de cozinha_índice.pdf
Manuais Formação
 
O Mito da Caverna de Platão_ Uma Jornada em Busca da Verdade.pdf
O Mito da Caverna de Platão_ Uma Jornada em Busca da Verdade.pdfO Mito da Caverna de Platão_ Uma Jornada em Busca da Verdade.pdf
O Mito da Caverna de Platão_ Uma Jornada em Busca da Verdade.pdf
silvamelosilva300
 
Como montar o mapa conceitual editado.pdf
Como montar o mapa conceitual editado.pdfComo montar o mapa conceitual editado.pdf
Como montar o mapa conceitual editado.pdf
AlineOliveira625820
 
UFCD_6580_Cuidados na saúde a populações mais vulneráveis_índice.pdf
UFCD_6580_Cuidados na saúde a populações mais vulneráveis_índice.pdfUFCD_6580_Cuidados na saúde a populações mais vulneráveis_índice.pdf
UFCD_6580_Cuidados na saúde a populações mais vulneráveis_índice.pdf
Manuais Formação
 
Dicas de normas ABNT para trabalho de conclusão de curso
Dicas de normas ABNT para trabalho de conclusão de cursoDicas de normas ABNT para trabalho de conclusão de curso
Dicas de normas ABNT para trabalho de conclusão de curso
Simone399395
 
FUNCAO EQUAÇÃO DO 2° GRAU SLIDES AULA 1.ppt
FUNCAO EQUAÇÃO DO 2° GRAU SLIDES AULA 1.pptFUNCAO EQUAÇÃO DO 2° GRAU SLIDES AULA 1.ppt
FUNCAO EQUAÇÃO DO 2° GRAU SLIDES AULA 1.ppt
MarceloMonteiro213738
 
Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptxPsicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
TiagoLouro8
 
Atpcg PEI Rev Irineu GESTÃO DE SALA DE AULA.pptx
Atpcg PEI Rev Irineu GESTÃO DE SALA DE AULA.pptxAtpcg PEI Rev Irineu GESTÃO DE SALA DE AULA.pptx
Atpcg PEI Rev Irineu GESTÃO DE SALA DE AULA.pptx
joaresmonte3
 
Slides Lição 12, Central Gospel, O Milênio, 1Tr24, Pr Henrique.pptx
Slides Lição 12, Central Gospel, O Milênio, 1Tr24, Pr Henrique.pptxSlides Lição 12, Central Gospel, O Milênio, 1Tr24, Pr Henrique.pptx
Slides Lição 12, Central Gospel, O Milênio, 1Tr24, Pr Henrique.pptx
LuizHenriquedeAlmeid6
 
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTALPlanejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
katbrochier1
 
cidadas 5° ano - ensino fundamental 2 ..
cidadas 5° ano - ensino fundamental 2 ..cidadas 5° ano - ensino fundamental 2 ..
cidadas 5° ano - ensino fundamental 2 ..
MatheusSousa716350
 
Exercicios de Word Básico para a aulas de informatica Basica
Exercicios de Word Básico para a aulas de informatica BasicaExercicios de Word Básico para a aulas de informatica Basica
Exercicios de Word Básico para a aulas de informatica Basica
ElinarioCosta
 
Pedagogia universitária em ciência e tecnologia
Pedagogia universitária em ciência e tecnologiaPedagogia universitária em ciência e tecnologia
Pedagogia universitária em ciência e tecnologia
Nertan Dias
 
Resumo de Química 10º ano Estudo exames nacionais
Resumo de Química 10º ano Estudo exames nacionaisResumo de Química 10º ano Estudo exames nacionais
Resumo de Química 10º ano Estudo exames nacionais
beatrizsilva525654
 
Tabela Funções Orgânicas.pdfnsknsknksnksn nkasn
Tabela Funções Orgânicas.pdfnsknsknksnksn nkasnTabela Funções Orgânicas.pdfnsknsknksnksn nkasn
Tabela Funções Orgânicas.pdfnsknsknksnksn nkasn
CarlosJean21
 
Slides Lição 12, Betel, Ordenança para amar o próximo, 2Tr24.pptx
Slides Lição 12, Betel, Ordenança para amar o próximo, 2Tr24.pptxSlides Lição 12, Betel, Ordenança para amar o próximo, 2Tr24.pptx
Slides Lição 12, Betel, Ordenança para amar o próximo, 2Tr24.pptx
LuizHenriquedeAlmeid6
 
Aula 02 - Introducao a Algoritmos.pptx.pdf
Aula 02 - Introducao a Algoritmos.pptx.pdfAula 02 - Introducao a Algoritmos.pptx.pdf
Aula 02 - Introducao a Algoritmos.pptx.pdf
AntonioAngeloNeves
 

Último (20)

UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
 
TUTORIAL PARA LANÇAMENTOGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGG
TUTORIAL PARA LANÇAMENTOGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGTUTORIAL PARA LANÇAMENTOGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGG
TUTORIAL PARA LANÇAMENTOGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGGG
 
TREINAMENTO DE BRIGADA DE INCENDIO BRIGADA CCB 2023.pptx
TREINAMENTO DE BRIGADA DE INCENDIO BRIGADA CCB 2023.pptxTREINAMENTO DE BRIGADA DE INCENDIO BRIGADA CCB 2023.pptx
TREINAMENTO DE BRIGADA DE INCENDIO BRIGADA CCB 2023.pptx
 
UFCD_4667_Preparação e confeção de molhos e fundos de cozinha_índice.pdf
UFCD_4667_Preparação e confeção de molhos e fundos de cozinha_índice.pdfUFCD_4667_Preparação e confeção de molhos e fundos de cozinha_índice.pdf
UFCD_4667_Preparação e confeção de molhos e fundos de cozinha_índice.pdf
 
O Mito da Caverna de Platão_ Uma Jornada em Busca da Verdade.pdf
O Mito da Caverna de Platão_ Uma Jornada em Busca da Verdade.pdfO Mito da Caverna de Platão_ Uma Jornada em Busca da Verdade.pdf
O Mito da Caverna de Platão_ Uma Jornada em Busca da Verdade.pdf
 
Como montar o mapa conceitual editado.pdf
Como montar o mapa conceitual editado.pdfComo montar o mapa conceitual editado.pdf
Como montar o mapa conceitual editado.pdf
 
UFCD_6580_Cuidados na saúde a populações mais vulneráveis_índice.pdf
UFCD_6580_Cuidados na saúde a populações mais vulneráveis_índice.pdfUFCD_6580_Cuidados na saúde a populações mais vulneráveis_índice.pdf
UFCD_6580_Cuidados na saúde a populações mais vulneráveis_índice.pdf
 
Dicas de normas ABNT para trabalho de conclusão de curso
Dicas de normas ABNT para trabalho de conclusão de cursoDicas de normas ABNT para trabalho de conclusão de curso
Dicas de normas ABNT para trabalho de conclusão de curso
 
FUNCAO EQUAÇÃO DO 2° GRAU SLIDES AULA 1.ppt
FUNCAO EQUAÇÃO DO 2° GRAU SLIDES AULA 1.pptFUNCAO EQUAÇÃO DO 2° GRAU SLIDES AULA 1.ppt
FUNCAO EQUAÇÃO DO 2° GRAU SLIDES AULA 1.ppt
 
Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptxPsicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
 
Atpcg PEI Rev Irineu GESTÃO DE SALA DE AULA.pptx
Atpcg PEI Rev Irineu GESTÃO DE SALA DE AULA.pptxAtpcg PEI Rev Irineu GESTÃO DE SALA DE AULA.pptx
Atpcg PEI Rev Irineu GESTÃO DE SALA DE AULA.pptx
 
Slides Lição 12, Central Gospel, O Milênio, 1Tr24, Pr Henrique.pptx
Slides Lição 12, Central Gospel, O Milênio, 1Tr24, Pr Henrique.pptxSlides Lição 12, Central Gospel, O Milênio, 1Tr24, Pr Henrique.pptx
Slides Lição 12, Central Gospel, O Milênio, 1Tr24, Pr Henrique.pptx
 
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTALPlanejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
 
cidadas 5° ano - ensino fundamental 2 ..
cidadas 5° ano - ensino fundamental 2 ..cidadas 5° ano - ensino fundamental 2 ..
cidadas 5° ano - ensino fundamental 2 ..
 
Exercicios de Word Básico para a aulas de informatica Basica
Exercicios de Word Básico para a aulas de informatica BasicaExercicios de Word Básico para a aulas de informatica Basica
Exercicios de Word Básico para a aulas de informatica Basica
 
Pedagogia universitária em ciência e tecnologia
Pedagogia universitária em ciência e tecnologiaPedagogia universitária em ciência e tecnologia
Pedagogia universitária em ciência e tecnologia
 
Resumo de Química 10º ano Estudo exames nacionais
Resumo de Química 10º ano Estudo exames nacionaisResumo de Química 10º ano Estudo exames nacionais
Resumo de Química 10º ano Estudo exames nacionais
 
Tabela Funções Orgânicas.pdfnsknsknksnksn nkasn
Tabela Funções Orgânicas.pdfnsknsknksnksn nkasnTabela Funções Orgânicas.pdfnsknsknksnksn nkasn
Tabela Funções Orgânicas.pdfnsknsknksnksn nkasn
 
Slides Lição 12, Betel, Ordenança para amar o próximo, 2Tr24.pptx
Slides Lição 12, Betel, Ordenança para amar o próximo, 2Tr24.pptxSlides Lição 12, Betel, Ordenança para amar o próximo, 2Tr24.pptx
Slides Lição 12, Betel, Ordenança para amar o próximo, 2Tr24.pptx
 
Aula 02 - Introducao a Algoritmos.pptx.pdf
Aula 02 - Introducao a Algoritmos.pptx.pdfAula 02 - Introducao a Algoritmos.pptx.pdf
Aula 02 - Introducao a Algoritmos.pptx.pdf
 

Redes Neurais: Técnicas Bayesianas

  • 1. Técnicas Bayesianas Renato Vicente rvicente@if.usp.br 10/01, mpmmf, IME/FEA – USP
  • 2. Técnicas Bayesianas Teorema de Bayes Modelos Hierárquicos Inferência de Parâmetros Inferência de Hiperparâmetros Seleção de Modelos
  • 3. Teorema de Bayes Seja dado um conjunto de dados D e um conjunto de hipóteses sobre os dados H1 , H2 , ..., Hn. A teoria elementar de probabilidades nos fornece: P ( D, H k ) = P ( D H k ) P ( H k ) = P ( H k D ) P ( D ) Daí decorre que: P( D H k ) P( H k ) P( H k D) = P( D)
  • 4. Bayes em Palavras VEROSSIMILHANÇA × A PRIORI POSTERIOR = ˆ EVIDENCIA
  • 5. Bayesianos X Freqüencistas Freqüencistas: Probabilidades como “freqüência” de ocorrência de um evento ao repetir-se o experimento infinitas vezes. N 1 P( A) = lim N ∑χ j =1 A (x j ) N →∞ χ A ( x j ) = 1 se x j ∈ A, ou = 0 c.c. Bayesianos: Probabilidades como “grau de crença” na ocorrência de um evento. Jaynes, Probability: The Logic of Science http://omega.albany.edu:8008/JaynesBook.html
  • 6. Perceptron Contínuo ⎛ ⎞ 1 y = g ⎜ ∑ wj x j + μ ⎟ Função de 0.8 ⎝ j ⎠ transferência 0.6 1 g (a ) = 0.4 −a 1+ e 0.2 -4 -2 2 4
  • 7. Bayes, Perceptron e Classificação Dados em duas classes C1 e C2 são gerados a partir de duas Gaussianas centradas em m1 e m2. Assim: 1 ⎧ 1 ⎫ P (x C1 ) = exp ⎨ − ( x - m1 ) ⋅ Σ -1 (x - m1 ) ⎬ ( 2π ) ⎩ 2 ⎭ d /2 Det ( Σ)1/ 2 Utilizando o Teorema de Bayes: P ( x C1 ) P (C1 ) P (C1 x ) = P ( x C1 ) P (C1 ) + P ( x C2 ) P (C2 )
  • 8. Bayes, Perceptron e Classificação Assumindo a seguinte forma para o posterior P(C1|x): 1 P (C1 x) = −a = g (a) 1+ e ⎡ P ( x C1 ) P (C1 ) ⎤ a ≡ ln ⎢ ⎥ ⎣ P ( x C2 ) P (C2 ) ⎦ Retomando o Perceptron: ⎛ ⎞ y = g ⎜ ∑ w j x j + μ ⎟ = P (C1 | x) ⎝ j ⎠
  • 9. Bayes, Perceptron e Classificação Retomando o Perceptron: ⎛ ⎞ y = g ⎜ ∑ w j x j + μ ⎟ = P (C1 | x) ⎝ j ⎠ Com w = Σ -1 (m1 - m 2 ) 1 1 ⎛ P (C1 ) ⎞ μ = − m1 ⋅ Σ m 2 + m1 ⋅ Σ m 2 + log ⎜ -1 -1 ⎟ 2 2 ⎝ P(C2 ) ⎠
  • 10. Modelos Hierárquicos Dados D são produzidos por um processo estocástico com parâmetros w , P(D|w). Os parâmetros w são, por sua vez, produzidos por um processo estocástico com hiperparâmetros α , P(w| α). A hierarquia pode continuar indefinidamente ... ... inclusive acomodando diversas hipóteses a serem testadas H1 , H2 , ..., HN e seus respectivos graus de plausibilidade P(w,α|Hk).
  • 11. Inferência de Parâmetros Dado um conjunto de dados D e um modelo Hi , encontrar os parâmetros mais prováveis w* . P( D | w, H i ) P(w | H i ) P ( w | D, H i ) = P( D | H i ) Deve-se minimizar a função “erro” a seguir E (w ) = − ln P(w | D, H i ) = = − ln P ( D | w, H i ) − ln P(w | H i ) + cte max verossimilhança conhecimento a priori
  • 12. Ex: Perceptron Contínuo H i : y ( x, w ) = g ( w ⋅ x ) t = t0 + ε , ε ∼ N (0, σ ) D = {( xn , tn )}n =1 N N 1 P( D | w ) = ∏ P(tn | xn ,w ) P(w | H i ) = n =1 Ωi 1 ⎧ [ yn ( x, w ) − tn ]2 ⎫ P(tn | xn , w ) = exp ⎨− ⎬ 2πσ 2 ⎩ 2σ 2 ⎭ 1 N E ( w ) = ∑ [ yn ( x, w ) − t n ] 2 2 n =1
  • 13. Intervalos de Confiança ln P(w | D, H i ) ≈ ln P (w* | D, H i ) − (w − w*)∇E * 1 − (w − w*) ⋅ H *(w − w*) 2 ⎡ 1 ⎤ P (w | D, H i ) ≈ P (w* | D, H i ) exp ⎢ − (w − w*) ⋅ H *(w − w*) ⎥ ⎣ 2 ⎦ 0.8 0.6 0.4 0.2 0 2 1 2 0 1 0 -1 -1 -2 -2
  • 14. Inferência de Hiperparâmetros D = {xm , tm } H = {g } K j j =1 K y ( x) = ∑ w j g j ( x) j =1 Ruido : tm = y ( xm ) + ε ε ∼ N (0, σ )
  • 15. Hiperparâmetro da Verossimilhança 1 P( D | w, β , H , Ruido) = exp [ − β ED ( D | w, H ) ] ZD (β ) N ⎛ 1 ⎞ ⎡ 1 N 2⎤ P(D| w, β, H, Ruido) =⎜ 2 ⎟ exp⎢− 2 ∑ y(xm)−tm) ⎥ ( 2 ⎝ 2πσ ⎠ ⎣ 2σ m=1 ⎦ 1 β= σ 2
  • 16. Hiperparâmetro da Distribuição a Priori P( y | α , R) = 1 Z y (α ) { exp −α ∫ dx [ y′′( x) ] 2 } K H : y′′( x) = ∑ w j g ′′( x) j j =1 1 P(w | α , H , R) = exp [ −α EW (w | H , R) ] ZW (α ) K EW (w | H , R) = ∑ w w ∫ dx g ′′( x) g ′′( x) j ,i =1 j i j i ZW (α ) = ∫ d w exp [ −α EW (w | H , R) ]
  • 17. Estimação de hiperparâmetros verossimilhança Pr ior flat P( D | α , β , H ) P(α , β | H ) P(α , β | D, H ) = P( D | H ) Evidencia Z E (α , β ) P( D | α , β , H ) = Z D ( β ) ZW (α ) (α *, β *) = arg max P(α , β | D, H )
  • 18. Seleção de Modelos Maximiza-se a evidência P( H i | D) ∝ P( D | H i ) P( H i ) Não há necessidade de normalização já que sempre podemos introduzir um novo modelo para comparação com os demais.
  • 19. Navalha de Occam Entre modelos de mesma capacidade explicativa o mais simples deve ser preferido. P ( D | H1 ) P( D | H 2 ) D Ω P( D) prior
  • 20. Avaliando a Evidência P ( D | H i ) = ∫ dw P ( D | w , H i ) P ( w | H i ) P( D | H i ) P( D | w*, H i ) P (w* | H i )Δw Evidencia max verossimilhança Fator de Occam Δw j F .O. = Δw 2 Δw 0 Δw1 D Δw 0
  • 21. Aproximação para a Evidência P ( D | H i ) = ∫ dw P ( D | w , H i ) P ( w | H i ) ⎡ 1 ⎤ P( D | H i ) P( D | w*, H i ) P(w* | H i ) ∫ dw exp ⎢ − (w − w*) ⋅ H (w − w*) ⎥ ⎣ 2 ⎦ = P( D | w*, H i ) P(w* | H i ) (2π ) K / 2 Det ( H ) Fator de Occam
  • 22. Bibliografia David MacKay, Information Theory, Inference, and Learning Algorithms (http://wol.ra.phy.cam.ac.uk/mackay/) David MacKay, Bayesian Methods for Adaptive Models (http://wol.ra.phy.cam.ac.uk/mackay/) Differential Geometry in Statistical Inference (Ims Lecture Notes-Monograph Ser.: Vol. 10) by S. Amari