SlideShare uma empresa Scribd logo
Estimação
 de Densidades


        Renato Vicente
       rvicente@if.usp.br
10/01, mpmmf, IME/FEA – USP
Estimação de Densidades
Métodos Paramétricos
Métodos de Núcleo (Kernel Methods)
Misturas de Distribuições
Algoritmo EM
Métodos Paramétricos
Uma forma funcional p ( x | θ ) específica, parametrizada por θ
é assumida para a densidade de probabilidade.

.Na ausência de dados há uma incerteza com relação ao valor dos
 parâmetros representada pela distribuição a priori p (θ )

Uma vez os dados D são observados, nossa idéia sobre quais
parâmetros melhor ajustam os dados é modificada para o posterior
 p (θ | D)     0 .8


               0 .7


               0 .6     p(θ⏐ D)
               0 .5


               0 .4


               0 .3


               0 .2


               0 .1
                                          p(θ)
                 0
                 -1 0    -5       0        5        10
                                  θ
Métodos Paramétricos
A densidade que se deseja inferir a partir dos dados D é
                       p( x | D)
Considerando a parametrização

        p ( x | D) = ∫ p ( x,θ | D) dθ

                  = ∫ p ( x | θ , D) p (θ | D) dθ

                  =∫      p( x | θ )          p (θ | D) dθ
                       densidade assumida       posterior =
                                            a priori atualizado
Métodos Paramétricos

O posterior pode ser obtido do a priori via Teorema de
Bayes:
                        p( D | θ )
      p (θ | D) =                           p (θ )
                  ∫ p( D | θ ′) p(θ ′) dθ ′
Assumindo independência entre cada uma das amostras
do conjunto de dados D a verossimilhança pode ser
fatorada:                 N
               p ( D | θ ) = ∏ p ( xn | θ )
                            n =1
Métodos Paramétricos

                θ
 O a priori p ( ) pode ser escolhido utilizando critérios
 de tratabilidade das integrais ou critérios informacionais.
 Se o a priori e o posterior estiverem na mesma família o
 a priori é dito conjugado.


 A densidade
                p (θ | D) pode ser utilizada como novo a
 priori e atualizada com um novo dado xN+1 segundo:

                             p ( D, xN +1 | θ )
p (θ | D, xN +1 ) =                                      p (θ | D)
                    ∫ p( D, xN +1 | θ ′) p(θ ′ | D) dθ ′
Exemplo: Estimação Bayesiana em 1D
Suponhamos um conjunto de dados       D = {x1 ,           , xN }

Assumimos que os dados são gerados de forma independente
com distribuição gaussiana com desvio padrão    σ
conhecido.

Queremos inferir a média m.

Assim    p ( x D ) = ∫ p ( x | m) p (m | D ) dm
                                                           1
                                         1            −          ( x − m )2
                         p ( x m) =                       2σ   2
Onde assumimos que                                e
                                        2πσ 2
Exemplo

  Assumimos a seguinte estrutura para a densidade a priori:
                                                    1
                                            −             ( m − m0 ) 2
                            1                   2σ 0
              p ( m) =
                                                        2
                                        e
                           2πσ      2
                                    0



   A densidade posterior para o parâmetro m após a
apresentação dos dados é N
                          ∏ p( x        n       | m)
    p(m | D) =             n =1
                              N
                                                                         p ( m)
                  ∫ p(m′)∏ p( x
                             n =1
                                                n   | m′) dm′
Exemplo

Integral necessária para a avaliação da distribuição inferida somente
envolve gaussianas e é, portanto, trivial, resultando em:


                    Nσ 0 ⎛ 1
                        2                     N
                                                   ⎞     σ2
             mN =
                  Nσ 0 + σ 2 ⎜ N
                     2
                             ⎝
                                              ∑ xn ⎟ + Nσ 2 + σ 2 m0
                                              n =1 ⎠      0

              1       N        1
                  =        +
             σN
              2
                      σ2       σ0
                                2             12



                                              10



                                               8

                                      )                                  N=50
                                          N
                                      D        6
                                      ⏐
                                      m
                                      (
                                      P
                                               4



                                               2                         N=5


                                                          N=0                   N=1
                                               0
                                                -3   -2         -1   0   1       2    3
                                                                     m
Métodos de Kernel

A probabilidade de que um vetor x, amostrado de uma
densidade p(x) desconhecida, caia em uma região R do
espaço dos vetores é
                                   P = ∫ p (x′) d x′
                                        R


A probabilidade de que em N amostras, K estejam em R é
                         ⎛N⎞ K
              PN ( K ) = ⎜ ⎟ P (1 − P ) N − K
                         ⎝K⎠
                                                    ⎡K ⎤
                                                P= E⎢ ⎥
Um estimador para a probabilidade de R é            ⎣N ⎦
Métodos de Kernel

A variância em torno deste estimador é

            ⎡⎛ K   ⎞ ⎤ P(1 − P)
                    2

          E ⎢⎜ − P ⎟ ⎥ =        ⎯⎯⎯ 0
                                 N →∞
                                      →
            ⎢⎝ N
            ⎣      ⎠ ⎥⎦   N
               K
Assim    P
               N     P = ∫ p (x′) dx′    p (x)V
                          R
             Mas
                              P   K
                     p ( x)     =
                              V NV
Janela de Parzen
        ⎧           1
        ⎪1 se u j < , j = 1,..., d
H (u) = ⎨           2                 X
        ⎪
        ⎩          0, c.c.
                                      h
                 N
                   ⎛x−x ⎞      n
          K = ∑H ⎜      ⎟
              n =1 ⎝ h ⎠

                 K  1      1 ⎛ x − xn ⎞
                              N
        p ( x) =   = ∑ d H⎜           ⎟
                 NV N n =1 h ⎝ h ⎠
Mixture Models
            M
p (x) = ∑ Pj p (x | j )
            j =1
M

∑w
j =1
       j   =1

                           ⎧ x−μ       2
                                           ⎫
               1           ⎪               ⎪
p(x | j ) =            exp ⎨−
                                   j
                                           ⎬
                     d
                           ⎪  2σ j
                                 2
                                           ⎪
            (2πσ j )
                 2 2
                           ⎩               ⎭
Mixture Models

Os parâmetros μ j e σ j podem ser inferidos
minimizando uma função erro (maximizando a
verossimilhança)
                       N
     E ( μ j , σ j ) = −∑ ln p(x n )
                      n =1
                       N      M
                  = −∑ ln ∑ Pj p (x n | j )
                       n =1   j =1
Algoritmo EM

A variação da função erro pode ser escrita :
                 ⎛ P ′( x n ) ⎞
     ΔE = − ∑ ln ⎜
                 ⎜ P (x ) ⎟   ⎟
            n    ⎝       n ⎠

                 ⎛ Pj′ P ′( x n | j ) P ( j | x n ) ⎞
        = − ∑ ln ⎜ ∑
                 ⎜ j                                ⎟
            n    ⎝          P ( xn ) P( j | xn ) ⎟  ⎠
Utilizando a desigualdade de Jensen

                ⎛           ⎞
             ln ⎜ ∑ λ j x j ⎟ ≥ ∑ λ j ln( x j )
                ⎝ j         ⎠ j
Algoritmo EM

            ⎛ 1                         P( j | x n ) ⎞
ΔE = −∑ ln ⎜        ∑ Pj′ P′(xn | j ) P( j | x ) ⎟
            ⎜ P (x ) j                               ⎟
      n     ⎝     n                              n ⎠

                          ⎛ Pj′ P′(x n | j ) ⎞
   ≤ −∑∑ P ( j | x n ) ln ⎜
                          ⎜ P ( x ) P( j | x ) ⎟
                                               ⎟
      n   j               ⎝      n          n ⎠


O erro pode ser minimizado através da minimização de
 um upper bound para o erro com parâmetros novos:

                      E′ ≤ E + Q
         Q ≡ −∑∑ P ( j | x n ) ln ( Pj′ P′(x n | j ) )
Com               n   j
E-step

Se o modelo for uma mistura de gaussianas


                       ⎡                           x n − μ ′j   ⎤
  Q ≡ −∑∑ P( j | x n ) ⎢ln ( Pj′ ) − d ln(σ ′j ) −              ⎥
                       ⎢                             2σ ′j      ⎥
       n j
                       ⎣                                        ⎦

  Assume-se uma distribuição Pj e um conjunto de
  parâmetros iniciais e calcula-se a esperança acima.
M-Step

Minimiza-se o upper bound dado por Q sujeito ao vínculo


                      ∑ P′ = 1
                           j
                               j



Imposto pela introdução de um multiplicador de Lagrange:


                ⎡N ⎤               ∂ϕ
      ϕ = Q + λ ⎢ ∑ Pj ⎥               =0⇒λ = N
                ⎣ j =1 ⎦           ∂Pj
M-Step

 Equações de extremo em relação aos outros parâmetros
 fornecem:

                               ∑ P( j | x ) x − μ ′
                                                                           2

         ∂ϕ                                                n       n   j
              = 0 ⇒ (σ ′ ) =
                             12
                                               n

         ∂σ ′                     ∑ P( j | x )
                          j
            j                d                                     n
                                                   n
∂ϕ               1
∂Pj′
     = 0 ⇒ Pj′ =
                 N
                     ∑ P( j | x
                      n
                                   n   )

                                  ∂ϕ              ∑ P( j | x )x                n       n
                                       = 0 ⇒ μ′ =              n

                                  ∂μ ′            ∑ P( j | x )
                                                       j
                                           j                                       n
                                                                   n
Bibiliografia

Bishop, Neural Networks for Pattern Recognition, Cap 2

Bayesian Theory
(Wiley Series in Probability and Statistics)
Jose M. Bernardo, Adrian F. M. Smith

Mais conteúdo relacionado

Mais procurados

Risco de Crédito 3: KMV
Risco de Crédito 3: KMVRisco de Crédito 3: KMV
Risco de Crédito 3: KMV
Renato Vicente
 
V@R ajustado a liquidez
V@R ajustado a liquidezV@R ajustado a liquidez
V@R ajustado a liquidez
Renato Vicente
 
Aula 05 derivadas - conceitos iniciais
Aula 05   derivadas - conceitos iniciaisAula 05   derivadas - conceitos iniciais
[Robson] 7. Programação Não Linear Irrestrita
[Robson] 7. Programação Não Linear Irrestrita[Robson] 7. Programação Não Linear Irrestrita
[Robson] 7. Programação Não Linear Irrestrita
lapodcc
 
Derivada
DerivadaDerivada
Derivadas
DerivadasDerivadas
Derivadas
mlthomaz
 
Derivadas Aplicações
Derivadas AplicaçõesDerivadas Aplicações
Derivadas Aplicações
Jones Fagundes
 
08 derivadas
08 derivadas08 derivadas
08 derivadas
Rodrigo Oliveira
 
[Robson] 5. Análise de Sensibilidade
[Robson] 5. Análise de Sensibilidade[Robson] 5. Análise de Sensibilidade
[Robson] 5. Análise de Sensibilidade
lapodcc
 
[Robson] 4. Dualidade
[Robson] 4. Dualidade[Robson] 4. Dualidade
[Robson] 4. Dualidade
lapodcc
 
Formulário - Estatística
Formulário - EstatísticaFormulário - Estatística
Formulário - Estatística
Rodrigo Thiago Passos Silva
 
[Alexandre] 8. Não Linear Restrita
[Alexandre] 8. Não Linear Restrita[Alexandre] 8. Não Linear Restrita
[Alexandre] 8. Não Linear Restrita
lapodcc
 
Esboço - Gráfico de Função
Esboço - Gráfico de FunçãoEsboço - Gráfico de Função
Esboço - Gráfico de Função
Rodrigo Thiago Passos Silva
 
Ex algebra (8)
Ex algebra  (8)Ex algebra  (8)
Ex algebra (8)
Andrei Bastos
 
Matematica2 7
Matematica2 7Matematica2 7
Matematica2 7
Débora Bastos
 
Equações e funções exponenciais
Equações e funções exponenciaisEquações e funções exponenciais
Equações e funções exponenciais
André Luís Nogueira
 
Tópico 08 - Derivadas
Tópico 08 - DerivadasTópico 08 - Derivadas
Mae0330 formulario-2012
Mae0330 formulario-2012Mae0330 formulario-2012
Mae0330 formulario-2012
Adriana Maria Meneghetti
 
Apostila 2 calculo i derivadas
Apostila 2 calculo i derivadasApostila 2 calculo i derivadas
Apostila 2 calculo i derivadas
trigono_metrico
 
Aula 9 variáveis aleatória contínua - parte 2
Aula 9   variáveis aleatória contínua - parte 2Aula 9   variáveis aleatória contínua - parte 2
Aula 9 variáveis aleatória contínua - parte 2
Ariel Rennó Chaves
 

Mais procurados (20)

Risco de Crédito 3: KMV
Risco de Crédito 3: KMVRisco de Crédito 3: KMV
Risco de Crédito 3: KMV
 
V@R ajustado a liquidez
V@R ajustado a liquidezV@R ajustado a liquidez
V@R ajustado a liquidez
 
Aula 05 derivadas - conceitos iniciais
Aula 05   derivadas - conceitos iniciaisAula 05   derivadas - conceitos iniciais
Aula 05 derivadas - conceitos iniciais
 
[Robson] 7. Programação Não Linear Irrestrita
[Robson] 7. Programação Não Linear Irrestrita[Robson] 7. Programação Não Linear Irrestrita
[Robson] 7. Programação Não Linear Irrestrita
 
Derivada
DerivadaDerivada
Derivada
 
Derivadas
DerivadasDerivadas
Derivadas
 
Derivadas Aplicações
Derivadas AplicaçõesDerivadas Aplicações
Derivadas Aplicações
 
08 derivadas
08 derivadas08 derivadas
08 derivadas
 
[Robson] 5. Análise de Sensibilidade
[Robson] 5. Análise de Sensibilidade[Robson] 5. Análise de Sensibilidade
[Robson] 5. Análise de Sensibilidade
 
[Robson] 4. Dualidade
[Robson] 4. Dualidade[Robson] 4. Dualidade
[Robson] 4. Dualidade
 
Formulário - Estatística
Formulário - EstatísticaFormulário - Estatística
Formulário - Estatística
 
[Alexandre] 8. Não Linear Restrita
[Alexandre] 8. Não Linear Restrita[Alexandre] 8. Não Linear Restrita
[Alexandre] 8. Não Linear Restrita
 
Esboço - Gráfico de Função
Esboço - Gráfico de FunçãoEsboço - Gráfico de Função
Esboço - Gráfico de Função
 
Ex algebra (8)
Ex algebra  (8)Ex algebra  (8)
Ex algebra (8)
 
Matematica2 7
Matematica2 7Matematica2 7
Matematica2 7
 
Equações e funções exponenciais
Equações e funções exponenciaisEquações e funções exponenciais
Equações e funções exponenciais
 
Tópico 08 - Derivadas
Tópico 08 - DerivadasTópico 08 - Derivadas
Tópico 08 - Derivadas
 
Mae0330 formulario-2012
Mae0330 formulario-2012Mae0330 formulario-2012
Mae0330 formulario-2012
 
Apostila 2 calculo i derivadas
Apostila 2 calculo i derivadasApostila 2 calculo i derivadas
Apostila 2 calculo i derivadas
 
Aula 9 variáveis aleatória contínua - parte 2
Aula 9   variáveis aleatória contínua - parte 2Aula 9   variáveis aleatória contínua - parte 2
Aula 9 variáveis aleatória contínua - parte 2
 

Destaque

Inteligencia financeira I
Inteligencia financeira IInteligencia financeira I
Inteligencia financeira I
Renato Vicente
 
Inteligencia financeira II
Inteligencia financeira IIInteligencia financeira II
Inteligencia financeira II
Renato Vicente
 
Risco sistêmico
Risco sistêmicoRisco sistêmico
Risco sistêmico
Renato Vicente
 
Risco de derivativos
Risco de derivativosRisco de derivativos
Risco de derivativos
Renato Vicente
 
Testes de Stress
Testes de StressTestes de Stress
Testes de Stress
Renato Vicente
 
Estatística: introdução
Estatística: introduçãoEstatística: introdução
Estatística: introdução
Renato Vicente
 
Estatística: Probabilidade
Estatística: ProbabilidadeEstatística: Probabilidade
Estatística: Probabilidade
Renato Vicente
 
Backtesting
BacktestingBacktesting
Backtesting
Renato Vicente
 
Risco de Crédito 2: CreditRisk+
Risco de Crédito 2: CreditRisk+Risco de Crédito 2: CreditRisk+
Risco de Crédito 2: CreditRisk+
Renato Vicente
 
Estatistica: introducao a teoria de decisao
Estatistica: introducao a teoria de decisaoEstatistica: introducao a teoria de decisao
Estatistica: introducao a teoria de decisao
Renato Vicente
 
Estatística: Modelos Discretos
Estatística: Modelos DiscretosEstatística: Modelos Discretos
Estatística: Modelos Discretos
Renato Vicente
 
Estatística: Introduçao à Estimacao Bayesiana
Estatística: Introduçao à Estimacao BayesianaEstatística: Introduçao à Estimacao Bayesiana
Estatística: Introduçao à Estimacao Bayesiana
Renato Vicente
 
Ap fisica modulo 26 exercicios
Ap fisica modulo 26 exerciciosAp fisica modulo 26 exercicios
Ap fisica modulo 26 exercicios
comentada
 
Risco de Crédito 1
Risco de Crédito 1Risco de Crédito 1
Risco de Crédito 1
Renato Vicente
 
V@R Histórico
V@R HistóricoV@R Histórico
V@R Histórico
Renato Vicente
 
V@R Monte Carlo
V@R Monte CarloV@R Monte Carlo
V@R Monte Carlo
Renato Vicente
 
Manual de atividades práticas
Manual de atividades práticasManual de atividades práticas
Manual de atividades práticas
Jéssica Rodrigues'
 
Aula de português
Aula de portuguêsAula de português
Aula de português
Jefferson Sales
 
DIAGRAMA DE FASE
DIAGRAMA DE FASEDIAGRAMA DE FASE
DIAGRAMA DE FASE
Carlos Jara Benites
 

Destaque (19)

Inteligencia financeira I
Inteligencia financeira IInteligencia financeira I
Inteligencia financeira I
 
Inteligencia financeira II
Inteligencia financeira IIInteligencia financeira II
Inteligencia financeira II
 
Risco sistêmico
Risco sistêmicoRisco sistêmico
Risco sistêmico
 
Risco de derivativos
Risco de derivativosRisco de derivativos
Risco de derivativos
 
Testes de Stress
Testes de StressTestes de Stress
Testes de Stress
 
Estatística: introdução
Estatística: introduçãoEstatística: introdução
Estatística: introdução
 
Estatística: Probabilidade
Estatística: ProbabilidadeEstatística: Probabilidade
Estatística: Probabilidade
 
Backtesting
BacktestingBacktesting
Backtesting
 
Risco de Crédito 2: CreditRisk+
Risco de Crédito 2: CreditRisk+Risco de Crédito 2: CreditRisk+
Risco de Crédito 2: CreditRisk+
 
Estatistica: introducao a teoria de decisao
Estatistica: introducao a teoria de decisaoEstatistica: introducao a teoria de decisao
Estatistica: introducao a teoria de decisao
 
Estatística: Modelos Discretos
Estatística: Modelos DiscretosEstatística: Modelos Discretos
Estatística: Modelos Discretos
 
Estatística: Introduçao à Estimacao Bayesiana
Estatística: Introduçao à Estimacao BayesianaEstatística: Introduçao à Estimacao Bayesiana
Estatística: Introduçao à Estimacao Bayesiana
 
Ap fisica modulo 26 exercicios
Ap fisica modulo 26 exerciciosAp fisica modulo 26 exercicios
Ap fisica modulo 26 exercicios
 
Risco de Crédito 1
Risco de Crédito 1Risco de Crédito 1
Risco de Crédito 1
 
V@R Histórico
V@R HistóricoV@R Histórico
V@R Histórico
 
V@R Monte Carlo
V@R Monte CarloV@R Monte Carlo
V@R Monte Carlo
 
Manual de atividades práticas
Manual de atividades práticasManual de atividades práticas
Manual de atividades práticas
 
Aula de português
Aula de portuguêsAula de português
Aula de português
 
DIAGRAMA DE FASE
DIAGRAMA DE FASEDIAGRAMA DE FASE
DIAGRAMA DE FASE
 

Semelhante a Redes Neurais: Estimação de Densidades

[Robson] 1. Programação Linear
[Robson] 1. Programação Linear[Robson] 1. Programação Linear
[Robson] 1. Programação Linear
lapodcc
 
V@R: Overview
V@R: Overview V@R: Overview
V@R: Overview
Renato Vicente
 
Lista polinomio equaçoes_3_ano_2012_pdf
Lista polinomio equaçoes_3_ano_2012_pdfLista polinomio equaçoes_3_ano_2012_pdf
Lista polinomio equaçoes_3_ano_2012_pdf
cristianomatematico
 
Tadeu
TadeuTadeu
Tadeu
diegomd51
 
matematica para o ensino medio I
 matematica para o ensino medio I matematica para o ensino medio I
matematica para o ensino medio I
Jailson Nascimento
 
P3 calculo i_ (4)
P3 calculo i_ (4)P3 calculo i_ (4)
P3 calculo i_ (4)
Andrei Bastos
 
Aula 3 - Educação física
Aula 3  - Educação físicaAula 3  - Educação física
Aula 3 - Educação física
Caroline Godoy
 
Polinômios cn 2013 - exercícios
Polinômios  cn 2013 - exercíciosPolinômios  cn 2013 - exercícios
Polinômios cn 2013 - exercícios
Curso Progressão Autêntico
 
Mat em funcoes trigonometricas sol vol1 cap9 parte 1
Mat em funcoes trigonometricas sol vol1 cap9 parte 1Mat em funcoes trigonometricas sol vol1 cap9 parte 1
Mat em funcoes trigonometricas sol vol1 cap9 parte 1
trigono_metrico
 
Formulario estatistica descritiva univariada e bivariava 2013
Formulario estatistica descritiva univariada e bivariava  2013Formulario estatistica descritiva univariada e bivariava  2013
Formulario estatistica descritiva univariada e bivariava 2013
Pedro Casquilho
 
Equação de Recorrência - I (Otimização)
Equação de Recorrência - I (Otimização)Equação de Recorrência - I (Otimização)
Equação de Recorrência - I (Otimização)
Jedson Guedes
 
Aula 9-intervalo-de-confiança para a média
Aula 9-intervalo-de-confiança para a médiaAula 9-intervalo-de-confiança para a média
Aula 9-intervalo-de-confiança para a média
Carlos Alberto Monteiro
 
Mat polinomios 002
Mat polinomios  002Mat polinomios  002
Mat polinomios 002
trigono_metrico
 
Revisão de polinômios
Revisão de polinômiosRevisão de polinômios
Revisão de polinômios
matheuslw
 
Aula 4 - Educação física
Aula 4 - Educação físicaAula 4 - Educação física
Aula 4 - Educação física
Caroline Godoy
 
Otimização no Armazenamento de Imagens por meio da Decomposição em Valores Si...
Otimização no Armazenamento de Imagens por meio da Decomposição em Valores Si...Otimização no Armazenamento de Imagens por meio da Decomposição em Valores Si...
Otimização no Armazenamento de Imagens por meio da Decomposição em Valores Si...
Agnaldo Coelho
 
Otimização no Armazenamento de Imagens por meio da Decomposição em Valores Si...
Otimização no Armazenamento de Imagens por meio da Decomposição em Valores Si...Otimização no Armazenamento de Imagens por meio da Decomposição em Valores Si...
Otimização no Armazenamento de Imagens por meio da Decomposição em Valores Si...
Agnaldo Coelho
 
OperaçõEs Com PolinôMios2
OperaçõEs Com PolinôMios2OperaçõEs Com PolinôMios2
OperaçõEs Com PolinôMios2
guestd49fc4
 
OperaçõEs Com PolinôMios2
OperaçõEs Com PolinôMios2OperaçõEs Com PolinôMios2
OperaçõEs Com PolinôMios2
guestd49fc4
 
P1 calculo i_ (2)
P1 calculo i_ (2)P1 calculo i_ (2)
P1 calculo i_ (2)
Andrei Bastos
 

Semelhante a Redes Neurais: Estimação de Densidades (20)

[Robson] 1. Programação Linear
[Robson] 1. Programação Linear[Robson] 1. Programação Linear
[Robson] 1. Programação Linear
 
V@R: Overview
V@R: Overview V@R: Overview
V@R: Overview
 
Lista polinomio equaçoes_3_ano_2012_pdf
Lista polinomio equaçoes_3_ano_2012_pdfLista polinomio equaçoes_3_ano_2012_pdf
Lista polinomio equaçoes_3_ano_2012_pdf
 
Tadeu
TadeuTadeu
Tadeu
 
matematica para o ensino medio I
 matematica para o ensino medio I matematica para o ensino medio I
matematica para o ensino medio I
 
P3 calculo i_ (4)
P3 calculo i_ (4)P3 calculo i_ (4)
P3 calculo i_ (4)
 
Aula 3 - Educação física
Aula 3  - Educação físicaAula 3  - Educação física
Aula 3 - Educação física
 
Polinômios cn 2013 - exercícios
Polinômios  cn 2013 - exercíciosPolinômios  cn 2013 - exercícios
Polinômios cn 2013 - exercícios
 
Mat em funcoes trigonometricas sol vol1 cap9 parte 1
Mat em funcoes trigonometricas sol vol1 cap9 parte 1Mat em funcoes trigonometricas sol vol1 cap9 parte 1
Mat em funcoes trigonometricas sol vol1 cap9 parte 1
 
Formulario estatistica descritiva univariada e bivariava 2013
Formulario estatistica descritiva univariada e bivariava  2013Formulario estatistica descritiva univariada e bivariava  2013
Formulario estatistica descritiva univariada e bivariava 2013
 
Equação de Recorrência - I (Otimização)
Equação de Recorrência - I (Otimização)Equação de Recorrência - I (Otimização)
Equação de Recorrência - I (Otimização)
 
Aula 9-intervalo-de-confiança para a média
Aula 9-intervalo-de-confiança para a médiaAula 9-intervalo-de-confiança para a média
Aula 9-intervalo-de-confiança para a média
 
Mat polinomios 002
Mat polinomios  002Mat polinomios  002
Mat polinomios 002
 
Revisão de polinômios
Revisão de polinômiosRevisão de polinômios
Revisão de polinômios
 
Aula 4 - Educação física
Aula 4 - Educação físicaAula 4 - Educação física
Aula 4 - Educação física
 
Otimização no Armazenamento de Imagens por meio da Decomposição em Valores Si...
Otimização no Armazenamento de Imagens por meio da Decomposição em Valores Si...Otimização no Armazenamento de Imagens por meio da Decomposição em Valores Si...
Otimização no Armazenamento de Imagens por meio da Decomposição em Valores Si...
 
Otimização no Armazenamento de Imagens por meio da Decomposição em Valores Si...
Otimização no Armazenamento de Imagens por meio da Decomposição em Valores Si...Otimização no Armazenamento de Imagens por meio da Decomposição em Valores Si...
Otimização no Armazenamento de Imagens por meio da Decomposição em Valores Si...
 
OperaçõEs Com PolinôMios2
OperaçõEs Com PolinôMios2OperaçõEs Com PolinôMios2
OperaçõEs Com PolinôMios2
 
OperaçõEs Com PolinôMios2
OperaçõEs Com PolinôMios2OperaçõEs Com PolinôMios2
OperaçõEs Com PolinôMios2
 
P1 calculo i_ (2)
P1 calculo i_ (2)P1 calculo i_ (2)
P1 calculo i_ (2)
 

Último

Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptxPsicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
TiagoLouro8
 
Tabela Funções Orgânicas.pdfnsknsknksnksn nkasn
Tabela Funções Orgânicas.pdfnsknsknksnksn nkasnTabela Funções Orgânicas.pdfnsknsknksnksn nkasn
Tabela Funções Orgânicas.pdfnsknsknksnksn nkasn
CarlosJean21
 
UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
Manuais Formação
 
planejamento maternal 2 atualizado.pdf e
planejamento maternal 2 atualizado.pdf eplanejamento maternal 2 atualizado.pdf e
planejamento maternal 2 atualizado.pdf e
HelenStefany
 
-Rudolf-Laban-e-a-teoria-do-movimento.ppt
-Rudolf-Laban-e-a-teoria-do-movimento.ppt-Rudolf-Laban-e-a-teoria-do-movimento.ppt
-Rudolf-Laban-e-a-teoria-do-movimento.ppt
fagnerlopes11
 
ATIVIDADES de alfabetização do mês de junho
ATIVIDADES de alfabetização do mês de junhoATIVIDADES de alfabetização do mês de junho
ATIVIDADES de alfabetização do mês de junho
Crisnaiara
 
Concurso FEMAR Resultado Final Etapa1-EmpregoscomEtapaII.pdf
Concurso FEMAR Resultado Final Etapa1-EmpregoscomEtapaII.pdfConcurso FEMAR Resultado Final Etapa1-EmpregoscomEtapaII.pdf
Concurso FEMAR Resultado Final Etapa1-EmpregoscomEtapaII.pdf
TathyLopes1
 
Cartinhas de solidariedade e esperança.pptx
Cartinhas de solidariedade e esperança.pptxCartinhas de solidariedade e esperança.pptx
Cartinhas de solidariedade e esperança.pptx
Zenir Carmen Bez Trombeta
 
Aula Aberta_Avaliação Digital no ensino basico e secundário.pdf
Aula Aberta_Avaliação Digital no ensino basico e secundário.pdfAula Aberta_Avaliação Digital no ensino basico e secundário.pdf
Aula Aberta_Avaliação Digital no ensino basico e secundário.pdf
Marília Pacheco
 
A festa junina é uma tradicional festividade popular que acontece durante o m...
A festa junina é uma tradicional festividade popular que acontece durante o m...A festa junina é uma tradicional festividade popular que acontece durante o m...
A festa junina é uma tradicional festividade popular que acontece durante o m...
ANDRÉA FERREIRA
 
Slides Lição 12, CPAD, A Bendita Esperança, A Marca do Cristão, 2Tr24.pptx
Slides Lição 12, CPAD, A Bendita Esperança, A Marca do Cristão, 2Tr24.pptxSlides Lição 12, CPAD, A Bendita Esperança, A Marca do Cristão, 2Tr24.pptx
Slides Lição 12, CPAD, A Bendita Esperança, A Marca do Cristão, 2Tr24.pptx
LuizHenriquedeAlmeid6
 
Telepsiquismo Utilize seu poder extrassensorial para atrair prosperidade (Jos...
Telepsiquismo Utilize seu poder extrassensorial para atrair prosperidade (Jos...Telepsiquismo Utilize seu poder extrassensorial para atrair prosperidade (Jos...
Telepsiquismo Utilize seu poder extrassensorial para atrair prosperidade (Jos...
fran0410
 
PP Slides Lição 11, Betel, Ordenança para exercer a fé, 2Tr24.pptx
PP Slides Lição 11, Betel, Ordenança para exercer a fé, 2Tr24.pptxPP Slides Lição 11, Betel, Ordenança para exercer a fé, 2Tr24.pptx
PP Slides Lição 11, Betel, Ordenança para exercer a fé, 2Tr24.pptx
LuizHenriquedeAlmeid6
 
Exercicios de Word Básico para a aulas de informatica Basica
Exercicios de Word Básico para a aulas de informatica BasicaExercicios de Word Básico para a aulas de informatica Basica
Exercicios de Word Básico para a aulas de informatica Basica
ElinarioCosta
 
UFCD_4667_Preparação e confeção de molhos e fundos de cozinha_índice.pdf
UFCD_4667_Preparação e confeção de molhos e fundos de cozinha_índice.pdfUFCD_4667_Preparação e confeção de molhos e fundos de cozinha_índice.pdf
UFCD_4667_Preparação e confeção de molhos e fundos de cozinha_índice.pdf
Manuais Formação
 
Atpcg PEI Rev Irineu GESTÃO DE SALA DE AULA.pptx
Atpcg PEI Rev Irineu GESTÃO DE SALA DE AULA.pptxAtpcg PEI Rev Irineu GESTÃO DE SALA DE AULA.pptx
Atpcg PEI Rev Irineu GESTÃO DE SALA DE AULA.pptx
joaresmonte3
 
O século XVII e o nascimento da pedagogia.pptx
O século XVII e o nascimento da pedagogia.pptxO século XVII e o nascimento da pedagogia.pptx
O século XVII e o nascimento da pedagogia.pptx
geiseortiz1
 
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTALPlanejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
katbrochier1
 
Aula 1 - Ordem Mundial Aula de Geografia
Aula 1 - Ordem Mundial Aula de GeografiaAula 1 - Ordem Mundial Aula de Geografia
Aula 1 - Ordem Mundial Aula de Geografia
WELTONROBERTOFREITAS
 
Loteria - Adição, subtração, multiplicação e divisão.
Loteria - Adição,  subtração,  multiplicação e divisão.Loteria - Adição,  subtração,  multiplicação e divisão.
Loteria - Adição, subtração, multiplicação e divisão.
Mary Alvarenga
 

Último (20)

Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptxPsicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
Psicologia e Sociologia - Módulo 2 – Sociedade e indivíduo.pptx
 
Tabela Funções Orgânicas.pdfnsknsknksnksn nkasn
Tabela Funções Orgânicas.pdfnsknsknksnksn nkasnTabela Funções Orgânicas.pdfnsknsknksnksn nkasn
Tabela Funções Orgânicas.pdfnsknsknksnksn nkasn
 
UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
UFCD_7211_Os sistemas do corpo humano_ imunitário, circulatório, respiratório...
 
planejamento maternal 2 atualizado.pdf e
planejamento maternal 2 atualizado.pdf eplanejamento maternal 2 atualizado.pdf e
planejamento maternal 2 atualizado.pdf e
 
-Rudolf-Laban-e-a-teoria-do-movimento.ppt
-Rudolf-Laban-e-a-teoria-do-movimento.ppt-Rudolf-Laban-e-a-teoria-do-movimento.ppt
-Rudolf-Laban-e-a-teoria-do-movimento.ppt
 
ATIVIDADES de alfabetização do mês de junho
ATIVIDADES de alfabetização do mês de junhoATIVIDADES de alfabetização do mês de junho
ATIVIDADES de alfabetização do mês de junho
 
Concurso FEMAR Resultado Final Etapa1-EmpregoscomEtapaII.pdf
Concurso FEMAR Resultado Final Etapa1-EmpregoscomEtapaII.pdfConcurso FEMAR Resultado Final Etapa1-EmpregoscomEtapaII.pdf
Concurso FEMAR Resultado Final Etapa1-EmpregoscomEtapaII.pdf
 
Cartinhas de solidariedade e esperança.pptx
Cartinhas de solidariedade e esperança.pptxCartinhas de solidariedade e esperança.pptx
Cartinhas de solidariedade e esperança.pptx
 
Aula Aberta_Avaliação Digital no ensino basico e secundário.pdf
Aula Aberta_Avaliação Digital no ensino basico e secundário.pdfAula Aberta_Avaliação Digital no ensino basico e secundário.pdf
Aula Aberta_Avaliação Digital no ensino basico e secundário.pdf
 
A festa junina é uma tradicional festividade popular que acontece durante o m...
A festa junina é uma tradicional festividade popular que acontece durante o m...A festa junina é uma tradicional festividade popular que acontece durante o m...
A festa junina é uma tradicional festividade popular que acontece durante o m...
 
Slides Lição 12, CPAD, A Bendita Esperança, A Marca do Cristão, 2Tr24.pptx
Slides Lição 12, CPAD, A Bendita Esperança, A Marca do Cristão, 2Tr24.pptxSlides Lição 12, CPAD, A Bendita Esperança, A Marca do Cristão, 2Tr24.pptx
Slides Lição 12, CPAD, A Bendita Esperança, A Marca do Cristão, 2Tr24.pptx
 
Telepsiquismo Utilize seu poder extrassensorial para atrair prosperidade (Jos...
Telepsiquismo Utilize seu poder extrassensorial para atrair prosperidade (Jos...Telepsiquismo Utilize seu poder extrassensorial para atrair prosperidade (Jos...
Telepsiquismo Utilize seu poder extrassensorial para atrair prosperidade (Jos...
 
PP Slides Lição 11, Betel, Ordenança para exercer a fé, 2Tr24.pptx
PP Slides Lição 11, Betel, Ordenança para exercer a fé, 2Tr24.pptxPP Slides Lição 11, Betel, Ordenança para exercer a fé, 2Tr24.pptx
PP Slides Lição 11, Betel, Ordenança para exercer a fé, 2Tr24.pptx
 
Exercicios de Word Básico para a aulas de informatica Basica
Exercicios de Word Básico para a aulas de informatica BasicaExercicios de Word Básico para a aulas de informatica Basica
Exercicios de Word Básico para a aulas de informatica Basica
 
UFCD_4667_Preparação e confeção de molhos e fundos de cozinha_índice.pdf
UFCD_4667_Preparação e confeção de molhos e fundos de cozinha_índice.pdfUFCD_4667_Preparação e confeção de molhos e fundos de cozinha_índice.pdf
UFCD_4667_Preparação e confeção de molhos e fundos de cozinha_índice.pdf
 
Atpcg PEI Rev Irineu GESTÃO DE SALA DE AULA.pptx
Atpcg PEI Rev Irineu GESTÃO DE SALA DE AULA.pptxAtpcg PEI Rev Irineu GESTÃO DE SALA DE AULA.pptx
Atpcg PEI Rev Irineu GESTÃO DE SALA DE AULA.pptx
 
O século XVII e o nascimento da pedagogia.pptx
O século XVII e o nascimento da pedagogia.pptxO século XVII e o nascimento da pedagogia.pptx
O século XVII e o nascimento da pedagogia.pptx
 
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTALPlanejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
Planejamento BNCC - 4 ANO -TRIMESTRAL - ENSINO FUNDAMENTAL
 
Aula 1 - Ordem Mundial Aula de Geografia
Aula 1 - Ordem Mundial Aula de GeografiaAula 1 - Ordem Mundial Aula de Geografia
Aula 1 - Ordem Mundial Aula de Geografia
 
Loteria - Adição, subtração, multiplicação e divisão.
Loteria - Adição,  subtração,  multiplicação e divisão.Loteria - Adição,  subtração,  multiplicação e divisão.
Loteria - Adição, subtração, multiplicação e divisão.
 

Redes Neurais: Estimação de Densidades

  • 1. Estimação de Densidades Renato Vicente rvicente@if.usp.br 10/01, mpmmf, IME/FEA – USP
  • 2. Estimação de Densidades Métodos Paramétricos Métodos de Núcleo (Kernel Methods) Misturas de Distribuições Algoritmo EM
  • 3. Métodos Paramétricos Uma forma funcional p ( x | θ ) específica, parametrizada por θ é assumida para a densidade de probabilidade. .Na ausência de dados há uma incerteza com relação ao valor dos parâmetros representada pela distribuição a priori p (θ ) Uma vez os dados D são observados, nossa idéia sobre quais parâmetros melhor ajustam os dados é modificada para o posterior p (θ | D) 0 .8 0 .7 0 .6 p(θ⏐ D) 0 .5 0 .4 0 .3 0 .2 0 .1 p(θ) 0 -1 0 -5 0 5 10 θ
  • 4. Métodos Paramétricos A densidade que se deseja inferir a partir dos dados D é p( x | D) Considerando a parametrização p ( x | D) = ∫ p ( x,θ | D) dθ = ∫ p ( x | θ , D) p (θ | D) dθ =∫ p( x | θ ) p (θ | D) dθ densidade assumida posterior = a priori atualizado
  • 5. Métodos Paramétricos O posterior pode ser obtido do a priori via Teorema de Bayes: p( D | θ ) p (θ | D) = p (θ ) ∫ p( D | θ ′) p(θ ′) dθ ′ Assumindo independência entre cada uma das amostras do conjunto de dados D a verossimilhança pode ser fatorada: N p ( D | θ ) = ∏ p ( xn | θ ) n =1
  • 6. Métodos Paramétricos θ O a priori p ( ) pode ser escolhido utilizando critérios de tratabilidade das integrais ou critérios informacionais. Se o a priori e o posterior estiverem na mesma família o a priori é dito conjugado. A densidade p (θ | D) pode ser utilizada como novo a priori e atualizada com um novo dado xN+1 segundo: p ( D, xN +1 | θ ) p (θ | D, xN +1 ) = p (θ | D) ∫ p( D, xN +1 | θ ′) p(θ ′ | D) dθ ′
  • 7. Exemplo: Estimação Bayesiana em 1D Suponhamos um conjunto de dados D = {x1 , , xN } Assumimos que os dados são gerados de forma independente com distribuição gaussiana com desvio padrão σ conhecido. Queremos inferir a média m. Assim p ( x D ) = ∫ p ( x | m) p (m | D ) dm 1 1 − ( x − m )2 p ( x m) = 2σ 2 Onde assumimos que e 2πσ 2
  • 8. Exemplo Assumimos a seguinte estrutura para a densidade a priori: 1 − ( m − m0 ) 2 1 2σ 0 p ( m) = 2 e 2πσ 2 0 A densidade posterior para o parâmetro m após a apresentação dos dados é N ∏ p( x n | m) p(m | D) = n =1 N p ( m) ∫ p(m′)∏ p( x n =1 n | m′) dm′
  • 9. Exemplo Integral necessária para a avaliação da distribuição inferida somente envolve gaussianas e é, portanto, trivial, resultando em: Nσ 0 ⎛ 1 2 N ⎞ σ2 mN = Nσ 0 + σ 2 ⎜ N 2 ⎝ ∑ xn ⎟ + Nσ 2 + σ 2 m0 n =1 ⎠ 0 1 N 1 = + σN 2 σ2 σ0 2 12 10 8 ) N=50 N D 6 ⏐ m ( P 4 2 N=5 N=0 N=1 0 -3 -2 -1 0 1 2 3 m
  • 10. Métodos de Kernel A probabilidade de que um vetor x, amostrado de uma densidade p(x) desconhecida, caia em uma região R do espaço dos vetores é P = ∫ p (x′) d x′ R A probabilidade de que em N amostras, K estejam em R é ⎛N⎞ K PN ( K ) = ⎜ ⎟ P (1 − P ) N − K ⎝K⎠ ⎡K ⎤ P= E⎢ ⎥ Um estimador para a probabilidade de R é ⎣N ⎦
  • 11. Métodos de Kernel A variância em torno deste estimador é ⎡⎛ K ⎞ ⎤ P(1 − P) 2 E ⎢⎜ − P ⎟ ⎥ = ⎯⎯⎯ 0 N →∞ → ⎢⎝ N ⎣ ⎠ ⎥⎦ N K Assim P N P = ∫ p (x′) dx′ p (x)V R Mas P K p ( x) = V NV
  • 12. Janela de Parzen ⎧ 1 ⎪1 se u j < , j = 1,..., d H (u) = ⎨ 2 X ⎪ ⎩ 0, c.c. h N ⎛x−x ⎞ n K = ∑H ⎜ ⎟ n =1 ⎝ h ⎠ K 1 1 ⎛ x − xn ⎞ N p ( x) = = ∑ d H⎜ ⎟ NV N n =1 h ⎝ h ⎠
  • 13. Mixture Models M p (x) = ∑ Pj p (x | j ) j =1 M ∑w j =1 j =1 ⎧ x−μ 2 ⎫ 1 ⎪ ⎪ p(x | j ) = exp ⎨− j ⎬ d ⎪ 2σ j 2 ⎪ (2πσ j ) 2 2 ⎩ ⎭
  • 14. Mixture Models Os parâmetros μ j e σ j podem ser inferidos minimizando uma função erro (maximizando a verossimilhança) N E ( μ j , σ j ) = −∑ ln p(x n ) n =1 N M = −∑ ln ∑ Pj p (x n | j ) n =1 j =1
  • 15. Algoritmo EM A variação da função erro pode ser escrita : ⎛ P ′( x n ) ⎞ ΔE = − ∑ ln ⎜ ⎜ P (x ) ⎟ ⎟ n ⎝ n ⎠ ⎛ Pj′ P ′( x n | j ) P ( j | x n ) ⎞ = − ∑ ln ⎜ ∑ ⎜ j ⎟ n ⎝ P ( xn ) P( j | xn ) ⎟ ⎠ Utilizando a desigualdade de Jensen ⎛ ⎞ ln ⎜ ∑ λ j x j ⎟ ≥ ∑ λ j ln( x j ) ⎝ j ⎠ j
  • 16. Algoritmo EM ⎛ 1 P( j | x n ) ⎞ ΔE = −∑ ln ⎜ ∑ Pj′ P′(xn | j ) P( j | x ) ⎟ ⎜ P (x ) j ⎟ n ⎝ n n ⎠ ⎛ Pj′ P′(x n | j ) ⎞ ≤ −∑∑ P ( j | x n ) ln ⎜ ⎜ P ( x ) P( j | x ) ⎟ ⎟ n j ⎝ n n ⎠ O erro pode ser minimizado através da minimização de um upper bound para o erro com parâmetros novos: E′ ≤ E + Q Q ≡ −∑∑ P ( j | x n ) ln ( Pj′ P′(x n | j ) ) Com n j
  • 17. E-step Se o modelo for uma mistura de gaussianas ⎡ x n − μ ′j ⎤ Q ≡ −∑∑ P( j | x n ) ⎢ln ( Pj′ ) − d ln(σ ′j ) − ⎥ ⎢ 2σ ′j ⎥ n j ⎣ ⎦ Assume-se uma distribuição Pj e um conjunto de parâmetros iniciais e calcula-se a esperança acima.
  • 18. M-Step Minimiza-se o upper bound dado por Q sujeito ao vínculo ∑ P′ = 1 j j Imposto pela introdução de um multiplicador de Lagrange: ⎡N ⎤ ∂ϕ ϕ = Q + λ ⎢ ∑ Pj ⎥ =0⇒λ = N ⎣ j =1 ⎦ ∂Pj
  • 19. M-Step Equações de extremo em relação aos outros parâmetros fornecem: ∑ P( j | x ) x − μ ′ 2 ∂ϕ n n j = 0 ⇒ (σ ′ ) = 12 n ∂σ ′ ∑ P( j | x ) j j d n n ∂ϕ 1 ∂Pj′ = 0 ⇒ Pj′ = N ∑ P( j | x n n ) ∂ϕ ∑ P( j | x )x n n = 0 ⇒ μ′ = n ∂μ ′ ∑ P( j | x ) j j n n
  • 20. Bibiliografia Bishop, Neural Networks for Pattern Recognition, Cap 2 Bayesian Theory (Wiley Series in Probability and Statistics) Jose M. Bernardo, Adrian F. M. Smith