Algoritmo EMManuel Ramón Vargas Avila
IntroduçãoAlgoritmo EM definição:Trata-se de um método geral para encontrar o estimador demáxima verossimilhança dos parâm...
O algoritmo EM consiste em duas etapas: etapa-E e etapa-M. A etapa-E é para gerar dados paraconseguir um problema de dados...
Derivação do algoritmo EMPara isto é utilizado o logaritmo daequação de verossimilhançaX vetor aleatório de umafamília par...
Derivação do algoritmo EM
Derivação do algoritmo EM• Supõe-se que o conhecimento dasvariáveis ​​ocultas fará que a maximização dafunção é mais fácil...
Derivação do algoritmo EM• Equação 3 em 2: equação 4• Desigualdade de jensens
Derivação do algoritmo EM• Analogamente aplicando para equação 3
Derivação do algoritmo EMPor conveniência
Interpretação de uma iteração doalgoritmodelimitada por
ExpectationMaximization
Processo• Inicialização:• Execução:Etapa E:Etapa M:Iterar ate a convergência ou condição determinação (não garantia de ...
Exemplo #1Queremos classificar um grupo depessoas em dois grupos alta oubaixaPara isso contamos com o modelo estatísticoMi...
Misturas finitasPara avaliar plenamenteeste modelo deve-sedeterminar os cincoparâmetros
MediaEqua: 1VarianzaEqua: 2ProbabilidadeDo Grupo AEqua: 3Função NormalXi= dadoWai= Probabilidade que odado i pertence ao g...
PG1 é sorteado aleatoriamenteINICIALIZAÇÃO
• Passo M:Calculamos os 5 parâmetros com as equações1, 2, 3 onde 1 e 2 podem ser aplicadas para ogrupo B.
Passo ECalcula-se para cada dado e grupoNormalizando
Condição de terminaçãoIterar ate que a diferencia de logprobabilidade global seja menor a0,01 para 3 iterações sucessivas.
Resultado Final
Exemplo #2: Mistura de gaussianasSuma ponderada de K gaussianasOndeParâmetros a estimar
Exemplo #2: Mistura de gaussianasSe X é um conjunto de n mostras I.I.DEntão
Dadas n mostras i.i.dTomadas de uma misturaDe gaussianas comparâmetros:Definimos a probabilidade de que a i-ésima mostra f...
probabilidad de que la i-ésimamuestra pertenezca a la j-ésimagaussiana
• Considere uma mistura de gaussianas 2D comparametros
SoluçãoDepois da terça iteração
Obrigado!!
Próximos SlideShares
Carregando em…5
×

algoritmo EM portugues

336 visualizações

Publicada em

0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
336
No SlideShare
0
A partir de incorporações
0
Número de incorporações
1
Ações
Compartilhamentos
0
Downloads
5
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

algoritmo EM portugues

  1. 1. Algoritmo EMManuel Ramón Vargas Avila
  2. 2. IntroduçãoAlgoritmo EM definição:Trata-se de um método geral para encontrar o estimador demáxima verossimilhança dos parâmetros de uma distribuiçãode probabilidades. A situação em que o algoritmo EM provasua potência é nos problemas de dados incompletos, onde aestimação de máxima verossimilhança resulta difícil devido aausência de alguma parte dos dados.É usado em problemas de: clustering, reconhecimento depadrões, modelos ocultos de Markov, entre outros. Aplicaçõesem quase todos os contextos estatísticos e em quase todos oscampos onde técnicas estatísticas foram aplicadas: imagensmédicas, exames de correção, a epidemiologia, e treinamentode redes neurais artificiais, entre outros.
  3. 3. O algoritmo EM consiste em duas etapas: etapa-E e etapa-M. A etapa-E é para gerar dados paraconseguir um problema de dadoscompletos, usando o conjunto de dadosobservados do problema de dados incompletose o valor atual dos parâmetros, de modo que ocálculo da etapa-M seja mais simples ao poderser aplicado a este conjunto de dados completoe retangular.
  4. 4. Derivação do algoritmo EMPara isto é utilizado o logaritmo daequação de verossimilhançaX vetor aleatório de umafamília parametrizada.
  5. 5. Derivação do algoritmo EM
  6. 6. Derivação do algoritmo EM• Supõe-se que o conhecimento dasvariáveis ​​ocultas fará que a maximização dafunção é mais fácil.• Z vetor aleatório oculto e elementos z, aprobabilidade total em termos de z é:• Equação 3
  7. 7. Derivação do algoritmo EM• Equação 3 em 2: equação 4• Desigualdade de jensens
  8. 8. Derivação do algoritmo EM• Analogamente aplicando para equação 3
  9. 9. Derivação do algoritmo EMPor conveniência
  10. 10. Interpretação de uma iteração doalgoritmodelimitada por
  11. 11. ExpectationMaximization
  12. 12. Processo• Inicialização:• Execução:Etapa E:Etapa M:Iterar ate a convergência ou condição determinação (não garantia de máximo global)
  13. 13. Exemplo #1Queremos classificar um grupo depessoas em dois grupos alta oubaixaPara isso contamos com o modelo estatísticoMisturas finitas.
  14. 14. Misturas finitasPara avaliar plenamenteeste modelo deve-sedeterminar os cincoparâmetros
  15. 15. MediaEqua: 1VarianzaEqua: 2ProbabilidadeDo Grupo AEqua: 3Função NormalXi= dadoWai= Probabilidade que odado i pertence ao grupoA
  16. 16. PG1 é sorteado aleatoriamenteINICIALIZAÇÃO
  17. 17. • Passo M:Calculamos os 5 parâmetros com as equações1, 2, 3 onde 1 e 2 podem ser aplicadas para ogrupo B.
  18. 18. Passo ECalcula-se para cada dado e grupoNormalizando
  19. 19. Condição de terminaçãoIterar ate que a diferencia de logprobabilidade global seja menor a0,01 para 3 iterações sucessivas.
  20. 20. Resultado Final
  21. 21. Exemplo #2: Mistura de gaussianasSuma ponderada de K gaussianasOndeParâmetros a estimar
  22. 22. Exemplo #2: Mistura de gaussianasSe X é um conjunto de n mostras I.I.DEntão
  23. 23. Dadas n mostras i.i.dTomadas de uma misturaDe gaussianas comparâmetros:Definimos a probabilidade de que a i-ésima mostra faz parte da j-ésima gaussiana comoSatisfaze
  24. 24. probabilidad de que la i-ésimamuestra pertenezca a la j-ésimagaussiana
  25. 25. • Considere uma mistura de gaussianas 2D comparametros
  26. 26. SoluçãoDepois da terça iteração
  27. 27. Obrigado!!

×