El algoritmo EM es un método para encontrar el estimador de máxima verosimilitud de los parámetros de una distribución de probabilidad para datos incompletos. Consta de dos pasos: E-step y M-step. El E-step genera datos completos usando los datos observados y los parámetros actuales, y el M-step calcula nuevos parámetros maximizando la verosimilitud con los datos completos. Se ilustra su uso para clasificar personas en dos grupos y para estimar parámetros de una mezcla de gaussianas multidimensionales.
2. Introdução
Algoritmo EM definição:
Es un método general para encontrar el estimador de máxima
verosimilitud de los parámetros de una distribución de probabilidad. La
situación en la que el algoritmo EM muestra toda su potencia es en los
problemas de datos incompletos, donde la estimación de máxima
verosimilitud resulta difícil debido a la ausencia de alguna parte de los
datos dentro de una estructura de datos simple y familiar
Se utiliza en problemas de : clustering, reconocimiento de patrones,
Modelos ocultos de Markov, entre otros. aplicaciones en casi todos los
contextos estadísticos y en casi todos los campos donde se hayan
aplicado técnicas estadísticas: tratamiento de imágenes médicas,
corrección de censos, epidemiología del SIDA, y entrenamiento de
redes neuronales artificiales, entre otros.
3. • El algoritmo EM consta de dos pasos: paso-E y
paso-M. El paso-E consiste en generar datos
para conseguir un problema de datos
completos, usando el conjunto de datos
observados del problema de datos
incompletos y el valor actual de los
parámetros, de modo que el cálculo del paso-
M sea más simple al poderser aplicado a este
conjunto de datos completo y rectangular.
4. Derivação do algoritmo EM
Para isto se introduce se utiliza o
logaritmo da equação de verosimilianza
X vector aleatório de uma
família parametrizada.
6. Derivação do algoritmo EM
• Se supone que el conocimiento de las
variables ocultas hara que la maximizacion de
la funcion sea mas facil.
• Z vector aleatorio oculto y elementos z, la
probabilidad total en terminos de z es:
• Equação 3
13. Exemplo #1
Queremos classificar um grupo de
pessoas em dois grupos de alta ou
baixa
Para esto nos basamos en el modelo estadístico
De mezclas finitas.
21. Exemplo #2: Mistura de gaussianas
Suma ponderada de K gaussianas
Onde
Parâmetros a estimar
22. Exemplo #2: Mistura de gaussianas
Se X é um conjunto de n mostras I.I.D
Então
23. Dadas n mostras i.i.d
Tomadas de uma mistura
De gaussianas com
parâmetros:
Definimos a la probabilidad de que la i-ésima muestra pertenezca a la j-ésima gaussiana como
Satisfaze