1. Ignacio Cascos Depto. Estadística, Universidad Carlos III 1 Regresión lineal simple Tema 1

2. Ignacio Cascos Depto. Estadística, Universidad Carlos III 2 Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis

3. Ignacio Cascos Depto. Estadística, Universidad Carlos III 3 Objetivos Construcción de modelos de regresión Métodos de estimación para dichos modelos Inferencia acerca de los parámetros Aprendizaje de utilización de gráficos para detectar el tipo de relación entre dos variables Cuantificación del grado de relación lineal

4. Ignacio Cascos Depto. Estadística, Universidad Carlos III 4 Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis

5. Ignacio Cascos Depto. Estadística, Universidad Carlos III 5 Introducción Estudio conjunto de dos variables Relación entre las variables Regresión lineal Historia del concepto de regresión lineal

6. Ignacio Cascos Depto. Estadística, Universidad Carlos III 6 Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis

7. Ignacio Cascos Depto. Estadística, Universidad Carlos III 7 Ejemplo: Pureza del oxígeno en un proceso de destilación

8. Ignacio Cascos Depto. Estadística, Universidad Carlos III 8 Ejemplo: Pureza del oxígeno en un proceso de destilación

9. Ignacio Cascos Depto. Estadística, Universidad Carlos III 9 El modelo de regresión simple n pares de la forma (xi,yi) Objetivo: valores aproximados de Y a partir de X X: variable independiente o explicativa Y: variable dependiente o respuesta (a explicar)

10. Ignacio Cascos Depto. Estadística, Universidad Carlos III 10 El modelo de regresión simple

11. Ignacio Cascos Depto. Estadística, Universidad Carlos III 11 Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis

12. Ignacio Cascos Depto. Estadística, Universidad Carlos III 12 Linealidad: datos con aspecto recto

13. Ignacio Cascos Depto. Estadística, Universidad Carlos III 13 Homogeneidad El valor promedio del error es cero,

14. Ignacio Cascos Depto. Estadística, Universidad Carlos III 14 Homocedasticidad:Var[ui]=s2 Varianza de errores constante

15. Ignacio Cascos Depto. Estadística, Universidad Carlos III 15 Independencia: Observaciones independientes, en particular E[uiuj]= 0

16. Ignacio Cascos Depto. Estadística, Universidad Carlos III 16 Normalidad: ui~N(0, s2)

17. Ignacio Cascos Depto. Estadística, Universidad Carlos III 17 Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Tansformaciones

18. Ignacio Cascos Depto. Estadística, Universidad Carlos III 18 Método de Mínimos Cuadrados Valor observado Dato (y) Valor observado Dato (y) Recta de regresión estimada Recta de regresión estimada

19. Ignacio Cascos Depto. Estadística, Universidad Carlos III 19 Mínimos Cuadrados (Gauss, 1809) Objetivo: Buscar los valores de b0 y b1 que mejor se ajustan a nuestros datos. Ecuación: Residuo: Minimizar:

20. Ignacio Cascos Depto. Estadística, Universidad Carlos III 20 Mínimos Cuadrados (Gauss, 1809) Resultado:

21. Ignacio Cascos Depto. Estadística, Universidad Carlos III 21 Ajuste regresión simple:Datos pureza oxígeno

22. Ignacio Cascos Depto. Estadística, Universidad Carlos III 22 Ajuste regresión simple:Datos pureza oxígeno

23. Ignacio Cascos Depto. Estadística, Universidad Carlos III 23 Ajuste regresión simple:Datos pureza oxígeno

24. Ignacio Cascos Depto. Estadística, Universidad Carlos III 24 Ajuste regresión simple:Datos pureza oxígeno

25. Ignacio Cascos Depto. Estadística, Universidad Carlos III 25 Ajuste regresión simple:Datos pureza oxígeno

26. Ignacio Cascos Depto. Estadística, Universidad Carlos III 26 Método de Máxima Verosimilitud Mismo resultado. Estimación de la varianza:

27. Ignacio Cascos Depto. Estadística, Universidad Carlos III 27 Ajuste regresión simple:Datos pureza oxígeno

28. Ignacio Cascos Depto. Estadística, Universidad Carlos III 28 Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis

29. Ignacio Cascos Depto. Estadística, Universidad Carlos III 29 Props. de los coeficientes de regresión Normalidad Combinación lineal de normales Estimador centrado Varianza del estimador

30. Ignacio Cascos Depto. Estadística, Universidad Carlos III 30 Props. de los coeficientes de regresión Normalidad Combinación lineal de normales Estimador centrado Varianza del estimador

31. Ignacio Cascos Depto. Estadística, Universidad Carlos III 31 Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis

32. Ignacio Cascos Depto. Estadística, Universidad Carlos III 32 Inferencia respecto a los parámetros IC

33. Ignacio Cascos Depto. Estadística, Universidad Carlos III 33 Inferencia respecto a los parámetrosContraste de Hipótesis

34. Ignacio Cascos Depto. Estadística, Universidad Carlos III 34 Ajusteregresiónsimple:purezaoxígeno

35. Ignacio Cascos Depto. Estadística, Universidad Carlos III 35 Descomposición de la variabilidad La variabilidad del modelo satisface: VT =VE+VNE Contraste de regresión

36. Ignacio Cascos Depto. Estadística, Universidad Carlos III 36 Ajusteregresiónsimple:purezaoxígeno VE

37. Ignacio Cascos Depto. Estadística, Universidad Carlos III 37 Ajusteregresiónsimple:purezaoxígeno VNE

38. Ignacio Cascos Depto. Estadística, Universidad Carlos III 38 Coeficiente de determinación

39. Ignacio Cascos Depto. Estadística, Universidad Carlos III 39 Predicción Dos tipos de predicción: Predecir un valor promedio de y para cierto valor de x. Predecir futuros valores de la variable respuesta. La predicción es la misma (a partir de la recta de regresión) pero la precisión de los estimadores es diferente.

40. Ignacio Cascos Depto. Estadística, Universidad Carlos III 40 Predicción (promedio) Estimación de la media de la distribución condicionada de y para x=x0: Intervalo de confianza para la media estimada

41. Ignacio Cascos Depto. Estadística, Universidad Carlos III 41 Ajusteregresiónsimple:purezaoxígeno La anchura del intervalo aumenta cuando aumenta

42. Ignacio Cascos Depto. Estadística, Universidad Carlos III 42 Predicción para futuros valores Intervalo de predicción

43. Ignacio Cascos Depto. Estadística, Universidad Carlos III 43 Ajusteregresiónsimple:purezaoxígeno

44. Ignacio Cascos Depto. Estadística, Universidad Carlos III 44 Descripción breve del tema Introducción El modelo de regresión simple Hipótesis del modelo Linealidad, homogeneidad, homocedasticidad, independencia y normalidad Estimación de los parámetros Mínimos cuadrados, Máxima Verosimilitud Propiedades de los estimadores Coeficientes de regresión, varianza residual Inferencia y predicción Diagnosis

45. Ignacio Cascos Depto. Estadística, Universidad Carlos III 45 Diagnosis Una vez ajustado el modelo, hay que comprobar si se cumplen las hipótesis iniciales. Gráficos de residuos frente a valores previstos. Si las hipótesis iniciales se satisfacen, este gráfico no debe tener estructura alguna.

46. Ignacio Cascos Depto. Estadística, Universidad Carlos III 46 Ajuste regresión simple:Datos pureza oxígeno

47. Ignacio Cascos Depto. Estadística, Universidad Carlos III 47 Relaciones no lineales Gráficos de residuos

48. Ignacio Cascos Depto. Estadística, Universidad Carlos III 48 Linealidad Soluciones a la falta de linealidad: Transformar las variables para intentar conseguir linealidad. Introducir variable adicionales. Detectar la presencia de datos atípicos o ausencia de otras variables importantes para explicar la variable respuesta.

49. Ignacio Cascos Depto. Estadística, Universidad Carlos III 49 Homocedasticidad Cuando la varianza de las perturbaciones es muy diferente para unos valores de la variable explicativa que para otros tenemos heterocedasticidad e . ^ y

50. Ignacio Cascos Depto. Estadística, Universidad Carlos III 50 Homocedasticidad Soluciones a la heterocedasticidad: Si la variabilidad de la respuesta aumenta con xsegún la ecuación Var(y|x) = g(x), dividimos la ecuación de regresión (y) entre g(x). Transformar la variable respuesta y puede que también x. Si lo anterior no funciona, cambiar el método de estimación.

51. Ignacio Cascos Depto. Estadística, Universidad Carlos III 51 Normalidad La falta de normalidad invalida resultados inferenciales. Comprobación mediante histogramas o gráficos probabilísticos. En un gráfico probabilístico comparamos los residuos ordenados con los cuantiles de la distribución Normal estándar. Si la distribución de los residuos es normal, el gráfico ha de mostrar aproximadamente una recta.

52. Ignacio Cascos Depto. Estadística, Universidad Carlos III 52 Normalidad

53. Ignacio Cascos Depto. Estadística, Universidad Carlos III 53 Independencia y Datos influyentes Independencia Conviene hacer una gráfica de residuos frente a tiempo (residuos incorrelados). Datos influyentes Analizar la presencia de datos influyentes. Los atípicos son datos muy grandes o muy pequeños. Estudiar su posible eliminación.

54. Ignacio Cascos Depto. Estadística, Universidad Carlos III 54 Transformaciones