SlideShare uma empresa Scribd logo
1 de 29
Baixar para ler offline
6 juin 2006 1
Introduction à la régression
cours n°4
Interprétation géométrique
Précision et validation du modèle
ENSM.SE – 1A
Olivier Roustant - Laurent Carraro
6 juin 2006 2
Objectifs du cours
Connaître l’interprétation géométrique de la
régression linéaire
Savoir utiliser le coefficient de détermination
R2 pour apprécier la précision d’une régression
Savoir valider ou invalider un modèle linéaire
6 juin 2006 3
Prévisions ponctuelles
 Considérons le modèle linéaire
yi = β0 +β1x1,i + … + βpxp,i + ei
avec e1, …, en i.i.d N(0,σ2)
 Prévision sans la régression :
 Prévision avec la régression :
!
ˆyi := ˆ"0 + ˆ"1x1,i + ...+ ˆ"p xp,i
!
y := yi
i=1
n
" /n
6 juin 2006 4
Intérêt du modèle de régression
 Le modèle de régression a de l’intérêt si
les erreurs sont petites relativement
aux erreurs que l’on ferait sans avoir
de prédicteurs
 Donne envie de regarder avec ||.|| la
norme usuelle de Rn et :
!
yi " ˆyi
!
yi " y
!
Y " ˆY
Y "Y
!
ˆY = ( ˆy1,..., ˆyn ")
!
Y = (y,...,y ") = y(1,...,1 ") =: y1
6 juin 2006 5
Des moindres carrés à la géométrie
 Estimation par moindres carrés
 Interprétation géométrique
 est la projection orthogonale dans Rn de Y
sur le plan engendré par les prédicteurs (1 inclus)
!
ˆ" = Argmin
"
Y # X"
2
!
ˆY = X ˆ"
6 juin 2006 6
Des angles droits partout !
 Exercice
 Montrer que est la projection orthogonale de
Y sur la droite de Rn engendrée par 1 = (1,…,1)
 En déduire que est aussi la projection
orthogonale de sur cette même droite!
Y
!
Y
!
ˆY
6 juin 2006 7
Interprétation géométrique
Y
!
vectRn (1)
vectRn (1,x1,...,xp )
0
!
ˆY
!
Y
6 juin 2006 8
Coefficient de détermination R2
 Définition
 R2 = ∈ [0,1]
 Interprétation :
 Pourcentage de variance expliquée par la régression
– Numérateur et dénominateur s’interprètent effectivement
comme la variance empirique des quantités considérées
 La réponse est bien expliquée par la régression
lorsque R2 est proche de 1
!
1"
Y " ˆY
2
Y "Y
2 =
ˆY "Y
2
Y "Y
2
6 juin 2006 9
Exemple
s=5, R2 =0.583
yi = 1- 0.2 i + ei avec e1, …, e100 i.i.d N(0, s2)
s=1, R2 =0.969
6 juin 2006 10
Données de pollution (cf cours 1)
6 juin 2006 11
Call:
lm(formula = log(NO3) ~ log(SO4), data = pollution)
Residuals:
Min 1Q Median 3Q Max
-0.80424 -0.14485 -0.01087 0.16564 0.56666
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -0.43642 0.03679 -11.86 <2e-16 ***
log(SO4) 0.92168 0.03356 27.47 <2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 0.2417 on 165 degrees of freedom
Multiple R-Squared: 0.8205, Adjusted R-squared: 0.8195
F-statistic: 754.4 on 1 and 165 DF, p-value: < 2.2e-16
R2 de 82% : le prédicteur explique
plutôt bien la réponse
6 juin 2006 12
Quelques dangers du R2
 Le coefficient de détermination peut être
égal à 1, et le modèle inexploitable
 C’est ce qui arrive avec un modèle linéaire
polynômial de degré n-1 avec n points…
 Attention : la précision du modèle n’est
valable qu’aux points d’observation xi
 En dehors, on ne peut rien dire
6 juin 2006 13
Validation du modèle
 On cherche à savoir si l’hypothèse du
modèle linéaire est validée :
 Avait t-on le droit de supposer que e1, …, en
sont indépendants et de même loi normale ?
 On va étudier les « résidus » :
ˆei = yi " ( ˆ#0 + ˆ#1x1,i + ...+ ˆ#p xp,i )
6 juin 2006 14
Que regarder sur les résidus ?
 Les résidus ne devraient pas montrer de
régularité (indépendance + même loi), et
être centrés sur 0
 Tracé des résidus
 Tracé des résidus contre chaque prédicteur
 Tracé des résidus contre la réponse estimée
6 juin 2006 15
Que faut-il regarder sur les résidus (2)
 Les résidus devraient être normaux
 Tracé de la droite de Henri
 Il conviendrait d’étudier les résidus standardisés
et même studentisés
 Pas au programme cette année !
6 juin 2006 16
Exemple de résidus corrects
- Simulations -
6 juin 2006 17
Exemple d’étude
 Réponse : pourcentage d'un rendement
maximal de blé
 Prédicteur : quantité de pluies printanières
(en m)
 54 observations
6 juin 2006 18
Observation des données
donnees <- read.table("reg_pluie.txt", dec=",", sep="t", header=TRUE)
plot(donnees)
6 juin 2006 19
Observation des données (suite)
pairs(donnees)
6 juin 2006 20
1er modèle
yi = β0 + β1xi + ei avec e1, …, e54 i.i.d N(0, σ2)
mod1 <- lm(rendement~pluie, data=donnees)
plot(rendement~pluie, data=donnees)
lines(donnees$pluie, mod1$fitted.values, col="red")
6 juin 2006 21
Table d’ANOVA
Call:
lm(formula = rendement ~ pluie, data = donnees)
Residuals:
Min 1Q Median 3Q Max
-0.119861 -0.034987 0.003603 0.040208 0.108037
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 0.06620 0.02405 2.752 0.00813 **
pluie 1.63673 0.07526 21.747 < 2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 0.05201 on 52 degrees of freedom
Multiple R-Squared: 0.9009, Adjusted R-squared: 0.899
F-statistic: 472.9 on 1 and 52 DF, p-value: < 2.2e-16
mod1 <- lm(rendement~pluie, data=donnees)
summary(mod1)
6 juin 2006 22
Examen des résidus
plot(mod1$residuals)
6 juin 2006 23
Examen des résidus (suite)
plot(mod1$residuals~pluie,data=donnees)
plot(mod1$residuals~mod1$fitted.values, data=donnees)
Courbure quadratique des résidus :
Suggère un polynôme de degré 2
6 juin 2006 24
2ème modèle
yi = β0 + β1xi + β11xi
2 + ei avec e1, …, e54 i.i.d N(0, σ2)
mod2 <- lm(rendement~pluie+I(pluie^2), data=donnees)
plot(rendement~pluie, data=donnees)
lines(donnees$pluie, mod2$fitted.values, col="red")
6 juin 2006 25
Table d’ANOVA
mod2 <- lm(rendement~pluie+I(pluie^2), data=donnees)
summary(mod2)
Call:
lm(formula = rendement ~ pluie + I(pluie^2), data = donnees)
Residuals:
Min 1Q Median 3Q Max
-0.125759 -0.031894 -0.000287 0.035384 0.093880
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -0.04246 0.04512 -0.941 0.35109
pluie 2.50171 0.31868 7.850 2.49e-10 ***
I(pluie^2) -1.52278 0.54701 -2.784 0.00752 **
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 0.04893 on 51 degrees of freedom
Multiple R-Squared: 0.914, Adjusted R-squared: 0.9106
F-statistic: 271 on 2 and 51 DF, p-value: < 2.2e-16
6 juin 2006 26
Examen des résidus du 2nd modèle
plot(mod2$residuals)
6 juin 2006 27
Examen des résidus (suite)
plot(mod2$residuals~pluie,data=donnees)
plot(mod2$residuals~mod2$fitted.values, data=donnees)
6 juin 2006 28
Dernière étape : normalité des résidus
qqnorm(mod2$residuals); qqline(mod2$residuals)
6 juin 2006 29
Conclusion
 Le modèle de régression linéaire polynomial
de degré 2 est validé
 On pourra l’utiliser pour faire des prévisions

Mais conteúdo relacionado

Mais procurados

Analyse Numérique Chapitre 1: Équations Non Linéiares
Analyse Numérique Chapitre 1: Équations Non LinéiaresAnalyse Numérique Chapitre 1: Équations Non Linéiares
Analyse Numérique Chapitre 1: Équations Non Linéiaresbilal001
 
Regress lineaire simple imp
Regress lineaire simple impRegress lineaire simple imp
Regress lineaire simple impKhawla At
 
Laffly regression multiple
Laffly regression multipleLaffly regression multiple
Laffly regression multipleafryma
 
M2 An 1986 20 3 371 0
M2 An 1986  20 3 371 0M2 An 1986  20 3 371 0
M2 An 1986 20 3 371 0guest8b8369
 
Théorie 1234
Théorie 1234Théorie 1234
Théorie 1234goosyboy
 
Analyse Factorielle des Correspondances
Analyse Factorielle des CorrespondancesAnalyse Factorielle des Correspondances
Analyse Factorielle des CorrespondancesJaouad Dabounou
 
Analyse en Composantes Principales
Analyse en Composantes PrincipalesAnalyse en Composantes Principales
Analyse en Composantes PrincipalesJaouad Dabounou
 
Analyse en Composantes Principales
Analyse en Composantes PrincipalesAnalyse en Composantes Principales
Analyse en Composantes PrincipalesJaouad Dabounou
 
analyse numerique
analyse numeriqueanalyse numerique
analyse numeriquehomme00
 
Cheat sheet régression linéaire simple Sous R
Cheat sheet régression linéaire simple Sous RCheat sheet régression linéaire simple Sous R
Cheat sheet régression linéaire simple Sous RMohamed Ali KHOUAJA
 

Mais procurados (19)

Exercices act2121-session5
Exercices act2121-session5Exercices act2121-session5
Exercices act2121-session5
 
Exercices act2121-session7
Exercices act2121-session7Exercices act2121-session7
Exercices act2121-session7
 
Exercices act2121-session1
Exercices act2121-session1Exercices act2121-session1
Exercices act2121-session1
 
Exercices act2121-session2
Exercices act2121-session2Exercices act2121-session2
Exercices act2121-session2
 
Analyse Numérique Chapitre 1: Équations Non Linéiares
Analyse Numérique Chapitre 1: Équations Non LinéiaresAnalyse Numérique Chapitre 1: Équations Non Linéiares
Analyse Numérique Chapitre 1: Équations Non Linéiares
 
Exercices act2121-session3
Exercices act2121-session3Exercices act2121-session3
Exercices act2121-session3
 
Exercices act2121-session4
Exercices act2121-session4Exercices act2121-session4
Exercices act2121-session4
 
Regress lineaire simple imp
Regress lineaire simple impRegress lineaire simple imp
Regress lineaire simple imp
 
Laffly regression multiple
Laffly regression multipleLaffly regression multiple
Laffly regression multiple
 
M2 An 1986 20 3 371 0
M2 An 1986  20 3 371 0M2 An 1986  20 3 371 0
M2 An 1986 20 3 371 0
 
Exercices act2121-session6
Exercices act2121-session6Exercices act2121-session6
Exercices act2121-session6
 
Théorie 1234
Théorie 1234Théorie 1234
Théorie 1234
 
Analyse Factorielle des Correspondances
Analyse Factorielle des CorrespondancesAnalyse Factorielle des Correspondances
Analyse Factorielle des Correspondances
 
Analyse en Composantes Principales
Analyse en Composantes PrincipalesAnalyse en Composantes Principales
Analyse en Composantes Principales
 
Analyse en Composantes Principales
Analyse en Composantes PrincipalesAnalyse en Composantes Principales
Analyse en Composantes Principales
 
analyse numerique
analyse numeriqueanalyse numerique
analyse numerique
 
Statistiques
StatistiquesStatistiques
Statistiques
 
Cheat sheet régression linéaire simple Sous R
Cheat sheet régression linéaire simple Sous RCheat sheet régression linéaire simple Sous R
Cheat sheet régression linéaire simple Sous R
 
Generalites econometrie
Generalites econometrieGeneralites econometrie
Generalites econometrie
 

Destaque

Traitement d'image
Traitement d'imageTraitement d'image
Traitement d'imageAnissa Teyeb
 
5.3 Régression logistique
5.3 Régression logistique5.3 Régression logistique
5.3 Régression logistiqueBoris Guarisma
 
5.2 Régression linéaire
5.2 Régression linéaire5.2 Régression linéaire
5.2 Régression linéaireBoris Guarisma
 
Sommaire guide-fhd-16juillet2014-3
Sommaire guide-fhd-16juillet2014-3Sommaire guide-fhd-16juillet2014-3
Sommaire guide-fhd-16juillet2014-3Eldoux
 
00 Paesita 2008 Resultados Por Centro Y SeccióN Sonsonate
00  Paesita 2008   Resultados Por Centro Y SeccióN Sonsonate00  Paesita 2008   Resultados Por Centro Y SeccióN Sonsonate
00 Paesita 2008 Resultados Por Centro Y SeccióN SonsonateAdalberto
 
Módulo n° 3 resusmen
Módulo n° 3 resusmenMódulo n° 3 resusmen
Módulo n° 3 resusmenAdalberto
 
Interculture 15 le defis des droit collectifs
Interculture 15 le defis des droit collectifsInterculture 15 le defis des droit collectifs
Interculture 15 le defis des droit collectifsEldoux
 
Langages des nous robert vachon et all
Langages des nous  robert vachon et allLangages des nous  robert vachon et all
Langages des nous robert vachon et allEldoux
 
Ficha De Asistencia TéCnica
Ficha De Asistencia TéCnicaFicha De Asistencia TéCnica
Ficha De Asistencia TéCnicaAdalberto
 
La nation mohawk et ses communautés chapitre 2 robert vachon
La nation mohawk et ses communautés chapitre 2 robert vachonLa nation mohawk et ses communautés chapitre 2 robert vachon
La nation mohawk et ses communautés chapitre 2 robert vachonEldoux
 
La philosophie comme style de vie
La philosophie comme style de vieLa philosophie comme style de vie
La philosophie comme style de vieEldoux
 
Decima Olimpiadas Ministerio
Decima Olimpiadas MinisterioDecima Olimpiadas Ministerio
Decima Olimpiadas MinisterioAdalberto
 
Revue monchanin centre monchanin
Revue monchanin centre monchaninRevue monchanin centre monchanin
Revue monchanin centre monchaninEldoux
 
Langages des nous robert vachon et all
Langages des nous  robert vachon et allLangages des nous  robert vachon et all
Langages des nous robert vachon et allEldoux
 
Plandecontingenciaarenavolcanica[1]
Plandecontingenciaarenavolcanica[1]Plandecontingenciaarenavolcanica[1]
Plandecontingenciaarenavolcanica[1]Juan Pablo Mata
 
Travail social et pluralisme culturel
Travail social et pluralisme culturelTravail social et pluralisme culturel
Travail social et pluralisme culturelEldoux
 
La communication sur le changement climatique : créer « un climat de changeme...
La communication sur le changement climatique : créer « un climat de changeme...La communication sur le changement climatique : créer « un climat de changeme...
La communication sur le changement climatique : créer « un climat de changeme...Eldoux
 

Destaque (20)

Utilisation solveur excel
Utilisation solveur excelUtilisation solveur excel
Utilisation solveur excel
 
Traitement d'image
Traitement d'imageTraitement d'image
Traitement d'image
 
Formation traitement d_images
Formation traitement d_imagesFormation traitement d_images
Formation traitement d_images
 
5.3 Régression logistique
5.3 Régression logistique5.3 Régression logistique
5.3 Régression logistique
 
5.2 Régression linéaire
5.2 Régression linéaire5.2 Régression linéaire
5.2 Régression linéaire
 
Sommaire guide-fhd-16juillet2014-3
Sommaire guide-fhd-16juillet2014-3Sommaire guide-fhd-16juillet2014-3
Sommaire guide-fhd-16juillet2014-3
 
00 Paesita 2008 Resultados Por Centro Y SeccióN Sonsonate
00  Paesita 2008   Resultados Por Centro Y SeccióN Sonsonate00  Paesita 2008   Resultados Por Centro Y SeccióN Sonsonate
00 Paesita 2008 Resultados Por Centro Y SeccióN Sonsonate
 
Módulo n° 3 resusmen
Módulo n° 3 resusmenMódulo n° 3 resusmen
Módulo n° 3 resusmen
 
Interculture 15 le defis des droit collectifs
Interculture 15 le defis des droit collectifsInterculture 15 le defis des droit collectifs
Interculture 15 le defis des droit collectifs
 
Langages des nous robert vachon et all
Langages des nous  robert vachon et allLangages des nous  robert vachon et all
Langages des nous robert vachon et all
 
Ficha De Asistencia TéCnica
Ficha De Asistencia TéCnicaFicha De Asistencia TéCnica
Ficha De Asistencia TéCnica
 
La nation mohawk et ses communautés chapitre 2 robert vachon
La nation mohawk et ses communautés chapitre 2 robert vachonLa nation mohawk et ses communautés chapitre 2 robert vachon
La nation mohawk et ses communautés chapitre 2 robert vachon
 
La philosophie comme style de vie
La philosophie comme style de vieLa philosophie comme style de vie
La philosophie comme style de vie
 
Decima Olimpiadas Ministerio
Decima Olimpiadas MinisterioDecima Olimpiadas Ministerio
Decima Olimpiadas Ministerio
 
Revue monchanin centre monchanin
Revue monchanin centre monchaninRevue monchanin centre monchanin
Revue monchanin centre monchanin
 
Diseño cualitativo de la Investigación
Diseño cualitativo de la InvestigaciónDiseño cualitativo de la Investigación
Diseño cualitativo de la Investigación
 
Langages des nous robert vachon et all
Langages des nous  robert vachon et allLangages des nous  robert vachon et all
Langages des nous robert vachon et all
 
Plandecontingenciaarenavolcanica[1]
Plandecontingenciaarenavolcanica[1]Plandecontingenciaarenavolcanica[1]
Plandecontingenciaarenavolcanica[1]
 
Travail social et pluralisme culturel
Travail social et pluralisme culturelTravail social et pluralisme culturel
Travail social et pluralisme culturel
 
La communication sur le changement climatique : créer « un climat de changeme...
La communication sur le changement climatique : créer « un climat de changeme...La communication sur le changement climatique : créer « un climat de changeme...
La communication sur le changement climatique : créer « un climat de changeme...
 

Semelhante a Cours regression 4

slides statistique mathématique.pdf
slides statistique mathématique.pdfslides statistique mathématique.pdf
slides statistique mathématique.pdfFadwaZiani
 
Laffly regression multiple
Laffly regression multipleLaffly regression multiple
Laffly regression multipleafryma
 
Sujet et Correction épreuve de mathématiques ESSEC ECE 2012
Sujet et Correction épreuve de mathématiques ESSEC ECE 2012Sujet et Correction épreuve de mathématiques ESSEC ECE 2012
Sujet et Correction épreuve de mathématiques ESSEC ECE 2012Ahmed Ammar Rebai PhD
 
Laffly regression multiple
Laffly regression multipleLaffly regression multiple
Laffly regression multiplemohamedchaouche
 
chapitre 1 régression simple.pdf
chapitre 1 régression simple.pdfchapitre 1 régression simple.pdf
chapitre 1 régression simple.pdfAnassFarkadi
 
presentation kadimi wahidi.pdf
presentation kadimi wahidi.pdfpresentation kadimi wahidi.pdf
presentation kadimi wahidi.pdfmouadwahidi
 
Chapitre2: Sondage aléatoire simple
Chapitre2: Sondage aléatoire simpleChapitre2: Sondage aléatoire simple
Chapitre2: Sondage aléatoire simpleMahamadou Haro
 
Corrigé_Méthode_Quantitative_2014.pdf
Corrigé_Méthode_Quantitative_2014.pdfCorrigé_Méthode_Quantitative_2014.pdf
Corrigé_Méthode_Quantitative_2014.pdfAymenAbbes1
 
Electrostatique et Electrocinetique. Rappel de cours et exercices corriges de...
Electrostatique et Electrocinetique. Rappel de cours et exercices corriges de...Electrostatique et Electrocinetique. Rappel de cours et exercices corriges de...
Electrostatique et Electrocinetique. Rappel de cours et exercices corriges de...ssuserf33fd0
 
espace etudiant.licence 1er/2 anneé
espace etudiant.licence 1er/2 anneé espace etudiant.licence 1er/2 anneé
espace etudiant.licence 1er/2 anneé saoula khereddine
 
Cours analyse-num source1
Cours analyse-num source1Cours analyse-num source1
Cours analyse-num source1Lacina Zina
 
Algebre_lineaire_GEOLOGIE-S1.pdf
Algebre_lineaire_GEOLOGIE-S1.pdfAlgebre_lineaire_GEOLOGIE-S1.pdf
Algebre_lineaire_GEOLOGIE-S1.pdfThierrySam1
 
fr_Tanagra_Naive_Bayes_Classifier_Explained.pdf
fr_Tanagra_Naive_Bayes_Classifier_Explained.pdffr_Tanagra_Naive_Bayes_Classifier_Explained.pdf
fr_Tanagra_Naive_Bayes_Classifier_Explained.pdfSidiAbdallah1
 

Semelhante a Cours regression 4 (20)

slides statistique mathématique.pdf
slides statistique mathématique.pdfslides statistique mathématique.pdf
slides statistique mathématique.pdf
 
Slides act6420-e2014-partie-2
Slides act6420-e2014-partie-2Slides act6420-e2014-partie-2
Slides act6420-e2014-partie-2
 
Laffly regression multiple
Laffly regression multipleLaffly regression multiple
Laffly regression multiple
 
Sujet et Correction épreuve de mathématiques ESSEC ECE 2012
Sujet et Correction épreuve de mathématiques ESSEC ECE 2012Sujet et Correction épreuve de mathématiques ESSEC ECE 2012
Sujet et Correction épreuve de mathématiques ESSEC ECE 2012
 
Laffly regression multiple
Laffly regression multipleLaffly regression multiple
Laffly regression multiple
 
chapitre 1 régression simple.pdf
chapitre 1 régression simple.pdfchapitre 1 régression simple.pdf
chapitre 1 régression simple.pdf
 
presentation kadimi wahidi.pdf
presentation kadimi wahidi.pdfpresentation kadimi wahidi.pdf
presentation kadimi wahidi.pdf
 
Regression logistque
Regression  logistqueRegression  logistque
Regression logistque
 
Chapitre2: Sondage aléatoire simple
Chapitre2: Sondage aléatoire simpleChapitre2: Sondage aléatoire simple
Chapitre2: Sondage aléatoire simple
 
Corrigé_Méthode_Quantitative_2014.pdf
Corrigé_Méthode_Quantitative_2014.pdfCorrigé_Méthode_Quantitative_2014.pdf
Corrigé_Méthode_Quantitative_2014.pdf
 
Slides 2040-5
Slides 2040-5Slides 2040-5
Slides 2040-5
 
Electrostatique et Electrocinetique. Rappel de cours et exercices corriges de...
Electrostatique et Electrocinetique. Rappel de cours et exercices corriges de...Electrostatique et Electrocinetique. Rappel de cours et exercices corriges de...
Electrostatique et Electrocinetique. Rappel de cours et exercices corriges de...
 
espace etudiant.licence 1er/2 anneé
espace etudiant.licence 1er/2 anneé espace etudiant.licence 1er/2 anneé
espace etudiant.licence 1er/2 anneé
 
Cours analyse-num source1
Cours analyse-num source1Cours analyse-num source1
Cours analyse-num source1
 
Algebre_lineaire_GEOLOGIE-S1.pdf
Algebre_lineaire_GEOLOGIE-S1.pdfAlgebre_lineaire_GEOLOGIE-S1.pdf
Algebre_lineaire_GEOLOGIE-S1.pdf
 
Regsimple
RegsimpleRegsimple
Regsimple
 
Corriges td algebre
Corriges td algebreCorriges td algebre
Corriges td algebre
 
Comment faire disparaître les rides
Comment faire disparaître les ridesComment faire disparaître les rides
Comment faire disparaître les rides
 
fr_Tanagra_Naive_Bayes_Classifier_Explained.pdf
fr_Tanagra_Naive_Bayes_Classifier_Explained.pdffr_Tanagra_Naive_Bayes_Classifier_Explained.pdf
fr_Tanagra_Naive_Bayes_Classifier_Explained.pdf
 
Slides 2040-5
Slides 2040-5Slides 2040-5
Slides 2040-5
 

Mais de mohamedchaouche

219146492 algebre-lineaire
219146492 algebre-lineaire219146492 algebre-lineaire
219146492 algebre-lineairemohamedchaouche
 
Bourbonnaiseconomtrie partie1-130207100401-phpapp02
Bourbonnaiseconomtrie partie1-130207100401-phpapp02Bourbonnaiseconomtrie partie1-130207100401-phpapp02
Bourbonnaiseconomtrie partie1-130207100401-phpapp02mohamedchaouche
 
Cours d econometrie_professeur_philippe_deschamps_edition_
Cours d econometrie_professeur_philippe_deschamps_edition_Cours d econometrie_professeur_philippe_deschamps_edition_
Cours d econometrie_professeur_philippe_deschamps_edition_mohamedchaouche
 
M1 l3-econom etrie-serien-2-reg-lin-mult
M1 l3-econom etrie-serien-2-reg-lin-multM1 l3-econom etrie-serien-2-reg-lin-mult
M1 l3-econom etrie-serien-2-reg-lin-multmohamedchaouche
 
M1 l3-econom etrie-serie-corrigee-n-1-modeles-econometriques-a-un
M1 l3-econom etrie-serie-corrigee-n-1-modeles-econometriques-a-unM1 l3-econom etrie-serie-corrigee-n-1-modeles-econometriques-a-un
M1 l3-econom etrie-serie-corrigee-n-1-modeles-econometriques-a-unmohamedchaouche
 
[Xin yan, xiao_gang_su]_linear_regression_analysis(book_fi.org)
[Xin yan, xiao_gang_su]_linear_regression_analysis(book_fi.org)[Xin yan, xiao_gang_su]_linear_regression_analysis(book_fi.org)
[Xin yan, xiao_gang_su]_linear_regression_analysis(book_fi.org)mohamedchaouche
 

Mais de mohamedchaouche (13)

219146492 algebre-lineaire
219146492 algebre-lineaire219146492 algebre-lineaire
219146492 algebre-lineaire
 
Un
UnUn
Un
 
Correlation econometrie
Correlation econometrieCorrelation econometrie
Correlation econometrie
 
Bourbonnaiseconomtrie partie1-130207100401-phpapp02
Bourbonnaiseconomtrie partie1-130207100401-phpapp02Bourbonnaiseconomtrie partie1-130207100401-phpapp02
Bourbonnaiseconomtrie partie1-130207100401-phpapp02
 
Econometrie
EconometrieEconometrie
Econometrie
 
Cours d econometrie_professeur_philippe_deschamps_edition_
Cours d econometrie_professeur_philippe_deschamps_edition_Cours d econometrie_professeur_philippe_deschamps_edition_
Cours d econometrie_professeur_philippe_deschamps_edition_
 
Series temporelles
Series temporellesSeries temporelles
Series temporelles
 
Tadti crs3-n
Tadti crs3-nTadti crs3-n
Tadti crs3-n
 
M1 l3-econom etrie-serien-2-reg-lin-mult
M1 l3-econom etrie-serien-2-reg-lin-multM1 l3-econom etrie-serien-2-reg-lin-mult
M1 l3-econom etrie-serien-2-reg-lin-mult
 
M1 l3-econom etrie-serie-corrigee-n-1-modeles-econometriques-a-un
M1 l3-econom etrie-serie-corrigee-n-1-modeles-econometriques-a-unM1 l3-econom etrie-serie-corrigee-n-1-modeles-econometriques-a-un
M1 l3-econom etrie-serie-corrigee-n-1-modeles-econometriques-a-un
 
Ch02 seance01-diapos
Ch02 seance01-diaposCh02 seance01-diapos
Ch02 seance01-diapos
 
(Econometrie) done
(Econometrie) done(Econometrie) done
(Econometrie) done
 
[Xin yan, xiao_gang_su]_linear_regression_analysis(book_fi.org)
[Xin yan, xiao_gang_su]_linear_regression_analysis(book_fi.org)[Xin yan, xiao_gang_su]_linear_regression_analysis(book_fi.org)
[Xin yan, xiao_gang_su]_linear_regression_analysis(book_fi.org)
 

Cours regression 4

  • 1. 6 juin 2006 1 Introduction à la régression cours n°4 Interprétation géométrique Précision et validation du modèle ENSM.SE – 1A Olivier Roustant - Laurent Carraro
  • 2. 6 juin 2006 2 Objectifs du cours Connaître l’interprétation géométrique de la régression linéaire Savoir utiliser le coefficient de détermination R2 pour apprécier la précision d’une régression Savoir valider ou invalider un modèle linéaire
  • 3. 6 juin 2006 3 Prévisions ponctuelles  Considérons le modèle linéaire yi = β0 +β1x1,i + … + βpxp,i + ei avec e1, …, en i.i.d N(0,σ2)  Prévision sans la régression :  Prévision avec la régression : ! ˆyi := ˆ"0 + ˆ"1x1,i + ...+ ˆ"p xp,i ! y := yi i=1 n " /n
  • 4. 6 juin 2006 4 Intérêt du modèle de régression  Le modèle de régression a de l’intérêt si les erreurs sont petites relativement aux erreurs que l’on ferait sans avoir de prédicteurs  Donne envie de regarder avec ||.|| la norme usuelle de Rn et : ! yi " ˆyi ! yi " y ! Y " ˆY Y "Y ! ˆY = ( ˆy1,..., ˆyn ") ! Y = (y,...,y ") = y(1,...,1 ") =: y1
  • 5. 6 juin 2006 5 Des moindres carrés à la géométrie  Estimation par moindres carrés  Interprétation géométrique  est la projection orthogonale dans Rn de Y sur le plan engendré par les prédicteurs (1 inclus) ! ˆ" = Argmin " Y # X" 2 ! ˆY = X ˆ"
  • 6. 6 juin 2006 6 Des angles droits partout !  Exercice  Montrer que est la projection orthogonale de Y sur la droite de Rn engendrée par 1 = (1,…,1)  En déduire que est aussi la projection orthogonale de sur cette même droite! Y ! Y ! ˆY
  • 7. 6 juin 2006 7 Interprétation géométrique Y ! vectRn (1) vectRn (1,x1,...,xp ) 0 ! ˆY ! Y
  • 8. 6 juin 2006 8 Coefficient de détermination R2  Définition  R2 = ∈ [0,1]  Interprétation :  Pourcentage de variance expliquée par la régression – Numérateur et dénominateur s’interprètent effectivement comme la variance empirique des quantités considérées  La réponse est bien expliquée par la régression lorsque R2 est proche de 1 ! 1" Y " ˆY 2 Y "Y 2 = ˆY "Y 2 Y "Y 2
  • 9. 6 juin 2006 9 Exemple s=5, R2 =0.583 yi = 1- 0.2 i + ei avec e1, …, e100 i.i.d N(0, s2) s=1, R2 =0.969
  • 10. 6 juin 2006 10 Données de pollution (cf cours 1)
  • 11. 6 juin 2006 11 Call: lm(formula = log(NO3) ~ log(SO4), data = pollution) Residuals: Min 1Q Median 3Q Max -0.80424 -0.14485 -0.01087 0.16564 0.56666 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -0.43642 0.03679 -11.86 <2e-16 *** log(SO4) 0.92168 0.03356 27.47 <2e-16 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Residual standard error: 0.2417 on 165 degrees of freedom Multiple R-Squared: 0.8205, Adjusted R-squared: 0.8195 F-statistic: 754.4 on 1 and 165 DF, p-value: < 2.2e-16 R2 de 82% : le prédicteur explique plutôt bien la réponse
  • 12. 6 juin 2006 12 Quelques dangers du R2  Le coefficient de détermination peut être égal à 1, et le modèle inexploitable  C’est ce qui arrive avec un modèle linéaire polynômial de degré n-1 avec n points…  Attention : la précision du modèle n’est valable qu’aux points d’observation xi  En dehors, on ne peut rien dire
  • 13. 6 juin 2006 13 Validation du modèle  On cherche à savoir si l’hypothèse du modèle linéaire est validée :  Avait t-on le droit de supposer que e1, …, en sont indépendants et de même loi normale ?  On va étudier les « résidus » : ˆei = yi " ( ˆ#0 + ˆ#1x1,i + ...+ ˆ#p xp,i )
  • 14. 6 juin 2006 14 Que regarder sur les résidus ?  Les résidus ne devraient pas montrer de régularité (indépendance + même loi), et être centrés sur 0  Tracé des résidus  Tracé des résidus contre chaque prédicteur  Tracé des résidus contre la réponse estimée
  • 15. 6 juin 2006 15 Que faut-il regarder sur les résidus (2)  Les résidus devraient être normaux  Tracé de la droite de Henri  Il conviendrait d’étudier les résidus standardisés et même studentisés  Pas au programme cette année !
  • 16. 6 juin 2006 16 Exemple de résidus corrects - Simulations -
  • 17. 6 juin 2006 17 Exemple d’étude  Réponse : pourcentage d'un rendement maximal de blé  Prédicteur : quantité de pluies printanières (en m)  54 observations
  • 18. 6 juin 2006 18 Observation des données donnees <- read.table("reg_pluie.txt", dec=",", sep="t", header=TRUE) plot(donnees)
  • 19. 6 juin 2006 19 Observation des données (suite) pairs(donnees)
  • 20. 6 juin 2006 20 1er modèle yi = β0 + β1xi + ei avec e1, …, e54 i.i.d N(0, σ2) mod1 <- lm(rendement~pluie, data=donnees) plot(rendement~pluie, data=donnees) lines(donnees$pluie, mod1$fitted.values, col="red")
  • 21. 6 juin 2006 21 Table d’ANOVA Call: lm(formula = rendement ~ pluie, data = donnees) Residuals: Min 1Q Median 3Q Max -0.119861 -0.034987 0.003603 0.040208 0.108037 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 0.06620 0.02405 2.752 0.00813 ** pluie 1.63673 0.07526 21.747 < 2e-16 *** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Residual standard error: 0.05201 on 52 degrees of freedom Multiple R-Squared: 0.9009, Adjusted R-squared: 0.899 F-statistic: 472.9 on 1 and 52 DF, p-value: < 2.2e-16 mod1 <- lm(rendement~pluie, data=donnees) summary(mod1)
  • 22. 6 juin 2006 22 Examen des résidus plot(mod1$residuals)
  • 23. 6 juin 2006 23 Examen des résidus (suite) plot(mod1$residuals~pluie,data=donnees) plot(mod1$residuals~mod1$fitted.values, data=donnees) Courbure quadratique des résidus : Suggère un polynôme de degré 2
  • 24. 6 juin 2006 24 2ème modèle yi = β0 + β1xi + β11xi 2 + ei avec e1, …, e54 i.i.d N(0, σ2) mod2 <- lm(rendement~pluie+I(pluie^2), data=donnees) plot(rendement~pluie, data=donnees) lines(donnees$pluie, mod2$fitted.values, col="red")
  • 25. 6 juin 2006 25 Table d’ANOVA mod2 <- lm(rendement~pluie+I(pluie^2), data=donnees) summary(mod2) Call: lm(formula = rendement ~ pluie + I(pluie^2), data = donnees) Residuals: Min 1Q Median 3Q Max -0.125759 -0.031894 -0.000287 0.035384 0.093880 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) -0.04246 0.04512 -0.941 0.35109 pluie 2.50171 0.31868 7.850 2.49e-10 *** I(pluie^2) -1.52278 0.54701 -2.784 0.00752 ** --- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 Residual standard error: 0.04893 on 51 degrees of freedom Multiple R-Squared: 0.914, Adjusted R-squared: 0.9106 F-statistic: 271 on 2 and 51 DF, p-value: < 2.2e-16
  • 26. 6 juin 2006 26 Examen des résidus du 2nd modèle plot(mod2$residuals)
  • 27. 6 juin 2006 27 Examen des résidus (suite) plot(mod2$residuals~pluie,data=donnees) plot(mod2$residuals~mod2$fitted.values, data=donnees)
  • 28. 6 juin 2006 28 Dernière étape : normalité des résidus qqnorm(mod2$residuals); qqline(mod2$residuals)
  • 29. 6 juin 2006 29 Conclusion  Le modèle de régression linéaire polynomial de degré 2 est validé  On pourra l’utiliser pour faire des prévisions