O documento discute os pressupostos e estimadores da regressão linear simples. Resume os principais pontos da regressão linear, incluindo: (1) os pressupostos do modelo, (2) os estimadores de mínimos quadrados ordinários, e (3) as condições para a ausência de viés destes estimadores. O documento também apresenta respostas a uma questão de exame sobre regressão linear.
4. Agenda
Pressupostos do Modelo de Regressão Linear Simples;
Estimadores de Mínimos Quadrados Ordinários MQO;
Resultados Matemáticos;
Estimador sem Vício e Estimador Consistente;
Ausência de Vício (Viés) dos estimadores MQO (Condições);
Resolução de Questão ANPEC: Questão 02: 0, 1, 2 e 3;
5. Pressupostos: Regressão Linear Simples
i. O modelo é linear nos parâmetros:
y = α + βx + ε
ii. Amostra Aleatória:
{(x1, y1), (x2, y2), . . . , (xn, yn)}
yi = α + βxi + εi
Com isso devemos ter {x1, x2, . . . , xn} não todos iguais.
iii. Devemos pressupor
E(εi|xi) = 0, ∀i = 1, 2, . . . , n
Condição de exogeneidade.
6. Estimadores MQO
yi = α + βxi + εi
Partindo da amostra:
{(x1, y1), (x2, y2), . . . , (xn, yn)}
Obtemos os estimadores MQO
ˆα = y − ˆβ x e ˆβ =
n
i=1(xi − x)(yi − y)
n
i=1(xi − x)2
Com isso
ˆyi = ˆα + ˆβ xi
é a estimativa de yi no ponto xi.
7. Resultados
1.
n
i=1
(xi − x) = 0 . Seja x =
1
n
n
i=1
xi ⇔
n
i=1
xi = nx.
n
i=1
(xi − x) =
n
i=1
xi − nx = nx − nx = 0
8. Resultados
2.
n
i=1
(xi − x)(yi − y) =
n
i=1
(xi − x)yi.
n
i=1
(xi − x)(yi − y) =
n
i=1
(xi − x)yi +
n
i=1
(xi − x)y
=
n
i=1
(xi − x)yi + y
n
i=1
xi − nx y
=
n
i=1
(xi − x)yi + nx y − nx y
9. Resultados
2.
n
i=1
(xi − x)(yi − y) =
n
i=1
(xi − x)yi.
n
i=1
(xi − x)(yi − y) =
n
i=1
(xi − x)yi +
n
i=1
(xi − x)y
=
n
i=1
(xi − x)yi + y
n
i=1
xi − nx y
=
n
i=1
(xi − x)yi +¨¨¨nx y −¨¨¨nx y
=
n
i=1
(xi − x)yi
10. Resultados
3.
n
i=1
xi(xi − x) =
n
i=1
(xi − x)2
= sxx.
n
i=1
xi(xi − x) =
n
i=1
x2
i − x
n
i=1
xi =
n
i=1
x2
i − nx2
n
i=1
(xi − x)2
=
n
i=1
x2
i − 2x
n
i=1
xi +
n
i=1
x2
=
n
i=1
x2
i − 2nx2
+ nx2
=
n
i=1
x2
i − nx2
11. Resultados
1.
n
i=1
(xi − x) = 0;
2.
n
i=1
(xi − x)(yi − y) =
n
i=1
(xi − x)yi.
3.
n
i=1
xi(xi − x) =
n
i=1
(xi − x)2
= sxx.
12. Estimador não viesado (sem Viés ou Vício)
Seja θ um parâmetro populacional e ˆθ o seu estimador , se ˆθ é não
viesado, então
E(ˆθ) = θ
Seja ˆθn um estimador baseado na amostra de tamanho n , ˆθn é
consistente para estimar θ se, 0
Pr(|ˆθn − θ| ) → 0, n → ∞
Dizemos que θ é o limite de probabilidade de ˆθn, escrito como
plim ˆθn = θ
Ou ainda
lim
n→∞
E(ˆθn) = θ
13. Ausência de Viés dos Estimadores MQO
Os parâmetros α e β do modelo
yi = α + βxi + εi
São estimados por
ˆα = y − ˆβ x e ˆβ =
n
i=1(xi − x)(yi − y)
n
i=1(xi − x)2
E[ˆβ] = E
n
i=1(xi − x)yi
n
i=1(xi − x)2
E[ˆα] = E y − ˆβ x
14. Ausência de Viés dos Estimadores MQO
Seja sxx =
n
i=1
(xi − x)2
:
E[ˆβ] = E
n
i=1(xi − x)yi
n
i=1(xi − x)2
E[ˆβ] =
1
sxx
E
n
i=1
(xi − x)yi =
1
sxx
n
i=1
(xi − x)E(yi)
E[ˆβ] =
1
sxx
n
i=1
(xi − x)E(α + βxi + ε) =
1
sxx
n
i=1
(xi − x)(α + βxi)
E[ˆβ] =
1
sxx
α
n
i=1
(xi − x) + β
n
i=1
xi(xi − x)
15. Ausência de Viés dos Estimadores MQO
Seja sxx =
n
i=1
(xi − x)2
:
E[ˆβ] = E
n
i=1(xi − x)yi
n
i=1(xi − x)2
E[ˆβ] =
1
sxx
E
n
i=1
(xi − x)yi =
1
sxx
n
i=1
(xi − x)E(yi)
E[ˆβ] =
1
sxx
n
i=1
(xi − x)E(α + βxi + ε) =
1
sxx
n
i=1
(xi − x)(α + βxi)
E[ˆβ] =
1
sxx
α
b
0
n
i=1
(xi − x) + βsxx
= β
16. Ausência de Viés dos Estimadores MQO
Vimos que E[ˆβ] = β
E[ˆα] = E y − ˆβ x
E[ˆα] = E
1
n
n
i=1
yi − ˆβ x
E[ˆα] =
1
n
n
i=1
E(yi) − xE(ˆβ)
E[ˆα] =
1
n
n
i=1
E(α + βxi) − xE(ˆβ)
E[ˆα] =
1
n
n
i=1
α +
β
n
n
i=1
xi − xE(ˆβ)
17. Ausência de Viés dos Estimadores MQO
Vimos que E[ˆβ] = β
E[ˆα] = E y − ˆβ x
E[ˆα] = E
1
n
n
i=1
yi − ˆβ x
E[ˆα] =
1
n
n
i=1
E(yi) − xE(ˆβ)
E[ˆα] =
1
n
n
i=1
E(α + βxi) − xE(ˆβ)
E[ˆα] =
1
n
n
i=1
α +¨¨¨nβx −¨¨¨nxβ = α
18. Consistência dos Estimadores MQO
Para modelo
yi = α + βxi + εi
Vimos que
E[ˆβ] = β e E(ˆα) = α
Note que a medida que n cresce ca claro que
plim(ˆβ) = β e plim(ˆα) = α
20. Exame 2019 Questão 2
Julgue como verdadeiras ou falsas as armativas que se seguem:
0. Na presença de heterocedasticidade dos erros de um modelo de regressão
linear, os estimadores de mínimos quadrados ordinários são inconsistentes.
1. Na presença de erros autocorrelacionados, os estimadores dos parâmetros de
um modelo de regressão linear serão viesados.
2. A condição de exogeneidade das variáveis explicativas é suciente para que os
estimadores de mínimos quadrados sejam não viesados.
3. A omissão de uma variável relevante implica que os estimadores dos
parâmetros de um modelo de regressão linear serão viesados.
21. Pressupostos: Regressão Linear Simples
i. O modelo é linear nos parâmetros:
y = α + βx + ε
ii. Amostra Aleatória:
{(x1, y1), (x2, y2), . . . , (xn, yn)}
yi = α + βxi + εi
Com isso devemos ter {x1, x2, . . . , xn} não todos iguais.
iii. Devemos pressupor
E(εi|xi) = 0, ∀i = 1, 2, . . . , n
Condição de exogeneidade.
22. Pressupostos: Regressão Linear Simples
iv. Var[εi|xi] = σ2
, ∀i ∈ 1, . . . , n ⇒ homoscedasticidade
(variância constante).
v. Cov[εi, εj] = 0, i = j.
(Ausência de autocorrelação dos termos de erro).
Opcionalmente εi ∼ N(0, σ2
) ⇒ yi|xi ∼ N α + βxi, σ2
23. Exame 2019 Questão 2
Julgue como verdadeiras ou falsas as armativas que se seguem:
0. F Na presença de heterocedasticidade dos erros de um modelo de regressão
linear, os estimadores de mínimos quadrados ordinários são inconsistentes.
Veja que para demonstrar a ausência de vício nos estimadores MQO supomos:
i. O modelo é linear nos parâmetros: y = α + βx + ε;
ii. Amostra Aleatória: {(x1, y1), (x2, y2), . . . , (xn, yn)}
Com isso devemos ter {x1, x2, . . . , xn} não todos iguais.
iii. Devemos pressupor
E(εi|xi) = 0, ∀i = 1, 2, . . . , n
24. Exame 2019 Questão 2
Julgue como verdadeiras ou falsas as armativas que se seguem:
1. F Na presença de erros autocorrelacionados, os estimadores dos parâmetros
de um modelo de regressão linear serão viesados.
Veja que para a consistência dos estimadores MQO supomos:
i. O modelo é linear nos parâmetros: y = α + βx + ε;
ii. Amostra Aleatória: {(x1, y1), (x2, y2), . . . , (xn, yn)}
Com isso devemos ter {x1, x2, . . . , xn} não todos iguais.
iii. Devemos pressupor
E(εi|xi) = 0, ∀i = 1, 2, . . . , n
25. Exame 2019 Questão 2
Julgue como verdadeiras ou falsas as armativas que se seguem:
2. F A condição de exogeneidade das variáveis explicativas é suciente para
que os estimadores de mínimos quadrados sejam não viesados.
Veja que para a consistência dos estimadores MQO supomos:
i. O modelo é linear nos parâmetros: y = α + βx + ε;
ii. Amostra Aleatória: {(x1, y1), (x2, y2), . . . , (xn, yn)}
Com isso devemos ter {x1, x2, . . . , xn} não todos iguais.
iii. Devemos pressupor
E(εi|xi) = 0, ∀i = 1, 2, . . . , n
26. Exame 2019 Questão 2
Julgue como verdadeiras ou falsas as armativas que se seguem:
3. F A omissão de uma variável relevante implica que os estimadores dos
parâmetros de um modelo de regressão linear serão viesados.
Veja que para demonstrar a ausência de vício nos estimadores MQO supomos:
i. O modelo é linear nos parâmetros: y = α + βx + ε;
ii. Amostra Aleatória: {(x1, y1), (x2, y2), . . . , (xn, yn)}
Com isso devemos ter {x1, x2, . . . , xn} não todos iguais.
iii. Devemos pressupor
E(εi|xi) = 0, ∀i = 1, 2, . . . , n