O documento discute conceitos básicos de regressão linear, incluindo função de regressão populacional, função de regressão amostral, método dos mínimos quadrados ordinários e suas propriedades estatísticas. O método dos mínimos quadrados ordinários escolhe os estimadores de modo a minimizar a soma dos quadrados dos resíduos, tornando a aproximação entre a função de regressão amostral e a populacional o mais próxima possível.

1. Ricardo Bruno N. dos Santos
Professor Adjunto da Faculdade de Economia
e do PPGE (Economia) UFPA
Estatística II
UNIVERSIDADE FEDERAL DO PARÁ
INSTITUTO DE CIÊNCIAS SOCIAIS APLICADAS
FACULDADE DE ECONOMIA

2. Simples
A interpretação moderna da
regressãoA análise de regressão se ocupa do estudo da
dependência de uma variável, a variável dependente, em
relação a uma ou mais variáveis, as variáveis explanatórias,
com vistas a estimar e/ou prever o valor médio (da
população) da primeira em termo dos valores conhecidos ou
fixados (em amostragens repetidas) das segundas.

3. Simples
A interpretação moderna da
regressão

4. Simples
A interpretação moderna da
regressão

5. Simples
A interpretação moderna da
regressão

6. Simples
Conceito da Função de Regressão Populacional
(FRP)A regressão populacional (RP) indica apenas o valor
esperado da distribuição de Y, dado Xi, ou seja, ela aponta que
a resposta média de Y varia com X.
𝐸 𝑌 𝑋𝑖 = 𝑓(𝑋𝑖)
Pressupondo que é uma regressão linear teremos:
𝐸 𝑌 𝑋𝑖 = 𝛽1 + 𝛽2 𝑋𝑖
Nesse caso 1 e 2 são parâmetros conhecidos como
intercepto e coeficiente angular

7. O modelo de Regressão Linear
Simples
O significado do termo linearQual a diferença entre a linearidade das variáveis e a
dos parâmetros?

8. O modelo de Regressão Linear
Simples
O Erro EstocásticoPodemos expressar o desvio de um valor individual de Y
(Yi) em torno de seu valor esperado, assim temos:
𝑢𝑖 = 𝑌𝑖 − 𝐸(𝑌|𝑋𝑖)
Ou então
𝑌𝑖 = 𝐸 𝑌 𝑋𝑖 + 𝑢𝑖
Onde o desvio ui é uma variável aleatória não
observável que assume valores positivos ou negativos.
O termo ui também é conhecido como distúrbio
estocástico ou termo de erro estocástico.

9. O modelo de Regressão Linear
Simples
O Erro Estocástico
𝑌𝑖 = 𝐸 𝑌 𝑋𝑖 + 𝑢𝑖
𝑌𝑖 = 𝛽1 + 𝛽2 𝑋𝑖 + 𝑢𝑖 que é a FRP
No entanto, se tomarmos o valor esperado de 𝑌𝑖 =
𝐸 𝑌 𝑋𝑖 + 𝑢𝑖 nos dois lados da equação, obtém-se:
Assim, a pressuposição de que a linha de regressão
passa pelas médias condicionais de Y implica que os valores
médios condicionais de ui são iguais a zero.
( | ) [ ( | )] ( | )
( | ) ( | )
( | ) ( | ) ( | ) 0
i i i i i
i i i
i i i i
E Y X E E Y X E u X
E Y X E u X
E u X E Y X E Y X
 
 
  

10. O modelo de Regressão Linear
Simples
Função de regressão Amostral (FRA)
E quando tivermos não uma população, mas sim, apenas
amostras de uma população. Na maior parte das situações práticas
é impossível trabalhar com dados populacionais. O que teríamos
agora são amostras de Y correspondentes a alguns X fixados.

11. O modelo de Regressão Linear
Simples
Função de regressão Amostral (FRA)

12. O modelo de Regressão Linear
Simples
Função de regressão Amostral (FRA)Acredita-se que as linhas das FRA representem a linha
da FRP, porém, devido às variações amostrais, elas são, na
melhor das hipóteses, aproximações da verdadeira regressão
populacional.
Como a FRA é uma aproximação da FRP podemos
representar a linha de regressão da FRA pela seguinte
notação.
Que assim como FRA pode ser representado por
1 2
ˆ ˆˆ
i iY X  
1 2
ˆ ˆ ˆi i iY X u   

13. O modelo de Regressão Linear
Simples
Função de regressão Amostral (FRA)Assim, nosso principal objetivo passa a ser estimar a
FRP com base na FRA.

14. O modelo de Regressão Linear
Simples
Função de regressão Amostral (FRA)Fica a pergunta: A partir da FRA pode-se formular um
método ou regra que torne a aproximação entre FRA e FRP o
“mais próximo”, possível? Em outras palavras, tornar os
estimadores i’s chapéu mais próximos dos verdadeiros i’s.

15. O Problema da Estimação: O Método
dos Mínimos Quadrados Ordinários
(MQO)

16. O Método dos Mínimos Quadrados
Ordinários (MQO)
Aqui iremos estimar a FRP a partir da FRA da maneira
mais acurada possível.
Recorrendo a FRP de duas variáveis temos:
Porém como a FRP não pode ser observada
diretamente. Temos que estimá-la a partir da FRA:
1 2i i iY X u   
1 2
ˆ ˆ ˆ
ˆ ˆˆ ,
i i i
i i i i
Y X u
Y u Y Y
   
  sendo o valor estimado de

17. O Método dos Mínimos Quadrados
Ordinários (MQO)
Como determinar a Própria FRA? Para vermos isso,
faremos o seguinte:
Expressamos Yi como:
Ou seja, os resíduos são simplesmente a diferença
entre os valores observados e estimados de Y.
Agora nosso objetivo é estimar a FRA de tal forma que
a mesma fique o mais próximo possível do Y observado.
1 2
ˆˆ
ˆ ˆ
i i i
i i
u Y Y
Y X 
 
  

18. O Método dos Mínimos Quadrados
Ordinários (MQO)
Para tornar o valor de Y observado o mais próximo do
estimado basta adotarmos o seguinte critério:
deve ser o menor possível.
Embora intuitivamente seja um bom critério ele não
funciona, pois a soma dos resíduos se anulam. Para resolver
esse problema utilizamos a soma do quadrado dos resíduos.
ˆˆ ( )i i iu Y Y  
22
2
1 2
ˆˆ ( )
ˆ ˆ( )
i i i
i i
u Y Y
Y X 
 
  
 


19. O Método dos Mínimos Quadrados
Ordinários (MQO)
O princípio do MQO é escolher os estimadores de
e de tal forma que, para qualquer amostra ou conjunto de
dados, a seja a menor possível.
Aplicando um processo de otimização podemos verificar isso,
levando em conta que
Considerando
1
ˆ
2
ˆ
2
ˆiu
1 2
2
ˆ ˆ( , )
ˆmin iu
 

2
ˆiu Q

20. Cálculo dos estimadores por MQO
Pelo método de MQO podemos encontrar os
estimadores 𝛽𝑖
′
𝑠 da regressão linear simples, esses
estimadores são dados por:
𝛽1 = 𝑌 − 𝛽2 𝑋
E
𝛽2 =
𝑋𝑖 𝑦𝑖
𝑋𝑖
2
− 𝑛 𝑋2
𝑜𝑢 𝛽2 =
𝑥𝑖 𝑦𝑖
𝑥𝑖
2

21. Cálculo dos estimadores por MQO
COM BASE NAS FÓRMULAS DOS BETAS CALCULE
A REGRESSÃO, OS RESÍDUOS PARA OS DADOS DA
TABELA ABAIXO:

22. Cálculo dos estimadores por MQO

23. MQO: Propriedades Estatísticas do
MQO
i) Os estimadores de MQO são expressos unicamente em
termos de quantidades observáveis (isto é, amostra)
como X e Y. Portanto, podem ser calculados com
facilidade.
ii) São estimadores pontuais, isto é, dada a amostra, cada
estimador proporciona apenas um único valor (ponto) do
parâmetro populacional relevante.
iii) Uma vez obtidas as estimativas de MQO para os dados
amostrais, a linha de regressão amostral pode ser
facilmente obtida, tendo as seguintes propriedades:

24. MQO: Propriedades Estatísticas do
MQO
a) Passa pelas médias amostrais de Y e X. Esse fato fica óbvio
pela estimativa de 1.
b) O valor médio do Y estimado, 𝑌 , é igual ao valor médio do
Y observado para:
𝑌𝑖 = 𝛽1 + 𝛽2 𝑋𝑖
= 𝑌 − 𝛽2 𝑋 + 𝛽2 𝑋𝑖
= 𝑌 + 𝛽2(𝑋𝑖 − 𝑋)
Somando-se os dois lados da equação e dividindo por n
teremos: ˆY Y

25. MQO: Propriedades Estatísticas do
MQO
c) O valor médio dos resíduos 𝒖𝒊 é igual a zero.
iv) Os resíduos 𝒖𝒊 não estão correlacionados ao Yi
previsto.
𝒚𝒊 𝒖𝒊 = 𝜷 𝟐 𝒙𝒊 𝒖𝒊
= 𝜷 𝟐 𝒙𝒊(𝒚𝒊 − 𝜷 𝟐 𝒙𝒊)
= 𝜷 𝟐 𝒙𝒊 𝒚𝒊 − 𝜷 𝟐
𝟐
𝒙𝒊
𝟐
= 𝜷 𝟐
𝟐
𝒙𝒊
𝟐
− 𝜷 𝟐
𝟐
𝒙𝒊
𝟐
= 𝟎
v) Os resíduos 𝑢𝑖 não estão correlacionados com os 𝑋𝑖,
isto é 1 2
ˆ ˆ ˆ2 ( ) 0i i i i iY X X u X      

26. MQO: Pressupostos do MQO
1) Modelo de Regressão Linear. O modelo de regressão é
linear nos parâmetros.
2) Os valores de X são fixos em amostras repetidas. Ou seja,
X é não estocástico.

27. MQO: Pressupostos do MQO
3) O valor médio do termo de erro ui é zero. Dado o
valor de X, o valor médio, ou esperado, do distúrbio aleatório
ui é zero. Ou seja, o valor médio condicional de ui é zero:
Homocedasticidade ou variância igual de ui. A variância
de ui é a mesma para todas as observações, isto é, as
variâncias condicionais de ui são idênticas. Simbolicamente,
temos:
( | ) 0i iE u X 
2
2
2
var( | ) [ ( | )]
( | ),
i i i i i
i i
u X E u E u X
E u X

 


em decorrência de 3

28. MQO: Pressupostos do MQO

29. MQO: Pressupostos do MQO
5) Não há autocorrelação entre os termos de erro.
Dados quaisquer dois valores de X, Xi e Xj (i≠j), a correlação
entre quaisquer ui e uj (i≠j) é zero. (MRLM)
6) Ausência de covariância entre ui e Xi ou E(ui|Xi)=0
cov( , | , ) {[ ( )]| }{[ ( )]| }
( | )( | ) 0
i j i j i i i j j j
i i j j
u u X X E u E u X u E u X
E u X u X
  
 
cov( , ) [ ( )][ ( )]
( ( ( )), ( ) 0
( ) ( ) ( ), ( )
(
i i i i i i
i i i i
i i i i i
i
u X E u E u X E X
E u X E X E u
E u X E X E u E X
E u X
  
  
 

já que
já que é não estocástico
) ( ) 0
0
i iE u 

já que
por hipótese

30. MQO: Pressupostos do MQO
7) O número de observações n deve ser maior que o
número de parâmetros a serem estimados. Ou então, o
número de observações n deve ser maior que o número de
variáveis. (MRLM)
8) Variabilidade dos valores de X. Os valores de X em
uma dada amostra não devem ser os mesmos. Técnicamente.
Var(X) deve ser um número positivo finito.
9) O modelo de regressão está especificado da forma
correta. Ou então, não há viés ou erro de especificação no
modelo empregado na análise empírica.
10) Não há multicolinearidade perfeita. Isto é, não há
relações lineares perfeitas entre as variáveis independentes.
(MRLM)

31. MQO: Precisão nas Estimativas **
Como verificamos, cada FRA pode nos fornecer
diferentes valores dos estimadores Betas da regressão, por
este motivo, devemos sempre levar em consideração uma
medida de “confiabilidade” ou precisão dos estimadores 𝛽1 e
𝛽2. Na estatística, a precisão de uma estimativa é medida
pelo seu erro padrão (ep). Podemos estimar os erros a partir
das variâncias dos 𝛽, que são:
𝑣𝑎𝑟 𝛽2 =
𝜎2
𝑥𝑖
2 , 𝑒 𝑒𝑝 𝛽2 =
𝜎
𝑥𝑖
2
𝑣𝑎𝑟 𝛽1 =
𝑋𝑖
2
𝑛 𝑥𝑖
2 𝜎2 𝑒 𝑒𝑝 𝛽1 =
𝑋𝑖
2
𝑛 𝑥𝑖
2 𝜎

32. MQO: Precisão nas Estimativas
Uma estimativa viável da variância do erro 𝜎2 pode ser
obtida pela Soma do Quadrado dos Resíduos (SQR). Assim
tem-se:
𝜎2 =
𝑢𝑖
2
𝑛 − 2
Onde o valor de n-2 é o grau de liberdade e o 𝑢𝑖
2
é a
SQR.

33. MQO: Precisão nas Estimativas
Para um melhor entendimento podemos representar a
SQR a partir da seguinte expressão:
𝑢𝑖
2
= 𝑦𝑖
2
− 𝛽2
2
𝑥𝑖
2
Já verificamos que 𝛽2 =
𝑥 𝑖 𝑦 𝑖
𝑥 𝑖
2 , que substituindo na
expressão acima teremos:
𝑢𝑖
2
= 𝑦𝑖
2
−
𝑥𝑖 𝑦𝑖
2
𝑥𝑖
2
Portanto, podemos afirmar que a SQR é composta pela
Soma de Quadrados Total (SQT= 𝑦𝑖
2
) menos a soma de
quadrados explicada (SQE=
𝑥 𝑖 𝑦 𝑖
2
𝑥 𝑖
2 ).

34. MQO: Propriedades dos estimadores
(𝜷) – o Teorema de Gauss-Markov
O Teorema de Gauss-Markov é um dos mais importantes
dentre da Econometria, é a partir deste teorema que provamos
três importantes propriedades dos estimadores que garantem a
confiabilidade nas suas estimativas, são elas:
1) É Linear: ou seja, trata-se de uma função linear de uma
variável aleatória.
2) É Não Viesado (ou não TENDENCIOSO): ou seja, seu valor
médio ou esperado 𝐸( 𝛽2) é igual ao verdadeiro valor de 𝛽2.
3) Tem VARIÂNCIA MÍNIMA na classe de todos os estimadores
lineares não viesados: um estimador não viesado com a menor
variância é conhecido como ESTIMADOR EFICIENTE.

35. MQO: Propriedades dos estimadores
(𝜷) – o Teorema de Gauss-Markov
Todo o objetivo por trás da regressão é provar que os
estimadores de MQO são MELNT (Melhor Estimador Linear
Não Tendencioso). O Teorema de Gauss-Markov prova isso,
logo, essa é a principal finalidade de tal teorema.
Podemos demostrar isso através de um gráfico de
distribuição normal destinado apenas aos estimadores, logo:

36. MQO: O coeficiente de Determinação R2 –
uma medida da “qualidade do
ajustamento”
Na verdade o principal objetivo desse coeficiente é
mostrar o quanto de X consegue explicar em Y, pode-se
verificar isso no seguinte diagrama de Venn

37. MQO: O coeficiente de Determinação R2 –
uma medida da “qualidade do
ajustamento”Ou seja considerando a equação em forma dos desvios
(para facilitar o cálculo), pode-se verificar que:
𝑦𝑖 = 𝑦𝑖 + 𝑢𝑖
Lembrando que: 𝑦𝑖 = 𝛽2 𝑥𝑖 + 𝑢𝑖 e 𝑦𝑖 = 𝛽2 𝑥𝑖, se
elevarmos os dois lados da primeira equação ao quadrado e
somando na amostra, teremos
𝑦𝑖
2
= 𝑦𝑖
2
+ 𝑢𝑖
2
+ 2 𝑦𝑖 𝑢𝑖
= 𝑦𝑖
2
+ 𝑢𝑖
2
= 𝛽2
2
𝑥𝑖
2
+ 𝑢𝑖
2

38. MQO: O coeficiente de Determinação R2 –
uma medida da “qualidade do
ajustamento”
Na composição final temos o conceito de que a
SQT=SQE+SQR
Soma de Quadrados Total = Soma de Quadrados
Explicada + Soma de Quadrados dos Resíduos.
Isso no gráfico pode ser representado da seguinte
forma:

39. MQO: O coeficiente de Determinação R2 –
uma medida da “qualidade do
ajustamento”
Dividindo ambos os lados de SQT por SQT teremos:
1 =
𝑆𝑄𝐸
𝑆𝑄𝑇
+
𝑆𝑄𝑅
𝑆𝑄𝑇
=
𝑌𝑖 − 𝑌
2
𝑌𝑖 − 𝑌 2
+
𝑢𝑖
2
𝑌𝑖 − 𝑌 2
Podemos então definir o 𝑟2
como sendo
𝑟2
=
𝑆𝑄𝐸
𝑆𝑄𝑇
=
𝑦𝑖
2
𝑦𝑖
2 𝑜𝑢 =
𝛽2
2
𝑥𝑖
2
𝑦𝑖
2 𝑜𝑢 =
𝑥𝑖 𝑦𝑖
2
𝑥𝑖
2
𝑦𝑖
2 𝑜𝑢 = 1 −
𝑢𝑖
2
𝑦𝑖
2

40. MQO: O coeficiente de Determinação R2 –
uma medida da “qualidade do
ajustamento”
Lembrando do nosso exemplo anterior vamos calcular o
𝑟2

41. MQO: Um exemplo numérico
Vamos construir a tabela 3.3 do capitulo 3 (seção 3.6)
usando o software Gretl. Os dados são referentes as despesas
familiares de consumo semanal (Y) e renda familiar semanal
(X)