Regressão - aula 02/04

7.451 visualizações

Publicada em

0 comentários
3 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
7.451
No SlideShare
0
A partir de incorporações
0
Número de incorporações
4
Ações
Compartilhamentos
0
Downloads
214
Comentários
0
Gostaram
3
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Regressão - aula 02/04

  1. 1. Análise de Regressão: Estimação, testes epropriedades Rodrigo de Sá Análise de Regressão:Precisão epropriedades Estimação, testes e propriedadesCoecientededeterminaçãoModelo Rodrigo de SáNormalTeste dehipótese Fundação de Economia e Estatística, 2011
  2. 2. Livro texto Análise de Regressão: Estimação, testes epropriedades Rodrigo de SáPrecisão epropriedades Damodar GujaratiCoeciente Econometria Básicadedeterminação 3ª ed. 2005.ModeloNormalTeste dehipótese
  3. 3. Precisão Análise de Regressão: Estimação, testes epropriedades Rodrigo de Sá Sabemos que os nossos estimadores de MQO irão mudarPrecisão epropriedades conforme a amostra.Coecientede Por isso, precisamos de uma medida de PRECISÃO dessesdeterminação estimadores.ModeloNormal A medida de precisão utilizada é o ERRO-PADRÃO.Teste dehipótese
  4. 4. Erros-padrão dos estimadores de MQO Análise de Regressão: Estimação, testes epropriedades Fórmulas explícitas dos erros-padrão dos estimadores Rodrigo de Sá σ se β1 ˆ =Precisão epropriedades xi2Coecientededeterminação se β0 ˆ = σ Xi2Modelo n xi2NormalTeste dehipótese Estimador da variância dos resíduos σ2 = ˆ ui ˆ n−2
  5. 5. Propriedades dos erros-padrão Análise de Regressão: Estimação, testes epropriedades O erro-padrão do β1 é diretamente proporcional a σ e ˆ Rodrigo de Sá inversamente proporcional a xi2 .Precisão e Quanto maior a variabilidade da variável explicativa Xipropriedades maior será a precisão do nosso estimador!Coeciente Precisamos que a nossa amostra seja tão variada quantodedeterminação possível.ModeloNormal O erro-padrão do β0 é diretamente proporcional a σ e ˆTeste de Xi2 e inversamente proporcional a xi2 e a n.hipótese Se o coeciente angular é superestimado o intercepto será subestimado.
  6. 6. Melhor estimador linear não viesado (MELNV) Análise de Regressão: Estimação, testes epropriedades Rodrigo de Sá Dadas as suposições do modelo clássico de regressão linear, dizemos que os estimadores de MQO β0 e β1 são ˆ ˆPrecisão epropriedades MELNV, isto é:Coeciente São lineares;dedeterminação São não viesados, ou seja, sua média ou valor esperado éModeloNormal igual ao valor verdadeiro, E β i = βi ; ˆTeste de Eles apresentam a menor variância dentro da classe dehipótese todos os estimadores lineares não viesados.
  7. 7. Melhor estimador linear não viesado (MELNV) Análise de Regressão: Estimação, testes epropriedades Rodrigo de SáPrecisão epropriedadesCoecientededeterminaçãoModeloNormalTeste dehipótese Figura: Comparação das distribuições de um estimador de MQO e de outro estimador
  8. 8. Melhor estimador linear não viesado (MELNV) Análise de Regressão: Estimação, testes epropriedades Rodrigo de SáPrecisão epropriedadesCoecientededeterminaçãoModeloNormalTeste dehipótese Figura: Distribuição de três estimadores
  9. 9. O coeciente de determinação (r 2 ) Análise de Regressão: Estimação, Até aqui nos ocupamos de estimar os coecientes de testes epropriedades regressão, seus erros-padrão e algumas das suas Rodrigo de propriedades. Sá Mas também temos que analisar o GRAU DE AJUSTE aPrecisão e um conjunto de dados da reta de regressão ajustadapropriedades (estimada).Coecientededeterminação Os Yi observados não cam todos sobre a reta deModelo regressão; temos erros positivos e negativos.Normal O que esperamos é que esses resíduos sejam tão pequenosTeste dehipótese quanto possíveis. O COEFICIENTE DE DETERMINAÇÃO r 2 (duas variáveis) ou R 2 (regressão múltipla) é uma medida sintética que diz quão bem a reta de regressão da amostra se ajusta aos dados.
  10. 10. Visualização do r 2 Análise de Regressão: Estimação, testes epropriedades Rodrigo de SáPrecisão epropriedadesCoecientededeterminaçãoModeloNormalTeste dehipótese Figura: Representação das variações de Y e X
  11. 11. Derivação do r 2 Análise de Regressão: Estimação, testes epropriedades Rodrigo de Yi = Yi + ui ˆ ˆ Sá yi = yi + ui ˆ ˆPrecisão epropriedades yi2 = yi2 + ui2 + 2yi ui ˆ ˆ ˆˆCoecientede yi2 = yi + ui2 + 2 ˆ 2 ˆ yi ui ˆˆdeterminação i i i iModeloNormal yi 2 = yi ˆ2 + ui ˆ2Teste de i i ihipótese SQT = SQE + SQR r2 = SQE SQT
  12. 12. Componentes da variação do Yi Análise de Regressão: Estimação, testes epropriedades Rodrigo de SáPrecisão epropriedadesCoecientededeterminaçãoModeloNormalTeste dehipótese Figura: Divisão da variação do Yi em dois componentes
  13. 13. Derivação do r 2 Análise de Regressão: Estimação, testes epropriedades Rodrigo de Sá r2 = SQEPrecisão epropriedades SQT 2Coeciente Yi − Y ˆdedeterminação r2 =Modelo Yi − Y 2NormalTeste de r2 = ˆ2 β1 xi2hipótese yi2
  14. 14. Propriedades do r 2 Análise de Regressão: Estimação, testes epropriedades É uma quantidade não negativa. 0 ≥ r 2 ≥ 1. Rodrigo de SáPrecisão e r 2 = 1 signica um ajuste perfeito, isto é, Yi = Yi para ˆpropriedades todo i .Coecientededeterminação r 2 = 0 signica não há nenhuma relação entre a variávelModelo independente e a variável explicativa.Normal β1 = 0 =⇒ Yi = β0 = Y . ˆ ˆ ˆTeste dehipótese A melhor previsão para qualquer valor de Y é simplesmente sua média (incondicional). A reta de regressão será horizontal ao eixo X.
  15. 15. Coeciente de correlação (r ) Análise de Regressão: Estimação, testes epropriedades Rodrigo de SáPrecisão epropriedadesCoecientededeterminaçãoModeloNormalTeste dehipótese Figura: Padrões do correlação
  16. 16. Propriedades do r Análise de Regressão: Pode ser positivo ou negativo, com o sinal dependendo da Estimação, testes e covariância.propriedades −1 ≥ r ≥ 1. Rodrigo de Sá É simétrico por natureza: rXY = rYX .Precisão epropriedades É independente da origem e da escala.Coeciente Se X e Y são ESTATISTICAMENTE INDEPENDENTES,dedeterminação o coeciente de correlação entre eles é igual a zeroModelo (r = 0)... ...Mas r = 0 não implica que duas variáveis sejamNormalTeste dehipótese independentes. É uma MEDIDA DE ASSOCIAÇÃO LINEAR ou DEPENDÊNCIA LINEAR apenas. (Se Y = X 2 =⇒ rYX = 0) Não implica qualquer relação de causa e efeito.
  17. 17. Modelo clássico de regressão linear (MCRL) Análise de Regressão: Estimação, testes epropriedades Vimos anteriormente que, dadas as 10 hipóteses clássicas Rodrigo de do modelo de regressão linear, os estimadores de MQO são Sá MELNV, isto é, são não viesados e têm variância mínima.Precisão epropriedades Quais eram as hipóteses sobre os resíduos?CoecientededeterminaçãoModeloNormalTeste dehipótese
  18. 18. Modelo clássico de regressão linear (MCRL) Análise de Regressão: Estimação, testes epropriedades Vimos anteriormente que, dadas as 10 hipóteses clássicas Rodrigo de do modelo de regressão linear, os estimadores de MQO são Sá MELNV, isto é, são não viesados e têm variância mínima.Precisão epropriedades Quais eram as hipóteses sobre os resíduos?Coecientededeterminação Dentre essas hipóteses, as relativas ao resíduos eram:Modelo expectativa zero; não correlacionados; variância constante.NormalTeste dehipótese
  19. 19. Modelo clássico de regressão linear (MCRL) Análise de Regressão: Estimação, testes epropriedades Vimos anteriormente que, dadas as 10 hipóteses clássicas Rodrigo de do modelo de regressão linear, os estimadores de MQO são Sá MELNV, isto é, são não viesados e têm variância mínima.Precisão epropriedades Quais eram as hipóteses sobre os resíduos?Coecientededeterminação Dentre essas hipóteses, as relativas ao resíduos eram:Modelo expectativa zero; não correlacionados; variância constante.NormalTeste dehipótese Não havia nenhuma hipótese sobre a distribuição dos resíduos. Hipóteses corroboravam a estimação de ponto.
  20. 20. Modelo clássico de regressão linear normal (MCRLN) Análise de Regressão: Estimação, testes epropriedades Rodrigo de Sá Porém, podemos estar interessados em um intervalo paraPrecisão e as estimativas dos βi . ˆpropriedadesCoeciente Intervalos para o estimador possibilitam testes dede hipóteses.determinaçãoModeloNormal Precisamos especicar a distribuição de probabilidade dasTeste de perturbações ui .hipótese
  21. 21. A hipótese da normalidade Análise de Regressão: Estimação, testes epropriedades Rodrigo de A REGRESSÃO LINEAR NORMAL CLÁSSICA supõe que Sá cada ui se distribua NORMALMENTE, comPrecisão e média E (ui ) = 0propriedades variância E ui 2 = σ2Coecientede covariância: E (ui , uj ) = 0, i = j .determinaçãoModelo De maneira concisa, ui ∼ N 0, σ 2 .Normal OBS.: Como para quaisquer duas variáveis distribuídasTeste dehipótese normalmente covariância igual a zero implica independência, então ui ∼ NID 0, σ 2 .
  22. 22. Por que a hipótese da normalidade? Análise de Regressão: Uma das possíveis explicações dos resíduos ui é que eles Estimação, representam a inuência combinada (na variável dependente) de testes epropriedades um grande número de variáveis independentes que não são Rodrigo de explicitamente introduzidas no modelo de regressão. Sá Esperamos que a inuência dessas variáveis seja pequena ePrecisão e aleatória.propriedades Pelo TEOREMA DO LIMITE CENTRAL, com algumasCoecientede restrições, a soma de variáveis aleatórias se distribuideterminação normalmente.ModeloNormal A hipótese da normalidade dos resíduos facilita os cálculos,Teste de pois a soma de variáveis distribuídas normalmente temhipótese distribuição normal. A distribuição normal é uma distribuição simples, com apenas dois parâmetros (média e variância), e amplamente estudada. O estimador de MQO sob normalidade coincide com o estimador de MÁXIMA VEROSSIMILHANÇA.
  23. 23. Propriedades dos estimadores de MQO sob normalidade Análise de Regressão: Estimação, testes e Com a hipótese da normalidade, os estimadores de MQOpropriedades Rodrigo de β0 , β1 , σ 2 apresentam as seguintes propriedades estatísticas: ˆ ˆ ˆ SáPrecisão e São não viesados. (*)propriedadesCoeciente Tem variância mínima. (*)dedeterminação estimadores não viesados com variância mínima são ditosModelo estimadores ecientes.NormalTeste de Consistência, isto é, conforme o tamanho da amostrahipótese aumenta indenidamente, os estimadores convergem para seus verdadeiros valores na população. (propriedade assintótica)
  24. 24. Propriedades dos estimadores de MQO sob normalidade Análise de Regressão: Estimação, testes epropriedades Rodrigo de SáPrecisão epropriedadesCoecientededeterminaçãoModeloNormalTeste dehipótese Figura: Consistência: distribuição do estimador conforme o tamanho da amostra aumenta
  25. 25. Propriedades dos estimadores de MQO sob normalidade Análise de Regressão: Estimação, testes epropriedades β0 se distribui NORMALMENTE com ˆ Rodrigo de Sá média E β 0 = β0 ˆPrecisão e variância X2 σβ = n x 2 σ 2 2 i ˆ0propriedades i concisamente β0 ∼ N β0 , σ ˆ 2Coeciente ˆ . β0dedeterminaçãoModelo β1 se distribui NORMALMENTE com ˆNormalTeste de média E β 1 = β1 ˆhipótese 2 1 2 variância σβ = ˆ x2 σ 1 i concisamente β1 ∼ N β1 , σβ ˆ 2 ˆ . 1
  26. 26. Propriedades dos estimadores de MQO sob normalidade Análise de Regressão: Estimação, testes epropriedades Rodrigo de Sá (n − 2) σ 2 /σ 2 é distribuída como χ2 (qui-quadrado) com ˆ n − 2 graus de liberdade.Precisão epropriedades β0 , β1 se distribuem independentemente de σ 2 . ˆ ˆ ˆCoecientededeterminação β0 e β1 têm variância mínima em toda a classe de ˆ ˆModelo estimadores não-viesados, sejam lineares ou não.NormalTeste de São os MELHORES ESTIMADORES NÃO-VIESADOShipótese (MENV).
  27. 27. Teste de hipótese Análise de Regressão: Estimação, testes epropriedades Rodrigo de Sá Teste de hipótesePrecisão epropriedades Cuidado para não testar hipóteses demais; quanto mais vocêCoecientede torturar os dados, maior a probabilidade de que eles confessem,determinação mas uma conssão arrancada à força pode não ser admissívelModeloNormal no tribunal da opinião cientíca. (STIGLER, 1987).Teste dehipótese
  28. 28. Estimativa de intervalo Análise de Regressão: Estimação, testes epropriedades Rodrigo de SáPrecisão epropriedadesCoecientededeterminaçãoModeloNormalTeste dehipótese Figura: Exemplo consumo x renda
  29. 29. Estimativa de intervalo Análise de Regressão: Estimação, testes epropriedades A projeção marginal a consumir estimada, β1 , é 0.5091. ˆ Rodrigo de Sá Quão conável é esta estimação?Precisão epropriedadesCoecientededeterminaçãoModeloNormalTeste dehipótese
  30. 30. Estimativa de intervalo Análise de Regressão: Estimação, testes epropriedades A projeção marginal a consumir estimada, β1 , é 0.5091. ˆ Rodrigo de Sá Quão conável é esta estimação?Precisão epropriedades Podemos construir um intervalo ao redor do estimador deCoeciente ponto de modo que este intervalo tenha, por exemplo, 95%dedeterminação de incluir o verdadeiro valor do parâmetro.ModeloNormalTeste dehipótese
  31. 31. Estimativa de intervalo Análise de Regressão: Estimação, testes epropriedades A projeção marginal a consumir estimada, β1 , é 0.5091. ˆ Rodrigo de Sá Quão conável é esta estimação?Precisão epropriedades Podemos construir um intervalo ao redor do estimador deCoeciente ponto de modo que este intervalo tenha, por exemplo, 95%dedeterminação de incluir o verdadeiro valor do parâmetro.ModeloNormal Tentamos descobrir dois números positivos δ e α de modoTeste dehipótese que a probabilidade do intervalo aleatório β1 − δ, β1 + δ conter o verdadeiro β1 é de 1 − α. ˆ ˆ
  32. 32. Estimativa de intervalo Análise de Regressão: Estimação, testes epropriedades Rodrigo de P β1 − δ ≤ β1 ≤ β1 + δ = 1 − α ˆ ˆ SáPrecisão e O intervalo, se existir, é chamado INTERVALO DEpropriedades CONFIANÇA.Coecientede 1 − α é o COEFICIENTE DE CONFIANÇA.determinaçãoModelo 0 ≤ α ≤ 1 é o NÍVEL DE SIGNIFICÂNCIA.Normal Também é a probabilidade de cometer o ERRO TIPO 1,Teste dehipótese isto é, rejeitar uma hipótese verdadeira. β1 − δ é o LIMITE DE CONFIANÇA INFERIOR e β1 + δ é ˆ ˆ o LIMITE DE CONFIANÇA INFERIOR.
  33. 33. Intervalo de conança para β1 Análise de Regressão: A variável aleatória Estimação, testes epropriedades ˆ β1 − β1 Rodrigo de t = Sá ˆ ep β1Precisão epropriedades ˆ β1 − β1 xi2Coeciente t =de σ ˆdeterminaçãoModelo segue a distribuição t com n − 2 graus de liberdade.NormalTeste de Intervalo de conança de β1hipótese A probabilidade de β1 estar entre β1 − tα/2 ep β1 ≤ β1 ≤ β1 + tα/2 ep β1 ˆ ˆ ˆ ˆ é de 100 (1 − α) %. tα/2 é chamado VALOR CRÍTICO.
  34. 34. Distribuição t Análise de Regressão: Estimação, testes epropriedades Rodrigo de SáPrecisão epropriedadesCoecientededeterminaçãoModeloNormalTeste dehipótese
  35. 35. Exemplo consumo X renda Análise de Regressão: Estimação, testes epropriedades Rodrigo de β1 = 0.5091, ep β1 = 0.0357 e gl = 8 ˆ ˆ Sá tα/2 = 2.306Precisão epropriedades 0.5091 ± 2.306 (0.0357)CoecientededeterminaçãoModelo 0.5091 ± 0.0823NormalTeste dehipótese (0.4268, 0.5914)
  36. 36. Teste de hipótese e intervalo de conança Análise de Regressão: Estimação, testes epropriedades Rodrigo de SáPrecisão epropriedadesCoecientededeterminaçãoModelo Figura: Intervalo de conançaNormalTeste dehipótese REGRA DE DECISÃO: Construa um intervalo de 100 (1 − α) % para β1 . Se β1 , segundo H0 , se encontrar dentro deste intervalo de conança, não rejeite H0 ; mas se β1 se encontrar fora deste intervalo rejeite H0 .
  37. 37. Teste de hipótese e teste de signicância Análise de Regressão: Estimação, testes epropriedades Podemos contruir um intervalo de conança ao redor do Rodrigo de valor que queremos testar e ver se os dados conrmam ou Sá não essa hipótese.Precisão epropriedades A região de aceitação é o intervaloCoecientededeterminação β1 − tα/2 ep β1 ≤ β1 ≤ β1 + tα/2 ep β1 ∗ ˆ ˆ ∗ ˆModeloNormal O teste, então, éTeste dehipótese ˆ ∗ t = β1 − β1 ep β1 ˆ
  38. 38. Teste de hipótese e teste de signicância Análise de Regressão: Estimação, testes epropriedades Rodrigo de SáPrecisão epropriedadesCoecientededeterminaçãoModeloNormalTeste dehipótese ∗ Figura: Intervalo de conança para β1 = 0.3
  39. 39. Teste de hipótese e teste de signicância Análise de Regressão: Estimação, testes epropriedades Rodrigo de SáPrecisão epropriedadesCoecientededeterminaçãoModeloNormalTeste dehipótese ∗ Figura: Intervalo de conança para β1 = 0.3

×