O documento descreve preliminares sobre o limite inferior de Cramér-Rao, incluindo:
1) Amostra aleatória i.i.d com função de densidade f(x,θ) onde θ é o parâmetro a ser estimado;
2) Definições de expectativa matemática e covariância;
3) Regras de derivação para funções compostas e logarítmicas.
2. Limite Inferior de Cramér-Rao (Preliminares)
Seja uma amostra aleatória:X1, X2, . . . , Xn, i.i.d, da função de densidade f(x, θ),
onde θ é um parâmetro a ser estimado. Logo ∀i ∈ 1, . . . , n ⇒ f(xi, θ).
3. Limite Inferior de Cramér-Rao (Preliminares)
Seja uma amostra aleatória:X1, X2, . . . , Xn, i.i.d, da função de densidade f(x, θ),
onde θ é um parâmetro a ser estimado. Logo ∀i ∈ 1, . . . , n ⇒ f(xi, θ).
∞
−∞
f(x, θ) dx = 1
f(x1, x2, θ) = f(x1, θ) · f(x2, θ)
f(x1, x2, . . . , xn, θ) = f(x1, θ) · f(x2, θ) · . . . · f(xn, θ)
4. Limite Inferior de Cramér-Rao (Preliminares)
Seja uma amostra aleatória:X1, X2, . . . , Xn, i.i.d, da função de densidade f(x, θ),
onde θ é um parâmetro a ser estimado. Logo ∀i ∈ 1, . . . , n ⇒ f(xi, θ).
∞
−∞
f(x, θ) dx = 1
f(x1, x2, θ) = f(x1, θ) · f(x2, θ)
f(x1, x2, . . . , xn, θ) = f(x1, θ) · f(x2, θ) · . . . · f(xn, θ)
E[X] =
∞
−∞
x · f(x, θ) dx
E[g(X)] =
∞
−∞
g(x) · f(x, θ) dx
E[g(X1, X2)] =
∞
−∞
∞
−∞
g(x1, x2) · f(x1, x2, θ) dx1 dx2 =
∞
−∞
∞
−∞
g(x1, x2) · f(x1, θ) · f(x2, θ)
f(x1,x2,θ)
dx1 dx2
5. Limite Inferior de Cramér-Rao (Preliminares)
Seja uma amostra aleatória:X1, X2, . . . , Xn, i.i.d, da função de densidade f(x, θ),
onde θ é um parâmetro a ser estimad. Logo ∀i ∈ 1, . . . , n ⇒ f(xi, θ).
E[g(X1, . . . Xn)] =
∞
−∞
. . .
∞
−∞
n
g(x1, x2, . . . , xn) · f(x1, x2, . . . , xn, θ) dx1 dx2 . . . dxn
6. Limite Inferior de Cramér-Rao (Preliminares)
Seja uma amostra aleatória:X1, X2, . . . , Xn, i.i.d, da função de densidade f(x, θ),
onde θ é um parâmetro a ser estimad. Logo ∀i ∈ 1, . . . , n ⇒ f(xi, θ).
E[g(X1, . . . Xn)] =
∞
−∞
. . .
∞
−∞
n
g(x1, x2, . . . , xn) · f(x1, x2, . . . , xn, θ) dx1 dx2 . . . dxn =
∞
−∞
. . .
∞
−∞
g(x1, x2, . . . , xn) · f(x1, θ) · f(x2, θ) · . . . f(xn, θ)
f(x1,x2,...,xnθ)
dx1 dx2 . . . dxn
7. Limite Inferior de Cramér-Rao (Preliminares)
Seja uma amostra aleatória:X1, X2, . . . , Xn, i.i.d, da função de densidade f(x, θ),
onde θ é um parâmetro a ser estimad. Logo ∀i ∈ 1, . . . , n ⇒ f(xi, θ).
E[g(X1, . . . Xn)] =
∞
−∞
. . .
∞
−∞
n
g(x1, x2, . . . , xn) · f(x1, x2, . . . , xn, θ) dx1 dx2 . . . dxn =
∞
−∞
. . .
∞
−∞
g(x1, x2, . . . , xn) · f(x1, θ) · f(x2, θ) · . . . f(xn, θ)
f(x1,x2,...,xnθ)
dx1 dx2 . . . dxn
X = g(X1, . . . Xn)) =
1
n
n
i=1
Xi
Não depende de θ só da amostra!
8. Limite Inferior de Cramér-Rao (Preliminares )
Sejam X, Y e Z = X + Y variáveis aleatórias.
9. Limite Inferior de Cramér-Rao (Preliminares )
Sejam X, Y e Z = X + Y variáveis aleatórias.
V ar[Z] = V ar[X + Y ] = V ar[X] + V ar[Y ] + 2Cov[X, Y ]
10. Limite Inferior de Cramér-Rao (Preliminares )
Sejam X, Y e Z = X + Y variáveis aleatórias.
V ar[Z] = V ar[X + Y ] = V ar[X] + V ar[Y ] + 2Cov[X, Y ]
Cov[X, Y ] = E[XY ] − E[X]E[Y ]
11. Limite Inferior de Cramér-Rao (Preliminares )
Sejam X, Y e Z = X + Y variáveis aleatórias.
V ar[Z] = V ar[X + Y ] = V ar[X] + V ar[Y ] + 2Cov[X, Y ]
Cov[X, Y ] = E[XY ] − E[X]E[Y ]
X ⊥ Y ⇒ Cov[X, Y ] = 0
12. Limite Inferior de Cramér-Rao (Preliminares )
Sejam X, Y e Z = X + Y variáveis aleatórias.
V ar[Z] = V ar[X + Y ] = V ar[X] + V ar[Y ] + 2Cov[X, Y ]
Cov[X, Y ] = E[XY ] − E[X]E[Y ]
X ⊥ Y ⇒ Cov[X, Y ] = 0
Se E[X] = 0 e E[Y ] = 0 ⇒ Cov[X, Y ] = E[XY ]
13. Limite Inferior de Cramér-Rao (Preliminares )
Sejam X, Y e Z = X + Y variáveis aleatórias.
V ar[Z] = V ar[X + Y ] = V ar[X] + V ar[Y ] + 2Cov[X, Y ]
Cov[X, Y ] = E[XY ] − E[X]E[Y ]
X ⊥ Y ⇒ Cov[X, Y ] = 0
Se E[X] = 0 e E[Y ] = 0 ⇒ Cov[X, Y ] = E[XY ]
ρ =
Cov[X, Y ]
σXσY
⇒ Cov[X, Y ] = ρσXσY
14. Limite Inferior de Cramér-Rao (Preliminares )
Sejam X, Y e Z = X + Y variáveis aleatórias.
V ar[Z] = V ar[X + Y ] = V ar[X] + V ar[Y ] + 2Cov[X, Y ]
Cov[X, Y ] = E[XY ] − E[X]E[Y ]
X ⊥ Y ⇒ Cov[X, Y ] = 0
Se E[X] = 0 e E[Y ] = 0 ⇒ Cov[X, Y ] = E[XY ]
ρ =
Cov[X, Y ]
σXσY
⇒ Cov[X, Y ] = ρσXσY
−1 ≤ ρ ≤ 1 ou ρ2
≤ 1
15. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒
16. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒ f (x) = g (x) + h (x)
17. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒ f (x) = g (x) + h (x)
f(x) = g(x) · h(x) ⇒
18. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒ f (x) = g (x) + h (x)
f(x) = g(x) · h(x) ⇒ f (x) = g (x) · h(x) + g(x) · h (x)
19. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒ f (x) = g (x) + h (x)
f(x) = g(x) · h(x) ⇒ f (x) = g (x) · h(x) + g(x) · h (x)
Se f(x) = ln[g(x)] ⇒
20. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒ f (x) = g (x) + h (x)
f(x) = g(x) · h(x) ⇒ f (x) = g (x) · h(x) + g(x) · h (x)
Se f(x) = ln[g(x)] ⇒ f (x) =
g (x)
g(x)
21. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒ f (x) = g (x) + h (x)
f(x) = g(x) · h(x) ⇒ f (x) = g (x) · h(x) + g(x) · h (x)
Se f(x) = ln[g(x)] ⇒ f (x) =
g (x)
g(x)
Se f(x) = θ, θ ∈ R ⇒ f (x) = 0
22. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒ f (x) = g (x) + h (x)
f(x) = g(x) · h(x) ⇒ f (x) = g (x) · h(x) + g(x) · h (x)
Se f(x) = ln[g(x)] ⇒ f (x) =
g (x)
g(x)
Se f(x) = θ, θ ∈ R ⇒ f (x) = 0
Se f (x) =
23. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒ f (x) = g (x) + h (x)
f(x) = g(x) · h(x) ⇒ f (x) = g (x) · h(x) + g(x) · h (x)
Se f(x) = ln[g(x)] ⇒ f (x) =
g (x)
g(x)
Se f(x) = θ, θ ∈ R ⇒ f (x) = 0
Se f (x) =
f (x)
f(x)
·
24. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒ f (x) = g (x) + h (x)
f(x) = g(x) · h(x) ⇒ f (x) = g (x) · h(x) + g(x) · h (x)
Se f(x) = ln[g(x)] ⇒ f (x) =
g (x)
g(x)
Se f(x) = θ, θ ∈ R ⇒ f (x) = 0
Se f (x) =
f (x)
f(x)
· f(x)
25. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒ f (x) = g (x) + h (x)
f(x) = g(x) · h(x) ⇒ f (x) = g (x) · h(x) + g(x) · h (x)
Se f(x) = ln[g(x)] ⇒ f (x) =
g (x)
g(x)
Se f(x) = θ, θ ∈ R ⇒ f (x) = 0
Se f (x) =
f (x)
f(x)
· f(x) ⇒ f (x) = f [ln f(x)] · f(x)
Uma integral é uma soma!
26. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒ f (x) = g (x) + h (x)
f(x) = g(x) · h(x) ⇒ f (x) = g (x) · h(x) + g(x) · h (x)
Se f(x) = ln[g(x)] ⇒ f (x) =
g (x)
g(x)
Se f(x) = θ, θ ∈ R ⇒ f (x) = 0
Se f (x) =
f (x)
f(x)
· f(x) ⇒ f (x) = f [ln f(x)] · f(x)
Uma integral é uma soma!Um somatório é uma integral:
27. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒ f (x) = g (x) + h (x)
f(x) = g(x) · h(x) ⇒ f (x) = g (x) · h(x) + g(x) · h (x)
Se f(x) = ln[g(x)] ⇒ f (x) =
g (x)
g(x)
Se f(x) = θ, θ ∈ R ⇒ f (x) = 0
Se f (x) =
f (x)
f(x)
· f(x) ⇒ f (x) = f [ln f(x)] · f(x)
Uma integral é uma soma!Um somatório é uma integral:
Se tivermos: h(x) = f1(x, θ) + f2(x, θ) =
2
i=1
fi(x, θ)
28. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒ f (x) = g (x) + h (x)
f(x) = g(x) · h(x) ⇒ f (x) = g (x) · h(x) + g(x) · h (x)
Se f(x) = ln[g(x)] ⇒ f (x) =
g (x)
g(x)
Se f(x) = θ, θ ∈ R ⇒ f (x) = 0
Se f (x) =
f (x)
f(x)
· f(x) ⇒ f (x) = f [ln f(x)] · f(x)
Uma integral é uma soma!Um somatório é uma integral:
Se tivermos: h(x) = f1(x, θ) + f2(x, θ) =
2
i=1
fi(x, θ)
d
dθ
h(x, θ) =
d
dθ
f1(x, θ)
29. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒ f (x) = g (x) + h (x)
f(x) = g(x) · h(x) ⇒ f (x) = g (x) · h(x) + g(x) · h (x)
Se f(x) = ln[g(x)] ⇒ f (x) =
g (x)
g(x)
Se f(x) = θ, θ ∈ R ⇒ f (x) = 0
Se f (x) =
f (x)
f(x)
· f(x) ⇒ f (x) = f [ln f(x)] · f(x)
Uma integral é uma soma!Um somatório é uma integral:
Se tivermos: h(x) = f1(x, θ) + f2(x, θ) =
2
i=1
fi(x, θ)
d
dθ
h(x, θ) =
d
dθ
f1(x, θ) +
d
dθ
f2(x, θ)
30. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒ f (x) = g (x) + h (x)
f(x) = g(x) · h(x) ⇒ f (x) = g (x) · h(x) + g(x) · h (x)
Se f(x) = ln[g(x)] ⇒ f (x) =
g (x)
g(x)
Se f(x) = θ, θ ∈ R ⇒ f (x) = 0
Se f (x) =
f (x)
f(x)
· f(x) ⇒ f (x) = f [ln f(x)] · f(x)
Uma integral é uma soma!Um somatório é uma integral:
Se tivermos: h(x) = f1(x, θ) + f2(x, θ) =
2
i=1
fi(x, θ)
d
dθ
h(x, θ) =
d
dθ
f1(x, θ) +
d
dθ
f2(x, θ) =
d
dθ
2
i=1
fi(x, θ)
31. Limite Inferior de Cramér-Rao (Preliminares - Cálculo)
Seja g(x) e h(x) funções reais bem comportadas (na reta R).
f(x) = g(x) + h(x) ⇒ f (x) = g (x) + h (x)
f(x) = g(x) · h(x) ⇒ f (x) = g (x) · h(x) + g(x) · h (x)
Se f(x) = ln[g(x)] ⇒ f (x) =
g (x)
g(x)
Se f(x) = θ, θ ∈ R ⇒ f (x) = 0
Se f (x) =
f (x)
f(x)
· f(x) ⇒ f (x) = f [ln f(x)] · f(x)
Uma integral é uma soma!Um somatório é uma integral:
Se tivermos: h(x) = f1(x, θ) + f2(x, θ) =
2
i=1
fi(x, θ)
d
dθ
h(x, θ) =
d
dθ
f1(x, θ) +
d
dθ
f2(x, θ) =
d
dθ
2
i=1
fi(x, θ) =
2
i=1
d
dθ
fi(x, θ)
32. Limite Inferior de Cramér-Rao
Seja uma amostra aleatória: X1, X2, i.i.d, da função de densidade f(x, θ), onde θ é
um parâmetro a ser estimado. E seja T = g(X1, X2) um estimador de θ, tal que T
é um estimador não viciado: E[T] = θ.
33. Limite Inferior de Cramér-Rao
Seja uma amostra aleatória: X1, X2, i.i.d, da função de densidade f(x, θ), onde θ é
um parâmetro a ser estimado. E seja T = g(X1, X2) um estimador de θ, tal que T
é um estimador não viciado: E[T] = θ.
∞
−∞
f(x, θ) dx = 1 (1)
34. Limite Inferior de Cramér-Rao
Seja uma amostra aleatória: X1, X2, i.i.d, da função de densidade f(x, θ), onde θ é
um parâmetro a ser estimado. E seja T = g(X1, X2) um estimador de θ, tal que T
é um estimador não viciado: E[T] = θ.
∞
−∞
f(x, θ) dx = 1 (1)
E[T] =
∞
−∞
∞
−∞
g(x1, x2)
T
f(x1, x2, θ) dx1 dx2 = θ (2)
35. Limite Inferior de Cramér-Rao
Seja uma amostra aleatória: X1, X2, i.i.d, da função de densidade f(x, θ), onde θ é
um parâmetro a ser estimado. E seja T = g(X1, X2) um estimador de θ, tal que T
é um estimador não viciado: E[T] = θ.
∞
−∞
f(x, θ) dx = 1 (1)
E[T] =
∞
−∞
∞
−∞
g(x1, x2)
T
f(x1, x2, θ) dx1 dx2 = θ (2)
Neste último resultado
E[T] =
∞
−∞
∞
−∞
g(x1, x2) · f(x1, θ) · f(x2, θ) dx1 dx2 = θ
52. Limite Inferior de Cramér-Rao
Se a amostra é de tamanho n,
∞
−∞
. . .
∞
−∞
g(x1, . . . , xn)
T
n
i=1
d
dθ
ln f(xi, θ)
Y
·f(x1, . . . , xn, θ) dx1 . . . dxn = 1 (5)
53. Limite Inferior de Cramér-Rao
Se a amostra é de tamanho n,
∞
−∞
. . .
∞
−∞
g(x1, . . . , xn)
T
n
i=1
d
dθ
ln f(xi, θ)
Y
·f(x1, . . . , xn, θ) dx1 . . . dxn = 1 (5)
E[T · Y ] = 1
Lembre-se Cov[X, Y ] = E[XY ] − E[X]E[Y ] e Cov[X, Y ] = ρσXσY
54. Limite Inferior de Cramér-Rao
Se a amostra é de tamanho n,
∞
−∞
. . .
∞
−∞
g(x1, . . . , xn)
T
n
i=1
d
dθ
ln f(xi, θ)
Y
·f(x1, . . . , xn, θ) dx1 . . . dxn = 1 (5)
E[T · Y ] = 1
Lembre-se Cov[X, Y ] = E[XY ] − E[X]E[Y ] e Cov[X, Y ] = ρσXσY
E[T · Y ] = Cov[T, Y ] + E[T] · E[Y ]
Mas E[Y ] = 0, logo
1 = Cov[T, Y ] = ρT,Y · σT · σY
57. Limite Inferior de Cramér-Rao
1 = ρT,Y · σT · σY (6)
ρ =
1
σT · σY
De ρ2
≤ 1
1
σ2
T · σ2
Y
≤ 1 e nalmente
58. Limite Inferior de Cramér-Rao
1 = ρT,Y · σT · σY (6)
ρ =
1
σT · σY
De ρ2
≤ 1
1
σ2
T · σ2
Y
≤ 1 e nalmente σ2
T ≥
1
σ2
Y
59. Limite Inferior de Cramér-Rao
1 = ρT,Y · σT · σY (6)
ρ =
1
σT · σY
De ρ2
≤ 1
1
σ2
T · σ2
Y
≤ 1 e nalmente σ2
T ≥
1
σ2
Y
Lembrando da eq. (4): V ar[Y ] = nE
d
dθ
ln f(X, θ)
2
σ2
T ≥ nE
d
dθ
ln f(X, θ)
2 −1