1. Departament
d’estadísticoa
Grup d’estadísticoa Computacional
Introducción alametodología
bootstrap
Jordi Ocaña
Departament d’estadísticoa
Secció Departamental deBiologia
Universitat deBarcelona

2. Departament
Puntosatratar
Elementosdeun problemadeinferencia
estadísticoa
Determinación deladistribución muestral (o de
algunadesuscaracterísticas)
Principio “plug-in” y bootstrap
Principio deMontecarlo y bootstrap
Necesariacorrespondenciaentre“mundo real” y
“mundo bootstrap”
Ejemplos

3. Departament
Procesamiento
Elementosdeun problemade
inferenciaestadística
“losdatos”
X
x
muestra
observada
( )t x estadísticos
( ), ,R t F x Medidasde
precisión
y
khi2(5)
0 2 4 6 8 10 12 14
0.00.050.100.15
Estudio experimental u
observacional
Modelo
probabilístico,
mecanismo
“generador” delos
datos
F Î F

4. Departament
13.1, 12.2,
15.5, ...
Medimoslapresión
sanguineasistólicadeuna
muestraaleatoriade
individuos deuna
población
Elementosdeun problemade
I.E. Ejemplo introductorio
( )
( )
1
1
,
ˆ
n
i
i
x n
x x t
n s
m
=
-
= =å x
Normal demediay
varianza
desconocidas
( ) ( )
( )2
2
2
12
1
; , 2
ixn
i
f e
m
sms s p
-
--
=
= Õx( )1, , nx x=x K
muestra
aleatoria
simplede
tamaño n
y
t(20)
-4 -2 0 2 4
0.00.10.20.30.4

5. Departament
Distribución exactadelamedia
muestral
LlamemosG aladistribución del
estadístico , G = G(F(;,
),...)X
Bajo fuertesuposición sobrelaformade F
(normalidad), formade G conocidademanera
exacta: N(,
n), paratodo n
Dependientedeparámetrosdesconocidos: ,
.
En lapráctica, aproximación
2
ˆ
ˆ,N
n
s
m
æ ö
÷ç ÷ç ÷çè ø
( )
válida solamente
para estimar
var X

6. Departament
Distribución muestral exactadel
estadístico t
LlamemosH aladistribución del
estadístico t(X), H = H(F(;,
),...)
Bajo fuertesuposición sobrelaformade F
(normalidad), conocidadeformaexacta: t
deStudent con n  1 g.d.ll
Graciasal carácter pivotal de t(x), no
dependedeparámetrosdesconocidos
 Pero quepasabajo otrasformasde F?

7. Departament
Distribución muestral bajo
condicionsmásgenerales
Según el TeoremaCentral del Límite, si n
“grande” ( )2
, / ,en la prácticaX N nms»
( ) ( )2 2
ˆ ˆ, / (p.e. , / )X N n N x s nms»
Igualmente, según el T. C. L., esrazonable
laaproximaciónn t  N(0,1)
Casosmásgeneralesmásproblemáticos:
( )
( )( )
, ,
ˆ nU
n U
U
q
s
-X
X K

8. Departament
Esquemageneral deestas
aproximaciones
Determinación previade
laformadeladistribución
muestral,
G(,...)=G(F(;),...)
x
dnorm(x)
-4 -2 0 2 4
0.00.10.20.30.4
Ajustedelos
parámetrosdela
distribución muestral,
G( , ,...) ˆq ˆh
x
dnorm(x,mean=0.5,sd=0.75)
-4 -2 0 2 4
0.00.10.20.30.40.5

9. Departament
Principio “plug-in” y bootstrap
(en sentido amplio)
Fijémonosen el paso G = G(F(;,
),...)
Si esunabuenaestimación deF apartir
delosdatos, parecerazonableaproximar G
mediante
ˆF
( )ˆ ,G F K
Principio “plug-in”
Metodologia bootstrap  inferencia
basada en el Principio “plug-in”

10. Departament
A menudo esladistribución empírica,
Fn, discreta, queassignaprobabilidad 1/n
acadavalor muestral y 0 acualquier otro
ˆF
Ejemplo: aplicación automàtica
del Principio “plug-in”
Si interessacaracterísticaconcretacomo
( )
( )var
var F
F
X
X
n
=
 Según Principio “plug-in”:
( )
( ) 2var
var n
n
F
F
X s
X
n n
= =

11. Departament
( )
( )( )
( ) ( )( )
( ) ( )
2
1
22 2
1
var
1
1
n n
n
n n
n
F F
F
n
iF F
i
n
iF
i
E X E X
X
n
E X x x E X
n
E X x x x s
n
=
=
-
=
= = =
- = - =
å
å
( )
( )( )
( ) ( )( )
( ) ( )
2* *
*
* *
1
2 2* 2
1
var
1
1
n n
n
n n
n
F F
F
n
iF F
i
n
iF
i
E X E X
X
n
E X x x E X
n
E X x x x s
n
=
=
-
=
= = =
- = - =
å
å
Detallesdel cálculo anterior
Convenienciadenotación X*
en lugar de
X: no eslamismav.a

12. Departament
Dificultadesen laaplicación del
Principio “plug-in”
No tan (o avecesnada) clarasu aplicación
en situacionesmáscomplejas:
otrascaracterísticasdeladistribución muestral,
incluso paraestadísticossencilloscomo la
mediamuestral (p.e. un cuantil, ...)
otrosestadísticosqueno sean mediasni
funcionessenzillesdemedias
determinación deladistribución muestral
completa
( )ˆ;G F

13. Departament
El método deMontecarlo
( ) ( )
( ) ( )
( ) ( )
1 11 1 1 1
2 21 2 2 2
1
, ,
, ,
, ,
n
n
m mn m mm
F
x x U u
x x U u
x x U u
= =
= =
= =
¯
x
x
x
x
x
x
K a
K a
M
K a
Modelo probabilístico,
completamente especificado
( )2
p.e. réplicas ,n N iidms
Generación dem muestras
independientes(o no)
según F
(gran)
muestrade
m valores
del
estadístico
“Leyesde
losgrandes
números”
( )
( )
2
1
1
( ) var
1
ˆ ; , etc.
m
j F
j
u u U
m
G G F
=
- @
-
@
å

14. Departament
Generación deB
“remuestras” detamaño n
(muestrasaleatoriascon
reemplazo deloselementosde
x)
Bootstrap y Montecarlo
( ) ( )
( ) ( )
( ) ( )
1 11 1 1 1
2 21 2 2 2
1
* * * * *
* * * * *
* * * * *
ˆ
, ,
, ,
, ,
n
n
B B Bn B B
F
x x U u
x x U u
x x U u
= =
= =
= =
¯
x
x
x
x
x
x
K a
K a
M
K a
estimación del Modelo probabilístico,
{ }*
* * * 1
1
si , ,
p.e.
0 en caso contrario
nx x x
nP X x
ìï Îïïé ù= = íë û ïïïî
K
muestradeB
valoresdel
estadístico
“Leyesde
losgrandes
números”
( )
( )
* * 2 *
ˆ
1
*
1
( ) var
1
ˆ ˆ; , etc.
b
B
F
b
u u U
B
G G F
=
- @
-
@
å

15. Departament
Quéestimamosapartir del
Montecarlo bootstrap?
( ) ( ) ( )
( ) ( )
· ( ) ( ) ( ) ( )
( )
( ){ } ( ) ( )[ ]
*
* * *
1
* *
ˆ*
1
2* * *
ˆ*
1
*
* *
ˆ*
"Verdadero"Montecarlo
Plug-in valor delbootstrap
funcional
ˆ ˆ ˆ, , ; ;
1
1
var var var
1
#
ˆ
B
B
b FF
b
B
b FF
b
b
FF
G G u u G F G F
u u E U E U
B
U u u U U
B
u U
P U U P U U P U U
B
=
=
@ @
= @@
= @@
= - @@
-
³
é ù é ù=³ @ ³ @ ³ë û ë û
å
å
x
x x x
K
Problema“clásico” de
precisión estadística
Error deaproximación
deMontecarlo

16. Departament
Validez delaaproximación
bootstrap
Resultado general (pero no muy útil):
Según Leyesdelosgrandesnúmeros, Fn(x) tiende(en
diversossentidos) haciaF(x). Extensibleafunciones
suficientemente“suaves”
Validez: resultado sobrefuncionales, funciones
globalesdeFn (u otrasestimaciones) y deF:
teoremaslímitesobredistanciasentredistribuciones
Másinteréspráctico: comparación entre
aproximación bootstrap y otras, paran finito

17. Departament
Característicasgeneralesdelos
ejemplos
Modelo probabilístico subyacenteconocido
Normal  = 15,  = 3, o bien
Exponencial  = 1/ = 1/15
( distribución muestral conocida)
Análisisdeúnicamuestra(pequeña, n = 10),
generadasegún uno u otro modelo.
caso normal: 15.54, 21.06, 16.52, 13.62, 16.14, 10.98,
13.53, 16.02, 16.79, 15.90
caso exponencial: 8.51, 8.71, 69.19, 10.05, 23.64, 8.67,
1.51, 20.36, 1.23, 5.27

18. Departament
Característicasgeneralesdelos
ejemplos
estadísticos: mediamuestral y t
aproximaciones: normal, bootstrap no
paramétrico y bootstrap paramétrico
aproximacionesbootstrap: estima“kernel” a
partir deB= 1000 valoresdel estadístico
(mediao t, según el caso)
Cadauno deestosvalorescalculado sobre
unaremuestradetamaño n = 10

19. Departament
Mediamuestral, caso normal: n
= 10,  = 15,  = 3
( )Verdadera distribución: 15,3/ 10X N:
( )
Aproximación normal:
ˆ15.62, / 2.63/ 10X N x s n» = =
( )
( )1
* *
* * *
Bootstrap: 1000 valores
para remuestras , , n
x X
x x
=
=
x
x K
*
: cada escogido con probabilidad
1/ entre los de la
no paramétri
muestra ori n
c
al
o
gi
ix
n
( )*
: cada generado segúnparamét 15.ric 6 .o 2,2 63ix N

20. Departament
Mediamuestral, caso normal:
Verdaderadensidad, aprox normal, bootstrap
no paramétrico y paramétrico
rang.xBarra
dens.veritat
12 13 14 15 16 17
0.00.10.20.30.40.5
rang.xBarra
dens.normAprox
12 13 14 15 16 17
0.00.10.20.30.40.5
dens.bootstrap$x
dens.bootstrap$y
12 13 14 15 16 17 18
0.00.10.20.30.40.5
dens.bootstrap.param$x
dens.bootstrap.param$y
12 13 14 15 16 17 18
0.00.10.20.30.40.5

21. Departament
Mediamuestral, caso
exponencial:  = 1/ = 1/15
( )Verdadera distribución: 10/ 15,10X Gam:
( )
Aproximación normal:
ˆ15.71, / 20.13/ 10X N x s n» = =
( )
( )1
* *
* * *
Bootstrap: 1000 valores
remuestras , , , 1, ,b nb
b b
b
B x X
x x b B
= =
= =
x
x K K
*
: cada elegido con probabilidad
1/ entre los de la
no paramétri
muestra ori n l
c
i a
o
g
ibx
n
( )*
: generados coparamét moric 1/ 15.7o 1ibx Exp

22. Departament
Mediamuestral, exponencial:
verdaderadensidad, aprox normal, bootstrap no
paramétrico y paramétrico
rang.xBarra
dens.veritat
5 10 15 20 25
0.00.020.040.060.080.10
rang.xBarra
dens.normAprox
5 10 15 20 25
0.00.020.040.060.080.10
dens.bootstrap$x
dens.bootstrap$y
5 10 15 20 25
0.00.020.040.060.080.10
dens.bootstrap.param$x
dens.bootstrap.param$y
5 10 15 20 25
0.00.020.040.060.080.10

23. Departament
Estadístico t, caso normal: n
= 10,  = 15,  = 3
( )Verdadera distribución: 1 9t n - =t:
( )Aproximación normal: 0,1t N»
( )
( )1
* *
* * *
Bootstrap: 1000 valores
para remuestras , , n
t t
x x
=
=
x
x K
*
: cada escogido con probabilidad
1/ entre los de la
no paramétri
muestra ori n
c
al
o
gi
ix
n
( )*
: cada generado segúnparamét 15.ric 6 .o 2,2 63ix N

24. Departament
Detalley justificación del
proceso deremuestreo
( )
( )
( )
( )
( )
1, ,
1 2ˆˆ (
"Mundo
)
1
real"
,
1
ˆ
nx x
x X
n
s S x x
in i
n x
t
s
E X F
F
m
m
¯
=
¯
=
= = -å
- =
¯
-
=
=
x
x
x
K
( )
( )
( )
( )
( )
*
* * *
1
* *
* * * *
*
*
*
"Mundo bootstrap"
ˆ ,
, ,
1 2ˆˆ ( )
1 1
ˆ
n
n
i
x x
x X
n
s S x x
n i
n x x
t
E
s
x X F
nF
m= =
¯
=
¯
=
= = -å
- =
¯
-
=
x
x
x
K

25. Departament
Estadístico t, normal: verdadera
densidad, aprox normal, bootstrap no
paramétrico y paramétrico
rang.t
dens.veritat
-4 -2 0 2 4
0.00.10.20.30.4
rang.t
dens.normAprox
-4 -2 0 2 4
0.00.10.20.30.4
dens.bootstrap$x
dens.bootstrap$y
-4 -2 0 2 4
0.00.10.20.30.4
dens.bootstrap.param$x
dens.bootstrap.param$y
-4 -2 0 2 4
0.00.10.20.30.4

26. Departament
Estadístico t, exponencial: n
= 10,  = 1/ = 1/15
Verdadera distribución:
estimada por simulación
( )Aproximación normal: 0,1t N»
( )
( )1
* *
* * *
Bootstrap: 1000 valores
para remuestras , , n
t t
x x
=
=
x
x K
*
: cada escogido con probabilidad
1/ entre los de la
no paramétri
muestra ori n
c
al
o
gi
ix
n
( )*
: cada generado segúpar namétr 1/ 15.62ico ix Exp

27. Departament
Estadístico t, exponencial:
verdaderadens, aprox normal, boot no
paramétrico y paramétrico
dens.veritat$x
dens.veritat$y
-4 -2 0 2 4
0.00.10.20.30.4
rang.t
dens.normAprox
-4 -2 0 2 4
0.00.10.20.30.4
dens.bootstrap$x
dens.bootstrap$y
-4 -2 0 2 4
0.00.10.20.30.4
dens.bootstrap.param$x
dens.bootstrap.param$y
-4 -2 0 2 4
0.00.10.20.30.4

28. Departament
Caso exponencial, t, n = 40
dens.veritat$x
dens.veritat$y
-4 -2 0 2 4
0.00.10.20.30.4
rang.t
dens.normAprox
-4 -2 0 2 4
0.00.10.20.30.4
dens.bootstrap$x
dens.bootstrap$y
-4 -2 0 2 4
0.00.10.20.30.4
dens.bootstrap.param$x
dens.bootstrap.param$y
-4 -2 0 2 4
0.00.10.20.30.4