capítulo 7 - departamento de informática usmcvalle/ili-280/cap7-ii-07-2pp.pdf · entonces, dentro...

Universidad Técnica Federico Santa María

1

Capítulo 7Capítulo 7

Estimación de ParámetrosEstimación de Parámetros

Estadística ComputacionalEstadística Computacional

II Semestre 2007II Semestre 2007

Prof. Carlos Valle

Página : www.inf.utfsm.cl/~cvalle

e-mail : [email protected]

C.Valle

2

El objetivo de la estimación de parámetros es proveer de

métodos que permitan determinar con cierta precisión, el

vector de parámetros desconocidos ϑ, de un modelo

estadístico f(x ; ϑ) a partir de una muestra aleatoria de

una población bajo estudio.

1. Método de estimación Puntual

2. Método de estimación por Intervalos

Estimación de Parámetros


2

3

1. Método de estimación Puntual:

Se busca un estimador ϑ que, con base en los

datos muestrales, dé origen a una estimación

univaluada del valor del parámetro.

2. Método de estimación por Intervalos:

Se determina un intervalo aleatorio I(ϑ), donde

con cierta probabilidad, se encuentra el valor del

parámetro ϑ.

Estimación de Parámetros

4

La idea detrás de la estimación puntual es bastante

simple. Cuando muestreamos desde una población

descrita por su función de densidad o cuantía,

conocer significa conocer la población entera.

Por lo tanto, es natural contar con métodos para

encontrar buenos estimadores del parámetro .

Estimación Puntual

)|( θxf

θ

θ


3

5

Un estimador es una regla que nos indica cómo obtener un

parámetro de un modelo, basándose en la información

contenida en una muestra ( M={ f ( x | θθθθ ) : θθθθ ∈∈∈∈ ΘΘΘΘ }}}} modelo )

T : χ τ ⊂ Θ

x T (x) = T (X1, X2,...., Xn)

T (x) : Estimador de θ, variable aleatoria, función de la

muestra, que no depende del parámetro θ.

(T (x) es una estadística basada en la Información χχχχ)

χ={x : x es una muestra aleatoria} Espacio de Información

♦ En lo que sigue = T (X1, X2,..., Xn) estimador de θ.

Definición de Estimador

θ̂

6

Métodos de Estimación Puntual

♦ Método de Momentos

♦ Método de Máxima Verosimilitud


4

7

Momentos Observados

krm rr ,...,1, == µ

Método de Momentos

][,/1

][,/1

][,/1

1

2

2

1

2

2

1

1

1

1

1

k

k

n

i

k

ik

n

i

i

n

i

i

XEXnm

XEXnm

XEXnm

==

==

==

∑

∑

∑

=

=

=

µ

µ

µ

ΜΜΜ

y resolvemos el sistema de ecuaciones:

Momentos Observados

(centrados en cero)

8

El método de MV es la técnica más popular para

derivar estimadores. Sea X1,X2,…,Xn, una muestra

desde una población con función de densidad

La función de verosimilitud se define como:

Para cada punto Xi de la muestra, es el estimador

de los parámetros en el cual alcanza su valor

máximo como función del verdadero valor .

Método de Máxima Verosimilitud

),...,,|( 21 kxf θθθ

)|( θxL

θ)

θ

∏ ===

n

i kikn xfxxxLθxL1 212111 ),..,,|(),..,,|,..,,()|( θθθθθθ


5

9

Si la función de verosimilitud es diferenciable (en ),

el estimador de máxima verosimilitud (EMV) del

verdadero valor es aquel que resuelve:

No obstante, habría que chequear que se cumple:


kiθxLi

,...,1,0)|( ==∂

∂

θ

θ)

θ

kjiθxLji

,...,1,0,)|( ˆ

2

=<

∂∂

∂=θθθθ

θ

10

Dependiendo de la p.d.f, puede resultar muy

complicada la función de verosimilitud, es por ello que

es más fácil trabajar con la función de log-

verosimilitud, definida como:

Equivalentemente, el EMV es el valor de para el

cual se cumple:


∑ ===

n

i kixfθxLθx1 21 ),...,,|(ln)|(ln)|( θθθλ

kiθxi

,...,1,0)|( ==∂

∂λ

θ

θθ̂


6

11

Métodos de Evaluación de E.Puntual

Error Cuadrático Medio (ECM):

El ECM de un estimador del parámetro es

El ECM mide el promedio de la diferencias cuadrática entre el

estimador y el verdadero valor del parámetro, y ha sido por

mucho tiempo una medida razonable del desempeño de todo

estimador puntual.

Una medida alternativa podría ser . No obstante, la

medida cuadrática que utiliza ECM tiene ventajas sobre otras

medidas: primero que es tratable analíticamente, y segundo que

tiene la siguiente interpretación ( dilema sesgo/ variancia):

θ̂≡T ])[( 2θ−TE

|][| θ−TE

12



]2[][)( 222 θθθ +−=−= TTETETECM

2

2

22

22

))((][

)][(][

][2])[(][

][2][

TSesgoTV

TETV

TETETV

TETE

+=

−+=

+−+=

+−=

θ

θθ

θθ

θ−= ][)( TETSesgo

Donde se define el Sesgo (Bias) de un estimador puntual

como:


7

13



El ECM incorpora dos componentes, una que mide la

variabilidad del estimador (precisión) y la otra que mide su

sesgo (cercanía al verdadero valor).

Un buen estimador tiene un ECM pequeño, i.e. tiene

varianza y sesgo pequeños. Parece razonable entonces

escoger como el mejor estimador de , la estadística que

tenga el ECM más pequeño posible de entre todos posibles

los estimadores

θ

θ

14


Error Cuadrático Medio (ECM): No obstante, no existe

ningún estimador que minimice el ECM para todos los

posibles valores de . Es decir, un estimador puede tener

un ECM mínimo para algunos valores de , mientras que

otro estimador tendrá la misma propiedad, pero para otros

valores de .

θθ

θ

Ejemplo: Considere la m.a. X1,X2,…,Xn de alguna

distribución tal que y . Considere

las estadísticas (estimadores):

como posibles estimadores de .

XXn

Tn

i

i == ∑=1

1

1

[ ] µ=iXE [ ] 2σ=iXV

∑=+

=n

i

iXn

T1

21

1

µ

y


8

15


Estimadores Consistentes:

Es razonable esperar que un buen estimador de un

parámetro sea cada vez mejor conforme crece el tamaño

de la muestra.

Esto es, conforme la información de una v.a. se vuelve más

completa, la distribución de muestreo de un buen estimador

se encuentra cada vez más centrada alrededor del

parámetro .

θ

θ

16


Estimadores Consistentes:

Sea el estimador del parámetro , y sea una

secuencia de estimadores que representan a con base en

muestras de tamaño 1,2..,n, respectivamente. Se dice que es

un estimador consistente para si

( ) 0 , , 1||lim >∀∀=≤−∞→ εθεθnn TP

θT nTTT ,...,, 21

T

θ

Obs.: Esta definición proviene del concepto de Convergencia

en Probabilidad. Como ejemplo, anteriormente demostramos

que la media muestral es un estimador consistente de la

media poblacional .

T

µnX


9

17


Estimadores Insesgados de Varianza Mínima:

Es difícil determinar un estimador con mínimo ECM para

todo valor de . Sin embargo, podemos efectuar esta

búsqueda dentro de una clase de estimadores llamados

“estimadores insesgados”. Si un estimador se encuentra

dentro de esta clase, se tiene que:

Entonces, dentro de la clase de estimadores insesgados,

podemos comparar éstos según su varianza.

θ

T

][)( TVTECM =y ][ θ=TE

18


Estimadores Insesgados de Varianza Mínima:

Sea X1,X2,…,Xn una m.a. de una distribución cuya densidad

tiene la forma . Si es un estimador insesgado de ,

entonces la varianza de debe satisfacer la siguiente

desigualdad:

Esta desigualdad establece un límite inferior para la varianza

de un estimador de (denominado “cota inferior de Cramér-

Rao”).

θ)|( θxf T

T

12

)|(ln][

−

∂

∂≥

θ

θXfnETV

θ


10

19


Estimadores Eficientes:

Si es un estimador insesgado del parámetro , se dice que

es un estimador eficiente si se cumple que:

12

)|(ln][

−

∂

∂=

θ

θXfnETV

θT T

Por lo tanto, el estimador eficiente de es el estimador de

mínima varianza, cuyo valor corresponde a la cota inferior de

Cramér-Rao.

El estimador eficiente de , si se puede encontrar, es el mejor

estimador insesgado de , en el contexto del ECM.

θ

θ

θ

20



Ejemplo: Sean X1,X2,…,Xn una m.a. de una distribución

Poisson de parámetro . Encuentre el estimador eficiente

de .λλ

Solución: Consideremos una distribución Poisson.

dada por , y su esperanza y varianza

están dadas por y . Luego:

!/)|( xexp xλλ λ−=λµ ==][XE λσ == 2][XV

)!ln()ln()|(ln xxxp −−= λλλ

λ

λ

λλ

λ −=−=

∂

∂ xxxp1

)|(ln


11

21



Ejemplo:

Entonces:

Y por la definición de eficiencia, el estimador eficiente T de

debe ser tal que se cumpla:

De aquí inferimos que el estimador eficiente de es la

media muestral: .

22)|(ln

−=

∂

∂

λ

λ

λ

λ xE

xpE

[ ]λλ

λλ

1][12

2

2==−=

XVxE

nnnTV

2

/

1][

σλ

λ===

λ

λXT =

22


Eficiencia Relativa:

Se define la eficiencia relativa del estimador T2 respecto del

estimador T1 como:

La varianza de un estimador insesgado es la cantidad más

importante para decidir qué tan bueno es. Si T1 y T2 son dos

cualesquiera estimadores insesgados de :

Se dice que T1 es más eficiente que T2 si .][][ 21 TVTV ≤

θ

)(

)(),(

2

112

TECM

TECMTTef =

][

][),(

2

112

TV

TVTTef =


12

23

Métodos de Evaluación de E.PuntualUna estadística suficiente de un parámetro es aquella que utiliza

toda la información contenida en la m.a. con respecto a

Estimadores Suficientes:

Sea X1,X2,…,Xn una m.a. de una distribución con densidad de

probabilidad . Se dice que T = T(X1,X2,…,Xn) es

suficiente para sí y sólo si la función de verosimilitud

puede factorizarse de la siguiente forma:

para cualquier valor t = T(x1,x2,…,xn) de T (realización) y en

donde no contiene al parámetro .

θ

)|( θxf

),...,()|()|,...,,()|( 111 nn xxgthxxxLθxL θθ ==

θ),...,( 1 nxxg

θθ

24



Ejemplo: Sea X1,X2,…,Xn una m.a. de una distribución

Poisson con pdf .

Demostrar que el estimador eficiente de es a su vez

suficiente.

!/)|( xexp xλλ λ−=

λ

Solución:

)|()|()|()|,...,,( 2111 λλλλ nn xpxpxpxxxL Λ=

∏=

−

−−−

∑=

⋅⋅⋅=

=

n

i

i

nx

n

xxx

xe

xexexe

n

i i

n

1

21

!/

!/!/!/

1

21

λ

λλλ

λ

λλλ Λ


13

25



Solución:

con

( ) ),...,,(|)|,...,,( 21111 n

n

i in xxxgxhxxxL λλ ∑ ==

( ) λλλ nxn

i i exhn

i i −

=

∑= =∑ 1|1

Entonces es una estadística suficiente para . Dado

que el estimador eficiente es una función uno a uno de

esta estadística, también es suficiente para .

∑ =

n

i ix1 λX

X λ

26

Propiedades de los Estimadores

Máximo Verosímiles

Todo estimador máximo verosímiles es:

�Asintóticamente insesgados

�Asintóticamente normales

�Asintóticamente eficientes

�Invariantes bajo transformaciones biunívocas

�Si ∃∃∃∃ estimador suficiente, es suficienteMVθ̂


14

27

Estimación por Intervalos

En la práctica, interesa no sólo dar una estimación

de un parámetro, sino que además, un intervalo

que permita precisar la incertidumbre existente en

la estimación.

Definición: Sea x m.a. ∝∝∝∝ f ( x , θθθθ ). Sean θθθθ1=T1(x),

θθθθ2=T2(x) dos estadísticas de θθθθ : T1 ≤≤≤≤ T2 ∧∧∧∧ ∀∀∀∀x ∈∈∈∈χχχχ ;

P [θ[θ[θ[θ1 ≤≤≤≤ θθθθ ≤≤≤≤ θθθθ2]]]] = 1 - αααα = γγγγ

Entonces el I = [θ[θ[θ[θ1 ; θθθθ2]]]] se llama intervalo aleatorio

de confianza del 100 γγγγ % para θθθθ ( 0 < αααα < 1 ).

28

Fijado αααα, el problema de determinar θθθθ1 y θθθθ2 puede

resolverse encontrando una variable aleatoria

Q(x,θθθθ) cuya distribución esté totalmente definida,

que sea independiente de θθθθ.

La variable Q(x,θθθθ) se denomina “Cantidad Pivotal”.

La construcción del intervalo de confianza se

efectúa con base en el mejor estimador del

parámetro desconocido θθθθ.



15

29

1. Encontrar una cantidad Q.

2. P [[[[q1 ≤≤≤≤ Q ≤≤≤≤ q2]]]] = 1 - αααα = γγγγ3. Invertir P [θ[θ[θ[θ1 ≤≤≤≤ θθθθ ≤≤≤≤ θθθθ2]]]] = γγγγ , obteniendo así un

intervalo I=[θ[θ[θ[θ1 ; θθθθ2]]]] de confianza para θθθθ de nivel

100 γγγγ %.

Obs: Para muestras grandes existe una v. a. Q asintótica

ya que para , se tiene MVθ̂

( ) )1;0(ˆ

ˆNZQ

MV

MV ≈−

==θσ

θθ

Método de la Cantidad Pivotal

( )[ ]MVMV zI θσθ α

ˆˆ21−±=El intervalo para θθθθ estaría dado por:

donde el cuantil puede obtenerse de la tabla de la

distribución Normal estándar.2/1 α−z

30

I. C. para cuando suponemos normalidad con varianza

conocida:

Considerando como estimador de la media poblacional

como la media muestral , deseamos construir un intervalo

de confianza tal que:

Donde y


µ

)]()([1)]()([ 2121 xTxTPgXgP <<=−=<< µαµµ

2/);(

)(1

αµµ

=∫∞−

g

xdxf 2/);()(2

αµµ

=∫∞

g

xdxf

);( µxf es la función de densidad de la distribución de muestreo

de , y y son funciones de , las cuales

no contienen a ningún otro parámetro desconocido.

X

X )(1 µg )(2 µg µ

1)


16

31

I. C. para cuando suponemos normalidad con

varianza conocida:

Puesto que , la v.a. ,

entonces:


µ

ασ

µσ

µµ αα −=

+<<−=<< −− 1)]()([ 2/12/121

nzX

nzXPgXgP

),(~ σµNX )1,0(~)/(

)(N

n

XZ

σ

µ−=

considerando y ,

además de se tiene:

2/11

/

)(α

σ

µµzq

n

g==

−2/12

2

/

)(α

σ

µµ−==

−zq

n

g

ασ

µσ

µ ααγ −=

+<<−= −− 1)( 2/12/1

nzX

nzXPI

2/1212/ αα −−=−== zqqz

1)

32


conocida:

Luego, el intervalo de confianza del para la media

poblacional es:


µ

)%1(100 α−


distribución Normal estándar.

±=

+−= −−−

nzx

nzx

nzxI

σσσααα 2/12/12/1 ,

2/1 α−z

1)


17

33


desconocida:

Sabemos que cuando se muestrea una v.a. ,

donde tanto como son desconocidos, la v.a.

sigue una distribución t-Student con (n-1) gl.,

donde S es la desviación estándar y n es el

tamaño de la muestra.

Por lo tanto, es posible determinar el valor del cuantil

de T, para el cual:


µ

ααα −=<<− −−−− 1][ 1,2/11,2/1 nn tTtP

µ σ),(~ σµNX

nS

XT

/

µ−=

1,2/1 −− nt α

2)

34


conocida:

Entonces:


µ2)

αµ αα −=

+<<− −−−− 11,2/11,2/1

n

StX

n

StXP nn

Luego, el intervalo de confianza del para la media

poblacional es:

)%1(100 α−


distribución t-Student con (n-1) grados de libertad.

±=

+−= −−−−−−

n

stx

n

stx

n

stxI nnn 1,2/11,2/11,2/1 , ααα

1,2/1 −− nt α


18

35

I. C. para la diferencia de medias ( distribuciones

normales independientes):

Sean X1,X2,…,Xn y Y1,Y2,…,Ym dos m.a. provenientes de

dos distribuciones normales independientes, con medias

y y varianzas y , respectivamente.

Se desea construir un intervalo de confianza para la

diferencia , con el supuesto que se conocen las

varianzas.

Es sabido que la v.a.


3)

Xµ

Yµ 2

Xσ 2

Yσ

)1,0(~)(

22N

mn

YXZ

YX

YX

σσ

µµ

+

−−−=

YX µµ −

36

I.Confianza para la diferencia de medias cuando se

muestrean dos distribuciones normales independientes:

Por lo tanto, es posible determinar el valor del cuantil

para el cual


ααα −=<<− −− 1][ 2/12/1 zZzP2/1 α−z

3)

ασσ

µµσσ

αα −=

++−<−<+−− −− 1

22

2/1

22

2/1mn

zYXmn

zYXP YXYX

YX

+±−=− −mn

zyxI YX

22

2/121 )(σσ

µµ αγ

Entonces:


distribución Normal estándar.2/1 α−z

El intervalo está dado por:


19

37

I. C. para la diferencia de medias ( distribuciones normales

independientes):

Si las varianzas se desconoce, pero son iguales, entonces la

v.a.


donde el estimado combinado de la varianza común es:


3)

)(~11

)(kStudentt

mnS

YXZ

p

YX −

+

−−−=

µµ2−+= mnk

k

smsns

YX

p

22

2)1()1( −+−

=

gl

+±−=− −mn

styxI pk

11)( ,2/121 αγ µµ

38

I.C. para cuando suponemos normalidad con media

desconocida:

Sabemos que cuando se muestrea una v.a. ,

donde tanto como son desconocidos, la v.a.

sigue una distribución Ji-cuadrada con (n-1) gl.,

donde S es la desviación estándar y n es el

tamaño de la muestra.

Por lo tanto, es posible determinar el valor de los cuantiles

y tales que


2σ

αχχχ αα −=<< −−− 1][ 1,2/12

1,2/2

nnP

µ σ),(~ σµNX

2

22 )1(

σχ

Sn −=

1,2/2

−nαχ

4)

1,2/12

−− nαχ


20

39

:


Luego, el intervalo de confianza del , para la

varianza, con base en los datos de una muestra de tamaño n

es:

)%1(100 α−

donde los cuantiles y se obtienen de la

tabla de la distribución Ji-Cuadrada con (n-1) g.l.

−−=

−−− 1,2/2

2

1,2/12

2 )1(,

)1(

nn

snsnI

αα χχ

1,2/2

−nαχ 1,2/12

−− nαχ

4) I. C. para cuando suponemos normalidad con media

desconocida:

2σ

40

I. C. para el cuociente de dos varianzas (distribuciones


Sean X1,X2,…,Xn y Y1,Y2,…,Ym dos m.a. de dos

distribuciones normales independientes, con medias y

y varianzas y , respectivamente.

Se desea construir un intervalo de confianza para el

cuociente .

Es sabido que la v.a.


5)

Xµ Yµ2

Xσ 2

Yσ

)1,1(~/2

2

2

2

−−= mnFSS

FY

Y

X

X

σσ

22 / XY σσ


21

41

I. C. para el cuociente de dos varianzas (distribuciones


Por lo tanto, es posible determinar los cuantiles a y b tales

que:


[ ] α−=<< 1ba FFFP

donde

1,1,2/1

1

−−−

=mn

af

Fα 1,1,2/1

1

−−−

=mn

bf

Fα

y

=

2

2

2

2

,X

Yb

X

Ya

s

sF

s

sFI

donde los cuantiles Fa y Fb pueden obtenerse de la tabla de la

distribución F con (n-1) y (m-1) grados de libertad.


42

Intervalo de ConfianzaIntervalo de Confianza Cantidad Cantidad PivotalPivotal

µ media la Para n

Xz

−=

σ

µ0

nS

Xt

−= 0µ

(σ conocido)

(σ desconocido)

2 variancia σlaPara ( )1

2

2

22 1

−−

= nSn

χσ

χ ∼


22

43

Intervalo de ConfianzaIntervalo de Confianza Cantidad Cantidad PivotalPivotal

21 Diferencia µµ − ( ) ( )2

21

21

2121

21 −++

−−−nn

P

t

nn

nnS

XX µµ

2

2

2

1 /σσ

p

( )112

2

2

1

21 −− nnFS

S,

∼

( ) ( )2

2

2

2

1

2

1

2121

21 −∆−+

+

−−−nn

P

t

n

S

n

SS

XX µµ∼

∼

( )( )1,0

ˆ1ˆ

ˆN

ppn

pnX

mvmv

mv

−

−∼

2

2

2

1

2

σσ

σ

=

adesconocid

2

2

2

1

2

σσ

σ

≠

adesconocid

capítulo 7 - departamento de informática usmcvalle/ili-280/cap7-ii-07-2pp.pdf · entonces, dentro...

Documents