1 estimaciÓn de coeficientes de mÁxima verosimilitud x y xixi 11 1 + 2 x i y = 1 + 2 x...
TRANSCRIPT
1
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
X
Y
Xi
1
1+ 2Xi
Y = 1+ 2X
Ahora, se aplicará el principio de máxima verosimilitud al análisis de regresión en un modelo de regresión simple Y = 1 + 2X + u.
2
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
El marcador negro muestra el valor que tendría Y si X fuera igual a Xi y si no hubiera un término de error.
X
Y
Xi
1
1+ 2Xi
Y = 1+ 2X
3
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
Sin embargo, se asumirá que existe un término de error en el modelo y que tiene una distribución normal como la que se muestra.
X
Y
Xi
1
1+ 2Xi
Y = 1+ 2X
4
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
Respecto al marcador negro, la curva representa la distribución ex ante para u, es decir, su distribución potencial antes de que se genere la observación. Ex post, por supuesto, se fija en un cierto valor específico.
X
Y
Xi
1
1+ 2Xi
Y = 1+ 2X
5
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
En relación al eje horizontal, la curva también representa la distribución ex ante de Y para esa observación, es decir, condicional en X = Xi.
X
Y
Xi
1
1+ 2Xi
Y = 1+ 2X
6
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
Los valores potenciales de Y, cercanos a 1 + 2Xi, tendrán densidades relativamente grandes.
X
Y
Xi
1
1+ 2Xi
Y = 1+ 2X
X
Y
Xi
1
1+ 2Xi
Y = 1+ 2X
7
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
... mientras valores deY relativamente lejanos de 1 + 2Xi tendrán densidades reducidas.
8
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
El valor medio de la distribución de Yi es 1 + 2Xi. Su desviación estándar es , la desviación estándar del término error.
X
Y
Xi
1
1+ 2Xi
Y = 1+ 2X
9
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
Por lo tanto, la función de densidad para la distribución ex ante de Yi es la que se muestra.
X
Y
Xi
1
1+ 2Xi
Y = 1+ 2X
2
21 21
21
)(
ii XY
i eYf
10
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
La función de densidad conjunta para las observaciones en Y es el producto de sus densidades individuales.
2
21 21
21
)(
ii XY
i eYf
2
212
21
1
211211
21
...2
1)(...)(
nn XYXY
n eeYfYf
11
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
Ahora, tomando 1, 2 y como nuestra elección de variables, y tomando los datos de Y y X como dados, se puede reinterpretar esta función como la función de máxima verosimilitud 1, 2, y .
2
21 21
21
)(
ii XY
i eYf
2
212
21
1
211211
21
...2
1)(...)(
nn XYXY
n eeYfYf
2
212
21
121
211211
21
...2
1,...,|,,
nn XYXY
n eeYYL
12
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
Elegiremos 1, 2, y con el propósito de maximizar la verosimilitud, dados los datos de Y y X. Usualmente, es más fácil hacer esto de manera indirecta, maximizando el log-verosimilutd (log-likelihood).
2
21 21
21
)(
ii XY
i eYf
2
212
21
1
211211
21
...2
1)(...)(
nn XYXY
n eeYfYf
2
212
21
121
211211
21
...2
1,...,|,,
nn XYXY
n eeYYL
2
212
21 211211
21
...2
1loglog
nn XYXY
eeL
13
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
El primer paso es descomponer la expresión como la suma de los logaritmos de los factores.
Zn
XYXYn
ee
eeL
nn
XYXY
XYXY
nn
nn
221
log
21
...21
21
log
21
log...2
1log
21
...2
1loglog
2
2
21
2
1211
2
212
21
2
212
21
211211
211211
14
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
Después, separamos el logaritmo de cada factor en dos componentes. El primer componente es el mismo en cada caso.
Zn
XYXYn
ee
eeL
nn
XYXY
XYXY
nn
nn
221
log
21
...21
21
log
21
log...2
1log
21
...2
1loglog
2
2
21
2
1211
2
212
21
2
212
21
211211
211211
15
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
Por lo tanto, el log-verosimilud (log-likelihood) se simplifica como se muestra.
Zn
XYXYn
ee
eeL
nn
XYXY
XYXY
nn
nn
221
log
21
...21
21
log
21
log...2
1log
21
...2
1loglog
2
2
21
2
1211
2
212
21
2
212
21
211211
211211
221
21211 )(...)( donde nn XYXYZ
16
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
Para maximizar el log-verosimilitud (log-likelihood), se debe minimizar Z. Sin embargo, la elección de los estimadores de 1 y 2 para minimizar Z es exactamente lo que se hizo cuando se derivaron los coeficientes de regresión de mínimos cuadrados.
Zn
XYXYn
ee
eeL
nn
XYXY
XYXY
nn
nn
221
log
21
...21
21
log
21
log...2
1log
21
...2
1loglog
2
2
21
2
1211
2
212
21
2
212
21
211211
211211
221
21211 )(...)( donde nn XYXYZ
17
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
Por lo tanto, para este modelo de regresión, los estimadores de máxima verosimilitud de 1 y 2 son idénticos a los estimadores de mínimos cuadrados.
Zn
XYXYn
ee
eeL
nn
XYXY
XYXY
nn
nn
221
log
21
...21
21
log
21
log...2
1log
21
...2
1loglog
2
2
21
2
1211
2
212
21
2
212
21
211211
211211
221
21211 )(...)( where nn XYXYZ
18
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
Como consecuencia, Z será la suma de los cuadrados de los residuales de los mínimos cuadrados.
iiii
nn
XbbYee
XYXYZ
212
221
21211
where
)(...)( where
ZnL22
1loglog
2
19
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
Para obtener el estimador de máxima verosimilitud de , es conveniente reordenar la función log-verosimilitud (log-likelihood) como se muestra.
Znn
Znn
ZnL
221
loglog
221
log1
log
221
loglog
2
2
2
20
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
Simplificando respecto de , se obtiene la siguiente expresión.
Znn
Znn
ZnL
221
loglog
221
log1
log
221
loglog
2
2
2
233log
nZZnL
21
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
La condición de primer orden para un máximo requiere que sea igual a cero. Por lo tanto, el estimador de máxima verosimilitud de la varianza es la suma de los cuadrados de los residuales, dividido entre n.
Znn
Znn
ZnL
221
loglog
221
log1
log
221
loglog
2
2
2
233log
nZZnL
n
e
nZ i
22̂
22
ESTIMACIÓN DE COEFICIENTES DE MÁXIMA VEROSIMILITUD
Observe que esto implica un sesgo para muestras finitas. Para obtener un estimador no sesgado, se debe dividir entre n–k, donde k es el número de parámetros, en este caso 2. Sin embargo, el sesgo desaparece a medida que la muestra se vuelve más grande.
Znn
Znn
ZnL
221
loglog
221
log1
log
221
loglog
2
2
2
233log
nZZnL
n
e
nZ i
22̂
Copyright Christopher Dougherty 2000–2009. This slideshow may be freely copied for personal use.
02.02.09