1

2222)(

)(

)(

)()(ˆ

XX

YXX

XX

YYXX

XnX

YXnYX

i

ii

i

y

i

x

i

i

ii

ii

III. 5 El Modelo Clásico de Regresión Lineal NORMAL

(MCRLN)

Recordemos que:

Por lo tanto,

iiYk donde

2

i

i

ix

xk

Además, y del modelo poblacional, tenemos que:

iii uXY .

Entonces,

iY

iii uXk )(ˆ

Note que las ik , las iX , la y la son fijas.

Por lo tanto, la distribución de dependerá de la función de

distribución de iu .

Dependerá la distribución de iu también?

2

Nuestro fin es conocer las distribuciones de probabilidad de:

y

Sin las distribuciones de probabilidad, no podemos:

i) relacionarlas con sus valores verdaderos

(hacer inferencia estadística);

ii) hacer predicciones,

iii) ni probar hipótesis.

3

En el modelo:

iii uXY

iu representa la influencia combinada (de las variables omitidas)

sobre la variable dependiente.

Se espera que esta influencia sea pequeña y aleatoria.

Usando el Teorema Central del Límite (gran número de variables

aleatorias independientes e idénticamente distribuidas) la suma de

estas variables tiende a ser normal a medida que el n crece.

Nzzzz

iii

niiii

uXY

...321

Este supuesto es el que se usa para decir que iu tiene una

distribución de probabilidad normal.

NOTA: MCLR + supuesto de normalidad de iu = MCRLN

0)( iuMedia 2)( iuVarianza

0),( ji uuCov

Nota: Si dos variables están normalmente distribuidas, una

covarianza o correlación cero significa independencia. Así,

),0( 2NIDui

),0( 2Nui

4

III.5.i Pruebas de Normalidad para iu

Existen muchas formas de testear, empíricamente o

experimentalmente, la normalidad de los residuos. Aquí, veremos

dos.

Recordemos que en vez de iu sólo se observa iu .

III.5.i.a Histograma de Residuos

En el eje horizontal se tiene residuos muestrales iu agrupados de

acuerdo a intervalos de igual largo. La altura es el número de

observaciones contenidas en el gráfico (gráfico de frecuencias). Si la

curva de distribución normal se ajusta sobre el histograma se intuirá

si la aproximación normal resulta o no apropiada.

5

III.5.ii Propiedades de los estimadores MCO

bajo el supuesto de normalidad de iu

Propiedad 1:

Son insesgados

Propiedad 2:

Tienen varianza mínima

Propiedad 3:

Presentan consistencia

6

),(ˆ2

N

ˆZ

Propiedad 4:

Al ser y una función lineal de iu , están normalmente

distribuidos.

) ˆ (Media

22

2

2

)ˆ(

i

i

xn

XVarianza

donde )1,0(NZ

) ˆ (Media

2

2

2

)ˆ(

ix

Varianza

),N( ˆ 2

y )1,0(

ˆ Z N

7

Propiedad 5:

y tienen varianzas mínimas entre todas las clases de

estimadores insesgados (aunque ahora dentro de la clase de

estimadores lineales y también los no lineales)

Por consiguiente, los estimadores MCO son MEI.

Mejor

Estimador

Insesgado

Rao

8

III.5.iii

El Método de Máxima Verosimilitud

(MV) bajo el supuesto de normalidad de iu

MV es otro método de estimación puntual, así como también lo es el

MCO.

Lógica:

Consiste en estimar los parámetros desconocidos y de tal

manera que la probabilidad de observar las iY (generadas por una

función de probabilidad) sea la más alta posible.

9

Estimación de parámetros del modelo simple bajo MV

Bajo las condiciones normales, se sabe que:

),0( 2NIDui

Entonces, la probabilidad de iu se escribe como:

2

22

2

1exp

2

1),/(

i

ii

uXuf

(*)

Pero, del modelo de regresión lineal simple (nuestro interés), se sabe

que:

iii uXY

Por lo tanto, la ecuación * se puede escribir en términos de y ,

así:

2

22 )(

2

1exp

2

1),/(

ii

ii

XYXYf

10

Como las observaciones (de iu y por lo tanto de iY ) son

independientes, la función de distribución de probabilidad

conjunta puede escribirse como:

),/...,,( 2

321 in XYYYYf

2

2

22

2

2

11 )(

2

1exp

2

1*

)(

2

1exp

2

1

XYXY

2

2)(

2

1exp

2

1*.....

nn XY

2

2

2

321

)(

2

1exp

)2(

1),/...,,(

ii

nnin

XYXYYYYf

Cuando las iY son conocidas y las , y 2, son

desconocidas a esta función conjunta de probabilidad se le llama

Función de Verosimilitud y se denota por ),,( 2FV .

2

2

2)(

2

1exp

)2(

1),,(

ii

nn

XYFV

11

La idea es maximizar la probabilidad de ocurrencia conjunta de

las iY. Antes de maximizar, expresaremos la función en términos

de logaritmo.

2

2)(

2

1)2ln(

2lnln

ii XYn

nFV

dado que me interesa 2 y no

2

22 )(

2

1)2ln(

2ln

2ln

ii XYnn

FV

Diferenciando respecto de los parámetros desconocidos (los de

interés: ,

y

2 ):

)1)((1ln

2 ii XYFV

(*)

))((1ln

2 iii XXYFV

(**)

2

422)(

2

1

2

lnii XY

nFV

(***)

12

Para encontrar los parámetros que maximizan la probabilidad de

ocurrencia, debemos igualar *, ** y *** a cero (condición de orden

primer orden para máximo).

0)~~(~

12 ii XY

(*)

0))(~~(~

12

iii XXY (**)

0)~~(~2

1~2

2

42 ii XY

n

(***)

Nota: Los estimadores de , y 2 han sido identificados con

la colita de chancho, sólo para diferenciarlos de los estimadores

MCO que poseen el gorro.

Tomemos (*):

0~~

ii XnY

~~nXY ii

~~ XY

Recordemos que ˆˆ XY

¿?

13

Tomemos (**):

0~~ 2

iiii XXXY

0~~ 2

iii XXnXY

pero XY ~~

0~

)~

(2 iii XXnXYXY

0~~ 22 iii XXnYXnXY

22 ~~XnXYXnXY iii

)(~ 22

XnXYXnXY iii

~

22

XnX

YXnXY

i

ii

Recordemos que

¿?

22

XnX

YXnXY

i

ii

14

En conclusión, para el modelo de regresión lineal simple y

asumiendo que el error se distribuye normal, los estimadores MV

son los mismos que los estimadores MCO.

Por consiguiente, los estimadores MV son insesgados.

15

Tomemos (***):

0)~~(~2

1~2

2

42 ii XY

n

2

2

4 ~2)

~~(~2

1

nXY ii

nXY ii 2

2)

~~(~1

como ~ˆ y ~ˆ

nXY

iu

ii 2

ˆ

2)ˆˆ(

~1

nui 2

2)ˆ(~

1

2

2

~)ˆ(

n

ui

Recordemos que

2

2

ˆ2

)ˆ(

n

ui

es un estimador insesgado de 2 .

Por lo tanto, 2~ es un estimador SESGADO de

2 .

16

Determinemos al menos si es consistente...

2

22

2 2)ˆ(

)2(

)2()ˆ(~

n

n

n

u

n

nE

n

uEE

ii

22

22)ˆ(

nn

uE

i

Más precisamente, 2~ está sesgado hacia abajo.

Pero, obsérvese que a medida que n crece el término

22

n tiende

a cero.

Por lo tanto, asintóticamente 2~ es insesgado.

17

Otro ejemplo de MV

Ejemplo en clase: Aplicación del MV