7-1

Valoración de estudios basados en el Análisis de Regresión Múltiple (SW Cap. 7)

El Análisis de Regresión múltiple tiene las siguientes ventajas:

• Brinda una estimación del efecto que sobre Y tiene un cambio arbitrario de ∆X.

• Resuelve el problema de sesgo por variable omitida, si una variable omitida puede ser medida e incluida en el análisis.

• Puede tratar relaciones no lineales (efectos que varían con las X’s)

No obstante, OLS podría proporcionar un estimador sesgado del verdadero efecto causal.

7-2

Esquema para la valoración de estudios estadísticos Validez interna y externa

• Validez interna: la inferencia estadística acerca de los efectos causales se validan por el estudio poblacional.

• Validez externa: la inferencia estadística puede generalizarse a partir de la población e inferirse a otras poblaciones y escenarios, donde “escenario” se refiere a aspectos legales, políticos y entorno físico relacionados con las características más sobresalientes.

7-3

Problemas relacionados con la Validez externa ¿Hasta dónde podemos generalizar los resultados de tamaño de clase a partir de las escuelas en los distritos de California?

• Diferencias en poblaciones o California en 2005? o Massachusetts en 2005? o México en 2005?

• Diferencias en los escenarios o Diferentes requerimientos legales vinculados a la

educación especial o Diferente tratamiento de la educación bilingüe o Diferencias en las características de profesores

7-4

Problemas relacionados con la Validez interna Análisis de regresión múltiple (SW Sección 7.2)

Validez interna: la inferencia estadística acerca de los efectos causales se validan a partir de la población que está siendo estudiada. Cinco problemas para la validez interna en los estudios de regresión:

1. Sesgo por variable omitida 2. Error en la forma funcional 3. Sesgo por errores en las variables 4. Sesgo por selección de muestra 5. Sesgo por causalidad simultánea

Todos implican que E(ui|X1i,…,Xki) ≠0.

7-5

1. Sesgo por variable omitida Surge cuando una variable omitida simultáneamente (i) es un determinante de Y y (ii) está correlacionada con al menos uno de los regresores incluidos. Posibles soluciones al Sesgo por variable omitida

• Si la variable puede ser medida, incluirla como un regresor en la regresión múltiple;

• Si es posible, utilizar datos de panel en los cuales cada entidad (individual) se observa más de una vez;

• Si la variable no puede ser medida, utilizar regresión con variables instrumentales;

• Generar un experimento aleatorio controlado.

7-6

2. Error en la forma funcional Surge cuando la forma funcional es incorrecta – por ejemplo, cuando se omite un término de interacción incorrectamente; luego la inferencia sobre los efectos causales estará sesgada. Posibles soluciones al error de especificación forma funcional

• Variable dependiente continua: utilizar la especificación no lineal en X “apropiada” (logaritmos, interacciones, etc.)

• Variable dependiente discreta (ejemplo: binaria): se necesita una extensión de los métodos de regresión múltiple (análisis “probit” o “logit” para variables dependientes binarias).

7-7

3. Sesgo por errores en las variables Hasta ahora se ha supuesto que X está medida sin error. Pero en realidad, frecuentemente los datos económicos tienen errores de medida

• Errores al cargar los datos • Errores de recolección en encuestas (¿cuándo

comenzó su actual trabajo?) • Problemas de preguntas ambiguas (¿cuál fue su renta

en el último año?) • Problemas con las respuestas falsas intencionales en

las encuestas (¿Cuál es el valor actual de sus activos financieros? ¿Con qué frecuencia bebe y conduce?)

7-8

En general, el error de medida en un regresor conduce a un “Sesgo por error en las variables”.

Ejemplo: suponiendo que

Yi = β0 + β1Xi + ui es “correcto” en el sentido de que permanecen los tres supuestos de mínimos cuadrados (en particular E(ui|Xi) = 0). Digamos que

Xi = no medida y es el verdadero valor de X

iX% = versión medida imprecisamente de X

7-9

Luego Yi = β0 + β1Xi + ui

= β0 + β1 iX% + [β1(Xi – iX% ) + ui] o

Yi = β0 + β1 iX% + iu% , donde iu% = β1(Xi – iX% ) + ui Si iX% está correlacionado con iu% entonces 1̂β estará sesgado:

cov( iX% , iu% ) = cov( iX% ,β1(Xi – iX% ) + ui) = β1cov( iX% ,Xi – iX% ) + cov( iX% ,ui) = β1[cov( iX% ,Xi) – var( iX% )] + 0 ≠ 0 Porque en general cov( iX% ,Xi) ≠ var( iX% ).

7-10

Yi = β0 + β1 iX% + iu% , donde iu% = β1(Xi – iX% ) + ui

• Si Xi está medida con error, iX% está en general

correlacionado con iu% , entonces 1̂β es sesgado e inconsistente.

• Es posible derivar fórmulas para este sesgo, pero requiere hacer supuestos matemáticos específicos acerca del proceso del error de medida (por ejemplo, que iu% y Xi están incorrelacionados). Estas fórmulas son especiales y particulares pero, en general se observa que el error de medida en X conduce a un sesgo.

7-11

Posibles soluciones al sesgo por errores en las variables • Obtener datos correctos. • Desarrollar un modelo específico del proceso del

error de medida. • Esto sólo es posible si se conoce mucho acerca de la

naturaleza del error de medida – por ejemplo cruzando una colección de datos grabados con una submuestra y analizando las discrepancias para luego modelizarlas. (Muy especializado para este contexto.)

• Regresión con variables instrumentales.

7-12

4. Sesgo por selección de muestra Hasta ahora hemos supuesto una muestra aleatoria simple de la población. En algunos casos, la muestra aleatoria simple es una contrariedad porque la muestra, en efecto, “se selecciona a sí misma” El sesgo por selección de muestra ocurre cuando un proceso de selección (i) influye en la disponibilidad de los datos y (ii) este proceso está relacionado con la variable dependiente.

7-13

Ejemplo #1: Fondos de inversión • Tiene el fondo de inversión administrado un

comportamiento activo “permanece el mercado de fondos”?

• Estrategia empírica: o Esquema de muestra: muestra aleatoria simple de

fondos de inversión disponible para el público en un tiempo dado.

o Datos: rendimiento de últimos 10 años. o Estimador: promedio de 10 años del rendimiento

de la muestra de fondos de inversión, menos el rendimiento de 10 años del S&P500

o ¿Existe sesgo de selección de muestra?

7-14

El sesgo por selección de muestra genera correlación entre un regresor y el término de error. Ejemplo de Fondos de inversión:

rendimientoi = β0 + β1fondoi + ui Si en la muestra tenemos un fondo (fondoi = 1) significa que su rendimiento fue mejor que un fondo fallido que no está en la muestra – de manera que corr(fondoi,ui) = 0.

7-15

Ejemplo #2: rentabilidad de la educación • ¿Cuál es la rentabilidad de un año adicional de

educación? • Estrategia empírica:

o Esquema de muestra: muestra aleatoria simple de trabajadores

o Datos: ingresos y años de educación o Estimador: ln(ingresos) sobre los años de

educación o Ignorar consecuencias de sesgo por variable

omitida y error de medida – ¿existe sesgo por selección de la muestra?

7-16

Posibles soluciones al sesgo por selección de muestra

• Recoger la muestra de manera que se evite la selección de muestra. o Ejemplo de Fondos de inversión: cambiar la

muestra, en lugar de los datos disponibles al final del período 10, a los disponibles al comienzo del período (incluyendo los fondos fallidos)

o Ejemplo de rentabilidad de la educación: recoger la muestra de graduados, no de trabajadores (incluyendo los desempleados)

• Generar un experimento aleatorio controlado. • Construir un modelo del problema de la selección de

muestra y estimar ese modelo.

7-17

5. Sesgo por causalidad simultánea Hasta ahora hemos supuesto que X causa Y. ¿Qué ocurre si Y también causa X,? Ejemplo: Efecto del tamaño de clase

• Bajos resultados STR comparados con mejores test scores

• Suponiendo distritos que tienen recursos extras con bajos test scores: como resultado del proceso político estos también tienen bajos STR

• ¿Qué significa en una regresión de TestScore sobre STR?

7-18

Sesgo por causalidad simultánea en ecuaciones (a) Efecto causal de X sobre Y: Yi = β0 + β1Xi + ui (b) Efecto causal de Y sobre X: Xi = γ0 + γ1Yi + vi • Grandes ui significan grandes Yi, los cuales implican

grandes Xi (si γ1>0) • Entonces corr(Xi,ui) ≠ 0 • Así 1̂β es sesgado e inconsistente. • Ej: Un distrito con un test scores particularmente malo

dado el STR (ui negativo) recibe recursos extras, con lo cual baja su STR; luego STRi y ui están correlacionados

7-19

Posibles soluciones al sesgo por causalidad simultánea • Experimento aleatorio controlado. Debido a que Xi se

elige aleatoriamente por el experimentador, no hay retroalimentación desde la variable resultado a Yi (suponiendo obediencia perfecta).

• Desarrollar y estimar un modelo completo en ambas direcciones de causalidad. Esta es la idea que está detrás de muchos macro-modelos (ej. Federal Reserve Bank-US). Esto es extremadamente difícil en la prática.

• Utilizar regresión con variables instrumentales para estimar el efecto causal de interés (efecto de X sobre Y, ignorando el efecto de Y sobre X).

7-20

Aplicar este esquema: Test Scores y Tamaño de Clase (SW Capítulo 7.3)

Objetivo: Valorar las amenazas a la validez interna y externa del análisis empírico del test score de California. • Validez externa

o Comparar los resultados para California y Massachusetts

o Razonar… • Validez interna

o Ir a la lista de los cinco posibles problemas de validez interna y razonar…

7-21

A) Verificar la validez externa comparar el estudio de California utilizando los datos de Massachusetts

Datos de Massachusetts

• 220 distritos de educación primaria • Test: 1998 MCAS test – total de cuarto grado (Math

+ English + Science) • Variables: STR, TestScore, PctEL, LunchPct, Income

7-22

Los datos de Massachusetts: resumen de estadísticos

7-23

7-24

7-25

7-26

• ¿Logarítmica v. function cúbica para Income? • Evidencia de no linealidad en la relación TestScore-STR? • Existe interacción significativa HiEL×STR?

7-27

Predicción de efectos para una reducción de 2 en el tamaño de clase Especificación lineal para Massachusetts: "TestScore = 744.0 – 0.64STR – 0.437PctEL – 0.582LunchPct

(21.3) (0.27) (0.303) (0.097)

– 3.07Income + 0.164Income2 – 0.0022Income3 (2.35) (0.085) (0.0010) Efecto estimado = -0.64× (-2) = 1.28 Error estándar = 2×0.27 = 0.54

NOTA: var(aY) = a2var(Y); SE(a 1̂β ) = |a|SE( 1̂β ) 95% CI = (1.28 ± 1.96×0.54) = (0.22, 2.34) Calcular los efectos predichos en modelos no lineales

7-28

Utilizar el método “antes” y “después”: "TestScore = 655.5 + 12.4STR – 0.680STR2 + 0.0115STR3

– 0.434PctEL – 0.587LunchPct – 3.48Income + 0.174Income2 – 0.0023Income3

Reducción estimada de 20 a 18 estudiantes: ∆"TestScore = [12.4×20 – 0.680×202 + 0.0115×203] – [12.4×18 – 0.680×182 + 0.0115×183] = 1.98

• Comparar con la estimación del modelo lineal de 1.28 • SE de este efecto estimado: usar el método “reordenar

la regresión” (“transformar los regresores”)

7-29

Resumen de resultados para Massachussets

1. El coeficiente de STR cae desde –1.72 a –0.69 cuando se incluyen las variables de control para las características estudiante y distrito – un indicio de que la estimación original contiene sesgo por variable omitida.

2. El efecto de tamaño de clase es estadísticamente significativo al 1%, después de controlar por las características estudiante y distrito

3. No hay evidencia estadística sobre no linealidades en la relación TestScore – STR

4. No hay evidencia estadística de interacción STR – PctEL

7-30

Comparación de efectos de tamaño de clase estimados: CA vs. MA

7-31

Resumen: Comparación de los análisis de regresión de California y Massachusetts

• El efecto de tamaño de clase cae tanto en los datos de CA como en los de MA cuando se añaden las variables de control para las características estudiante y distrito.

• El efecto del tamaño de clase es estadísticamente significativo en ambos conjuntos de datos (CA y MA)

• El efecto estimado de una reducción de 2 estudiantes en STR es cuantitativamente similar para CA, MA.

• Ningún conjunto de datos muestra evidencia de interacción STR – PctEL.

• Existe alguna evidencia de no linealidad STR en los datos de CA, pero no en los de MA.

7-32

B) Amenazas a la validez interna ¿Qué muestra y qué no muestra la comparación CA vs. MA? 1. Sesgo por variable omitida Estos análisis controlan o tienen en cuenta:

• distritos demográficos (ingresos) • algunas características de los estudiantes (% que aprende

inglés) ¿Qué falta?

• características adicionales de los estudiantes, ej. aptitudes naturales (pero ¿está esto correlacionado con STR?)

• Acceso a oportunidades de estudiar en el extranjero • Calidad del profesor (posiblemente los mejores profesores

son atraídos por las escuelas con menores STR)

7-33

Sesgo por variable omitida

• Hemos controlado muchos factores relevantes omitidos;

• La naturaleza de este Sesgo por variable omitida necesitaría ser similar en California y Massachusetts para ser consistente con estos resultados;

• En esta aplicación estaremos en condiciones de comparar estas estimaciones basadas en datos observados con estimaciones basadas en datos experimentales – una verificación de este método de regresión múltiple.

7-34

2. Error en la forma funcional • Hemos tratado bastantes formas funcionales

diferentes, en los datos de California y Mass. • Los efectos no lineales son modestos • Esto no es un gran problema.

3. Sesgo por errores en las variables • STR es una medida algo grosera del tamaño de clase • Presumiblemente existe algún error de medida –

estudiantes que hacen el examen y se desplazan a otros distritos

• En el mejor de los casos, nos gustaría tener datos individualizados de los estudiantes, por nivel de grado.

7-35

4. Sesgo por selección de muestra • La muestra se refiere a todos los distritos con

enseñanza pública elemental (en California; en Mass.) • no hay razón para que la selección sea un problema.

5. Causalidad simultánea

• Si los resultados de los tests afectan al tamaño de clase -> causalidad simultánea. Ej.: si los distritos con peores resultados reciben dinero para contratar más profesores.

• Esto no tuvo lugar en California ni Mass. durante estas muestras, por ello el sesgo de causalidad simultánea no es un argumento importante.

7-36

Resumen • Esquema para evaluar los estudios de regresión:

o Validez interna o Validez externa

• Cinco problemas para la validez interna: 1. Sesgo por variable omitida 2. Error en la forma funcional 3. Sesgo por errores en las variables 4. Sesgo por selección de muestra 5. Sesgo por causalidad simultánea