a150825_casos_talleres

Universidad EAFITEscuela de Economía y FinanzasMaestría en Economía Aplicada

Primer Taller. Evaluación de Impacto Profesor: Ramiro Cadavid MontoyaElaborado por:

James Augusto González

Caso aplicado (18 agosto 2015)

Suponga que usted quiere medir el impacto de un programa de comedores escolares en la nutrición de los niños en edad escolar.

1. Defina la variable causal, teniendo en cuenta los principios vistos para su definición

2. Defina cuál variable de resultado utilizaría

3. Explique cuáles son los mecanismos que vinculan la variable causal con las variables de resultados

4. Represente la relación anterior utilizando gráficos causales, incluyendo otras variables que puedan afectar a las variables de tratamiento y de resultados

5. De acuerdo a la representación anterior, ¿es posible comparar directamente a los individuos que reciben el tratamiento con aquellos que no los recibieron?

6. Argumente por qué el supuesto de Unidad de valor de tratamiento estable se sostiene o no.

Desarrollo:

1. La variable causal D que considero es la alimentación de los niños en edades escolares que reciben o no en los comedores escolares del programa. Dándoles a los niños las comidas durante la jornada escolar, que serían desayuno y almuerzo, asumiendo que estas no las reciben en casa o si las reciben son inadecuadas. Con esta alimentación se espera mejorar la nutrición de los niños.

2. La variable de resultado Y que considero es el nivel de nutrición de los niños en edades escolares

3. Los mecanismos que considero son:


Suplir las necesidades nutricionales de los niños, dándoles el desayuno y la media mañana.

La alimentación entregada en los comedores escolares debe ser balanceada y nutritiva

4. Las variables del grafico causal:

Y: Nivel nutricional

D: Alimentación en el comedor escolar

O1: Reciben las demás comidas en el hogar

X2: Gasto por el menú, adecuado a la cultura del lugar

X3: Deserción Escolar

X4: El desplazamiento del niño a la escuela (camina, monta en bicicleta, en auto?)

X5: El aseo en el hogar (infecciones, parásitos)

(La X3 tiene punteada no se utiliza en este caso

5. Si es posible hacer la comparación directamente si hay aleatorización, PERO se debe hacer por grupos o cluster, o por instituciones escolares, se deben considerar


variables del entorno del niño que no se pueden controlar, que se deberían observar y considerar en el proceso de comparación.

6. El UVTE se sostiene, pues la mejora en un niño que recibe el tratamiento no afecta la de otro, y tampoco la de uno que no lo recibe. Se espera que los niños que reciben el tratamiento sean los de una escuela y que los que no reciben el beneficio no se interrelacionen con los que si, como también se espera que estos últimos al enterarse del beneficio no se vena motivados a “implementar” con sus propios recursos una alimentación adicional.


Segundo Taller. Evaluación de Impacto Profesor: Ramiro Cadavid MontoyaElaborado por:


Caso aplicado STAR (19 agosto 2015)

Utilizando el archivo de datos webstar1.dta,

1. Para chequear que el experimento haya sido en efecto aleatorizado en la asignación a clases pequeñas y grandes (cltypek), compare las siguientes variables para ambos grupos:

• Trimestre de nacimiento: ‘sbirthq’• Género: ‘ssex’• Etnia/población: ‘srace’• Años de experiencia del profesor: ‘totexpk’• Estatus socioeconómico: ‘sesk’.

Eliminar las observaciones para niños en clase con ayuda para responder a esta pregunta (LargeAide==1)

2. Calcule el puntaje promedio (sumMR) para los niños en clases pequeñas y en clases grandes. ¿Son las clases más pequeñas efectivas para mejorar el rendimiento académico de los estudiantes?

3. Investigue si el efecto causal anterior es igual para un estudiante blanco y uno negro promedio

Desarrollo:

1. Considerando que las variables trimestre de nacimiento, género, etnia/población y estatus socioeconómico son de tipo categóricas, construyo una tabla donde presento el número de estudiantes en cada categoría por cada grupo; y para comparar dado que tienen número de estudiantes diferentes en cada grupo presento los porcentajes al interior de cada grupo.


cltypek cltypek

regular class

Small class Total

regular class

small class Total

Recuento Recuento Recuento % del N de columna

% del N decolumna

% del N de columna

sbirthq

Quater of students birth

1st qtr - jan,feb,march 121 94 215 22,4% 23,1% 22,7%

2nd qtr - april,may,june 132 116 248 24,4% 28,5% 26,2%

3rd qtr - july,aug,sept 200 125 325 37,0% 30,7% 34,3%

4th qtr - oct,nov,dec 88 72 160 16,3% 17,7% 16,9%

Total 541 407 948 100,0% 100,0% 100,0%

ssex

Student sex

female 240 189 429 44,2% 46,2% 45,1%

male 303 220 523 55,8% 53,8% 54,9%

Total 543 409 952 100,0% 100,0% 100,0%

srace S

tudent race

am. indian 1 1 2 0,2% 0,2% 0,2%

asian 3 1 4 0,6% 0,2% 0,4%

black 224 155 379 41,3% 37,9% 39,9%

hispanic 0 1 1 0,0% 0,2% 0,1%

other 1 2 3 0,2% 0,5% 0,3%

white 313 249 562 57,7% 60,9% 59,1%

Total 542 409 951 100,0% 100,0% 100,0%

sesk

Socio-economic status in

kindergarten

free lunch 316 225 541 58,2% 55,0% 56,8%

non-free lunch 227 184 411 41,8% 45,0% 43,2%

Total 543 409 952 100,0% 100,0% 100,0%

a. Para la variable trimestre de nacimiento del estudiante se observa que la participación en la muestra de los estudiantes del primer y cuarto trimestre del año es relativamente la misma, la diferencia es menor a 1,5%, al comparar los dos grupos. En cambio para la participación de los nacidos en el segundo trimestre se tiene una ligera diferencia porcentual más en las clases pequeñas de cerca del 4%. En el único trimestre en que se tiene mayor peso en los grupos regulares en los nacidos en el tercer trimestre, con 6,3% más. La prueba de chi-cuadrado muestra que hay independencia en la asociación de las dos variables, trimestres vs. Grupos.

Pruebas de chi-cuadrado

Valor glSig. asintótica (2

caras)

Chi-cuadrado de Pearson 4,479a 3 ,214

Razón de verosimilitud 4,495 3 ,213

N de casos válidos 948


a. 0 casillas (0,0%) han esperado un recuento menor que 5. El recuento mínimo esperado es 68,69.

b. Con respecto a la distribución por sexo de los estudiantes se prácticamente la misma, la diferencia es de tan solo 2%. En la prueba de independencia de chi-cuadrado se evidencia que hay independencia entre las dos variables.



caras)Significación

exacta (2 caras)Significación

exacta (1 cara)

Chi-cuadrado de Pearson ,381a 1 ,537

Corrección de continuidadb ,304 1 ,581

Razón de verosimilitud ,381 1 ,537

Prueba exacta de Fisher ,554 ,291

N de casos válidos 952a. 0 casillas (0,0%) han esperado un recuento menor que 5. El recuento mínimo esperado es 184,31.b. Sólo se ha calculado para una tabla 2x2

c. En relación a la etnia-raza, la muestra está compuesta en ambos grupos por niños mayoritariamente blancos, alrededor del 59%, y de niños negros alrededor de 40%. Las demás etnias indagadas pesan menos del 1% en los dos grupos. De nuevo con esta variable se observa que no hay asociación estadística entre las dos variables



caras)

Chi-cuadrado de Pearson 3,655a 5 ,600

Razón de verosimilitud 4,047 5 ,543

N de casos válidos 951a. 8 casillas (66,7%) han esperado un recuento menor que 5. El recuento mínimo esperado es ,43.

d. En cuanto a la relación socio-económica en el jardín infantil, tiene mayor peso el almuerzo libre, con 58% para los grupos regulares y de 55% para los pequeños. No se evidencia asociación estadística entre estas dos variables.




caras)Significación

exacta (2 caras)Significación

exacta (1 cara)

Chi-cuadrado de Pearson ,963a 1 ,326

Corrección de continuidadb ,838 1 ,360

Razón de verosimilitud ,963 1 ,326

Prueba exacta de Fisher ,355 ,180

N de casos válidos 952a. 0 casillas (0,0%) han esperado un recuento menor que 5. El recuento mínimo esperado es 176,57.b. Sólo se ha calculado para una tabla 2x2

e. Para la variable de años de experiencia del profesor, por ser una variable numérica con valores entre primer años de experiencia (0 años) y 27 años, he considerado comparar su comportamiento en los dos grupos con estadísticos que resumen variables continuas, con respecto a la experiencia mediana (percentil 50) el valor es ligeramente mayor en los salones regulares. Pero al observar el valor medio o media aritmética la diferencia se hace menor entre los dos grupos y la desviación estándar indica que en los dos grupos los años de experiencia están igualmente distribuidos.

Descriptivoscltypek

regular small cltotexpk2 Years of total teaching experience - kindergarten

Estadístico Error estándar Estadístico Error estándar

Media 8,81 ,249 8,78 ,276

95% de intervalo de

confianza para la media

Límite inferior 8,33 8,24

Límite superior 9,30 9,33

Media recortada al 5% 8,54 8,55

Mediana 9,00 8,00

Varianza 33,642 31,120

Desviación estándar 5,800 5,579

Mínimo 0 0

Máximo 24 27

Rango 24 27

Rango intercuartil 9 8

Asimetría ,421 ,105 ,459 ,121

Curtosis -,183 ,209 -,146 ,241

Se realiza una comparación de medias de los años de experiencia como profesor del jardín infantil para confirmar si hay diferencia o no de esta variable entre los dos grupos


de clases, donde se concluye que no hay evidencia para rechazar la hipótesis que la media de los años de experiencia son iguales entre los dos grupos

Estadísticas de grupo

cltypek_2 N MediaDesviación estándar

Media de error estándar

totexpk2 Years of total

teaching exerience -

kindergarten

1 regular class 543 8,81 5,800 ,249

2 small class409 8,78 5,579 ,276

Prueba de muestras independientestotexpk2 Years of total teaching exerience -

kindergartenprueba t para la igualdad de medias

t gl Sig. (bilateral)

Diferencia de

medias

Diferencia de error estándar

95% de intervalo de confianza de la diferencia

Inferior Superior

Se asumen varianzas iguales ,078 950 ,938 ,029 ,374 -,704 ,762

No se asumen varianzas iguales ,078 895,8 ,937 ,029 ,372 -,700 ,758

El siguiente diagrama de cajas nos confirma lo observado en la tabla de estadísticas de resumen descriptivos.


2. Para realizar la comparación, se inicia observando el comportamiento estadístico de la variable de puntaje en los dos grupos.

cltypek

regular class small class Total

Small 0 Recuento 543 0 543

1 Recuento 0 409 409

Descriptivoscltypek

regular small clsumMR sumMR

Estadístico Error estándar Estadístico Error estándar

Media 890,99 3,172 903,75 3,928

95% de intervalo de

confianza para la media




Mediana 880,00 891,00

Varianza 5462,830 6309,201


Mínimo 635 756

Máximo 1164 1253

Rango 529 497


Asimetría ,608 ,105 ,891 ,121

Curtosis ,808 ,209 1,026 ,241

Se tiene que el comportamiento estadístico del puntaje al interior de los dos grupos es

relativamente igual, si solo se observara el valor de la media o de la mediana se tendría

que el puntaje es ligeramente mayor en ls grupos pequeños, las siguientes son las

gráficas de cajas, y los histogramas de frecuencias de la variable puntaje al interior de

cada grupo, con las cuales se observa que de forma previa no se puede concluir en

que grupo se obtiene un mejor puntaje.


La prueba de hipótesis contrasta si la diferencia de las medias es igual a cero, o lo que

es lo mismo que los valores promedios de los puntajes de los dos grupos son iguales,

en este caso no hay evidencia para rechazar la hipótesis nula, es decir la diferencia es

estadísticamente igual a cero, con eso se tiene que el tamaño del grupo no impacta en

la mejora del puntaje.

Prueba de muestras independientes

sumMR

prueba t para la igualdad de medias

t gl Sig. (bilateral

)

Diferencia de

medias

Diferencia de error

estándar

95% de intervalo de confianza de la

diferencia

Inferior Superior

Se asumen varianzas iguales -2,555 950 ,011 -12,768 4,998 -22,575 -2,960

No se asumen varianzas iguales -2,529 843,609 ,012 -12,768 5,048 -22,677 -2,859

Así se llega a concluir que las clases más pequeñas NO son efectivas para mejorar el rendimiento académico de los estudiantes.

3. Para investigar si el efecto causal anterior es igual para un estudiante blanco y uno negro promedio se realiza la comparación de los puntajes promedios entre los dos tipos de grupos de forma separada para los estudiantes de etnia blanca y negra. Para las demás no se consideran en este análisis.


srace Student race

Frecuencia PorcentajePorcentaje

válidoPorcentaje acumulado

Válido am. indian 2 ,2 ,2 ,2

asian 4 ,4 ,4 ,6

black 379 39,8 39,9 40,5

hispanic 1 ,1 ,1 40,6

other 3 ,3 ,3 40,9

white 562 59,0 59,1 100,0

Total 951 99,9 100,0

Perdidos 1 ,1

Total 952 100,0

Resumen de procesamiento de casos

Raza cltypek

CasosVálido Perdidos Total

N Porcentaje N Porcentaje N Porcentaje

1,00 white sumMR regular 313 100,0% 0 0,0% 313 100,0%

small cl 249 100,0% 0 0,0% 249 100,0%

2,00 black sumMR regular 224 100,0% 0 0,0% 224 100,0%

small cl 155 100,0% 0 0,0% 155 100,0%

Las siguientes estadísticas descriptivas para el caso de los estudiantes de etnia blanca no arrojan evidencia de haber diferencia en los puntajes entre grupos. Pero para los estudiantes de etnia negra se observa sospechas de tener ligeramente mayor puntaje en los estudiantes de grupos pequeños que en los de los grandes.

Descriptivos

Raza

cltypekregular small cl

sumMREstadístico Error

estándarEstadístico Error

estándar

.

1 white Media 904,65 4,222 911,03 5,130

95% de intervalo de confianza

para la media




Mediana 896,00 898,00

Varianza 5579,581 6552,209



Mínimo 635 763

Máximo 1158 1253

Rango 523 490


Asimetría ,453 ,138 ,907 ,154

Curtosis ,558 ,275 1,187 ,307

2 black Media 871,78 4,559 892,85 6,123

95% de intervalo de confianza

para la media




Mediana 859,50 879,00

Varianza 4655,651 5811,686


Mínimo 680 756

Máximo 1164 1164

Rango 484 408


Asimetría ,848 ,163 ,880 ,195

Curtosis 1,906 ,324 ,645 ,387


A continuación las tablas resumen del contraste de la hipótesis de igualdad de medias entre los dos grupos para los dos tipos de etnias.

Estadísticas de grupo

Raza Small N Media

Desviación

estándar

Media de error

estándar

1,00 white sumMR 0 313 904,65 74,697 4,222

1 249 911,03 80,946 5,130

2,00 black sumMR 0 224 871,78 68,232 4,559

1 155 892,85 76,234 6,123

Prueba de muestras independientes

Raza / sumMR

prueba t para la igualdad de medias

t gl Sig. (bilateral)

Diferencia de medias

Diferencia de error estándar

95% de intervalo de confianza de la diferencia

Inferior Superior

white Se asumen varianzas iguales -,970 560 ,333 -6,384 6,583 -19,315 6,547

No se asumen varianzas

iguales-,961 511,305 ,337 -6,384 6,644 -19,436 6,669

black Se asumen varianzas iguales -2,816 377 ,005 -21,070 7,482 -35,781 -6,359

No se asumen varianzas

iguales-2,760 306,923 ,006 -21,070 7,634 -36,092 -6,049

Para los estudiantes de etnia blanca se tiene que se debe aceptar la hipótesis de

igualdad de las medias de los puntajes en los dos tipos de grupos.


Para los estudiantes de etnia negra se tiene que la prueba de hipótesis de igualdad de los puntajes promedio indica que se debe rechazar, lo que indica que el puntaje promedio es mayor cuando los estudiantes de raza negra están en grupos pequeños.


Tercer Taller. Evaluación de Impacto Profesor: Ramiro Cadavid MontoyaElaborado por:


Caso aplicado (20 agosto 2015)

CASO APLICADO: AGUA DE ACUEDUCTO -> DIARREA

Jalan y Ravallion (2003): ¿cuál es el impacto de implementar agua de acueducto en los

casos de diarrea en niños en sectores rurales de India?

Datos:

• No fueron recolectados de forma aleatoria

• Fuente: India’s National Council of Applied Economic Research

• 33.000 hogares pertenecientes a 1765 aldeas de 16 estados

• 9.000 hogares con acceso a agua de acueducto

• 24.000 hogares sin acceso

Preguntas

1. Defina los estados causales y la variable de resultado de forma clara

2. Explique cuáles son los mecanismos que vinculan cada estado causal con la variable

de resultado

3. Cuál sería un diseño experimental que podría responder a esta pregunta

4. Cuál es el problema en utilizar datos observacionales y cómo se podría solucionar

5. Defina cómo estimaría el efecto de tratamiento en sus palabras, utilizando métodos

de coincidencia

6. ¿Qué variables utilizaría para estimar el Propensity Score?


Desarrollo:

1. Estado causal es contar o no con agua de acueducto en sectores rurales de India.

Permitiendo a los hogares de los sectores rurales contar con agua tratada y así poder

mejorar en el estado de salud de los niños.

La variable de resultado sería la prevalencia de Diarrea en niños y niñas menores de

cinco años en sectores rurales de India (Prevalencia de enfermedades diarreicas

agudas EDA). Si es posible contar con la variable de duración de la diarrea esta

también puede ser usada como variable de resultado.

2. Mecanismos que vinculan cada estado causal con la variable de resultado.

El solo hecho de contar con acueducto no garantiza cien por ciento la eliminación del

problema de diarrea en los niños, se hace necesario trabajar sobre las siguientes

variables:

El tratamiento y almacenamiento que se le dé al agua al interior de cada hogar,

como es el caso de hervirla.

El agua suministrada por el acueducto debe ser tratada.

Los hábitos de aseo y de higiene para con los alimentos y para las personas

mismas.

El nivel económico del hogar, dado que con el acceso a acueducto conlleva

contar con menaje adecuado para el almacenamiento del agua potable, como

también algún pago de este.

El nivel educativo de la madre o cuidador de los niños, pues espero que a mayor

nivel educativo de estas personas es más posible cambiar los hábitos de aseo e

higiene de las personas del hogar.

La calidad del agua suministrada por el acueducto.

3. Diseño experimental.

Cuando se hace la inversión en un acueducto es para el beneficio de toda una

comunidad, es complicado darle a un hogar y a otro no, además la selección de una

aldea para ser beneficiaria de acueducto puede pasar por decisiones políticas, como


también es complicado dejar a una aldea sin acueducto bajo el pretexto de ser un

“control”. Para este tipo de programas es posible utilizar datos observacionales

aprovechando que se tienen 1765 aldeas se podría identificar las que reciben

acueducto y las que no, y así diseñar un muestreo probabilístico en dos fases, en la

primera se seleccionarían aldeas al interior de dos estratos (con y sin acueducto) y

luego al interior de cada aldea se realizaría una selección de hogares a ser observados.

4. Problema en utilizar datos observacionales y cómo se podría solucionar.

Tienen el problema de que no se tiene garantizado que los hogares de los grupos de

tratamiento y control tengan las mismas características para ser comparados, por sesgo

de selección; la solución seria encontrar las aldeas y/o los hogares en los controles

(aldeas sin acueducto) que tengan características similares en el grupo de tratamiento.

5. Estimaría el efecto de tratamiento en sus palabras, utilizando métodos de

coincidencia.

El efecto sería la diferencia estimada entre las muestras emparejadas, que puede ser

mediante un promedio ponderado con la submuestra común resultante del

emparejamiento.

6. Variables para estimar el Propensity Score

Como variable respuesta el que el hogar tenga acceso a acueducto, 1 para el que lo

tengo y 0 para el hogar que no.

Y las variables para estimar esta propensión pueden ser:

Calidad de la vivienda, material de los pisos,

Lugar exclusivo para cocinar

Nivel educativo de la madre

Nivel educativo del jefe de hogar

Número de personas en el hogar

Cercanía de un puesto de salud u hospital

Características sociales y demográficas del hogar

a150825_casos_talleres

Documents