desgasteintroducción cumplimiento soluciones …. amenazas y... · quienes salen de la muestra y...

Cumplimiento Externalidades Desgaste Introducción Soluciones


Amenazas y análisis

2

Leigh Linden

Profesor Asistente de Economía and Asuntos Públicos

University of Texas, Austin

[email protected]

mailto:[email protected]


3

Despues de esta sesion, los participantes

seran capaces de:

1. Entender los conceptos de validez interna y

externa.

2. Identificar tres amenazas importantes al

análisis.

3. Proponer algunas soluciones a estas

amenazas.

Objetivos


Importance

1. Introducción

2. Cosas pueden ir mal:

2.1 Externalidades

2.2 Desgaste

2.3 Cumplimiento imperfecto

3. ITT vs LATE/TOT

4. Análisis

Esquema

4

How to Components Big picture


1. Introducción

5


Validez interna

Decimos que un diseño es internamente

válido cuando puedes extrapolar

causalidad de formar creíble.

Generalmente, hay tres amenazas que

dificultarán mi atribución causal:

Externalidades

Desgaste de la muestra

Cumplimiento imperfecto

6


= No elegible

Repaso del diseño experimental

= Elegible

1. Población

Validez externa

2. Muestra de evaluación

3. Aleatorizar

tratamiento

Validez interna

Comparación

Tratamiento

X


2.1 Externalidades

8


Externalidades

Externalidades ocurren cuando el grupo

control se ve contaminado de alguna

forma por el tratamiento.

Grupo control Y deja de ser una

estimación no-sesgada del contrafactual.


¿Qué podría ir mal?

Población

objetivo

No en la

evaluación

Muestra de

evaluación

Población total

Asignación

aleatoria

Grupo

tratamiento

Grupo

control


Externalidades, contaminación

Población

objetivo

No en la

evaluación

Muestra de

evaluación

Población total

Asignación

aleatoria

Grupo

tratamiento

Grupo

control

Tratamiento


Externalidades, contaminación

Población

objetivo

No en la

evaluación

Muestra de

evaluación

Población total

Asignación

aleatoria

Tratemiento

Grupo

tratamiento

Grupo

control


Ejemplo: Vacuna para varicela

Suponga que aleatoriza la entrega de

vacunas contra la varicela dentro de

escuelas.

Suponga que eso disminuye la trasmisión de

la enfermedad, ¿que problemas crea para la

evaluación?

Suponga que las externalidades son locales.

¿Cómo podemos medir el impacto total?


Estudiantes Tratamiento

(Vacunas)

Resultados

1 Si Sin varicela

2 No Varicela

3 Si Sin varicela

4 No Varicela

5 Si Sin varicela

6 No Varicela

Sin externalidades

Tratamiento Resultado

Si 0% con varicela

No 100% con varicela

Efecto del tratamiento: -100%


Estudiantes Tratamientos

(vacuna)

Resultados

1 Si Sin varicela

2 No Sin varicela

3 Si Sin varicela

4 No Varicela

5 Si Sin varicela

6 No Varicela

Con externalidades

Tratamiento Resultados

Si 0% con varicela

No 67% con varicela

Efecto del tratamiento: -67%


¿Como medir el impacto del programa en presencia de externalidades? Diseñar la unidad de aleatorización para

que abarque la externalidad

Si esperamos externalidades que

ocurrirán dentro de una escuela:

Aleatorización al nivel de la escuela permite

la estimación del efecto general


Ejemplo: Información sobre precios Ofrecer a agricultores precios actuales y futuros a

través de teléfonos móviles

¿Esperaríamos externalidades?

Aleatorizar: ¿nivel individual o comunidad?

Aleatorización nivel comunidad

Menos poder estadístico

“Grupo control puro”

Aleatorización a nivel individual

Más poder estadístico (si externalidades son pequeñas)

Habilidad de medir externalidades


Ejemplo: Información sobre precios Diseños que miden externalidades: Asignar

comunidades aleatoriamente a uno de cuatro grupos A,

B, C y D.

Grupo Tratamiento

A Mensajes de texto (SMS) con información de

precios a todos los individuos con teléfonos

B SMS con información de precios a 75% de

individuos aleatoriamente seleccionados con

teléfonos

C SMS con información de precios a 25% de

individuos aleatoriamente seleccionados con

teléfonos

D No reciben SMS con información de precios


2.2 Desgaste

19


Desgaste

¿Es un problema si algunas de las personas en el experimento “desaparecen” antes de recolectar los datos?

Es un problema si el tipo de persona que desaparece esta correlacionado con el tratamiento

¿Por qué es un problema?

¿Por qué esperarías que ocurriera esto?


Sesgo de desgate: un ejemplo

Además, quieres medir el impacto sobre crecimiento de los niños. Segundo resultado de interés: peso del niño.

Tienes todas las escuelas (tratamiento y control) y mides a todos los que están en la escuela en un día en particular.

La diferencia de peso entre el tratamiento y el control estará sobreestimado o subestimado?


Antes Después

T C

20 20

25 25

30 30

25 25

T C

22 20

27 25

32 30

27 25 Promedio

Diferencia: 0 Diferencia: 2


Antes Después

T C

perdido perdido

25 25

30 30

25 25

T C

22 perdido

27 25

32 30

27 27.5 Promedio

Diferencia: 0 Diferencia: -0,5

¿Pero qué pasa si solo los niños que pesan más de 21 Kg van a clase?


Tipos de Desgaste

No hay problema si Las tasas de desgaste son iguales en tratamiento

y control

Quienes salen de la muestra y quienes no salen son iguales

Diferencia correlacionada con el tratramiento: Los patrones de desgaste son distintos en cada

grupo

Plantea dudas acerca de la validez interna

Comprueba equilibrio en la línea de base y la línea de seguimiento

24


Tipos de Desgaste

Diferencias no correlacionadas con tratamiento Tasas de desgaste en ambos grupos (T y C)

Los que se van de mi muestra tienen características distintas

No es una amenaza a la validez interna

El problema es la validez externa: • ¿Que puedo conlcuir sobre el efecto del tratamiento

sobre aquellas personas que se van de la muestra?

• Depende de si creo que la magnitud del efecto del tratamiento está correlacionada con las causas de desgaste

25


Soluciones

¿Qué hacer? Asigna recursos para el seguimiento de los

participantes aunque abandonen el programa.

Comprueba si hay diferencias entre

tratamiento y control.

Comprueba que el desgaste no esté

correlacionado con características

observables.

Trata de limitar el alcance del sesgo.

26


2.3 Cumplimiento imperfecto

27



Podría existir sesgo si factores ajenos a la

asignación aleatoria inciden en quién recibe

efectivamente el programa.

Aún si la intención de asignar es aleatoria, quién

recibe el programa podría no serlo.

Cumplimiento imperfecto ocurre cuando:

Personas en tratamiento no reciben el

tratamiento.

Personas en control reciben tratamiento.

28


Incumplimiento con asignación a tratamiento

Individuos en el grupo de control podrían querer

entrar al grupo de tratamiento.

Programa de alimentación: los padres podrían

intentar inscribir a sus hijos en escuelas tratamiento.

Individuos en tratamiento podrían no recibirlo.

Programa de alimentación: algunos estudiantes

asignados a escuelas tratamiento podrían traer su

propia comida, o podrían optar por no comer en

absoluto.


Población

Objetivo

No es parte

de la

Evaluación

Muestra de

Evaluación

Grupo de

tratamiento

Participantes

Ausencias

Grupo de

Control

No Participan

Control

tratado

Selección

Aleatoria

No!

¿Qué se puede hacer?

¿Se puede cambiar?



Error típico

Si bien puede ser tentador, NUNCA NUNCA :

Intercambie a las personas dentro de los grupos

experimentales en función de si recibieron el

tratamiento o no. Por ejemplo: • Colocar en el grupo de tratamiento a aquellos individuos del grupo de

control original que sí recibieron el tratamiento.

• Colocar en el grupo de control a aquellos individuos del grupo de

tratamiento original que no recibieron el tratamiento.

Eliminar de la muestra aquellos casos que no cumplen con el

protocolo de asignación.

Ambos ajustes harían que el diseño no tuvieran validez

interna.


Población

Objetivo

No es parte

de la

Evaluación

Muestra de

Evaluación

Grupo de

tratamiento

Participantes

Ausencias

Grupo de

Control

No Participan

Control

tratado

Selección

Aleatoria


Se puede comparar los

grupos originales…



¿Qué hacer?

Solución ideal: Prevenir de antemano

No siempre realista

Siempre estar al tanto de si sucede.

Si sucede: No cometer el error típico.

Preserve los grupos de acuerdo a su asignación inicial.

Considere los siguientes enfoques...

33


3. ITT vs LATE


Análisis de resultados

¿Cómo evitar sesgos por

incumplimiento?

Imaginemos una campaña

de vacunación en aldeas.

78% de las personas en

aldeas tratamiento reciben

vacuna.


Análisis de resultados

¿Qué hacer?

¿Comparar los resultados de los vacunados

y no vacunados?


¿Qué grupos se pueden comparar?

Tratamiento Control

Vacunado

No vacunado


¿Cuál es la diferencia entre los dos grupos aleatorios?

Tratamiento Control

Vacunado

No vacunado


Aldeas Tratamiento 50% infectado

Aldeas Control 75% infectado

Intención de Tratar (ITT)



E (Y|Asignado=1) = resultado promedio entre los individuos de aldeas asignadas a tratamiento.

E (Y|Asignado=0) = resultado promedio entre los individuos de aldeas asignadas a control.

ITT = E(Y|Asignado=1) – E(Y|Asignado=0)

ITT = 50% − 75% = -25 puntos porcentuales.



¿Qué mide la Intención de Tratar?

“¿Cual es el impacto promedio de ofrecer el tratamiento a un grupo poblacional determinado?”

Es un impacto causal, siempre y cuando la asignación aleatoria sea válida y no haya amenazas a la integridad del experimento.


ITT es útil cuando…

Se relaciona más con la implementación real de un programa.

Por ejemplo, puede ser que no me importe el efecto médico de un tratamiento de desparasitación, sino qué pasaría con un programa de desparacitación en el mundo real.

Si algunos estudiantes no asisten a la escuela y no reciben el medicamento de desparacitación, la estimación de ITT puede ser la más relevante.


Tenemos que ajustar la estimación del efecto ITT

para tener en cuenta que no todos los que son

asignados a tratamiento lo reciben.

¿Cómo hacerlo?

La asignación aleatoria ya no es suficiente para estimar

el impacto causal del programa sobre los que fueron

tratados.

Necesitamos asumir que la asignación a cualquiera de

los grupos no tiene impacto sobre los resultados: solo

hay efectos por participar del tratamiento, no por recibir

incentivos a participar.

43

¿Y los efectos sobre aquellos que fueron tratados?


LATE

En general, la aleatorización crea tres subgrupos, presentes en la misma proporción en los dos grupos de comparación:

Los que siempre toman el programa (Always takers): Sujetos que siempre son tratados.

Los que nunca toman el programa (Never takers): Sujetos que nunca son tratados.

Y los que cumplen (Cumplidores): Sujetos para los cuales la asignación determina si reciben el programa.

44


¿Quién recibe el tratamiento?

0

0,2

0,4

0,6

0,8

1

1,2

Treatment Control

Act

ual

ly T

reat

ed

Always takers Always takers

Cumplidores Cumplidores

Never takers Never takers

Tratados No tratados


LATE

Estos experimentos solo generan un cambio en la probabilidad de recibir el programa entre aquellos que son “cumplidores”, por lo tanto solo podemos estimar el efecto del tratamiento para este grupo.

Llamamos a esto, Efecto Promedio de Tratamiento Local o “Local Average Treatment Effect” (LATE).

46


Estimador LATE

E(Y | Asignado=1) – E(Y | Asignado=0)

Pr (Vacunado | Asignado=1) − Pr (Vacunado | Asignado=0)


Caso especial de LATE: TOT

Solo hay “never takers”, no hay “always

takers”.

En esta caso, solo estamos tratando a los

“cumplidores”.

Esta estimación de LATE= efecto de

tratamiento sobres los tratados (TOT).

48


4. Análisis

49


Múltiples resultados

¿Podemos estudiar varios resultados?

Cuantos más resultados analices, más probable es que algunos sean estadísticamente significativos por azar

Especifica de antemano los resultados de interés

Informa de todos los resultados medidos, incluyendo los no significativos

Corrige los tests estadísticos (Bonferroni)


Variables de control

¿Por qué incluir variables de control?

Podrían explicar parte de la variación y mejorar el poder estadístico

¿Por qué no incluir variables de control?

Da la apariencia de “búsqueda de especificación”

¿Qué variables de control incluir? Si la aleatorización es estratificada: incluye efectos fijos de estrato

Otras variables de control

Regla: Reporta tanto las diferencias “crudas” como los resultados ajustados por medio de regresión


Amenazas para la validez externa

Las personas pueden reaccionar distinto

al saber que son parte de una evaluación.

¿Puedo generalizar los resultados?


Amenazas a la validez externa: Cambios de conducta en evaluación.

Una limitación de la evaluación es que las personas bajo estudio pueden cambiar su comportamiento debido a la evaluación misma. Si el grupo de tratamiento cambia su comportamiento: efecto de

Hawthorne.

Si el grupo de comparación cambia de comportamiento: efecto de John Henry.

Tratemos de minimizar la importancia de la evaluación tanto como sea posible.

Consideremos incluir solo a los individuos del grupo de control para quienes obtuvimos medidas en la línea de seguimiento.


¿Puedo generalizar los resultados?

Depende de tres factores:

Implementación de programa: ¿puede ser

replicado a escala nacional?

Muestra: ¿es representativa?

Resultados sensibles: ¿podría un programa

similar, pero con alguna pequeña variación,

tener el mismo impacto?


Conclusión

Existen muchas amenazas a la validez interna

de una evaluacion experimental…

…algo que tambien sucede en otro tipos de

evaluaciones.

Las evaluaciones aleatorias:

Facilitan un análisis simple y poderoso.

• Permiten poca capacidad de manipulación con respecto a

resultados (y esto es bueno).

Permiten varios tests para comprobar la validez

interna del experimento.


¡Gracias!

56

Leigh Linden

Assistant Professor of Economics and Public Affairs

University of Texas, Austin

[email protected]

mailto:[email protected]

desgasteintroducción cumplimiento soluciones …. amenazas y... · quienes salen de la muestra y...

Documents