aspectosoperativos de una evaluación de...
Post on 18-Oct-2018
224 Views
Preview:
TRANSCRIPT
1
Ryan CooperAbdul Latif Jameel Poverty Action Lab, LACSantiago, 15 de abril de 2013rcooper@povertyactionlab.org@JPAL_LAC
Aspectos Operativos de unaEvaluación de Impacto
Introducción
• Etapas de una evaluación de impacto de principio a fin.
• 3 pilares de la evaluación de impacto relevante.
• Ejemplo programa Servicio País en Educación.
• Productor y del consumidor de evaluaciones de impacto.
• Al final de cada sección destacaremos las principales preguntas que los productores y consumidores deben hacerse.
Consideraciones importantes1. Relevancia
a) ¿Es la pregunta a evaluar relevante para las políticas públicas y la academia?
b) Madurez del programa a ser evaluado.
c) ¿Se podrán generalizar los resultados?
¿Cuánto de esto es controlable?
2. Confiabilidad del impacto estimadoa) Estrategia de identificación adecuada y bien justificada.
b) Poder estadístico.
c) Protocolo de análisis definido ex‐ante.
3. Calidad de los datosa) Seleccionar, capacitar y pilotear.
b) Monitoreo y control de calidad.
1. Entender el contexto. [Relevancia]2. Tener una pregunta. [Relevancia]3. Diseñar la intervención. [Relevancia]4. Diseñar la evaluación. [Confiabilidad]5. Evaluar procesos. [Relevancia y Confiabilidad]6. Levantar datos. [Calidad de datos]7. Analizar el impacto. [Confiabilidad]8. Medir Costo‐Efectividad. [Calidad de datos y Relevancia]9. Validar y difundir los resultados. [Relevancia y Confiabilidad]
Pasos en una evaluación de impacto
1. Entender el contexto
2. Tener una pregunta
3. Diseñar la intervención
4. Diseñar la evaluación
5. Evaluar procesos
6. Levantar datos
7. Analizar impacto
8. Medir costo‐efectividad
9. Validar y difundir resultados
Pasos en una evaluación de impacto
Servicio País• ¿Cómo mejorar la educación en contextos vulnerables?
– Grandes esfuerzos en gasto público en Latinoamérica, con escasas mejoras en resultados educacionales.
• Dos miradas:– Sólo las intervenciones tempranas sirven.– Intervenciones tardías pueden funcionar.
– Algo de evidencia hay a favor de ambas miradas.
Relevancia
1. Entender el contexto
‐ Esta evaluación se mueve en la segunda de esas miradas.
‐ Servicio País en Educación (SPE):‐ Programa enfocado en 4° grado (~10 años).‐ Duración de 3 meses / 15 sesiones.‐ Enfoque en mejorar niveles de lectura.‐ Durante el horario de clases: ‐ Sustituye horas en el colegio.
Relevancia
1. Entender el contexto
• Preguntas para productores:⁻ ¿Por qué es el contexto interesante desde una perspectiva de política pública y académica?
• ¿Cuál es la pregunta?:⁻ ¿Qué necesidad o temática social trata el programa? ⁻ ¿Qué temas dentro de esta área presentan inciertos importantes para la política pública?
Relevancia
• Preguntas para consumidores:⁻ ¿Para quiénes es útil esta información y por qué?
⁻ ¿Cómo ayudaría esta información al desarrollo de política pública locales?
1. Entender el contexto
1. Entender el contexto
2. Tener una pregunta
3. Diseñar la intervención
4. Diseñar la evaluación
5. evaluar procesos
6. Levantar datos
7. Analizar impacto
8. Medir costo‐efectividad
9. Validar y difundir resultados
Pasos en una evaluación
¿Cuándo utilizar una evaluación de impacto?• Evaluar el impacto cuando el proyecto es:
– Innovador– Replicable/escalable/expandible– Estratégicamente relevante para reducir la pobreza– Relevante para llenar algún vacío de conocimiento– Sustancial en el impacto de políticas
• Cuando se deseen probar alternativas dentro de un programa, en algunas ocasiones utilizando datos administrativos
• Para observar el costo‐beneficios, costo‐efectividad
10
Respuestas de Evaluación de Impacto
¿Cuál es el efecto de la información sobre comportamientos sexuales riesgozos y la prevalencia de VIH?
¿Concesionar el cuidado básico de la salud lleva al incremento e igualdad del acceso?
¿Los bonos a los vendedores generan mayores ganancias que descuentos a los precios del consumidor?
¿Los microcréditos aumentan la productividad de los pequeños empresarios?
¿Cuál fue el efecto del programa en los indicadores de resultado?
¿Cuánto mejor están los beneficiarios en respuesta al programa/política?
¿Cómo cambiarían los indicadores si cambiara el diseño del programa?
¿El programa es costo‐efectivo?
Respuestas de Evaluación de Impacto
2. Tener una Pregunta
• Es clave: 1. Pensar qué se quiere contestar con la evaluación.2. Preguntarse sobre la relevancia de la pregunta.3. Asegurar que la pregunta no haya sido contestada.
• Servicio País se plantea 3 preguntas:1. ¿Puede el SPE mejorar las habilidades cognitivas y no
cognitivas relacionadas con la lectura?2. ¿Existe alguna relaciones entre estas habilidades?3. ¿Qué tan costo‐efectivo es el programa?
Relevancia
• Preguntas para productores:‐ ¿Cómo afecta el programa el
comportamiento y percepciones de sus beneficiarios?
‐ ¿Qué indica la evidencia y/o literatura académica sobre los potenciales ángulos de impacto para el programa?
• Preguntas clave:‐ ¿Cuáles son las preguntas académicas y de política pública que buscará
contestar la evaluación de impacto?‐ ¿Cuáles son los objetivos del programa? ‐ ¿Sobre cuáles de estos es relevante analizar impacto?
Relevancia
• Preguntas para consumidores:‐ ¿Cuáles son las preguntas más
importantes para la política pública o el programa?
‐ ¿Cómo garantizar que las preguntas estén bien desarrolladas y puedan ser contestadas por una evaluación?
2. Tener una Pregunta
1. Entender el contexto
2. Tener una pregunta
3. Diseñar la intervención
4. Diseñar la evaluación
5. Evaluar procesos
6. Levantar datos
7. Analizar impacto
8. Medir costo‐efectividad
9. Validar y difundir resultados
Pasos en una evaluación
3. El Programa‐ Programa implementado por la Fundación para la Superación
de la Pobreza (FSP).‐ 15 sesiones de tutorías en tiempo de clase.‐ Los tutores son voluntarios universitarios.‐ Grupos de ~6 estudiantes por tutor.‐ Enfocado en escuelas vulnerables.‐ Objetivos:
1. Mejorar actitudes frente a la lectura.2. Mejorar niveles de lectura.3. Impactar en los voluntarios.
‐ Esta evaluación sólo contesta las dos primeras…
Cadena típica de resultados
Insumos• Financieros,
humanos, y otros recursos utilizados para llevar a cabo actividades
•Presupuestos, personal, otros recursos disponibles
Actividades• Acciones llevadas
a cabo o trabajo desempeñado para convertir los insumos en productos específicos
• Series de actividades realizadas para producir bienes y servicios
Productos• Resultado de
convertir los insumos en cosas tangibles
•Bienes y Servicios producidos y entregados dentro del control del organismo de ejecución
Resultados• Cambios como
resultado del uso de los productos por la población objetivo (comportamiento, utilidad, condiciones)
• No totalmente bajo el control del organismo de ejecución
Resultados Finales•El objetivo final del programa –beneficios
•Metas a largo plazo
• Cambios en los resultados debidos a diferentes factores
17
Implementación (OFERTA) Resultados (DEMANDA + OFERTA)
Análisis de Necesidades
Intervención‐Insumo
Producto
ResultadosIntermedios
Impacto
Bajos niveles de lectura
Tutorías dadas porvoluntarios universitarios
Estudiantes recibentutorías
Mejores habilidadescognitivas y no cognitivas
Mejor rendimientoacadémico
Una Teoría de Cambio simple aplicable a SPE
3. Diseñar la intervención
Relevancia
Preguntas para consumidores y productores:• ¿De qué manera ataca nuestro programa a una necesidad particular? ¿Cuáles son las alternativas?
• ¿Está mi programa lo suficientemente maduropara evaluar su impacto?
• ¿Tiene mi programa varios componentes? ¿Tendría sentido testearlos por separado?
3. Diseñar la intervención
Relevancia
1. Entender el contexto
2. Tener una pregunta
3. Diseñar la intervención
4. Diseñar la evaluación
5. Evaluar procesos
6. Levantar datos
7. Analizar impacto
8. Medir costo‐efectividad
9. Validar y difundir resultados
Pasos en una evaluación
10 dulces ‐ 5 dulcesImpacto Promedio de 5 días de consumo de dulces.
Solución: Comparar Grupos
Y1 | D 1
Y0 | D 1
¿Qué me conviene? Aleatorización
10 dulces ‐ 5 dulcesImpacto Promedio de 5 días de consumo de dulces.
Y1 | D 1
Y0 | D 1
4. Diseño de la evaluación
‐ Lo primero, ¿qué grupos incluir en la evaluación?‐ Depende de la pregunta: en este caso: ¿cuál es el impacto del SPE?
‐ Comparamos niños con SPE vs niños sin SPE.
TratamientoCon SPE
ControlSin SPE
Confiabilidad
4. Diseño de la evaluación
Confiabilidad
= Inelegible
Asignación Aleatoria
= Elegible
1. Poblacion
Validez Externa
2. Muestra
3. Tratamiento
Validez Interna
Comparación
= Inelegible
Asignación Aleatoria de múltiplesintervenciones
= Elegible
1. Población Elegible 2. Muestra de Evaluación
3. Asignación Aleatoria 1
4. Asignación Aleatoria 2
X
• El diseño de la evaluación puede tener incidencia sobre la implementación del programa.
• Debe incluir un análisis de: – Marco Muestral.– Unidad de Aleatorización.– Estratificación.– Cálculo de Poder.
4. Diseño de la evaluación
Confiabilidad
4.1. Marco Muestral‐ Se construye una lista de escuelas elegibles en base a los
criterios de la FSP:‐ Escuelas de bajo desempeño académico.‐ 10 municipios en 2 regiones (RM y VIII).‐ Dependencia de la escuela en algunos casos.‐ Escuelas de 100+ alumnos en 4° grado o parejas de escuelas cercanas
que sumen 100+ alumnos.
‐ Sólo se consideran en la evaluación escuelas que cumplan con todos estos criterios.‐ Se genera lista de reemplazo aleatoria, previendo no aceptación del
programa/evaluación.‐ Se contactan escuelas con el apoyo del Ministerio de Educación.
‐ Grupo Control: se le ofrece un informe de resultados del colegio.
4.2. Unidad de Aleatorización‐ ¿Cómo decidir a qué unidad aleatorizar?
‐ El programa se implementa en 4° grado.‐ Es díficil en la práctica excluir alumnos del programa en un colegio en que este se está implementando (Riesgo de Contaminación).
‐ Restricciones operativas de la FSP.
‐ Por ello, aparece como una opción idónea el aleatorizar a nivel de escuela.‐ ¿Qué riesgo surje al asignar por escuela?
4.3. Estratificación‐ ¿Qué es estratificar? ¿Para qué sirve? ‐ ¿Por qué variables estratificar?
‐ Restriciones Operativas de la SPE: Estratificar por comunaen que están las escuelas.
‐ Además:‐ Estratificar por Nivel Socioeconómico de las escuelas.‐ Estratificar por Desempeño educativo de las escuelas.
‐ ¿Por qué?
4.5. Instrumentos de Medición‐ ¿Cómo medir las variables de interés?‐ Determinar instrumentos de medición.
‐ Usamos cuatro fuentes.
1. Comprensión Lectora y Producción de Textos (CL‐PT):– Usamos una prueba estandarizada que mide:
• Comprensión de Lectura (RC)• Uso de la Lengua (UL)• Producción de Textos (TP).
– A estas las llamamos “habilidades cognitivas”.
4.5. Instrumentos de Medición
2. Gusto por la Lectura (GPL):– Construímos un instrumento nuevo en base a otros:
• Autopercepción como Lector (SPR).• Disfrute pro la Lectura (ER).• Interés por la Lectura (IR).• Percepción de la Lectura en la Escuela (PRS).
– A estas las llamamos “habilidades no cognitivas”.3. Información de Procesos del programa.4. Información Administrativa del Ministerio de
Educación.
4.6. Balance entre Grupos
‐ Es relevante revisar estadísticamente si los grupos de la evaluación están balanceados.
‐ ¿En qué dimensiones?‐ En todas las variables con que se cuente en la línea de base.
‐ ¿Entre qué grupos?‐ Los grupos experimentales.‐ Puede ser relevante mostrar que los “desertores” son iguales entre grupos.‐ En este caso la deserción fue considerable.
‐ Para otras subpoblaciones relevantes en el estudio.
¡La deserción (desgaste) muestral es particularmente grave cuando es sistemática!
¡Veamos primero cuando NO es sistemática!
4.6. Balance Entre grupos (Desercion)
Calidad
¡La deserción (desgaste) muestral es particularmente grave cuando es sistemática!
¡Ahora cuando SI es sistemáica la deserción!
4.6. Balance Entre grupos (Desercion)
Calidad
iv. Balance en puntajes de Línea de Base:
‐ Los grupos muestran estar balanceados.‐ La aleatoriazción hizo su trabajo.
‐ ¿Qué pasa si nos interesara medir impactos en subpoblaciones?
• Preguntas para productores:– ¿Cuál es la población
elegible? ¿Cuáles impactos se pueden medir y cómo?
– ¿A qué unidad aleatorizar?– ¿Se debería estratificar?– ¿Cuál es el tamaño de
muestra requerido?
4. Diseño de la evaluación
Confiabilidad
• Preguntas para consumidores:– ¿Quién diseña la
evaluación? ¿Debo subcontratar los análisis anteriores?
– ¿Cuáles impactos son importantes para la política pública?
– ¿Cuáles son la restricciones políticas/éticas que deben tomarse en cuenta a la hora de evaluar?
1. Entender el contexto
2. Tener una pregunta
3. Diseñar la intervención
4. Diseñar la evaluación
5. Evaluar procesos
6. Levantar datos
7. Analizar impacto
8. Medir costo‐efectividad
9. Validar y difundir resultados
Pasos en una evaluación
• Feedback para programa del funcionamiento.
• Brecha entre programa en teoría y en práctica.
• Conocer el cumplimiento de la asignación de programa.
5. Evaluar procesos
Relevancia y Confiabilidad
‐ El monitoreo del SPE se basó en visitas aleatorias a lasescuelas.‐ Observación de Tutorías.‐ Cuestionario a Tutores.‐ Cuestionario a Profesores.
‐ Además, se recopiló información administrativa de la FSP, de asistencia de alumnos y tutores.
5. Evaluar procesos
Relevancia y Confiabilidad
‐ Resultados del Monitoreo de SPE:
‐ Hubo mucha heterogeneidad en la implementación del programa.
¿por qué es importante?
5. Implementar y evaluar procesos
Relevancia y Confiabilidad
‐ ¿Hay diferencias regionales?
‐ Si, y estadísticamente relevantes.‐ En la VIII región se implementó “mejor” que en la RM.
‐ La FSP confirmó esta presunción.
5. Evaluar Procesos
‐ ¿Comparten los alumnos esta mirada?
‐ Sí, evalúan mejor el programa cuando:‐ Reciben más sesiones de tutorías.‐ Reciben menos rotación de tutores.
5. Implementar y Evaluar Procesos
• Preguntas para consumidores:– ¿ Quién monitorea el
programa?– ¿Qué preguntas importantes
se pueden responder con respecto a la implementación de programa?
– ¿Cómo se puede utilizar la información de una evaluación de proceso para mejorar la entrega de servicios?
• Preguntas para productores:– ¿Hay heterogeneidad en la
intensidad de tratamiento?– ¿Se identifican parámetros
para la mejora en la implementación?
– ¿Existen márgenes que pudiesen generar resultados heterogéneos entre distintos grupos de unidades de tratamiento?
5. Evaluar procesos
Relevancia y Confiabilidad
1. Entender el contexto
2. Tener una pregunta
3. Diseñar la intervención
4. Diseñar la evaluación
5. Implementar y evaluar procesos
6. Levantar datos
7. Analizar impacto
8. Medir costo‐efectividad
9. Validar y difundir resultados
Pasos claves en una evaluación
‐ ¿Qué fuente de datos usar?‐ Datos Administrativos vs Encuestas.‐ ¿Cómo decidir?
‐ ¿Cuándo medir?‐ ¿Deberíamos tomar Línea de Base?‐ Línea de Salida:
– Se debe esperar lo suficiente para que los impactos se materialicen.
– Recolectar buenos datos de contacto en la línea base permite tomar varias líneas de salida. ¿Hay recursos paraeso?
6. Levantar Datos.
‐ En el caso de SPE, el cronograma fue el siguiente:
‐ En cada caso, las pruebas se tomaban en dos ocasiones, para reducir “deserción”.
6. Levantar datos
Primeras Semanas de
agostoDiseñar
instrumento
Agosto/ SeptiembreLínea Base
Octubre/ NoviembrePrograma y Monitoreo
DiciembreSeguimiento
Calidad
Pregunta clave: ¿Cómo balanceo los costos y calidad de una medición en una evaluación de impacto?
– ¿Cuáles son los parámetros de calidad que se deben resguardar?– ¿Cuáles son los elementos clave de un presupuesto de
evaluación?– ¿Cuál es el mix de calidad y costos que se busca al contratar una
empresa encuestadora?
6. Levantar datos
Calidad
Algunos principios:“Garbage in, garbage out.”
• Cabalidad: Datos completos levantados de la totalidad de la población de estudio.– Violación: Encuestas con secciones no llenadas.
• Precisión: Datos bien especificados, capturan correctamente los parámetros de interés.– Violación: Preguntas conformadas con lenguaje confuso.
• Integridad: Datos obtenidos según los protocolos de aplicación y procedimientos operativos. – Violación: Aplicación de preguntas de encuesta en el orden
incorrecto.
6. Levantar datos
Calidad
Algunos principios:
• Veracidad: Datos que expresan verazmente la información de la población de estudio.– Violación: Primado, falsificación de datos.
• Homogeneidad: Datos levantados por los mismos procesos y bajo las mismos protocolos de la población de estudio.– Violación: Encuestas tomadas con distintas instrucciones en
distintas poblaciones.
¡Los errores de calidad son particularmente graves cuando son sistemáticos y/o no distribuidos de igual manera entre
tratamiento y control!
6. Levantar datos
Calidad
¡Los errores de calidad son particularmente graves cuando son sistemáticos y/o no distribuidos de igual manera entre
tratamiento y control!
6. Levantar datos
Calidad
• Algunas recomendaciones para productores: ‐ La planificación del terreno y diseño de cuestionario toma tiempo! No se confíe. Trabaje con anticipación.
‐ Pilotear los instrumentos es relevante.‐ Para corregir formulación de preguntas.‐ Para calibrar escalas de respuestas.‐ No haga 1 piloto, haga varios.
‐ Buena coordinación con la muestra ayuda reducir la “deserción”. Esto es clave!
‐ Monitorear el levantamiento de datos es clave.‐ Recolectar buenos datos es caro, pero puede “valer la pena”.
Calidad
6. Levantar datos
• Herramientas para consumidores:‐ Checklist para evaluar
presupuestos de contratista.
‐ Checklist para elaborar términos de referencia.
6. Levantar datos
Calidad
• Preguntas para productores:‐ ¿La evaluación ha hecho provisiones
para la obtención del consentimiento informado, participación voluntaria de los sujetos del estudio?
‐ ¿El trabajo de campo se ha conformado considerando que la información personal de los encuestados y la confidencialidad del estudio e intervención sea resguardada?
‐ ¿Qué contraparte es responsable por proveerles a los participantes una vía por la cual pueden realizar consultas del estudio y/o cancelar su participación dentro del estudio?
• Pedir un Listado Detallado de Supuestos: ¿Equipos? ¿Fuente de estimados de costos de insumos (alquiler de automóviles, seguros, costos de impresión, y costos de materiales)? ¿Cuáles son los imprevistos esperados, demoras, y planes de contingencia para situaciones adversas?
• Pedir un Estimado de Costos Unitarios: ¿Cuál es el costo unitario (promedio) de llegar a cada observación en la muestra? ¿Cómo varía el costo unitario entre observaciones o grupos de observaciones?
• Conformar un Presupuesto Propio: ¿Si se rehace en presupuesto de l contratista, como comparan los costos? ¿Cuáles supuestos o cálculos parecen explicar las diferencias?
• Solicitar Escenarios: ¿Cuáles escenarios entrega el contratista al solicitarle un mínimo de 3 escenarios presupuestarios? ¿Cuáles parámetros varía el contratista?
6. Checklist: Evaluar presupuestos
• Protocolo de Confidencialidad: Protección de Información del Estudio y Participantes de Estudio; Instructivo de Manejo de Información
• Protocolo de Muestreo: Definición estricta de Marco Muestra, Tasas de Participación, Instructivo para Recuperación y Búsqueda
• Protocolo Etapas: Listado de etapas de preparación, debería incluir varios pilotajes, tiempo para solicitar permisos
• Selección y Entrenamiento de Personal: Especificaciones para selección de personal competitivo y entrenamiento práctico; especificaciones de estructura salarial
Calidad
6. Checklist: Términos de referencia
• Protocolo de Aplicación: Instructivo completo para aplicación de cuestionarios e otros instrumentos de medición, proceso de aplicación
• Protocolo de Monitoreo: Plan de monitoreo que incluye tres actividades claves de monitoreo, tasas de error aceptables, plan de corrección
• Protocolo y Entregas: Cronograma Fijo de Reportes y Productos incluyendo: Manuales de Entrenamiento, Hojas de Control, Datos, Reportes de Errores
6. Checklist: Términos de referencia
Calidad
1. Entender el contexto
2. Tener una pregunta
3. Diseñar la intervención
4. Diseñar la evaluación
5. Implementar y evaluar procesos
6. Levantar datos
7. Analizar impacto
8. Medir costo‐efectividad
9. Validar y difundir resultados
Pasos claves en una evaluación
1. Variables de CL‐PT (habilidades cognitivas):1.1. ITT: Simplemente, hacemos una regresión del puntaje
obtenido sobre la variable de tratamiento.
CLPTisk = kTs + Xis + isk
‐ k es el impacto de programa sobre todo el grupo tratamiento.
‐ Es relevante corregir los errores estándar por la presencia de clusters en la muestra.
7. Analizar impacto
Calidad
1. Variables de CL‐PT (habilidades cognitivas):1.2. TT: Ahora hacemos una regresión del puntaje obtenido
sobre el número de tutorías recibidas, usando la variable de tratamiento como variable instrumental.
CLPTisk = kNis + Xis + isk
‐ Ahora k es el impacto sobre los tratados, reconociendo las diferencias en las intensidades del tratamiento recibido.
‐ ¿Cuál es mayor? ¿ITT o TT? ¿Cómo cambia la interpretación?
7. Analizar impacto
Calidad
7. Analizar impacto
• Se observan ciertos impactos.‐ En Comprensión lectora:
‐ Impacto promedio de 0.08, pero sólo mg. significativo.‐ Impacto de 0.18 sobre colegios de la VIII.‐ Impacto de 0.12 sobre colegios vulnerables de la VIII.
‐ En Uso de la lengua:‐ Impacto de 0.28 sobre colegios de la VIII.‐ Impacto de 0.38 sobre colegios vulnerables de la VIII.
‐ La buena/mala implementación es relevante!‐ Impactos focalizados en colegios vulnerables.
Calidad
7. Analizar impacto
Resultados externalidades• Teoría:
‐ Los alumnos reciben menos clases de sus materias tradicionales, pero…
‐ Los profesores tienen más tiempo para preparar clases.
• Los resultados muestran que:‐ No hubo externalidades negativas.‐ Hubo ciertas externalidades positivas en las materias
humanistas.‐ Pero, ¿Porqué no en lenguaje?
‐ La información de procesosmuestra que fue la materia más reemplazada por el programa… Calidad
• Entonces:‐ Hay algunos resultados de impacto relevantes.‐ Es interesante notar la relación entre Ev. De Procesos y Ev. De
Impacto.‐ Sin embargo:
‐ Algo de heterogeneidad.‐ Pocos impactos estadísticamente significativos.
• ¿Porqué los impactos no fueron significativos?‐ Tamaño Muestra vs Magnitud del Impacto.
7. Analizar impacto
Calidad
‐ Análisis de totalidad de datos levantados para la evaluación y medición de impacto del programa. El análisis final debe contemplar varios escenarios de impacto y especificaciones de medición.
‐ Típicamente los resultados de una evaluación de impacto son sometidos a “peer review” previo a ser considerados definitivos y proceder a ser diseminados ante audiencias académicas, del programa, y de política pública (a definir ex ante).
7. Analizar impacto
Calidad
• Preguntas para productores:– ¿Se contemplan varios
escenarios para reportarlos resultados?
– ¿Se distingue entre lo quees significativo o no?
– ¿Faltó poder estadístico?– ¿En el contexto de la
literatura, son los impactos los esperados?
• Preguntas para consumidores:– ¿Cuál es el efecto sobre las
variables de interés másimportantes para políticaspúblicas?
– ¿Funciona nuestroprograma? ¿De qué manera?
– ¿Son confiables los resultados?
7. Analizar impacto
Calidad
1. Entender el contexto
2. Tener una pregunta
3. Diseñar la intervención
4. Diseñar la evaluación
5. Implementar y evaluar procesos
6. Levantar datos
7. Analizar impacto
8. Medir costo‐efectividad
9. Validar y difundir resultados
Pasos claves en una evaluación
8. Medir Costo‐Efectividad
• Una línea en que las evaluaciones son útiles es para comparar políticas/programas.
• Cálculos de costo‐efectividad ayudan a ello.‐ Ponen impactos en una métrica común.
• Pero, tienen sus problemas:‐ No consideran impactos sobre múltiples variables.‐ Se construyen sobre supuestos.‐ No consideran rendimientos marginales de los programas.
Calidad y Relevancia
8. Medir Costo‐Efectividad
• Resultados Costo‐Efectividad‐ Cálculos para el SPE‐ Lo hacemos para distintas subpoblaciones de
colegios.
Calidad y Relevancia
8. Medir Costo‐Efectividad
Preguntas para consumidores:‐ ¿Presentan los resultados
en forma intuitiva?‐ ¿Pueden ser insumos
importantes para la toma de decisiones?
‐ ¿Cómo se compara el programa a los demás?
Preguntas para productores:‐ ¿Tengo buenos datos de
costos?‐ ¿Cuáles son los supuestos
que utilizo para medir la costo‐efectividad?
‐ ¿Ayuda este ejercicio a hacer de las evaluaciones experimentales una herramienta útil de política pública?
Calidad y Relevancia
1. Entender el contexto
2. Tener una pregunta
3. Diseñar la intervención
4. Diseñar la evaluación
5. Implementar y evaluar procesos
6. Levantar datos
7. Analizar impacto
8. Medir costo‐efectividad
9. Validar y difundir
resultados
Pasos claves en una evaluación
9. Validar y difundir resultados
• ¿Cuál es el objetivo de una evaluación?1. Aprendizaje académico.2. Impacto en políticas públicas.
• Aspectos a tener en cuenta antes de difundir:– Lenguaje adecuado!– Tener los resultados listos. Para esto, el proceso de
validación académica es relevante.
‐ ¿Qué hacer cuando el impacto es 0?
Relevancia y Confiabilidad
9. Validar y difundir resultados
• En este caso:‐ Presentación en seminarios académicos nacionales e
internacionales.‐ Mejoras y correcciones.
‐ Presentación a la FSP y al Ministerio de Educación.‐ El programa se mantuvo para el año siguiente.
• ¿Cómo manejar las expectativas?‐ Mostrar todas las estimaciones.‐ ¡Es clave evaluar procesos!
Relevancia y Confiabilidad
Relevancia y Confiabilidad
Preguntas para consumidores:‐ ¿A quién le interesan estos
resultados?‐ ¿Cómo los puedo hacer
relevantes en el contexto de política pública?
‐ ¿Cuál es la estrategia de comunicación? ¿Cómo tener el mayo impacto?
Preguntas para productores:‐ ¿A quién le interesan estos
resultados?‐ ¿Cuáles son los resultados que
más destacables?‐ ¿Cómo se esperaría que estos
resultados cambien o informen la política pública?
9. Validar y difundir resultados
1. Entender el contexto
2. Tener una pregunta
3. Diseñar la intervención
4. Diseñar la evaluación
5. Evaluar procesos
6. Levantar datos
7. Analizar impacto
8. Medir costo‐efectividad
9. Validar y difundir resultados
Pasos en una evaluación
Conclusiones
• SPE: una política de corto plazo que logró impactar los niveles de lectura de alumnos de colegios vulnerables.‐ Impactos concentrados en:
o Colegios relativamente más vulnerables.o Zonas en que el programa fue mejor implementado.
• Impactos sobre variables cognitivas y no cognitivas.‐ Con un patrón relacionado entre ambas.
• No se encontró evidencia de externalidades negativas.• Investigación Futura:
‐ Relación entre habilidades cognitivas y no cognitivas.
• Relevancia– ¿Resultado es útil para la toma de decisión de política?
• Confiabilidad del impacto estimado– ¿La evaluación es capaz de medir el impacto relevante?
• Calidad de los datos– ¿La información y datos utilizados son fidedignos?
Consideraciones importantes
top related