camilo carrillo agosto, 2012 evaluación de impacto iv curso de didáctica e investigación para...

Camilo Carrillo

Agosto, 2012

Evaluación

de impacto

IV Curso de Didáctica eInvestigación para Profesores Universitarios de Economía

1. La evaluación de Impacto. Definiciones.

2. El Marco conceptual previo a la Evaluación de Impacto.

3. Como identificar indicadores de impacto.

4. La evaluación de Impacto.

5. Diseños de la Evaluación de Impacto Diseño Experimental Diseños Cuasi-Experimentales

6. Conclusiones.

7. Caso Projoven.

INDICE

2

OBJETIVOS

Comprender, valorar y aplicar los conceptos fundamentales asociados a la evaluación de impacto.

Crear un marco de referencia (lenguaje común) en los participantes, para el uso e interpretación de los enfoques, métodos y técnicas de evaluación de impacto.

3

Una evaluación de impacto contesta esta pregunta: Cómo cambiaron las vidas de los beneficiaros de mi programa, relativo a

como hubiera estado sin mi programa? Genera un juicio de valor. (¿ 20%, 15% ?) Es el uso de procedimientos científicos para investigar

sistemáticamente la efectividad de programas de intervención (Rossi et al, Bertrand).

Es una herramienta que debe verse como parte integrante de la política social y la gerencia pública. (Rossi y Freeman, 1985).

Que evaluamos? Programas (eficiencia, efectividad) Personas (aprendizajes, desempeño) Instituciones

4

1. ¿Qué es una evaluación de Impacto?

¿Por Qué Evaluamos Programas? Para corregir y mejorar su implementación. Para rendir cuentas (“accountability”). Para tomar decisiones acerca de continuar o terminar con

el Programa o Proyecto. Por mandato o por razones políticas. Para generar conocimiento. ¿Otras razones?

5

1. ¿Qué es una evaluación de Impacto?

Es importante distinguir entre...

1. Evaluación Ex Ante Estudios de preinversión. (Perfil-Factibilidad)-SNIP

2. Evaluación operativa: Monitoreo (seguimiento): relacionado con los

Componentes del Marco Lógico de un PIP/Programa.

3. Evaluación Ex Post Evaluación de Impacto: relacionado con el Propósito

(Evaluación de resultado) y el Fin (Evaluación de impacto) del Proyecto y detallado en el ML.

6


El marco conceptual o “de investigacion” es un diagrama que

identifica e ilustra las relaciones entre factores sistémicos,

organizacionales, individuales y otros elementos relevantes

que pueden influenciar la operación de un Programa o

Proyecto y el logro exitoso de sus metas y objetivos

7


Demanda individual

Oferta del programa

Utilizaciónde servicios

Prácticassaludables

Condiciones de salud

Inputstécnicos

Capacidadinstitutional

Sustentabilidaddel programa

8

EJEMPLO: Marco conceptual (resumido) para un programa de salud


9

EJEMPLO: Marco conceptual para un PIP de Salud


10


EJEMPLO: PIP de Educación

1. Los indicadores de impacto se establecen para medir el Fin y Propósito del Proyecto en la terminología del Marco Lógico.

Objetivos Indicadores Fuentes SupuestosFin Objetivo de Desarrollo Outcomes Evaluación de Impacto

Propósito Objetivo General Outcomes Evaluación de Impacto

Productos Objetvos Específicos Output Seguimiento y Evaluación de Operación

Actividades Input Seguimiento y Evaluación de Ejecución

Ámbito de seguimiento y evaluación de ejecución y operación de un proyecto

Ámbito de evaluación de impacto de un proyecto

Marco Lógico

2 El Fin y el Propósito es lo que se quiere obtener ejecutando el proyecto. Se denomina impacto (efecto) porque es una consecuencia lógica de la ejecución del proyecto (si está bien formulado). A esta consecuencia lógica se denomina la lógica vertical del marco lógico donde las actividades generan productos; y los productos generan el propósito/fin.

3. ¿Cómo identificar indicadores de Impacto?

11

Ejemplos de Proyectos Fines

Educación Los alumnos mejoran el rendimiento en comprensión lectora y lógico-matemáticas

Salud Reducción de la desnutrición infantil.

Caminos Rurales Los productores tienen menores costos logísticos (aumento de la productividad)

Saneamiento Rural Reducción de las enfermedades diarréicas agudas

Agraria Mejora de margen de comercialización de los productores

3. ¿Cómo identificar indicadores de Impacto?

12

Considerando el Marco Conceptual, la evaluación de impacto consiste de...

Un conjunto de actividades de investigación tendientes a establecer si el comportamiento observado en las variables de interés (variables de impacto) puede ser atribuido al Programa/Proyecto

La meta es establecer evidencias de una relación causal entre los resultados observados y las actividades del Programa/Proyecto

4. La evaluación de Impacto

13

EJEMPLO

14

}

Tiempo

Porcentaje de ingresos de la población

Con el programa

Sin el programa

Intervención

IMPACTO


Así, el Impacto Puede ser también definido como…

La diferencia entre los resultados obtenidos con el programa y los resultados que se habría obtenido si el programa nunca se hubiera implementado.

Concepto esencial : el contrafactual: Resultados que se habrían obtenido si el programa no hubiera sido implementado.

15


Cuando no se tiene un Contrafactual, es imposible determinar el impacto de una intervención: Se cae en el error de Subestimar o Sobreestimar el impacto

de la intervención No se puede determinar si es la intervención, algo endógeno,

o algo exógeno. Ejemplo: Un análisis antes-después de cualquier

PIP/Programa.

16


EJEMPLOS

17


En realidad nunca sabremos de seguro cuál hubiera sido el valor del contrafactual, pero podemos tratar de estimarlo de diferentes formas.

Los diversos diseños y técnicas analíticas en Evaluación de Impacto se pueden distinguir por la forma en que “estiman” o “simulan” el contrafactual

18


EJEMPLOS

Conocer exactamente cuál fue el impacto de un programa social es difícil ¿Qué efecto tuvo (si es que hubo alguno)?:

¿Cuál hubiera sido el resultado si los beneficiarios del programa no hubieran participado en él?

¿Cuál hubiera sido el resultado si quiénes no participaron en el programa hubieran sido beneficiarios de él?.

Para aproximarnos al impacto de un programa social se debe construir un escenario “contrafactual”:

¿Cuál sería el resultado en los beneficiarios sin el programa?

5. Diseños de la Evaluación de Impacto.

19

El problema es que no es posible observar al mismo individuo (o familia) como beneficiario y no beneficiario al mismo tiempo

Hay que crear un escenario “contrafactual”: Implica un grupo adecuado de comparación a los beneficiarios del programa: Grupo contrafactual: aquel cuyos individuos son

similares a quiénes recibieron el programa, excepto que “simplemente” no recibieron el programa.


20

Clasificación de metodologías de Evaluación de Impacto


21

Validez Interna y Externa

Validez Interna: Tiene que ver con cuan bien nuestro diseño de evaluación establece causalidad.

Mientras mejor definamos un Contrafactual, mejor podremos decir que la intervención genera el impacto observado.

Tiene que ver con el Sesgo de Selección (que el contrafactual sea similar al grupo de beneficiarios)

Validez Externa: Tiene que ver con cuan generalizables son los resultados, cuán relevantes para muchos / otros contextos.

Normalmente los resultados que uno observa dependen de realidades particulares (cultura, contexto económico, instituciones, agentes, etc.)

Va a depender del tamaño de muestra (y de la población) y del método de selección de la muestra (cuán representativa es la muestra)


22

A) Evaluación Experimental: La metodología de estudio de control aleatorio es el método más

riguroso para medir el impacto de un producto. La muestra de estudio se divide aleatoriamente entre dos grupos

principales: uno que recibe los beneficios del programa (grupo de tratamiento) y otro que no los recibe (grupo de control).

Como es imposible saber qué hubiera pasado si los beneficiarios no hubieran recibido el programa, se hace una comparación entre el grupo beneficiario y otro grupo que tenga características similares pero que no ha recibido el programa.


23

Evaluación Experimental:


24

Evaluación Experimental:


25

Para evitar sesgos de selección es necesario hacer una muestra aleatoria, es decir, todos los miembros de la población tienen la misma probabilidad de ser elegidos


26

Resultado del uso de métodos experimentales:

Se elimina el Sesgo de Selección Fácil de convencer a los creadores de política -pruebas

científicas de impacto con resultados no sesgados. La evaluación es más barata que invertir recursos en

programas que no son ni eficientes ni beneficiosos Fundamental para pensar cuál es el siguiente paso


27


Ejemplos de Eval. de Impacto Experimentales:

Oportunidades (Mex): experimental con 506 comunidades elegibles.

Fueron distribuidas aleatoriamente en 320 y 186 comunidades de tratamiento y control, respectivamente

Resultados: Schultz (2004): encontró un aumento promedio en la matrícula del 3,4% para todos los estudiantes, con el mayor incremento entre las niñas que habían completado el 6 º grado, de 14,8%. La razón más probable : que las niñas tienden a abandonar la escuela a tasas

mayores una vez que se hacen mayores. los grados primarios.

Estos impactos a corto plazo se extrapolaron para predecir el impacto de Progresa a más largo plazo.

28

B) Evaluación Cuasi-Experimental: Son metodologías en las que la intervención no es

asignada de manera aleatoria (hay un criterio de

elección). Buscan generar el contrafactual usando distintos

acercamientos Ejemplos: Matching/PSM, Diff-in-Diff, Regression

Discontinuity Design (RDD)


29

1. Matching/ Propensity Score Matching

Se busca “emparejar” a los beneficiarios con los no

beneficiarios usando ciertas variables PSM utiliza el “propensity score” que es la probabilidad

de ser asignado a un grupo de tratamiento o control,

dado un conjunto de variables. Normalmente se utiliza una Regresión tipo Probit :

P(y=1) = F(a1Hijo+a2Curso+a3Lab+a4IngFam+a5Padr+a6Madr)+Error


30

1. Matching/ Propensity Score Matching


31

2. Difference-in-Difference(DID, DD)

Se toma un grupo de tratamiento y de control y se

compara como evolucionan en el tiempo Se asume que en los 2 grupos está sucediendo casi lo

mismo


32



33


Ejemplo: Privatización de Agua en Argentina y su efecto en

mortalidad infantil (Galiani, Gertler, and Schargrodsky (2005). A partir de 1995, la mortalidad disminuyó más rápidamente en

los municipios que habían privatizado sus servicios de agua. Se encontró evidencia que la privatización del agua se

correlaciona con la reducción de las muertes por enfermedades

infecciosas y parasitarias. La mortalidad infantil se redujo un 8 por ciento en las zonas que

habían privatizado y que el efecto fue mayor en las zonas más

pobres (hasta 26%%).


34

3. Regression Discontinuity Design Se comparan los grupos en el margen, justo en el borde

donde hay un filtro arbitrario Ha tomado mucha popularidad últimamente. Si está bien diseñado es muy riguroso. Solo permite responder preguntas sobre las unidades

en el margen. Ejemplo: Ejemplo de Microcrédito


35

3. Regression Discontinuity Design


36

3. Regression Discontinuity Design


37

3. Regression Discontinuity Design Ejemplo: Redes de protección social en Jamaica. Levy and Ohls

(2007). El programa proporciona salud y subsidios a la educación a los

niños elegibles (condicionado a la asistencia a la escuela y postas) Elegibilidad para el programa fue determinada por una fórmula de

puntuación (nivel de pobreza). Fueron capaces de comparar los

hogares justo por debajo del umbral de elegibilidad. Resultados: El Programa genera mayor asistencia a la escuela para

niños de 6 a 17 años en un promedio de 0,5 días al mes. Asimismo,

las visitas de atención de salud aumentó aproximadamente 38%.


38

Conclusiones de los diferentes métodos:

La evaluación experimental es el diseño de evaluación de impacto científicamente óptimo (Arcenauxet al. 2004).

Pero, por muchas razones, a veces no es posible implementar experimentos aleatorios y la evaluación de impacto se realiza a través de métodos cuasi-experimentales que son intensivos en datos y en técnicas microeconométricas.

6. Conclusiones.

39

7. Caso Projoven.

40

camilo carrillo agosto, 2012 evaluación de impacto iv curso de didáctica e investigación para...

Documents