12 de diciembre 2012 1 - opp | oficina de … · una imposición externa a los jefes de proyecto y...

1 12 de Diciembre 2012

2

Evaluación de Impacto

en el

Contexto Internacional

DIRECCIÓN DE ESTUDIOS

Montevideo, 12 de Diciembre 2012

Instituto de Estudios Fiscales

3

INDICE

Evaluación de impacto en el contexto internacional

1. Ciclo de un Programa/Política-Evaluación

2. ¿Qué es evaluación y que no lo es?

3. Tipos de evaluación 1. Evaluación de impacto

4. Utilidad de la evaluación de impacto: Ejemplos internacionales

1. Sanidad

2. Mercado laboral

3. Seguridad Social

4. Vivienda

4

El ciclo de una política / programa

1. Ciclo de

5

Ciclo de la planificación/implementación/evaluación

1. Introduccion

6

- Cuando se realiza un proyecto, programa, política se pueden realizar muchas formas de…

- monitoreo / control / evaluación….. de dicho programa o política.

Diferenciar Evaluación de “otras cosas”

2. ¿Qué es evaluación y que no?

7

• La auditoría esta muy clara!!!

• Los otros dos principales instrumentos para la

recolección de desempeño de políticas son los sistemas:

– Monitoreo – indicadores periódicos de recolección interna

- Resultados para identificar aspectos que generan

los resultados obtenidos. No hay causalidad

– Evaluación – estudios externos más extensivos.

- Presentan informes de causalidad,

- Son largas y costosas

• Ejemplo: sistema regadío y una catástrofe natural!!


8

- Los gobiernos realizan habitualmente “auditorias” y “medición

del desempeño (monitoreo)”. (hay cultura!!)

- Sin embargo….la mayoría de la evaluación (sobretodo evaluación

de impacto) se realiza desde un punto de vista académico … y no

tanto en el gobierno

¿Por qué puede ser esto??

- Hasta ahora: la Evaluación, tradicionalmente se ha visto como al

“enemigo”- otorga vida o muerte a un proyecto o política. Una

imposición externa a los jefes de proyecto y que no ayuda al proyecto.

- Desde ahora: evaluación está íntimamente relacionada con

planificación e implementación de un programa público, no está

separado, si no que es parte de el, planificacion, evaluacion e

implementacion son 3 partes de lo mismo. La Evaluación es una

ayuda!!!


9

- Tipos de Evaluación:

• Se puede decir que:

– "Cuando el cocinero prueba la sopa, eso es formativa”

– “Cuando los invitados degustan la sopa, eso es sumativa”

3. Tipos de Evaluación

10

Evaluación formativa, responde cuestiones relativas con:

– Cuestiones relativas a la gestión de cómo se esta

implementando y ejecutada la política, proyecto o iniciativa;

– Cómo se gestiona el riesgo, alternativas.

– Si el sistema de medición del desempeño está generando

información fiable y valida sobre el rendimiento del programa;

– Verificar si es necesario hacer ajustes, y

– En que medida se esta produciendo un progreso hacia el logro

de los resultados deseados


11

Evaluación sumativa, responde cuestiones relativas con:

– Relevancia: ¿El programa continuará siendo compatible con

las prioridades del ministerio y del gobierno? y ¿hace frente a

una necesidad real?

– Costo-efectividad (Costo-beneficio): ¿Son los medios

utilizados los más adecuados y eficaces para alcanzar los

objetivos, en relación al diseño alternativo y de resultados?

– Impacto (Éxito): El grado en que los resultados deseados se

han alcanzado y el grado en que la política, programa o

iniciativa ha contribuido a la consecución de resultados.


12

- Ciclo de la evaluación de una política:


13

Avances del programa (tener en cuenta en la evaluación):

1. RECURSOS: Describir los recursos o factores influyentes disponibles

para apoyar las actividades del programa.

2. ACTIVIDADES: Describir cada una de las actividades que planea llevar

a cabo en su programa.

3. SALIDAS / PRODUCTOS: Para cada actividad del programa, identificar

qué resultados (de prestación de servicios / ejecución metas) que tienen

por objeto producir.

4. RESULTADOS: Identificar los resultados a corto y largo plazo esperan

alcanzar para cada actividad.(corto y medio plazo)

5. IMPACTO: Describir el efecto que el programa o política ha tenido en

los individuos. Es fundamental “aislar” ese efecto de otro tipo de

factores.


14

Ejemplo de evaluación: programa de capacitación de desempleados

1. RECURSOS: - Disponibilidad de uno (o varios) edificio(s) con aulas preparadas

- Personal capacitado para impartir cursos

- Presupuesto para pagar alquiler de edificios, personal, desempleados, etc.

2. ACTIVIDADES: Realizar curso de capacitación a desempleados de 100 horas. Con actividades

teóricas y practicas.

3. SALIDAS/PRODUCTOS: - Número de personas al mes que realizan el curso

- Logro de estándares de calidad en la prestación del curso (material, etc)

- Personas satisfechas con el curso realizado

- Coste medio que le supone al gobierno dar el curso a un desempleado

4. RESULTADOS: - Número de personas / mes que terminan el curso de capacitación.

5. IMPACTO: - Número de colocaciones exitosas resultantes (a corto y largo plazo) que se deben

a la realización del curso (y no a otros factores).

- Duración de los contratos (o diferencia salarial) debida a realizar el curso


15

• ¿En cuánto incrementa un nivel de educación el salario?

• ¿Previene la aspirina el infarto de miocardio?

• ¿Es bueno para la salud el consumo de vino de forma

moderada?

• ¿Es el tratamiento A mejor que el B?

• La pregunta que nos planteamos en estos ejercicios es si

recibir un tratamiento causa un efecto significativo respecto

a no recibirlo

Averiguar si unos determinados factores influyen

en una variable.

3.1. Evaluación de impacto

16

Causalidad:

X Y

• Para obtener la respuesta de esta relación causal supuesta, el investigador manipula la variable independiente (X) y observa si la dependiente varia o no (Y).

• Para realizar este tipo de estudios es necesario tener conocimiento de: datos, variables, muestreo, contrastes de hipótesis, ….


17

Las preguntas que tenemos que contestar en la

Evaluación de políticas son:

¿Cuál sería la situación si la intervención no hubiera

tenido lugar?

¿Las mejoras que se han producido en los individuos son

el resultado directo del proyecto, o sencillamente es que

se ha mejorado de todas formas?

¿Eran los gastos justificados?


18

- Para realizar la evaluación de impacto es fundamental tener información de dos grupos:

- Grupo de Tratamiento (recibe la política)

- Grupo de control (no recibe la política)

¿Por qué son necesarios dos grupos?? Para aislar el efecto del programa del resto de factores.

Es fundamental saber que parte de la mejora de un individuo se debe al programa (X) o se debe a otros factores distintos

V

X Y

W


19

– Tipos de Evaluación del impacto de una política

• Evaluación ex-ante (enfoque estructural) – Antes de realizarse la política

» SIMULACION (MICRO O MACRO)

• Evaluación ex-post (enfoque causal) – Después de realizarse la política

» EXPERIMENTOS CONTROLADOS

» ESTUDIOS OBSERVACIONALES


20

- No es algo tan raro!!! Existen ejemplos de muy buenas

practicas en la “Evaluación de impacto”

- EEUU (Proyectos de la Seguridad Social, incremento de salario

mínimo, políticas de vivienda, etc…)

- Canadá (Incremento de beneficios sociales, etc…)

- México: PROGRESA, CIMO

- Argentina: ”TRABAJA”, FONTAR,

- Colombia: “GRATUIDAD”, FOMIPYME

- Chile: “Chile crece contigo”, PROCHILE (exportaciones) PROFO.

- Brasil: Sistema sanitario, Ayuda de I+D.

- Perú: PROMPYME,

- ……

- En otras zonas del mundo: Europa (fondos europeos, a nivel

de paises..), Asia (Bangladesh, Indonesia, etc…)

4. Utilidad de la evaluación de Impacto: Ejemplos

21

- En España… El Instituto de Estudios Fiscales hace

evaluación de impacto

Sobretodo evaluación ex-ante:

- EUROMOD, Simulador de IVA, de IRPF, de Impuesto de

Sociedades, gastos en pensiones, dependencia, sanidad.

Pero también Evaluación de impacto ex-post:

- Evaluación del efecto de los fondos de la Unión Europea en la

distribución de agua.

- Evaluación del efecto de los fondos de la UE sobre la

depuración de aguas residuales.

- Evaluación del efecto de los fondos de la UE obre las

actividades de I+D de las empresas.


22

Pero……

¿Desde cuando se hace evaluación de impacto??

¿Es una idea novedosa? ¿Es algo actual?

Pues la verdad es que….NO!!!

La primera evaluación de impacto se hizo en…1855!!!


23

John Snow (1855)

- Quería estudiar la hipótesis de que el cólera se transmitía por beber agua contaminada. En 1854 encontró un experimento natural para responder a esta pregunta.

- En 1849 dos compañías de agua, SVC y LC, obtenían agua del río Támesis (bastante contaminado) en el centro de Londres. En 1952 la compañía LC comenzó a obtener agua de una parte más limpia del río.

- Solución inicial: Comparar las tasas de mortalidad en distritos servidos por compañía LC que cambió su fuente de agua 1852-1849 !!!PROBLEMAS DE CAPTURAR EFECTOS OTROS FACTORES


24

Distritos de Londres: - distritos suministrados por LC

Antes - distritos suministrados por SVC


25

Distritos de Londres: - distritos suministrados por LC

Después - distritos suministrados por SVC


26

- Como lo solucionó? Utilizando de “control” a los distritos servidos por la compañía (SVC) que no había cambiado la toma de agua.

Comparación de tasas de mortalidad (cada 100.000 hab) por cólera en 1853-1849:

40

60

80

100

120

140

160

180

1849 1853

distritos servidos por LC distritos servidos por SVC

contrafacual LC


27

- Para lograr el grupo de tratamiento y control

- Diseños experimentales – Aleatorios y controlados

- Diseños cuasi-experimentales – observacionales o naturales

- Los métodos para realizar evaluación de impacto son “sencillos”

- Técnica de Diferencias

- Método de Diferencias en Diferencias

- Técnicas de Matching (emparejamiento)

- Propensity Score Matching

- Estimación de Variables Instrumentales

- Estimador de Wald

- Función de Control

- Regresión en Discontinuidad

- Nuevas aproximaciones – Métodos de control sintético


28

PARA REALIZAR UNA EVALUACION DE IMPACTO

ELEMENTOS CLAVES!!

La elección del método estadístico/econométrico de evaluación

depende de:

- La naturaleza del problema a estudiar,

- El tipo y la calidad de los datos disponibles,

- El mecanismo por el cual los individuos se asignan o no al tratamiento.


29

Política mercado laboral- Incentivos de la Asistencia Social

• Reglas de asistencia social al desempleo:

– Bajos pagos de asistencia social para individuos menores de 30

años

– Pagos más altos para individuos de 30 años y más

• ¿Cuál es el efecto de

un incremento de la

asistencia social sobre

el empleo?


30

• El efecto directo todo el mundo lo tiene claro (un incremento del subsidio de

desempleo) – Incremento de bienestar de las personas menores de 30 años

• …….pero………………………¿existen efectos secundarios?

• Dos opciones: - No me importa si el programa tiene otros efectos

- Saber cuales son esos efectos, y si el programa ha

generado impactos no esperados.


31

Probabilidad de trabajar


32

Ejemplo de política de empleo – Seguridad Social

• El programa el Seguro Social fue diseñado a mediados de los años 70 para

proporcionar oportunidades de formación y empleo para los trabajadores en

situación “sensibles”, como parte de un diseño experimental.

Ham y Lalonde (1996) examinaron el efecto de los cursos de formación en las

mujeres que se ofrecieron como voluntarias.

El programa garantiza a las participantes tratadas 12 meses de empleo

subsidiado (como becarios) en diferentes puestos de trabajo.

Los requisitos de elegibilidad: Ser desempleada, ser beneficiaria de la

ayuda a largo plazo, y no tener hijos muy pequeños

• Dos opciones: - no me importa si el programa esta bien o mal (si tiene efectos

que buscaba)

- Saber si el programa tiene efecto


33

- Resultados: - Se hacen dos grupos (uno de tratamiento y otro de control) y se calcula si

esas personas trabajaban o no

• En el c/p, el programa mejora las perspectivas de empleo de los

participantes (una diferencia de 90 punt. porcentuales en las tasas de

empleo).


34

Política del Ministerio de Vivienda

Motivación

• Construir una instalación no deseada, como un incinerador de basura,

¿reduce el precio de las casas cercanas?

• Si lo hace, ¿en qué magnitud?

• ¿Por qué puede importarnos?

– Nos puede interesar estimar el costo del incinerador para decidir si incinerar

basura o arrojarla en vertederos.

– quizás nos interese compensar a las personas que viven en el área donde se

construya el incinerador.


35

La historia y los datos

• Los rumores de que se iba a construir comenzaron en 1978, y la

construcción comenzó en 1981. La planta comenzó a operar en 1985.

• El artículo de Kiel & McClain contiene un análisis econométrico bastante

complejo utilizando varios años, pero nosotros haremos un análisis

similar usando dos años de datos: 1978 y 1981.

• Si el incinerador afecta los precios de las viviendas,¿Qué esperaríamos?

– Esperaríamos que el precio de las casas en los alrededores del incinerador

decrezca de 1978 a 1981. Cuanto más cercana la casa, mayor la caída de

precios esperada.


36

Desde un punto de vista gráfico:

Año 1978 Año 1981

¿Cómo afectó la instalación al precio de las viviendas?


37

Estimador de diferencias-en-diferencias

es el estimador de diferencias-en-diferencias y puede expresarse como:

= ( 70.619,2 - 101.307,5 ) -- ( 63.692,8 - 82.517,5 )

(diferencia de precios cerca - lejos en 81) - (diferencia de precios cerca - lejos en 78)

La diferencia en el precio promedio de las viviendas es mayor en 1981 que

en 1978 ($30,688.3 vs. $18,824.4). La diferencia en los dos coeficientes

es:

• Éste es el efecto estimado del incinerador sobre el valor de las viviendas

ubicadas cerca del incinerador.


38

Hemos visto:

- Qué es evaluación y que no lo es.

- Dentro de evaluación … que es evaluación de impacto y que no lo es.

- Ejemplos internacionales de la utilidad de la evaluación de impacto:

- Sanidad, mercado laboral, Seguridad Social, Mercado vivienda.

.....y para finalizar…………………….

5. Conclusiones

39

Conclusión: No buscar resultados maximalistas

Historia de dos amigos y un tigre

- Dos amigos están caminando por el bosque cuando de repente

se encuentran con un tigre, que empieza a correr hacia ellos

rugiendo.

- Los dos amigos empiezan a correr, y uno le dice al otro: "Estoy

muy contento que me puse mis zapatillas de correr hoy.“

- El otro sorprendido responde:"No importa el tipo de zapatos que

llevas, ¿no ves que no vas a correr más rápido que el tigre?",

- “Yo no tengo que correr más rápido que el tigre, SOLO tengo que

correr más rápido que TU", responde.

5. Conclusiones

40

Gracias por su atención

Ignacio Moral Arce

[email protected]

Final

12 de diciembre 2012 1 - opp | oficina de … · una imposición externa a los jefes de proyecto y...

Documents