evaluación de proyectos
TRANSCRIPT
2016
Evaluación de Proyectos Sociales (SOL-190)
Profesora: andrea lopezAndrés González
ÍndiceDiseño de un Programa Social................................................................................................2
Diseño de Indicadores.............................................................................................................8
Matriz de Diseño...................................................................................................................12
Formas de Evaluar un Programa...........................................................................................15
Evaluación de Procesos y Evaluación de Impacto................................................................22
Evaluación de Procesos.....................................................................................................22
Evaluación de Impacto......................................................................................................24
1
10 de Marzo.
Diseño de un Programa Social.
Una política pública se puede definir como un “programa de acción de una autoridad inves-
tida de poder público”. Ahora bien, el problema de esta definición es que le entrega el mo-
nopolio de la creación de políticas públicas al Estado. Un concepto más actualizado y am-
plio puede ser: “son cursos de acción y flujos de información relacionados con un objetivo
político definido en forma democrática, que son desarrollados por el sector público y fre-
cuentemente con la participación de la comunidad y también del sector privado”. De esta
forma, la creación de una política pública no es sólo monopolio del Estado; supone la parti-
cipación de actores tanto del mundo privado (empresas, por ejemplo), además de distintas
organizaciones civiles.
Cuando hablamos de un diseño de programa nos vamos a centrar en tres puntos.
I. Atingencia: en este nivel se debe analizar la:
a) Relevancia social: es un diagnóstico de si el problema existe o no, y, de exis-
tir, a cuántas personas afecta. Esto puede ser respondido con investigaciones
académicas y con estadísticas nacionales. (Si se da de tarea la creación de un
Programa nacional de alfabetización para mayores de 18 años, ello no tiene
mayor sentido en la medida que casi el 100% está alfabetizado. Ello cambia
si nos vamos a un país como Nigeria donde un 75% de los hombres y 58%
de las mujeres están alfabetizados; aquí sí es atingente.)
b) Inserción Institucional: ver cómo se enmarca el programa en los objetivos de
la institución, en un ministerio, por ejemplo. Y también se quiere ver la rela-
ción del programa con otros programas; esto es importante para evitar dupli-
cidades, porque un programa puede ser el complemento de otro, porque se
puede optimizar recursos, etc. (Ejemplo clase: “Beca Vocación de Profesor”,
implementado por la Sub-secretaria de Educación. Ella entrega una beca de
arancel a los estudiantes con 600 puntos o más en la PSU para estudiar la
2
carrera de Pedagogía. Además, la misión del Ministerio de Educación (MI-
NEDUC). Considerando la Misión del MINEDUC1, ¿se inserta bien está
política pública? Sí, se inserta bien, en la medida en que la misión del Minis-
terio dice que buscan “asegurar un sistema educativo inclusivo y de cali-
dad”. Sin embargo, este programa pierde todo el valor relativo que pueda
tener con la implementación de la Gratuidad, por ejemplo. Se están dupli-
cando políticas, no se están complementando. A la presentación le tiende a
faltar una teoría. Asume de que la PSU es un buen método de medición de
calidad al igual que la prueba INICIA; en parte porque no hay mejores ins-
trumentos.)
II. Coherencia interna: se ve la interrelación de tres elementos del programa:
a) Los objetivos: qué se busca lograr. Estos se ven en tres niveles:
1. Fin último: contribución del programa a solucionar un problema so-
cial mayor; no es responsabilidad directa del programa, ya que es
algo tan general como disminuir la pobreza, por ejemplo. Es algo que
va a “contribuir a…”, pero el programa no se puede hacer responsa-
1 El Ministerio de Educación de Chile es el órgano rector del Estado encargado de fomentar el desarrollo de la
educación en todos sus niveles, a través de una educación humanista democrática, de excelencia y abierta al
mundo en todos los niveles de enseñanza; estimular la investigación científica y tecnológica y la creación
artística, y la protección e incremento del patrimonio cultural de la Nación. Del mismo modo, esta institución
es la llamada a velar por los derechos de todos los estudiantes, tanto de establecimientos públicos como priva-
dos.
La misión del Ministerio de Educación es asegurar un sistema educativo inclusivo y de calidad que contribuya
a la formación integral y permanente de las personas y al desarrollo del país, mediante la formulación e imple-
mentación de políticas, normas y regulación, desde la educación parvularia hasta la educación superior.
Es función del Ministerio de Educación que el sistema integrado por los establecimientos educacionales fi-
nanciado con recursos públicos provea una educación gratuita y de calidad, fundada en un proyecto educativo
público laico, respetuoso y pluralista, que permita el acceso a toda la población y que promueva la inclusión
social y la equidad.
3
ble en su totalidad del problema en la medida que es demasiado am-
bicioso.
2. Objetivo general: sí es responsabilidad del programa; es el resultado
directo de la ejecución del programa. Es lo que el programa pretende
conseguir de manera concreta con su implementación. Un programa,
un objetivo general.
3. Objetivos específicos: también son responsabilidad del programa.
Son metas intermedias que ayudan a conseguir el objetivo general,
por lo tanto, deben tener coherencia con el Objetivo general.
b) La población objetivo: a quien va dirigido el programa, a quien se busca
beneficiar con el programa. Puede estar delimitada por lineamientos de cual-
quier índole, incluso, y generalmente, presupuestarios. En este contexto se
distingue entre:
1. Población potencial: aquella que presenta el problema que se busca
solucionar. Es lo que se quiso diseñar.
2. Población beneficiada: aquella que efectivamente se vio beneficiada
con el programa. La mayoría de las veces es distinta a la Población
potencial. Es lo que efectivamente pasó. Por lo general es un subcon-
junto de la población potencial.
3. Estrategia de intervención: qué estrategia empleo para conseguir el
objetivo; qué es lo que hace el programa. Típicamente se hacen dos
cosas:
- Se entregan bienes y/o servicios,
- Se realizan actividades.
Además de eso, se ve el vínculo entre las actividades, bienes o servicios y los
objetivos del programa: ¿por qué de hacer A se llegaría a B? Esto se puede conse-
guir con investigaciones, literatura al respecto, experiencia internacional; por lo ge-
neral se ocupan fuentes terciarías. Muchas veces en esta etapa puede haber proble-
mas a nivel de saber qué es lo que hace un programa (ejemplo, programa 24 horas
del Ministerio del Interior); a nivel del vínculo entre las actividades, bienes o servi-
cios y los objetivos del programa (ejemplo, Maletín Literario). (Al momento de di-
4
señar un programa se puede hacer referencia respecto a las condiciones externas, el
contexto en el cual se despliega el programa).
Hay que analizar bien la coherencia interna; ello se consigue en virtud de la
evidencia empírica, en base a estudios hechos al respecto. La coherencia interna
no se limita a enumerar los elementos anteriores; hay que citar estudios que
abalen la existencia del vínculo entre los distintos elementos de la coherencia
interna. A ratos, puede que los elementos de la coherencia interna puede que no
se entrelacen muy bien.
III. Consistencia: es la medición de resultados del programa; se realiza ex ante. Es la
relación, la brecha existente entre el diseño (planificación) y la implementación
de un programa. (Supone una coherencia interna sólida). Se mide en función de
indicadores, que a su vez se pueden clasificar según el ámbito de desempeño
(eficacia, eficiencia, economía, calidad de servicio), y según ámbito de control
(procesos, productos, resultados [corto, mediano, largo plazos]).
a) La eficacia: se refiere a si el programa cumple o no con sus objetivos, en
particular los objetivos generales o propósito, y los objetivos específicos (no
se considera el fin último en la medida que no es responsabilidad directa
suya). Estos objetivos no sólo son analíticamente distintos, sino que también
se alcanzan en plazos distintos; en general los objetivos específicos son con-
seguibles en un corto plazo (ejemplo, Programa Plan Cuadrante). Entonces,
al analizar los resultados se va a distinguir entre:
1. Producto y Resultado (output) a corto y mediano plazo: conse-
cuencias inmediatas en el corto y mediano plazo; en términos
analíticos se está midiendo los objetivos específicos del progra-
ma. Son las actividades del programa para conseguir el objetivo.
(Un programa de vacunación de invierno se puede evaluar en
invierno, en un par de meses).
2. Impacto (outcome) a largo plazo: consecuencias a largo plazo; se
realiza una medición del objetivo general del programa. (Un pro-
5
grama de reducción de la pobreza no se puede medir, según la
literatura, hasta antes de 5 años).
Así, cobra importancia el evaluar un programa cuando debe ser evaluado en
función de sus objetivos, particularmente en políticas sociales; esto permiti-
ría arreglar el problema sobre la marcha. (Ejemplo, Prevención Temprana,
para evitar el consumo de droga: programa dirigido a niños entre 9 y 10
años. Se mide el programa a los 3 años, es decir, cuando los niños tienen 13
años. El problema es que el consumo de droga tiende a iniciar entre los 14 y
17 años; ver que la población disminuyo su consumo no se verá hasta cuan-
do ésta tenga 17 años.)
b) La eficiencia: refiere al costo al cual el programa obtuvo resultados, es decir,
cuánto costo que el programa cumpliera con sus objetivos. Parte del supues-
to de que los recursos son escasos, por lo tanto, se analiza el volumen de
recursos destinados al programa. La relación entre eficacia y eficiencia es
importante; los esfuerzos tienen que ser proporcionales a lo que se quiere
lograr. La eficiencia se evalúa en dos momentos:
1. Ex ante: es el presupuesto destinado al programa. Se analiza el precio
del bien o servicio que se va a entregar; y las opciones disponibles,
se busca la opción menos costosa. (Ejemplo, Puente de Chacao: se
comparó con la mejora de un sistema de flotas. En la medición de
gasto era más eficiente mejorar la flota.) No sólo importa obtener lo
que se quiere con el proveedor más barato, sino que también las op-
ciones disponibles para conseguir el objetivo.
2. Ex post: análisis de gasto. Se realiza sobre la base de indicadores y el
análisis de costo-eficiencia, es decir, evaluación socio-económica.
Cuando se evalúa un programa se distingue entre Gasto Administrativo
(G.A) y Gasto Social (G.S). Así, si:
G . A ÷ G . S=[0,1]
6
El resultado será 0 en la medida que el Gasto Administrativo sea mayor que
el Gasto Social (G . A>G. S). Será 1 cuando el Gasto Social sea mayor que
el Gasto Administrativo (G . A<G. S). El resultado de la división debe ser lo
más cercano a 1.
c) Calidad del producto: evaluación de la población beneficiada respecto al
producto recibido, o al programa. Es la capacidad institucional del programa
para responder a las necesidades de sus clientes. Refiere a conceptos tales
como atención, comodidad, acceso, etc.
d) Economía: es la capacidad de la institución de movilizar los recursos finan-
cieros. Un ejemplo puede ser la capacidad de autofinanciamiento, la genera-
ción de recursos, la capacidad de ejecutar adecuadamente el presupuesto,
etc.
Además de eso existen tres ámbitos de control que se emplean en distintos momen-
tos del programa.
I. Procesos: indicador durante la implementación del programa.
II. De productos: hace referencia al momento previo al momento de terminar el
programa, incluye los bienes producidos o entregados.
III. De Resultado:
a) Intermedio: refiere a cambios de comportamiento o de actitud una vez
que los beneficiados recibieron el producto; se mide a corto y mediano
plazo
b) De impacto o de largo plazo: refiere a los cambios en las condiciones de
vida de la población objetivo.
Se miden en base a indicadores; ellos dan un dato objetivo sobre la brecha entre el
diseño y la implementación. Un indicador debe tener una serie de exigencias:
I. Simples; sin caer al extremo de la simplicidad. Resumir conceptos multidimen-
sionales en un solo indicador.
II. Observables y medibles, generar una medida objetiva de las dimensiones.
7
III. Deben ser válidos. (Hay un trade-off entre lo valido y lo simple: entre más di-
mensiones abarque es más valido, pero deja de ser simple).
IV. Precisos.
V. Sensibles: deben permitir captar cambios en la población objetivo.
VI. Verificables: debe existir una fuente de información que permita verificar la
información que se está obteniendo.
VII. Comparables, tanto en el tiempo como con otras mediciones; esto permite
situar la información. (Acá también hay un trade-off entre la comparabilidad y la
perfectibilidad del indicador).
VIII. Económicamente razonables.
Todo lo anterior es lo que se conoce como la Racionalidad o Lógica del Programa.
El diseño está relacionado con la evaluación. Un programa mal diseñado difícil-
mente será bien evaluado, difícilmente cumplirá los objetivos que se propone. Los progra-
mas siempre están en constante construcción.
17 de Marzo.
Diseño de Indicadores.La primera etapa a evaluar en un programa social es la atingencia, en una segunda etapa se
ve la coherencia interna, la tercera etapa se ve la consistencia. La eficiencia y la eficacia se
miden en función de indicadores. Al minuto de diseñar un indicador hay que tener claro de
dónde se va a sacar la información para que el indicador mida lo que se supone que debe
medir.
Un indicador es una simplificación de la realidad que nos da información numérica
a cerca de las consecuencias y/o del funcionamiento del programa. Los indicadores se pue-
den diseñar ex ante (antes que el programa comience a implementarse) o ex post (evaluar el
programa estando en ejecución); se prefiere hacerlo ex ante. Un indicador va a tener un
conjunto de características deseables:
8
a) Simple: se apela al principio de parsimonia. Se prefieren indicadores sencillos a
los complejos. Hace referencia a que sea una simplificación de la realidad.
(Ejemplo: Nivel socioeconómico; con dos dimensiones: Dimensión económica
(Bienes), Dimensión social (Nivel educacional). Un indicador simple se cons-
truiría cruzando ambas dimensiones).
b) Observables y medibles: se busca una medida objetiva. De ahí deriva la impor-
tancia de definir el concepto: debe ser descompuesto en indicadores pequeños, o
dimensiones, que sean medibles. (Ejemplo: “Informe de la ONU ubica a Dina-
marca como el país más feliz del mundo”. Siendo la unidad de análisis los paí-
ses. Entonces este índice toma seis preguntas referentes al: PIB, esperanza de
vida, generosidad, el apoyo social, la libertad, la corrupción. Un concepto com-
plejo como la felicidad fue descompuesto en estas seis dimensiones, más allá de
que se esté de acuerdo con estas dimensiones).
c) Válidos: se refiere a que se esté midiendo el concepto que se busca medir. El
principal problema de la validez es que se va a tener un trade off entre la validez
y la simplicidad: para asegurarse de medir todo lo que se quiere medir por lo
general se tiene que medir de manera más exhaustiva. (Ejemplo: el concepto de
“Vulnerabilidad social”, que por lo general se mide en función del ingreso. El
indicador puede ser simple, pero no valido: hay que sumar otras cosas tales
como educación, contexto familiar, redes de apoyo, etc.) Lo importante en la
validez es explicitar lo que se quiere medir, es decir, es importante restringir lo
que se va entender por el concepto en cuestión, de ahí la importancia de los mar-
cos teóricos en las investigaciones.
d) Precisos: es decir, a qué nos estamos refiriendo con un determinado indicador.
Es importante para la comparabilidad, porque, por ejemplo, en el mismo caso de
la felicidad, así se pueden comparar distintos estudios referentes al mismo con-
cepto. Cuando se da un indicador lo primero que se tienen que hacer una fórmu-
la matemática, los periodos de medición en los cuales se miden los indicadores,
después hay que decir la unidad de observación, es decir, a quién se está midien-
do, y cuarto las fuentes de información; de aquí nace la importancia de diseñar
el indicador antes.
9
e) Sensibles: es decir, que tengan poder estadístico. Esto aplica para distintos tipos
de programas. Cuando se mide un indicador se tiene que medir en función de
una muestra que te permita medir el concepto. Su poder estadístico debe permi-
tir ver los cambios en la población objetivo. (Ejemplo: encuestas de drogas. Rea-
lizar una de estas encuestas es complejo en la medida que se tienen que hacer en
el mismo periodo y porque las prevalencias en Chile no son tan altas).
f) Comparables: esto es en dos sentidos: consigo mismos, es decir, con las cifras
previas del mismo indicador – esto se puede conseguir de dos formas: aplicando
la misma fórmula, como por ejemplo la CASEN, o aplicando el mismo periodo,
como por ejemplo las encuestas de drogas y las de demandas de dinero (Banco
Central); estos estudios comparan con el año anterior pero manteniendo el mes
dado que, por ejemplo, hay meses en los cuales los chilenos gastan más que
otros meses, y comparar Agosto con Noviembre no tiene mayor sentido – y con
los demás indicadores, con otros estudios; aquí va a ser crucial que el indicador
sea efectivamente preciso, lo que se tiende a hacer es vender metodologías, lo
cual te asegura que toda la información es comparable. Esto es importante en la
medida que permite poner en contexto la información que se está midiendo.
Ahora, hay un trade off siempre entre comparabilidad y perfeccionamiento: ¿qué
pasa si el indicador no es lo suficientemente valido? Se reportan dos indicado-
res: el antiguo y el nuevo. La idea es que al tener una serie lo suficientemente
larga de indicadores nuevos se puede dejar de usar el indicador antiguo.
g) Verificables: tiene que ver con las fuentes de información que se utilizan. Al
medir un indicador de determinada manera se tiene que decir explícitamente de
dónde se saca la base de datos; ello para verificar que lo que se midió es efecti-
vamente cierto. Tiene que ver un tanto con la transparencia del estudio. Enton-
ces, lo que se hace es que los indicadores se presentan de una determinada ma-
nera según un nombre, una definición y una base de datos de donde se extrae la
información.
h) Económicamente razonables: los indicadores más primarios de un estudio son
aquellos que se recolectan de manera muy rápida, pero en la medida que el indi-
cador se va sofisticando se hace más caro el recolectar la información. Lo que se
10
hace es que le Estado asume la aplicación de ciertas encuestas. Y en función del
costo de la medición, se ve también su periodicidad.
Veamos cómo tiene que ser un indicador en función del programa.
a) Pertinente: que el indicador mida las metas estratégicas del programa. Aquí hay
que hablar de un sistema de incentivos: cuando uno pone un indicador, se pone
una escala de incentivos a la institución; las instituciones funcionan por bonos
relacionados a ciertas metas. (Ejemplo, carabineros, robo de auto y robo co-
mún). Debe dar cuenta de los objetivos concretos del programa, para evitar in-
centivos perversos, un ejemplo puede ser el de los carabineros: se les dice quiero
evaluar cómo se está enfrentando el robo de autos, ellos deciden enfocarse en
este tipo de delitos para tener una mejor evaluación.
b) Atribuible al programa: es decir, evaluación del impacto. Apunta a establecer
una relación causal entre el programa y lo que se está midiendo; limpiar el indi-
cador de todas las condiciones externas. Por ejemplo, si se mide la pobreza en
un contexto de crisis económica, no necesariamente dice que el programa es
malo, o no cumple con su fin. Las consecuencias que se están evaluando sean
directamente atribuibles al programa, y no obedezcan a factores externos; así se
le da incentivos al programa a mejorarlo, por ejemplo.
c) No manipulables: las evaluaciones tienen que ser autónomas. El problema de
esto es que por lo general funciona con auto-reporte. Ello para que sea una infor-
mación objetiva, y no se vea alterada en pos de tener resultados positivos.
d) Variables: tiene que ver con los plazos. Al construir el indicador hay que decir el
momento en el cual se espera que el efecto se presente. Hay que ver la variabili-
dad del indicador, y cuando se espera que esta se produzca.
e) Validados: refiere al vínculo que como evaluador hay que establecer con la insti-
tución evaluada. Hay que explicitar que se evalúa al programa y no a la institu-
ción. (Ejemplo, el gremio de los profesores que tienden a ser reticentes a las
evaluaciones que puede que no vean que las evaluaciones no son tanto para me-
dirlos a ellos, sino que para medir los programas de pedagogía).
En la formulación de un indicador se debe explicitar:
11
a) La unidad de análisis, es decir, qué se está midiendo.
b) Cuánto se quiere aumentar o disminuir.
c) Cuándo se evaluarán los objetivos del programa.
d) Dónde se espera conseguir esos objetivos.
e) Siempre debe estar construido por un enunciado y fórmula matemática.
28 de Marzo.
Matriz de Diseño.Internacionalmente se ocupan dos tipos de matrices: el “Modelo Lógico” y la “Teoría de Cambio”.
La primera da la imagen de cómo el proyecto está funcionado.
1. Recursos/Inputs.
2. Actividades: qué se está realizando con esos recursos
3. Outputs: son los productos que consiguen los beneficiarios a partir de las activida-
des. Es el producto entregado.
4. Outcomes: el resultado se puede medir en corto, mediano, largo plazo; el último se
mide en función del impacto del programa, los dos primeros son los resultados in-
termedios del programa.
5. Impacto: los resultados a largo plazo
Los resultados previstos son la unión entre el outocome y el impacto; la unión entre los
recursos y las actividades se llama trabajo previsto.
El primer paso es obtener los recursos, una vez que se tienen los recursos se realizan las
actividades que otorgarán ciertos bienes y servicios que darán un resultado intermedio, y si
12
Recursos/Inputs Actividades Outputs Outcomes Impacto
Necesidades
Insumo/Intervenció
nProductos Resultado
Intermedio Impacto
se consiguen esos resultados intermedios, se puede decir con cierta seguridad que se obten-
drá el resultado final.
Otra matriz que se va a ver es la “Teoría de Cambio” (JPAL). Trata de establecer un
modelo causal entre el inicio del programa y el impacto, pero agrega la dimensión de las
necesidades, es decir, realiza un diagnóstico previo; agrupa los insumos y las actividades en
Insumo/Intervención:
es un poco más amplio en la medida que parte de las necesidades: añade el porqué es nece-
sario el programa.
En Chile se ocupa el “Marco Lógico”, el cual busca medir el desempeño del progra-
ma en cada una de sus etapas. Esta matriz es una tabla.
En la primera columna es la correspondiente a objetivos y actividades. Esta matriz
explicita el fin, es decir, la contribución que el programa quiere hacer a solucionar el pro-
blema social, aun cuando la solución del problema no sea responsabilidad exclusiva del
programa. En segundo término, explicita el Objetivo General, el cual sí es responsabilidad
exclusiva del programa. El tercer nivel de esta columna va a ser los componentes: los
bienes y servicios que entrega el programa. Y en cuarto lugar están las actividades, es decir,
las tareas para conseguir los componentes. En la segunda columna de la matriz se ubican
los indicadores de desempeño. Para cada indicador hay que explicitar el nombre, la fórmula
matemática, la dimensión del desempeño (eficacia, eficiencia, economía, calidad de servi-
cio) y el ámbito de control (proceso [Actividades], producto [Componentes], resultado [Fin;
Objetivo General]). (A nivel de fin la responsabilidad de medirlo tiende a ser de otra orga-
13
nización estatal, sí hay que explicitar cual, en el caso de los otros hay que explicitar con
cuál indicador se van a medir). En la tercera columna se ubican los Medios de Verificación:
a cada indicador creado hay que explicitar de dónde va a salir la información necesaria para
su medición. Y la última columna son los supuestos, es decir, condiciones externas que no
dependen del programa que tienen que ocurrir o no ocurrir para que el programa se desarro-
lle correctamente. Son condiciones que en general refieren a la implementación del progra-
ma. Ahora ¿cómo se determina un buen supuesto? Hay que responder una serie de pregun-
tas del supuesto en función del programa:
a) ¿Es importante el supuesto para mi programa?
b) ¿Es probable que ocurra?
Tiene que ser un supuesto clave para que si tal no ocurre mi programa no se logre desarro-
llar. En el segundo caso no se incluyen situaciones con posibilidades de ocurrencia 1 o 0; la
probabilidad tiene que estar acotada entre esos números.
Resumidamente:
c) 1era Columna: yendo de general a particular.
1. Fin.
2. Objetivo General o Propósito.
3. Componentes (bienes y servicios).
4. Actividades.
d) 2da Columna:
1. Indicadores.
e) 3era Columna:
1. Medios de Verificación.
f) 4ta Columna:
1. Supuestos.
La tabla de Marco Lógico quedaría de la siguiente forma; y se lee de derecha a iz -
quierda y de abajo hacia arriba.
14
Objetivos Indicadores Medios de
Verificación
Supuestos
Fin
Propósito
Componen-
tes
Actividades
Nombre/Di-
mensión/Ám-
bitos de Con-
trol
Fórmula de
cálculo
Cuantifi-
cación
Una cuarta Matriz es la Matriz del Ministerio de Desarrollo Social, la cual tiene
cinco categorías:
a) Antecedentes.
b) Diagnostico o Atingencia.
c) Objetivos y población.
d) Estrategia de Intervención.
e) Indicadores.
La idea de esto es que existe un banco de los programas sociales existentes en Chile.
En conclusión, hay cuatro tipos de matrices que se ocupan en función de lo que se
quiere medir.
31 de Marzo.
Formas de Evaluar un Programa.Para qué hacer una evaluación de un programa, es decir, ¿qué podría suceder en caso de
que se evalúe una política pública y es buena?:
I. Porque sirve como una base científica o empírica para:
a) Desarrollar nuevas políticas públicas
b) Aumentar la eficacia de las que ya existen
c) Descartar las que no funcionan
15
II. A su vez, sirve de información de ayuda para la organización y gestión de los
organismos.
a) Ayuda a saber qué hacer y cómo hacerlo.
b) Obtener mayor apoyo institucional.
III. También sirven como accountability.
Pero también las evaluaciones tienen consecuencias. ¿Qué pasa si no se evalúa y la política
pública es mala?
I. Se gastan recursos, entendiendo recursos en un sentido amplio.
II. Se pueden estar consiguiendo efectos adversos en nuestra población objetivo, en
la población beneficiada.
III. Se pierde la oportunidad de mejorar una política pública. Muchos de los proble-
mas de los programas son problemas de implementación; modificar algo muy
pequeño puede arreglar el programa de manera sustancial. Por ejemplo, si sse
implementa un programa de capacitación a las 15:00 hrs, lo más probable es que
el programa fracase en la medida que no se ajusta a los horarios de la población
objetivo; pero no fracasa porque el programa en sí sea malo.
Ahora, ¿qué pasa si no se evalúa y era una buena política pública?
I. No se pueden atribuir los efectos al programa. Ello implica que se puede tener
un programa muy efectivo, pero no va a recibir el apoyo institucional necesario
para seguir desarrollándolo.
II. No se puede expandir un modelo que funciona. Si no se tiene una evaluación
que diga que el programa funciona, este no se puede expandir.
¿Cómo se hace una buena evaluación? Existen distintos tipos de evaluación:
I. La naturaleza del programa: cada programa es distinto en su naturaleza, básica-
mente en sus escalas de objetivos, en la temporalidad de los efectos y en la com-
plejidad de los componentes. Por ejemplo: comparar una Campaña de Vacuna-
ción de Invierno contra la Reforma Educacional. Entender la naturaleza del pro-
grama es importante en la medida que en el caso de la Campaña no es necesario
una evaluación de procesos; el impacto es casi inmediato.
16
II. Los recursos que se posean: en la medida que hay que asegurar imparcialidad
hay una especie de cota inferior: hay que contratar gente fuera del organismo
evaluado. De aquí cobra importancia la valoración de las evaluaciones.
III. La pregunta que se quiere contestar: en función de ella se van a tener seis tipos
de evaluaciones, yendo de menos a más:
a) ¿Tiene lógica el programa? Esto es, evaluación de diseño. La idea de una
evaluación de diseño es establecer un vínculo lógico entre todas las partes
del programa. Este vínculo lógico parte por decir que existe un problema
que se quiere solucionar, y en los objetivos del programa se debe plantear
cómo se pretende lograr ello, es decir, la estrategia de intervención del pro-
grama de cara a solucionar el problema identificado.
b) ¿Se entregaron los componentes del programa? Esto es, evaluación de acti-
vidad. Esta es una de las evaluaciones más simples y baratas, ya que utiliza
información que el programa sí o sí debe generar mientras esté trabajando.
Esta información sirve para contestar dos preguntas:
1. A cuántos llega el programa, es decir, pregunta por la cobertura. El
análisis de la cobertura pregunta si la meta de atención se cumplió o
no. Esto se ve dividiendo la población atendida sobre la población
programada.
2. A quiénes se atendió, es decir, pregunta por las focalizaciones. Al
momento de diseñar un programa se piensa en la población objetivo;
entonces se evalúa si se atendió a la población que se pretendía aten-
der. Si se cubrió a mil personas, pero de ellas sólo trecientas eran de
mi población objetivo, hay un problema de focalización.
c) ¿Cómo se entregó el programa? Esto es una evaluación de procesos; por
tanto, se centra en la implementación. No hay una manera estandarizada de
hacer una evaluación de procesos, ya que el mismo depende de cada progra-
ma. Lo que en general se hace es que se hacen descripciones del proceso de
implementación: se dice qué hace y quiénes son los actores, tanto quienes lo
ejecutan como quienes lo reciben. Esta evaluación sólo ve la brecha entre lo
17
que se supone lo que iba a ser y lo que resulto ser; no dice nada respecto a
eficacia ni de eficiencia.
d) ¿El programa tuvo el efecto deseado? Esto es, evaluación de impacto. Se
busca contestar qué cambio o qué diferencia hizo el programa en la pobla-
ción que se trató; hace referencia a logros medibles. Al hacer una evaluación
de impacto se define una variable llamada variable resultado, y el problema
de la evaluación de impacto es que esta variable está constantemente afecta-
da por otros factores que no son directamente responsabilidad del programa,
por ejemplo: un puntaje PSU está afectado por múltiples variables. Por tan-
to, se debe aislar el efecto del programa. De esta pregunta por el impacto
deriva otra pregunta: ¿qué habría pasado a las personas que se trató en el
tiempo que se trató si no se hubiese tratado? El problema de esto es que no
se sabe qué pudiese haber pasado con aquellas personas. Lo que se hace es
una estimación del contrafactual (estadística).
e) ¿A qué costo se obtuvo el impacto? Es una evaluación de costo-efecto; pero
no mide rentabilidad social.
f) ¿El programa es rentable o no para la sociedad en su conjunto? Esto se cono-
ce como evaluación socio-económica. Se hace cargo de la rentabilidad social
del programa, ello relaciona los costos y los beneficios para la sociedad,
sobre la rentabilidad privada. Lo que hace la evaluación social relaciona
estas cosas y les pone un precio; y dice si el programa es beneficioso para la
sociedad en su conjunto.
Además, hay dos preguntas adicionales que se deben responder:
I. Cuán replicable es el programa en otros contextos. A modo de ejemplo se
puede citar el Transantiago, cuyo paralelo era el sistema de transportes de
Bogotá. Este concepto de replicabilidad es lo que se conoce como validez
externa de una evaluación.
II. Qué información adicional se necesita generar. En la medida que se evalúa
se logran ver ciertas necesidades que puedan tener las avaluaciones. Por
18
ejemplo, si se ve que en una evaluación algo no fue evaluado, para la si-
guiente evaluación se debe corregir.
Ahora se verán los distintos tipos de evaluación, específicamente la de actividad, es decir,
la del vínculo más básico entre el diseño de un programa y su implementación, ello en la
medida que se trabaja con información que el programa necesariamente genera mientras
funciona. Además de ello se trabaja sobre dos preguntas:
I. Cuántos: es el análisis de cobertura, y busca contestar si el programa produjo
los bienes y servicios que dijo que iba a producir. El primer indicador de
cobertura que se verá es el Nivel de producción del programa, el cual vincula
lo que se entregó contra lo que se suponía que se iba a entregar.
( Productos entregados÷ Productos Programados ) ×100
Si este indicador es menor que 100, se tiene una subproducción; si es igual a
100, se tiene una producción completa; si es mayor que 100 se tiene una so-
breproducción. Ahora bien, este indicador pregunta por productos mas no
por beneficiarios. Por lo tanto, se requiere un indicador nuevo: Cobertura
bruta, mide a los beneficiarios; a quienes se beneficiaron contra a quienes
efectivamente se benefició.
(Población atendida÷ Población objetivo)× 100
Si este número es menor que 100, se tiene una subcobertura; si es igual a
100, se tiene una cobertura completa; si es mayora a100, se tiene una sobre-
cobertura.
II. Quiénes: refiere al problema de la focalización. Los indicadores anteriores
no dicen si la población atendida fue aquella a quien efectivamente iba desti-
nada el programa. Para establecer esa población se establecen filtros, tales
como la Ficha de Protección Social: ella trata de identificar a las personas
con necesidad de un determinado programa. Existen cuatro situaciones de
focalización:
19
a) Acierto de inclusión: se logra identificar de manera correcta a la pobla-
ción objetivo y se llegó a ellos.
b) Acierto de exclusión: se logra que las personas que no necesitan del pro-
grama, no lleguen a él.
c) Error de inclusión: se trata a una persona que no está en la población
objetivo. Esto se puede medir:
( Poblaciónatendida−Población objetivo atendidaPobalción atendida
)×100
d) Error de exclusión: es dejar fuera a una persona que presenta el problema
que se busca solucionar.
( Poblaciónobjetivo−Población objetivo atendidaPoblación objetivo )× 100
El indicador de cobertura bruta será aquel que establezca la relación entre la
población atendida sobre la población objetivo
Población atendidaPoblaciónobjetivo
× 100
El indicador de cobertura neta estaría construido:
Población objetivo atendidaPoblación objetivo
×100
¿Qué pasa si se tiene acierto de inclusión y de exclusión, y no se tiene error
de inclusión ni de exclusión? Es decir: EE. = 0; EI = 0. Ello implica que la
población objetivo es igual a la población atendida.
Otro indicador es el Grado de focalización, es decir, a cuántas perso-
nas de la población objetivo efectivamente se atendió:
PoblaciónobjetivoPoblación atendida
× 100
Finalmente está el indicador que busca establecer la relación entre
cuánta gente se atendió contra la población que presenta el problema; es de-
20
cir, la contribución del programa a solucionar el problema social identifica-
do:
Población atendidaPoblación potencial
×100
El alcalde de una localidad busca combatir la pobreza. Para ello diseñó un programa de
becas de preuniversitario destinado al 40% más pobre de la población. Los beneficiarios
efectivos del programa se distribuyen de la siguiente forma:
2014 2013
Quintil 1 352 301
Quintil 2 417 331
Quintil 3 245 384
Quintil 4 140 282
Quintil 5 89 17
Total 1243 1315
Sabiendo que la cobertura bruta del programa en 2014 es del 86%, calcule la cobertura neta
para dicho año.
La población objetivo es el Total, la población objetivo atendida es 352 + 417. Entonces la
cobertura neta es igual a esa suma dividida la población objetivo2.
2 Ejercicio prueba 2015
21
7 de Abril.
Evaluación de Procesos y Evaluación de Impacto.
Evaluación de Procesos
Responde a la pregunta de cómo se entregó el programa, de cómo se llevaron a cabo las
actividades del programa. No existe una manera estandarizada de hacer una evaluación de
procesos; pero sí debe tener ciertas características.
Lo que se sabe es que se realiza mientras el programa opere, ya que uno se está cen-
trando en la implementación del mismo. Una evaluación de procesos es un feedback para
quien toma la decisión de política pública, en ese sentido una evaluación de procesos es
necesaria en la medida que ayuda a entender una evaluación de impacto. El objetivo de una
política pública es obtener un efecto, entonces al hacer una evaluación de impacto se van a
tener dos casos:
I. Impacto cero o negativo: se dice que el objetivo no se cumple; ello implica
que lo más probable es que el programa se cancele, pero para hacerlo se tie-
ne que estar seguro de que ese efecto cero es responsabilidad del programa
en sí. Una evaluación de procesos ayuda a saber si el problema está en la
implementación o en la línea lógica entre actividad y objetivo; si la imple-
mentación es correcta ello implica que hay que reformular la línea lógica.
22
II. Impacto positivo: da un respaldo, y ayuda a focalizar. La evaluación de pro-
cesos ayuda a identificar las actividades más relevantes tal que se pueda fo-
calizar recursos en esas actividades, haciendo el programa más eficaz. Tam-
bién ayuda a determinar la importancia del contexto de aplicación: al minuto
de elaborar un programa uno tiene que ver cuán replicable es.
Además, la evaluación de procesos puede servir como instancia de recolección de informa-
ción que previamente se olvidó de obtener.
¿Cómo se hace una evaluación de procesos? No hay una manera estándar de hacerla
en la medida que cada programa es único; tiene que ser adecuado a la complejidad de cada
programa. Al hacer una evaluación de procesos se trata de hacer una descripción detallada
del proceso de implementación; por descripción detallada se está pensando en: qué inter-
venciones se hacen, quiénes las hacen, qué forma adoptan las intervenciones, cuál es la
experiencia de los beneficiarios. En conclusión, lo que se trata de responder es cómo opera
el programa. Entonces si se trata de ordenar esta descripción detallada en etapas, se encuen-
tran dos etapas analíticas:
I. Si los procesos que lleva a cabo el programa son adecuados para alcanzar
sus objetivos. Es decir, hay un vínculo con la evaluación de diseño. La idea
es establecer la cadena de actividades para lograr un determinado objetivo.
Entonces, en una primera etapa se tiene que describir el programa.
II. Si estos procesos se han llevado a cabo adecuadamente. Para ello se tienen
que formular ciertas preguntas tales como:
a) ¿En qué contexto se implementó el programa? Acá el contexto es tanto
cultural como social, económico, etc.
b) ¿Cuáles son las actividades específicas que realiza el programa? Acá hay
que pensar que las actividades que se dicen que se van a hacer y las que
efectivamente se hacen. Hay que establecer el vínculo entre una y la otra.
c) ¿Quiénes son los actores involucrados? A nivel general están los que
implementan el programa y quienes son los beneficiarios. Hay que esta-
blecer todos los actores relacionados con este programa.
23
d) ¿Cuál es la percepción de los trabajadores del programa? Los trabajado-
res son los que mejor captan los posibles problemas de un programa.
e) ¿Cuál es la percepción de los beneficiarios del programa? Si la persona
está satisfecha, puede decir mucho a cerca del programa.
f) ¿Cuáles son las barreras y facilitadores que encuentra la implementación
de un programa? Ellos van desde todo contexto; por ejemplo, que el Mi-
nisterio no da la plata para la implementación del programa, hasta cosas
externas, como implementar un programa contra las drogas en un barrio
problemático. Ello dice mucho respecto al posible éxito del programa.
g) ¿Qué aspecto en particular del programa puede tener más efecto? En
general los programas entregan más de un bien o servicio, y algunos de
esos bienes son más caros. Por ejemplo, en la Beca Vocación De Profe-
sor está un financiamiento de Magister, pero si se entra a estudiar peda-
gogía no tanto por el magister, se puede sacar ese componente del pro-
grama para descargarlo.
h) ¿Cuáles son los canales de vinculación del programa? Se piensa en todo
el análisis de red al interior del programa.
i) ¿Cómo se puede mejorar el programa?
A través de estas preguntas se busca ver la pertinencia y la calidad de los bienes y servicios
de un programa, de ahí que sea necesario tener claro la lógica del programa.
En conclusión, hay tres aspectos que son claves:
I. Tener clara la lógica del programa3.
II. Desarrollar una secuencia de actividades.
III. Identificar los actores y subroles.
El método, la plata necesaria, el tiempo dedicado a una evaluación de procesos varía. Aho-
ra, en términos de metodología de recolección de datos se estila que todas las evaluaciones
de procesos ocupan técnicas cualitativas, y también se ocupa información cuantitativa (en-
cuestas, información externa que genera el programa).
3 Ver clases de Diseño
24
Una evaluación de procesos se realiza mientras se ejecute el programa, no al inicio
del mismo en la medida que recién se está aprendiendo a ejecutarlo.
Evaluación de Impacto.
Trata de responder a si el programa cumplió o no con sus objetivos, es decir, pregunta por
la eficacia del programa. La única evaluación que mide eficacia es la evaluación de impac-
to. Y dentro de la evaluación de impacto siempre va a ser importante medir los efectos
cuando se supone que esos efectos deben producirse: es absurdo medir el impacto de la
reforma educacional en dos años.
Por lo tanto, hay que saber cuáles son los objetivos del programa y cómo se van a
medir esos objetivos. Además, hay que evaluar cuando corresponda. Y finalmente hay que
aislar los efectos netos del programa, es decir, los efectos debidos al programa contra los
efectos que se habrían producido de todas maneras; ya que se busca establecer una relación
causa efecto, y para eso hay que definir una variable llamada variable resultado, que es la
manera en cómo se miden los objetivos. Esta variable establece el efecto en una persona
que fue tratada con el programa, contra la misma persona si no hubiese sido tratada con el
programa. Esta relación se llama Inferencia Causal: ella busca la relación entre las varia-
bles resultado en la misma persona habiendo sido tratada y no habiendo sido tratada en el
mismo tiempo. Esa es la única forma de establecer los efectos del programa.
Se va a definir una variable Pi, que va a tomar el valor 1 cuando el individuo fue
tratado; y 0 cuando no fue tratado. El efecto tratamiento será definido como
α=( y|P=1 )−( y∨P=0)
Donde P=1 es la variable resultado, y P=0 es el contrafactual.
Esta es la fórmula teórica en la medida que el contrafactual no existe, ello se conoce
como el problema fundamental de la inferencia causal. Este problema fue resulto por Paul
Holland haciendo una estimación del contrafactual. La complejidad de esto es que a nivel
personal esto no resulta: no se puede encontrar una persona 100% igual a otra. Por lo tanto,
esto se hace a nivel grupal: se necesita a un grupo de individuos tratados, y a un grupo de
25
individuos no tratados. Entonces se establece un grupo de tratamiento (P=1) y un grupo de
control (P=0). Un grupo de comparación válido tiene que ser:
I. En promedio, el grupo de control debe ser igual al grupo de tratamiento an-
tes del programa.
II. Ambos grupos deben reaccionar de la misma forma al programa. Aquí en-
tran a jugar las características no observables. No se pueden comparar dos
personas que reaccionarían de manera distinta a un tratamiento.
III. No tienen que estar expuestos a otros tratamientos o intervenciones, se nece-
sita que el contexto sea igual y que sólo varíe el hecho de que un grupo fue
tratado y el otro no.
Todo lo anterior se traduce en que se va a tener un contrafactual válido, es decir, un contra-
factual que permite establecer un efecto insesgado, es decir, aquel efecto que efectivamente
se da en la población.
26