investigación orientada a las políticas sociales: monitoreo y evaluación curso de evaluación,...
TRANSCRIPT
![Page 1: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/1.jpg)
Investigación orientada a las políticas sociales:
monitoreo y evaluación
Curso de Evaluación, Monitoreo y Seguimiento
Segunda parte
![Page 2: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/2.jpg)
La lógica de una política ...
RECURSOS
RESULTADOS
CONTEXTO
PROCESOS Y PRODUCTOS
![Page 3: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/3.jpg)
Indicadores: mirada desde la gerencia para cobertura, calidad y resultados
INDICADORES DE RESULTADO
INDICADORES DE CALIDAD
INDICADORES AFINADOS DE COBERTURA
INDICADORES DE COBERTURA
Mortalidad infantil, Aprendizaje, Prevalencia de enfermedad x
Recursos materiales, humanos. Protocolos de
atención, tiempo de espera, ausentismo, monto de prestación
Frecuencia de asistencia, acceso, prestaciones por
persona, etc
Tasa bruta y neta de escolaridad, Tasa de cobertura formal de salud, Tasa de vacunación, Tasa de cobertura en seguridad social
![Page 4: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/4.jpg)
Las cuatro funciones y formas básicas de la evaluación...
Evaluación de necesidad y situación (needs assesment, state assesment and diagnosis)
Evaluación de implementación y productos (implementation analysis, output and process evaluation)
Evaluación de desempeño continuo y contra valores meta (performance evaluation)
Evaluación de impacto (impact evaluation)
![Page 5: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/5.jpg)
Desarrollo de la evaluabilidad
Propósito: asegurar que el diseño de la iniciativa o la Propósito: asegurar que el diseño de la iniciativa o la organización que se evaluará esté diseñado de manera que organización que se evaluará esté diseñado de manera que efectivamente podrá ser monitoreada y evaluada de manera efectivamente podrá ser monitoreada y evaluada de manera
relevante.relevante.
Requiere: Requiere: - especificación del valor buscado y de los objetivos asociados- verificabilidad de los objetivos- viabilidad de los objetivos- definición de indicadores o informaciones relevantes- línea de base o referentes para diversos indicadores e informaciones- especificación de procesos previstos para el uso de la información generada (****)
![Page 6: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/6.jpg)
Evaluación de necesidad y situación (needs assesment, state assesment and diagnosis)
Formación de agenda Identificación de problemas Especificación de problemas y su
medición Identificación de correlaciones que
sugieren causalidad Diagnóstico sectorial o generales, desde
la política o desde los beneficiarios
![Page 7: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/7.jpg)
Evaluación de implementación y productos (implementation analysis,
output and process evaluation)
Recursos disponibles Acciones realizadas Procesos desarrollados Productos generados Productos entregados Participación de beneficiarios Análisis de implementación
![Page 8: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/8.jpg)
Evaluación de desempeño continuo y contra valores meta (performance
evaluation)
Comparación contra período anterior Comparación contra metas Comparación contra y entre unidades
o areas Evaluación contra parámetros
generalizados, normativos o acumulados por experiencia.
![Page 9: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/9.jpg)
Actividades: monitoreo y evaluación de desempeño
Requiere:Requiere:-seguimiento de procesos internos y externos a la organización- orientación al servicio de los ciudadanos-usuarios- seguimiento de entrega y calidad de productos y servicios- consultas a la satisfacción de los clientes y ciudadanos- especificación de valores meta para ciertos indicadores- mecanismos y estrategias para asegurar que la información afecte los procesos y los actores relevantes (****)
Propósito: realizar un seguimiento de los diversos procesos, Propósito: realizar un seguimiento de los diversos procesos, productos y resultados y utilizar la información generada para productos y resultados y utilizar la información generada para
guiar el desempeño de los diversos actores.guiar el desempeño de los diversos actores.
![Page 10: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/10.jpg)
- - Aceptación creciente de auto-evaluación y co-Aceptación creciente de auto-evaluación y co-evaluación.evaluación.- Evaluaciones participativas:- Evaluaciones participativas:
involucrados y participantes fuera de la involucrados y participantes fuera de la organización ejecutoraorganización ejecutorainvolucrados dentro de la organización involucrados dentro de la organización ejecutoraejecutora
Actividades: monitoreo y evaluación de desempeño
¿Quiénes monitorean y evaluan?¿Quiénes monitorean y evaluan?¿Uno puede ser juez y parte?¿Uno puede ser juez y parte?
![Page 11: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/11.jpg)
CONTEXTOS
RESULTADOSPROCESOS Y PRODUCTOS
RECURSOS
DESIGUALDAD
DESIGUALDAD DISTRIBUTIVA
EFICIENCIA
INTERNA
EFICACIA, IMPACTO, MECANISMOS CAUSALES
COSTO-IMPACTO
ESPECIFIC
ACIÓN
AMBIENTE
AMBIENTEAMBIENTE
AMBIENTE
![Page 12: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/12.jpg)
Evaluación de impacto (impact evaluation)
![Page 13: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/13.jpg)
Cambios en unidades por efecto primario de producto o servicio: EFECTO
PRODUCTOS Y SERVICIOS GENERADOS
Cambio social en mi variable y unidades objetivo: IMPACTOS
ACTIVIDADES E INVERSIONES
VALOR SOCIAL (Transformación deseada y otras externalidades positivas)
LA LÓGICA DE UNA INTERVENCIÓN
![Page 14: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/14.jpg)
LA LÓGICA DE UN SISTEMA DE EVALUACIÓN
TRANSFORMACIÓN DESEADA
Evaluar actividades
Evaluar productos
Evaluar Efectos
Evaluar impactos
![Page 15: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/15.jpg)
Posibles quiebres en la cadena causal...
ACCIONES X
ACCIONES PRODUCTOS X
ACCIONES PRODUCTOS EFECTOS X
![Page 16: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/16.jpg)
EL PROBLEMA DEL CONTEXTO...
CONTEXTO
INTRAMURAL EXTRAMURAL
ACCIONES PRODUCTO EFECTOS (propósitos)
IMPACTOS (fines)
Otras intervenciones y dinamicas
![Page 17: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/17.jpg)
1. Se podría analizar el logro (o no) de TODOS los cambios esperados, o sea, todos los elementos del marco conceptual.
¿Hasta dónde evaluar?¿Hasta cuál eslabón de la cadena?
2. Se podría evaluar hasta el eslabón que corresponde a un cambio que se podría justificar por si solo. En si, sería un cambio que la sociedad buscaría, aunque no se produjeran ningunos efectos adicionales.
3. Se podría evaluar hasta asegurar que se produzca aquel cambio que provoca otros cambios (otros eslabones de la cadena) en forma ¨automática¨.
TresTres consideracionesconsideraciones
![Page 18: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/18.jpg)
Que modelos de análisisModelo experimental y no experimental de
evaluación
Modelos experimentales y cuasiexperimentales
Manipulación de la realidad Medición en dos tiempos o más Grupo de control y grupo de
tratamiento Notación O X O
O O* Usos: Evaluación de Impacto
Modelo de analisis causal no experimental
Control ex-post Manipulación de variables Medición en uno o más
tiempos (series históricas) Notación: x
y Necesidad, Performance,
Impacto
• Modelos descriptivos: Definición de realidad, selección de indicadores, mediciones sistemáticas, muestreo y censos, aperturas descriptivas, medidas de tendencia central y distribuciones de frecuencias, series históricas
• Usos: Necesidad, monitoreo y performance.
![Page 19: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/19.jpg)
Las cuatro formas de la validez
Validez estadística (puedo establecer co-variación)
Validez del constructo (representa mi indicador el concepto relevante)
Validez interna (es mi programa o política la responsable de los cambios en mis unidades en los indicadores selecionados)
Validez externa (puedo considerar mis conclusiones válidas más allá de mis casos considerados)
![Page 20: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/20.jpg)
Los riesgos de la validez interna
Imputar el cambio a mi intervención cuando en realidad se debió a otros factores.
Maduración Historia Selectividad Regresión a la media Instrumentación Testing
![Page 21: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/21.jpg)
Modelo simple y sus riesgos de validez interna
% de niños que no asisten a la escuela entre 9 y 12 años
T1 T2
• Maduración
• Historia
• Instrumentación
• Regresión a la media
int
![Page 22: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/22.jpg)
Modelo con grupo de control sin aleatorización y sus riesgos de validez
interna
% de niños que no asisten a la escuela entre 9 y 12 años
T1 T2
• Maduración selectivo
• Historia selectiva
int
![Page 23: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/23.jpg)
Modelo con grupo de control sin aleatorización, con series históricas y sus
riesgos de validez interna
% de niños que no asisten a la escuela entre 9 y 12 años
T1 T2T T T Int
![Page 24: Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación, Monitoreo y Seguimiento Segunda parte](https://reader035.vdocuments.co/reader035/viewer/2022062315/5665b4341a28abb57c8ff2cf/html5/thumbnails/24.jpg)
MODELO DE REGRESIÓN DISCONTINUA
% de niños que no asisten a la escuela entre 9 y 12 años
Renta media municipal
Punto de elegibilidad