ciudad de guatemala, 2013 - · pdf fileclases (profesores) actividades en grupo (todos)...
TRANSCRIPT
Ciudad de Guatemala, 2013
1
Aspectos Operat ivos
de la Contratac ión
de una Evaluac ión A l e j a n d r a A p o n t e [email protected]
J-PAL LAC
Sesión 7
2
H o r a r i o Lunes 10 Martes 11 Miércoles 12 Jueves 13 Viernes 14
Introducción Proyecto en Grupo Ejercicio 1 Clase 7.
Aspectos
Operativos.
Presentaciones
Finales
Clase 1. ¿Qué es
una evaluación?
Caso de Estudio 2 Clase 5. Muestreo y
tamaño de muestra.
Proyecto en Grupo Presentaciones
Finales
Caso de Estudio 1 Clase 3. ¿Por qué
aleatorizar?
Ejercicio 2 Clase 8. Evaluación
aleatoria de principio.
a fin.
Ceremonia de
Clausura
Clase 2. Resultados,
Indicadores y
Midiendo Impacto.
Clase 4. ¿Cómo
aleatorizar?
Caso de Estudio 3 Proyecto en Grupo Almuerzo cierre
Proyecto en Grupo Proyecto en Grupo Clase 6. Amenazas y
Análisis.
Proyecto en Grupo
Cóctel
Clases (Profesores)
Actividades en Grupo (Todos)
Trabajo en Grupo (Prof. Asistentes)
3
Í n d i c e
4
1. Introducción
2. Principios de la Calidad de Datos
3. Amenazas a la Calidad de Datos
4. Herramientas de Calidad
5. Costos e Insumos de una Evaluación
6. Diseño y Análisis de Presupuestos
1 . I N T R O D U C C I Ó N
5
E n r e l a c i ó n a u n a e v a l u a c i ó n
d e i m p a c t o , e s m á s p r o b a b l e
q u e u s t e d . .
6
1. 2.
32%
68%1. Desarrolle los
términos de
referencia para
contratar una
evaluación de
impacto.
2. Realice una
evaluación de
impacto por su
cuento.
P r e g u n t a s C l a v e : C a l i d a d y
C o s t o s
7
¿Cómo balanceo los costos y calidad
de una evaluación de impacto?
1. ¿Cuáles son los parámetros de
calidad que se deben resguardar?
2. ¿Cuáles son los elementos clave de
un presupuesto de evaluación?
3. ¿Cuál es el mix de calidad y costos
que se busca al contratar una
encuestadora?
R e s p u e s t a s : C h e c k l i s t s d e
C a l i d a d y C o s t o s
8
2 . C A L I D A D D E D ATO S
9
P r i n c i p i o s d e l a C a l i d a d d e
D a t o s
10
“Garbage in, garbage
out.”
P r i n c i p i o s d e l a C a l i d a d d e
D a t o s I
11
• Definición: Datos completos levantados de la totalidad de la población de estudio
• Violación: Encuestas con preguntas blancas Cabalidad
• Definición: Datos bien especificados capturan correctamente los parámetros de interés
• Violación: Preguntas con lenguaje confuso Precisión
• Definición: Datos obtenidos según protocolos y procedimientos bien estructurados
• Violación: Aplicación de preguntas en orden incorrecto Integridad
• Definición: Datos que expresan información verdadera de la población de estudio
• Violación: Primado, falsificación de datos Veracidad
• Definición: Datos obtenidos por procesos estandarizados
• Violación: Encuestas aplicadas distintamente en ciertas poblaciones
Homogeneidad
A m e n a z a s a l a C a l i d a d d e
D a t o s
12
1. Diseño: El diseño de evaluación cuenta con supuestos incorrectos o
instrumentos que no son ajustados al contexto
i. Amenazas: Tasa de Participación sub-optimas, errores de medición
ii. Principios: Cabalidad, precisión , Homogeneidad
2. Implementación: Los equipos de levantamiento de datos violan los
protocolos de aplicación
i. Amenazas: Procesos Heterogéneos, Falsificación
ii. Principios: Cabalidad, Integridad, Precisión, Veracidad, Homogeneidad
3. Eventos Exógenos: Situaciones imprevistas que modifican, corrompen, o
in habilitan al diseño de evaluación
i. Amenazas: Implementación parcial de la intervención, cancelación del
programa, catástrofes humanos y naturales
ii. Principios: Cabalidad, Integridad
¿ C ó m o p u e d o d i s m i n u i r l a s
a m e n a z a s a l d i s e ñ o
e x p e r i m e n t a l ?
13 1. 2. 3. 4.
52%
38%
0%
10%
1. Revisando los supuestos
del diseño y determinar
potenciales valores para
parámetros clave
2. Testando varias
estimaciones de parámetros
clave
3. Construyendo una Muestra/
Plan de Recuperación y
Reemplazos
4. Monitoreando y Midiendo
Distorsiones y Procesos
H e r r a m i e n t a s d e C a l i d a d :
D i s e ñ o
14
Las amenazas de diseño NO son totalmente evitables, pero se puede
disminuir su efecto
1. Revisando los supuestos del diseño y determinar potenciales
valores para parámetros clave
2. Testando varias estimaciones de parámetros clave
3. Construyendo una Muestra/ Plan de Recuperación y Reemplazos
4. Monitoreando y Midiendo Distorsiones y Procesos
Algunas herramientas prácticas para implementar los pasos
anteriores incluyen:
1. Estudios de Diagnostico y Pilotajes
2. Monitoreo y Medición de Distorsiones
3. Evaluación de Procesos de Levantamiento
H e r r a m i e n t a s d e C a l i d a d :
I m p l e m e n t a c i ó n
15
Las amenazas de implementación son totalmente evitables, algunas
vías para evitar errores son:
1. Control estricto sobre los planificación, implementación, y
validación de levantamientos de datos de terreno
2. Monitoreo Independiente de Procesos de Recolección y
Digitación
3. Construyendo una Muestra de Repuesto
4. Monitoreando y Midiendo Distorsiones
Algunas herramientas prácticas para implementar los pasos
anteriores incluyen:
1. Términos de Referencia Estrictos
2. Documentación de Levantamientos de Datos
3. Actividades clave de Monitoreo
H e r r a m i e n t a s d e C a l i d a d :
I m p l e m e n t a c i ó n - T D R
16
Checklist para Términos de Referencia: Levantamientos de Datos
Protocolo de Confidencialidad: Protección de Información del Estudio y
Participantes de Estudio; Instructivo de Manejo de Información
Protocolo de Muestreo: Definición estricta de Marco Muestra, Tasas de
Participación, Instructivo para Recuperación y Búsqueda
Protocolo Etapas: Listado de etapas de preparación, debería incluir varios
pilotajes, tiempo para solicitar permisos
Selección y Entrenamiento de Personal: Especificaciones para selección de
personal competitivo y entrenamiento práctico; especificaciones de estructura
salarial
Protocolo de Aplicación: Instructivo completo para aplicación de
cuestionarios e otros instrumentos de medición, proceso de aplicación
Protocolo de Monitoreo: Plan de monitoreo que incluye tres actividades
claves de monitoreo, tasas de error aceptables, plan de corrección
Protocolo y Entregas: Cronograma Fijo de Reportes y Productos incluyendo:
Manuales de Entrenamiento, Hojas de Control, Datos, Reportes de Errores
H e r r a m i e n t a s d e C a l i d a d :
I m p l e m e n t a c i ó n - M o n i t o r e o
17
Cada evaluación debería contar con dos tipos de monitoreo
1. Monitoreo Implementador
2. Monitoreo Independiente
Actividades Clave de Monitoreo
1. Re muestreo: Re aplicación de una sección de los instrumentos
2. Acompañamiento: Observación de procesos de medición
3. Escrutinio: Revisión de instrumentos aplicados
Otros Lineamientos
1. Tasas de error: Número de campos llenados incorrectamente
sobre campos que corresponden llenar; mide cabalidad; tasa de
error aceptable: 5-2%
2. Monitoreo: 10 % de la muestra debería ser sometida a monitoreo
por el implementador, 10% debería contar con monitoreo
independiente
C a l i d a d d e D a t o s
18
Los errores de calidad
son particularmente
graves cuando son
sistemáticos y/o no
distribuidos de igual
manera entre tratamiento
y control
2 . C O S TO S
19
¿ C u á l e s s o n a l g u n o s c o s t o s
r e l a c i o n a d o s a u n a
e v a l u a c i ó n d e i m p a c t o ?
20 1. 2. 3. 4. 5.
19% 19%
6%
35%
19%
1. Capacitación de equipo
de campo.
2. Transporte de equipo de
campo.
3. Digitación de encuestas.
4. Salarios de
investigadores.
5. Anunciando
públicamente quienes
son control y
tratamiento.
C o s t o s d e E v a l u a c i ó n
21
Costos de Investigación (Trabajo Técnico)
• Salarios Investigadores
• Vistas a Campo
• Costos Administrativos
Costos de Implementación/ Trabajo de Campo
• Capacitación
• Salarios
• Materiales: Impresiones, Mapas, Comunicación
• Transporte
• Digitación
P a r á m e t r o s d e C o s t o s
22
• Equipos de Trabajo de Campo: Subcontratado vs interno
• Duración: Tiempo total de diseño, implementación, y análisis
• Fases: Cantidad de levantamientos de datos
• instrumentos
• Contexto Local: Seguros, impuestos, idioma
Parámetros de Investigación
• Fuentes de Datos y Instrumentos : Fuentes de datos (terreno vs. administrativos) y complejidad de
• Tamaño de Muestra: La cantidad de unidades en la muestra, las muestras más grandes son más caras de medir.
• Unidad de Muestra: La unidad de muestra (eg: nivel individual, clúster)
• Dispersión de Muestra: Las distancias entre unidades de medición.
Parámetros de Implementación
¿ C u á l e s e l p a r á m e t r o m á s
c a r o d e u n a e v a l u a c i ó n d e
i m p a c t o ?
23 1. 2. 3. 4. 5. 6.
37% 37%
10%
0%
10%
7%
1. Viajes de equipo de
investigación.
2. Salarios de equipo.
3. Digitación.
4. Análisis de datos.
5. Estrés del equipo.
6. Costos
administrativos.
P a r á m e t r o s D e f i n i t i v o s
24
Ejemplo 1: Chile Programa de Involucramiento Parental
Equipo de trabajo: Interno, Duración: 3 Años, Fases: 3, Fuentes de Datos: Terreno, Administrativo, Instrumentos: Pruebas de Lenguaje, cuestionario, prueba de competencias. Tamaño de Muestra: 64 Escuelas, Unidad de Muestra: Cluster (Escuela)
P a r á m e t r o s D e f i n i t i v o s
25
Ejemplo 2: Honduras Programa de Educación Primaria
Equipo de trabajo: Contratado, Duración: 1.5 Años, Fases: 2, Fuentes de Datos: Terreno Instrumentos: Pruebas de Lenguaje, cuestionario, prueba de competencias. Tamaño de Muestra: 300 Escuelas, Unidad de Muestra: Cluster (Escuela)
P a r á m e t r o s D e f i n i t i v o s
26
Chile Honduras
Total: 256 342 USD Total: 880 810 USD
Diferencias Importantes: Equipo de Trabajo: Interno vs. Subcontratado, Datos: Administrativo y Terreno vs Terreno Duración: 3 vs 1.5 Años, Fases 3 vs 2 Etapas, Tamaño Muestra: 64 vs 300
C o n s i d e r a c i o n e s y M e j o r e s
P r á c t i c a s
27
Checklist de Consideraciones y Mejores Prácticas de Diseño de
Presupuestos
Evaluación- Intervención: Analizar la relación entre la evaluación
e intervención y posibilidad de levantar datos de evaluación al
intervenir
Etapas: Conformar el presupuesto de evaluación por etapa,
considerar necesidad de cada etapa, particularmente línea base
Monitoreo: Cuando el trabajo de campo es subcontratado,
agregue un presupuesto para monitoreo independiente dentro del
presupuesto de evaluación
Escenarios: Conforme varios escenarios presupuestarios-
considere potenciales cambios en la evaluación, estructuras de
trabajo de campo, etapas
Imprevistos: Incluya entre 5-2% del presupuesto total como un
presupuesto para imprevistos
A n á l i s i s d e P r e s u p u e s t o s d e
C o n t r a t i s t a s
28
Contratar a una encuestadora para realizar el trabajo de campo de una
evaluación puede ser deseable por temas de logística. experiencia,
escala.
Características frecuentes de los presupuestos de contratistas:
1. Costos Generales: Las empresas entregan costos generales del
levantamiento, no costos unitarios
2. Supuestos: Omiten los supuestos del presupuesto
3. Escenarios: Un solo escenario
4. Imprevistos: Montos generosos para imprevistos
5. Cronogramas: Cronogramas sin fechas fijar o fechas de entregas
6. Planes de Contingencia: Falta de flexibilidad para costear
eventos fortuitos
¿Cómo se evalúa si el beneficio vale el costo?
E j e m p l o ; P r e s u p u e s t o
I n c o m p l e t o
29
Muestra 1
N0. DESCRIPCION MONTO ($)
1 CONSULTORIAS TECNICAS 35564.85
2 SUELDOS PERSONAL DE CAMPO 69414.23
3 VIATICOS Y GASTOS DE VIAJE PERSONAL DE CAMPO 119278.24
4 GASTOS DE CAPACITACION 1333.68
5 IMPRESIÓN DE INSTRUMENTOS DE INVESTIGACION 28875.52
6 COMPRA DE MATERIALES DE CAMPO E INSUMOS
VARIOS5230.13
ARRENDAMIENTO DE VEHICULOS, COMPUTADORAS,
LOCAL Y
7 COMBUSTIBLES 75912.66
8 PROCESAMIENTO DE DATOS 26085.25
9 GASTOS PARA IMPREVISTOS 36169.46
10 COSTOS INDIRECTOS 19659.65
TOTAL PRESUPUESTO ESTIMADO PARA EL PROYECTO 417523.67
C h e c k l i s t A n á l i s i s d e
P r e s u p u e s t o s
30
Checklist de Mejores Prácticas para Evaluar Presupuestos de Contratistas
Pedir un Listado Detallado de Supuestos: ¿Equipos? ¿Fuente de
estimados de costos de insumos (alquiler de automóviles, seguros,
costos de impresión, y costos de materiales)? ¿Cuáles son los
imprevistos esperados, demoras, y planes de contingencia para
situaciones adversas?
Pedir un Estimado de Costos Unitarios: ¿Cuál es el costo unitario
(promedio) de llegar a cada observación en la muestra? ¿Cómo varía el
costo unitario entre observaciones o grupos de observaciones?
Conformar un Presupuesto Propio: ¿Si se rehace en presupuesto
de l contratista, como comparan los costos? ¿Cuáles supuestos o
cálculos parecen explicar las diferencias?
Solicitar Escenarios: ¿Cuáles escenarios entrega el contratista al
solicitarle un mínimo de 3 escenarios presupuestarios? ¿Cuáles
parámetros varía el contratista?
B a l a n c e d e C a l i d a d y C o s t o s
31
