profesor luis carrasco martínez (uned illes balears ... · investigaciÓn socialaplicada a la toma...

TEMA 4EVALUACIÓN DEINTERVENCIONES SOCIALES

Profesor Luis Carrasco Martínez (UNED Illes Balears)

MÉTODOS Y TÉCNICAS DE INV. SOCIAL

PROFESOR‐TUTORLuis Carrasco Martínez

UNED Illes Balears

GRADO DE CIENCIAS POLÍTICASSEGUNDO CURSOPRIMER CUATRIMESTRE


MÉTODOS Y TÉCNICAS DE INV. SOCIALTEMA 4. EVALUACIÓN DE INTERVENCIONES SOCIALES

ÍNDICE

1. INTRODUCCIÓN

2. EVALUACIÓN Y CRITERIOS DE EVALUACIÓN

3. TIPOS DE EVALUACIÓN

4. FASES DE LA EVALUACIÓN

5. EVALUACIÓN DEL PROCESO Y DE LA CALIDAD

6. EVALUACIÓN DE RESULTADOS / IMPACTO

7. RETOS ACTUALES EN EL CAMPO DE LA EVALUACIÓN

MÉTODOS Y TÉCNICAS DE INV. SOCIALProfesor Luis Carrasco Martínez (UNED Illes Balears)

TEMA 4. EVALUACIÓN DE INTERVENCIONES SOCIALES

1. INTRODUCCIÓN

EVALUACIÓN VERSUS INVESTIGACIÓN

• SE DICE QUE LA EVALUACIÓN DE PROGRAMAS ES UN TIPO DEINVESTIGACIÓN SOCIAL APLICADA A LA TOMA DE DESCISIONES

o EVALUACIÓN E INVESTIGACIÓN NO SON SINÓNIMOSAUNQUE SEAN AFINES, SE DIFERENCIAN EN TRES ASPECTOS:

• EL EVALUAR EXIGE UNOS CRITERIOS DE VALOR PARA VALORAR ELPROGRAMA EVALUADO, ALGO QUE NO EXISTE EN LA INVESTIGACIÓN

• AL EVALUAR, LA INFORMACIÓN Y TÉCNICAS DE RECOGIDA ESTÁN CONDICIONADOS POR LOS CRITERIOS DE VALOR, QUE PRIMAN SOBRE ELCRITERIO DE CIENTIFICIDAD, AL CONTRARIO QUE EN LA INVESTIGACIÓN

• AL EVALUAR SE ASPIRA A MAXIMIZAR EL EMPLEO DE SUS RESULTADOSEN LAS PREOCUPACIONES Y EXPECTATIVAS DE SUS CLIENTES



2. EVALUACIÓN Y CRITERIOS DE EVALUACIÓN

EVALUACIÓN: CONCEPTO

o EVALUAR: EMITIR UN JUICIO SOBRE EL CRITERIO DE VALORDE UN PROGRAMA, BASADO EN INFORMACIÓN RECOGIDAY ANALIZADA SISTEMÁTICAMENTE, CON EL OBJETIVO DEUSAR DICHO JUICIO PARA ACTUAR SOBRE EL PROGRAMA,MANTENIÉNDOLO, MODIFICÁNDOLO O TERMINÁNDOLO

o CRITERIO DE VALOR: CARACTERÍSTICA DEL PROGRAMA EN BASE A LA CUAL SE REALIZA LA VALORACIÓN DEL MISMO; LOS MÁS HABITUALES: LOS OBJETIVOSALCANZADOS, NECESIDADES DE LOS DESTINATARIOS, LOS EFECTOS PRODUCIDOS, LA COMPLEMENTARIEDAD CON OTROS PROGRAMAS, LA SOSTENIBILIDAD DE LOS RESULTADOS, EL EMPODERAMIENTO DE CIERTOS GRUPOS SOCIALES…

o PATROCINADORES DE LA EVALUACIÓN: SON LOS QUE SEÑALAN EN LOS TOR(TERMS OF REFERENCE) (≈ CLÁUSULAS DEL CONTRATO) LOS OBJETIVOS DE LA EVALUACIÓN, Y ENTRE ELLOS LOS CRITERIOS DE VALOR A EMPLEAR



3. TIPOS DE EVALUACIÓNMOMENTO

EN QUE SE EVALUAPROCEDENCIA

DE LOS EVALUADORESOBJETO

DE LA EVALUACIÓN

• EVALUACIÓN ANTESEVALUACIÓN DE LA PERTINENCIA, VIABILIDAD Y EFICACIA POTENCIALES DE UN PROGRAMA

• EVALUACIÓN DURANTEEVALUACIÓN CONTINUA DE UN PROGRAMA (CONTROL OPERACIONAL)

• EVALUACIÓN DESPUÉSEVALUACIÓN DE LOS RESULTADOS E IMPACTO FINAL DEL PROGRAMA

• EVALUACIÓN EXTERNAEV. NO ESTÁN VINCULADOSA LA ORGANIZACIÓN

• EVALUACIÓN INTERNAEV. PERTENECEN A LA ORGANIZACIÓN PERONO SON RESPONSABLESDE GESTIÓN DEL PROGRAMA

• EVALUACIÓNMIXTAEV. INTERNOS Y EXTERNOS

• AUTOEVALUACIÓNEV. SON LOS DIRECTAMENTE RESPONSABLES DE LA GESTIÓN DEL PROGRAMA

• EVALUACIÓN DEL DISEÑOEV. DE LAS NECESIDADES, DEL DIAGNÓSTICO REALIZADO Y DEL DISEÑO DEL PROGRAMA

• EVALUACIÓN DE PROCESOEV. DE LA COBERTURA, DEL FUNCIONAMIENTO, DEL AMBIENTE ORGANIZACIONALY DEL RENDIMIENTO DEL PERSONAL IMPLICADO

• EVALUACIÓN RESULTADOSEV. DE LOS RESULTADOS Y LA EFICIENCIA DEL PROGRAMA (RENTABILIDAD ECONÓMICA)




1. FASES DE LA EVALUACIÓN EXTERNA STANDARD

1. DEMANDA DEL CLIENTE O PATROCINADOR

2. FAMILIARIZACIÓN DEL INVESTIGADOR CON EL PROGRAMA

3. DETERMINACIÓN PREGUNTAS, OBJETIVOS Y CRITERIOS VALOR

4. SELECCIÓN METODOLÓGICA DE LA EVALUACIÓN

5. RECOGIDA DE INFORMACIÓN

6. ANÁLISIS DE LOS DATOS Y ELABORACIÓN DEL INFORME




2. FACTORES A CONSIDERAR

o ACTORES SOCIALES: DETERMINAR CUÁLES SON LOS ACTORESAFECTADOS POR EL PROGRAMA, Y LOGRAR LA IMPLICACIÓNEN LA EVALUACIÓN DE LA MAYOR PARTE DE ELLOS

o PREGUNTAS A RESPONDER: LO QUE DIFERENCIA UNA EVALUACIÓNDE OTRA NO SON LOS MÉTODOS, SINO LAS PREGUNTAS, ESPECIALMENTE:CUÁLES SON LOS OBJETIVOS DE LA EVALUACIÓN, EL TIPO DE EVALUACIÓNDESEADA Y LOS CRITERIOS DE VALOR QUE DEBEN GUIARLA

o DISEÑO METODOLÓGICO: SE DEBE APLICAR EL MÉTODO CIENTÍFICO, SIENDO FRECUENTES LOS DISEÑOS MIXTOS (CUANTITATIVOS Y CUALITATIVOS), PERO LA SELECCIÓN DEL DISEÑO DEBE GUIARSE NO TANTO POR LA MAYOR ADECUACIÓN CIENTÍFICA SINO MÁS BIEN POR ADOPTAR EL DISEÑO QUE MEJOR PUEDA RESPONDER A LAS PREGUNTAS PLANTEADAS POR LOS PATROCINADORES

1 2




2. FACTORES A CONSIDERAR

o RECOGIDA DE DATOS. LA TÉCNICA ESTARÁ CONDICIONADA PORVARIOS FACTORES: NATURALEZA DE EVALUACIÓN (PREGUNTAS,CRITERIOS, OBJETIVOS), TIPO DE EVALUACIÓN (INTERNA‐EXTERNA,ANTES‐DURANTE‐DESPUÉS), RECURSOS DISPONIBLES (TIEMPO,CRÉDITO, PERSONAL), INFORMACIÓN (DISPONIBLE, ACCESIBLE) Y EL GRADO DE COLABORACIÓN DEL PERSONAL EVALUADO

o OTROS ASPECTOS A VALORAR AL DISEÑAR UNA EVALUACIÓN:– CUESTIONES ÉTICAS Y CULTURALES SOBRE EL PROGRAMA– EVALUACIÓN PERMANENTE, INTEGRADA EN ACTIVIDADES DEL PROGRAMA– REALISMO AL DECIDIR QUÉ EVALUAR Y CÓMO HACERLO– IMPLICAR AL MÁXIMO NÚMERO DE PERSONAS DEL PROGRAMA– EVALUAR TANTO EL PROCESO COMO LOS RESULTADOS OBTENIDOS– EVALUAR TANTO LOS RESULTADOS COMO LA EFICIENCIA AL OBTENERLOS

1 2




1. EVALUACIÓN DEL PROCESO

o EVALUACIÓN DEL PROCESO: EVALUACIÓN DE CARÁCTERCONTÍNUO QUE SE REALIZA DURANTE EL DESARROLLOOPERATIVO Y LA IMPLEMENTACIÓN DEL PROGRAMA

o SISTEMA DE SEGUIMIENTO: PARA EVALUACIÓN CONTINUADEL PROCESO ES IMPRESCINDIBLE CONTAR CON UN SISTEMADE SEGUIMIENTO DURANTE LA EJECUCIÓN DEL MISMO,LO QUE REQUIERE:

– CONTROL DE DATOS (FLUJO, SELECCIÓN, REGISTRO)

– ANÁLISIS DE DATOS (CORRELACIONES)

– RETROALIMENTACIÓN SOBRE EL PROGRAMA

1 2




1. EVALUACIÓN DEL PROCESO

o COMPONENTES EVALUACIÓN DEL PROCESOBARANOWSKI Y STABLES (2000)

• RECLUTAMIENTO DE POTENCIALES PARTICIPANTES• MANTENIMIENTO DE LOS USUARIOS DEL PROGRAMA• CONTEXTO DEL PROGRAMA (ENTORNO)• RECURSOS NECESARIOS PARA IMPLENTAR EL PROGRAMA• IMPLEMENTACIÓN: GRADO DE APLICACIÓN PROGRAMA SOBRE LA PLANIFICACIÓN• COBERTURA RESPECTO A LA POBLACIÓN DESTINATARIA DEL PROGRAMA• BARRERAS DE ACCESO QUE DIFICULTEN EL ACCESO A POSIBLES PARTICIPANTES• EXPOSICIÓN: GRADO EN QUE LOS PARTICIPANTES ACCEDEN A LOS MATERIALES• USO INICIAL: GRADO EN QUE UN PARTICIPANTE REALIZA LAS ACTIVIDADES• USO CONTINUADO: GRADO EN QUE LOS PARTICIPANTES CONTINÚAN EN ACTIVIDADES• CONTAMINACIÓN: GRADO EN QUE LOS PARTICIPANTES RECIBEN OTROS PROGRAMAS

1 2




2. EVALUACIÓN DE LA CALIDAD

o CALIDAD (ASOCIACIÓN EUROPEA DE CALIDAD, EOQ)RELACIÓN ENTRE NECESIDADES‐EXPECTATIVAS DEL USUARIOY SU PERCEPCIÓN DEL SERVICIO RECIBIDO (SUBJETIVIDAD)

o DIMENSIONES DE LA CALIDAD (MARTIN Y KETTNER, 1996):

• ACCESIBILIDAD AL SERVICIO• GARANTÍA PERSONAL ADECUADO• COMPETENCIA DEL PERSONAL• CORTESÍA DEL PERSONAL• EMPATÍA DEL PERSONAL• COMUNICACIÓN COMPRENSIBLE• CONFORMIDAD CON ESTÁNDARES• DEFICIENCIAS CONTRASTADAS

• PERMANENCIA EN EL TIEMPO• HUMANIDAD DE LOS USUARIOS• RENDIMIENTO (LOGRO OBJETIVOS)• FIABILIDAD (CONSISTENCIA)• SENSIBILIDAD (OPORTUNIDAD)• SEGURIDAD (RIESGOS, PELIGROS)• TANGIBLES (INSTALACIONES,

RECURSOS, PUBLICACIONES)

1 / 6





o MODELO SERVQUAL DE CALIDAD TOTAL

• ELABORADO POR ZEITHAML, PARASURANAM Y BERRY (1985)

• LA CALIDAD COMO DISCREPANCIA ENTRE LAS EXPECTATIVASDE LOS USUARIOS Y SUS PERCEPCIONES SOBRE EL SERVICIO

• CONSISTE EN CUESTIONARIO DE 22 ÍTEMS DE 7 OPCIONESDE RESPUESTA AL QUE DEBE RESPONDER EL USUARIO

• MIDE CINCO DIMENSIONES DE CALIDAD DEL PROGRAMA: FIABILIDAD, CAPACIDADDE RESPUESTA, SEGURIDAD, EMPATÍA Y ELEMENTOS TANGIBLES

• PLANTEA CINCO DISCREPANCIAS ENTRE: (i) EXPECTATIVAS DEL USUARIO Y DEL SERVICIO RECIBIDO, (ii) EXPECTATIVAS DE USUARIOS Y DE DIRECTIVOS,(iii) DIRECTIVOS Y NORMAS DE CALIDAD, (iv) ESPECIFICACIONES DE CALIDAD Y PRESTACIÓN DEL SERVICIO, (v) SERVICIO Y COMUNICACIÓN EXTERNA

2 / 6





o MODELO SERVQUAL

• ZEITHAML, PARASURANAMY BERRY (1985)

3 / 6





o MODELO SERVQUAL

• ZEITHAML, PARASURANAMY BERRY (1985)





o MODELO EFQM EUROPEO DE CALIDAD/EXCELENCIA

• FUNDACIÓN EUROPEA PARA LA GESTIÓN DE LA CALIDAD (EFQM, 1991)

• IDENTIFICA LOS ASPECTOS MÁS IMPORTANTES DEL PROGRAMA Y PROPORCIONA INSTRUMENTOS DE EVALUACIÓN DIRIGIDOS A MEJORAR EL SERVICIO

• TRES BLOQUES DE CALIDAD: PERSONAL, POLÍTICA Y ESTRATEGIA, Y RECURSOS Y COLABORADORES; QUE REUNEN NUEVE DIMENSIONES: LIDERAZGO, POLÍTICA Y ESTRATEGIA, PERSONAS, ALIANZAS Y RECURSOS, PROCESOS, RESULTADOS EN CLIENTES, EN PERSONAS, EN LA SOCIEDAD Y RESULTADOS CLAVE

• SE CONSIDERA ESPECIALMENTE IMPORTANTE EL FACTOR DE LIDERAZGOEN EL IMPULSO Y PLANIFICACIÓN DE LA MEJORA CONTINUA DE LA CALIDAD

• LA VALORACIÓN DEL PROGRAMA ES ENTRE 0 Y 1000 PUNTOS,EXISTIENDO CUATRO CATEGORÍAS DE SELLOS DE EXCELENCIA

5 / 6





o MODELO EFQM EUROPEO DE CALIDAD/EXCELENCIA

6 / 6




1. RESULTADOS VERSUS IMPACTO

o INTERVENCIÓN: CONJUNTO DE INPUTS Y PROCESOS QUEPRODUCEN UNOS OUTPUTS (PRODUCTOS, RESULTADOS)

EJEMPLO: EN UN PROGRAMA DE FORMACIÓN PARA DESEMPLEADOS,EL PRODUCTO SERÍA EL NUMERO DE PARTICIPANTES FORMADOS,Y EL RESULTADO SERÍA EL NÚMERO DE PARTICIPANTES FORMADOS QUE ENCUENTRAN EMPLEO; AMBOS SERÍAN OUTPUTS DEL PROGRAMA

□ EVALUACIÓN DE RESULTADOS: EVALUACIÓN DE PRODUCTOS Y RESULTADOSDE CARÁCTER INMEDIATO (CORTO PLAZO) DE UN PROGRAMA

□ EVALUACIÓN DE IMPACTO: EVALUACIÓN DE LOS EFECTOS FINALES Y GLOBALESDE UN PROGRAMA A CORTO, MEDIO Y LARGO PLAZO, TANTO DE LOS EFECTOS SOBRE LA POBLACIÓN DESTINATARIA DEL PROGRAMA COMO DE LA POBLACIÓN NO DESTINATARIA, Y DE LOS RESULTADOS DESEADOS Y NO DESEADOS




2. EVALUACIÓN DE IMPACTO

o EVALUACIÓN DE IMPACTO: EVALUACIÓN DE LOS EFECTOS FINALES Y GLOBALESDE UN PROGRAMA A CORTO, MEDIO Y LARGO PLAZO; HOY SE OPTA MENOS POR LA EVALUACIÓN DE RESULTADOS Y MÁS POR LA DE IMPACTO

o VALIDEZ INTERNA: PARA QUE LA EVALUACIÓN FUESE PURAMENTECIENTÍFICA TENDRÍAMOS QUE COMPARAR LA SITUACIÓN DE LOSACTORES DEL PROGRAMA PARTICIPANDO Y NO PARTICIPANDO, LOQUE ES IMPOSIBLE; POR ELLO, LA EV. DE IMPACTO DEBE LOGRAR LAVALIDEZ INTERNA, LO QUE EXIGE BUSCAR UN CONTRAFACTUALADECUADO Y CONTROLAR LAS EXPLICACIONES ALTERNATIVAS

o PROCEDIMIENTOS PARA VALORAR LA VALIDEZ INTERNA: – EXPERIMENTALISTA: COMPARACIONES ENTRE GRUPOS O EN EL TIEMPO– MODELISTA: EMPLEO DEL ANÁLISIS ESTADÍSTICO MULTIVARIABLE

1 2 3 4 5





a) PROCEDIMIENTO EXPERIMENTALISTASE EMPLEA PARA VALORAR LA VALIDEZ INTERNAEN LA EVALUACIÓN DE IMPACTO, Y PARA ELLOPLANTEA DOS POSIBLES MÉTODOS:

i. COMPARAR MEDICIONES DE GRUPO DEL PROGRAMAY UN GRUPO DE CONTROL (DISEÑOS PRETEST‐POSTESTCON GRUPO DE COMPARACIÓN NO EQUIVALENTE)

ii. COMPARAR MEDICIONES SUCESIVAS EN EL TIEMPOSÓLO DEL GRUPO DEL PROGRAMA (DISEÑOS DESERIES TEMPORALES)

• ESTE PROCEDIMIENTO EMPLEA TANTO DISEÑOS EXPERIMENTALESCOMO CUASIEXPERIMENTALES

1 2 3 4 5





b) PROCEDIMIENTO MODELISTASE EMPLEA PARA VALORAR LA VALIDEZ INTERNAEN LA EVALUACIÓN DE IMPACTO, Y PARA ELLORECURRE AL ANÁLISIS ESTADÍSTICO MULTIVARIABLE:

• SE DEBE IDENTIFICAR LAS VARIABLES A CONTROLAR(VARIABLES ALTERNATIVAS), Y EMPLEAR UNA TÉCNICADE ANÁLISIS MULTIVARIABLE QUE PERMITA SEPARAR SUS EFECTOS

• UN MÉTODO APROPIADO SON LAS ECUACIONES ESTRUCTURALES (SEM), QUE ENLAZAN CON LA THEORY DRIVEN EVALUATION (TDE), PUES PERMITEN CONTROLAR LAS EXPLICACIONES ALTERNATIVAS O PERTURBADORAS

• ACTUALMENTE, AMBOS PROCEDIMIENTOS (EXPERIMENTALISTA Y MODELISTA) MUESTRAN NUEVOS MÉTODOS Y PROPUESTAS TEÓRICOS

1 2 3 4 5





b) OTROS PROCEDIMIENTOS

• EVALUACIÓN DIRIGIDA POR TEORÍA (TDE) (CHEN, 1990) (ENFOQUE ANALÍTICO)POSTULA QUE EXPERIMENTACIÓN Y MODELIZACIÓN DEBEN USARSE SIEMPREEN LAS EVALUACIONES DESDE UNA TEORÍA QUE LAS GUÍE, Y QUE MUESTRE LOS MECANISMOS CAUSALES ENTRE LAS VARIABLES DEL PROGRAMA

• EVALUACIÓN REALISTA (PAWSON Y TILLEY, 1997) (ENFOQUE ROBUSTO)POSTULA UN MECANISMO GENERAL DE CAUSACIÓN, SEGÚN EL CUALCADA REGULARIDAD SE DESENCADENA SIEMPRE EN UN CONTEXTO DETERMINADO; POR ELLO, CADA EXPERIMENTO EN UN CONTEXTO HAYQUE REPLICARLO EN DIFERENTES CONTEXTOS PARA COMPROBAR LAPOSIBLE GENERALIZACIÓN DE SUS RESULTADOS

1 2 3 4 5





b) OTROS PROCEDIMIENTOS

• ANÁLISIS DE CONTRIBUCIÓN (CA) (MAYNE, 1999)

POSTULA LA ACUMULACIÓN DE EVIDENCIA, CUALITATIVA Y CUANTITATIVA,QUE PERMITA INFERIR CAUSALIDAD SIN NECESIDAD DE CONTRAFACTUALES,Y PROPORCIONE EVIDENCIAS DE QUE EL PROGRAMA HA CONTRIBUIDO A LOS RESULTADOS; LOS PASOS A SEGUIR SON:

– FORMULAR UNA TEORÍA DEL CAMBIO (TOC) QUE IDENTIFIQUE LOS MECANISMOS QUE LLEVAN DE LA INTERVENCIÓN A LOS RESULTADOS

– FORMULAR UNA TEORÍA DE LA IMPLEMENTACIÓN QUE IDENTIFIQUE LAS VARIABLES CLAVE EN LA OBTENCIÓN DE LOS RESULTADOS ESPERADOS

– IDENTIFICAR POSIBLES EXPLICACIONES ALTERNATIVAS

1 2 3 4 5



7. RETOS ACTUALES EN EL CAMPO DE LA EVALUACIÓN

A MODO DE CONCLUSIÓN

• TENDENCIA AL PLURALISMO EN LA PARTICIPACIÓNQUE LA EVALUACIÓN SE ABRA A LA IMPLICACIÓN Y OPINIÓNDE LOS ACTORES SOCIALES AFECTADOS POR LA INTERVENCIÓN

• TENDENCIA A EVALUACIONES SISTEMÁTICAS Y GLOBALESANALIZAR HOLÍSTICAMENTE LAS INTERVENCIONES, DE MODO QUE NADIEDEBA SEÑALAR UN CRITERIO DE VALOR CONCRETO AL EVALUAR; ASÍ LO HACEEL MODELO DEL MARCO LÓGICO (ORGANISMOS INTERNACIONALES)

• TENDENCIA A LA IMBRICACIÓN INTERVENCIÓN‐EVALUACIÓNQUE LA EVALUACIÓN SEA UN COMPONENTE MÁS EN CADA UNA DE LAS FASESDEL PROCESO INTERVENCIÓN (PLANIFICACIÓN, EJECUCIÓN, EVALUACIÓN)

• TENDENCIA A LA DIFUSIÓN DE LOS RESULTADOS DE LA EVALUACIÓNQUE LOS DATOS PUEDAN EMPLEARSE EN LA TOMA DE DECISIONES

MÉTODOS Y TÉCNICAS DE INV. SOCIAL

FIN DEL TEMA 4



profesor luis carrasco martínez (uned illes balears ... · investigaciÓn socialaplicada a la toma...

Documents