evaluación de programas educativos

EVALUCIÓN DE PROGRAMAS EDUCATIVOS: Guía 29 de la AMME (An Internacional Association For Medical Education)*DIRECCIÓN DEL MÓDULO:PEDIATRÍACOORDINACIÓN ACADÉMICA: ERWIN H HERNÁNDEZSEMINARIO PERMANENTE DE EDUCACIÓN MÉDICA (SPEM) , FACULTAD DE MEDIC INA, UNIVERSIDAD DE LA SABANA.NOVIEMBRE Y DIC IEMBRE DE 2016

*Sacado y adaptado de: Goldie J. AMME Education Guide n° 29: Evaluating educational programmes. Medical Teacher, 2006; 28(3): 210-24

INTEGRANTES*1. MARIA CECILIA PAREDES

2. IVON ANDREA PAREDES

3. MARIA BELEN TOVAR

4. MARIA JOSE MALDONADO

5. SERGIO AGUDELO PEREZ

6. FABIO RODRIGUEZ MORALES Pediatría*

TABLA DE CONTENIDO1. Introducción

2. Definición

3. Historia de la evaluación

4. Planificación e implementación de la evaluación de un programa1. Propósito de la evaluación2. Áreas de actuación3. Interrogantes4. Ética5. Elección de las preguntas6. 5 componentes de la teoría de la evaluación7. El diseño de la evaluación8. La teoría de la evaluación9. Enfoques de evaluación de los programas

5. Interpretando los resultados

6. Difusión de resultados

7. Conclusiones

Pediatría*

INTRODUCCIÓNEvaluación: Fundamental en la implementación y desarrollo de actividades educativas en:Programas nacionalesCurrículo de un programa en particularTrabajo del profesor con sus estudiantesObjetivo de la guía: Ofrecer un marco de referencia para realizar las evaluaciones.

DEFINICIÓN Qué es una evaluación?

“Es el acto de realizar un juicio de valor de algo” (Collins English Dictionary, 1994). -Proceso sistemático para determinar en qué proporción se han alcanzando los objetivos de aprendizaje.

-Varía de acuerdo a los objetivos, puntos de vista y creencias de las personas que la realizan y el contexto en el que se aplica.

-El término se utiliza para medir el desempeño de cada estudiante así como la efectividad de un curso o programa de enseñanza.

HISTORIA DE LA EVALUACIÓN

Evaluación social planificada desde año 2200 AC, en China, en actividades de selección de personal.

Teorías y prácticas modernas de evaluación surgieron en los campos de: Educación (Tyler, 1935), Psicología Social (Lewin, 1948) y Sociología(Lazarfield, 1955).

Estímulo para su desarrollo: -Crecimiento económico posterior a Segunda Guerra Mundial, con un incremento en inversión en programas sociales que requerían de una evaluación apropiada.

-Creciente número de graduados en ciencias sociales con interés en: Análisis de políticas, investigación en estadísticas y experimentos de campo.

HISTORIA DE LA EVALUACIÓN

Tyler(1949), Bloom(1956), Taba(1962): Ampliaron el modelo tradicional de evaluación individual a los estudiantes, desarrollando un modelo curricular con objetivos y metas de aprendizaje, organización de contenidos y sistemas de evaluación formal de la calidad de los programas.

Cronbach(1963): La evaluación debe hacer énfasis en el cumplimiento de objetivos de un programa, más que en la comparación entre los diferentes programas.

En década de los 70s: Rápido crecimiento en el campo de la evaluación educativa y desde entonces se han propuesto muchos modelos formales de evaluación, con el objetivo de promover la toma de decisiones para transformar programas deficientes en altamente efectivos.

PLANIFICACIÓN E IMPLEMENTACIÓN DE LA EVALUACIÓN DE UN PROGRAMA

PASOS A

SEGUIR

1.TOMANDO LA DECISION DE EVALUAR

EL PROGRAMA 2.

DEFINIENDO EL PAPEL DEL EVALUADOR

3. ETICA DE LA EVALUACION

4. ESCOGIENDO LA PREGUNTA

5. DISEÑANDO

LA EVALUACIÓN

6. ESCOGIENDO

EL DISEÑO APROPIADO

7. ENFOQUES PARA LA

EVALUACIÓN

PROPOSITO DE LA EVALUACIÓN

RAZONES PARA LA EVALUACIÓNDeterminar la eficacia de los programaDocumentar que los objetivos del programa se han dado a conocerProporcionar información sobre la prestación de servicios que serán de utilidad para los usuarios del programaCapacidad del staff del programa de hacer cambios que mejoren la efectividad del programa

Muraskin 1998

AREAS DE ACTUACION DE EVALUACIÓN

Evaluación para la gestión de Proyectos

Evaluación para dar continuidad al

programa

Evaluación para la eficiencia de los

programas

Evaluación de la responsabilidad del

programa

Evaluación para el desarrollo y difusión del programa

INTERROGANTES Costos del proceso Evaluadores internos vs externos Participación de diferentes disciplinas

- Psicología- Estadística- Sociología- Filosofía- Política- Economía

Papel del evaluador Su responsabilidad en el planteamiento de objetivos y metodología de la evaluación

Responsabilidad ética Potencial posición de poder sobre el programa evaluado o las personas evaluadas

ETICA DE LA EVALUACIÓN DE PROGRAMAS

FALACIAS

1. Clientelismo Hacer lo que el cliente solicite o lo que lo beneficiará

2. Contractualismo: Pensar que el evaluador está obligado a cumplir el contrato escrito al pie de la letra, incluso si el hacerlo es perjudicial para el bien público.

3. Metodologicalismo: creencia que el utilizar métodos de investigación aceptables aseguran el comportamiento ético del evaluador.

4. Relativismo: falacia de que a los datos obtenidos de diferentes participantes se les debe dar el mismo peso para evitar sesgos.

5. Pluralismo / Elitismo: error de permitir prioridad a participantes con mayor prestigio o poder.

House (1995)

ESTANDARES ÉTICOS EN LA EVALUACIÓN DE UN PROGRAMA

Orientación de servicio: servir no sólo los intereses de los individuos o grupos que patrocinan la evaluación, sino también las necesidades de aprendizaje de los participantes del programa, la comunidad y la sociedad en general.

Acuerdos formales: procedimientos técnicamente adecuados como seguimiento de protocolo, permitir acceso a la información, mostrar limitaciones

Respeto a los derechos de los participantes: consentimiento informado, confidencialidad, respeto a la dignidad humana

Evaluación completa y justa: mostrar fortalezas y debilidades

Divulgación de los resultados: responsabilidad del evaluador para servir no sólo a su cliente o patrocinador, sino también al público en general que se beneficia tanto del programa como de su evaluación exacta

Declaración de conflicto de intereses

Responsabilidad fiscal

Worthen et al. (1997

ELECCIÓN DE LAS PREGUNTAS

1. Población objeto a evaluar.

2. Intereses aprendizaje.

3. Papel del evaluador no como JUEZ sino como CONOCEDOR experto del tema.

4. Decidir preguntas generales y especificas para realizar evaluación global.

5. Diferentes tipos de preguntas en diferentes contextos.

SHADISH ET AL. (1991) CINCO COMPONENTES DE LA TEORÍA DE LA EVALUACIÓN

1. PREGUNTAS SOBRE PROGRAMACION SOCIAL

2. PREGUNTAS SOBRE LA UTILIDAD DEL PROCESO DE EVALUACIÓN

3. PREGUNTAS SOBRE LA CONSTRUCCION DEL CONOCIMIENTO

4. PREGUNTAS SOBRE LA VALORACION

5. PREGUNTAS SOBRE LA PRACTICA DE LA EVALUACION

1. PREGUNTAS SOBRE PROGRAMACIÓN SOCIAL

¿Cuál es el problema? ¿Qué tan grande es el problema? ¿Para quien es un problema? ¿El problema es lo suficientemente importante como para gastar su tiempo y recursos de evaluación al estudiarlo?

¿Que tanto cambiaria el transcurso normal de las cosas realizar una intervención ?

2. PREGUNTAS SOBRE LA UTILIDAD DEL PROCESO DE EVALUACIÓN

¿Cuál es la utilidad de la evaluación ? Si se quiere desarrollar un instrumento de evaluación, ¿ha identificado los usuarios potenciales?

¿ El interés sobre lo que se quiere producir es duradero o transitorio ? ¿ Como se deben comunicar los resultados? : ¿Informes periódicos o Resumen ejecutivo?

3. PREGUNTAS SOBRE LA CONSTRUCCIÓN DEL CONOCIMIENTO

¿Qué herramientas va a usar para la construccion del conocimiento? ¿Va a usar un conjunto de normas cientificas tradicionales? ¿Esta seguro que lo que va a construir es conocimiento? ¿Qué tipo de conocimiento se va a generar ? ¿Es util para la poblacion en la que se va a producir ?

¿Qué tipo de conocimiento es mas importante de evaluar? ¿Se puede producir el conocimiento necesario, en el nivel deseado de certeza, en el tiempo disponible?

¿Conoce las metodologías disponibles para tal fin ?

4. PREGUNTAS SOBRE LA VALORACIÓN

¿Cómo prodria la intervencion lograr el fin ? ¿Tiene potenciales efectos negativos ? ¿Hay otras intervenciones con las que se podria comparar? ¿Cómo se mediria el desempeño del programa? ¿Al finalizar la intervencion como va a presentar los resulatdos y como los priorizaría?

5. PREGUNTAS SOBRE LA PRACTICA DE LA EVALUACIÓN

¿Por qué se inicio la evalucion? ¿Sí se justifica la inversion en la evaluación? ¿Para que efectos podría servir la evaluación? ¿Puede influir en mejorar o cambiar el programa?

¿Proporciona informacion util? ¿Cuál es su papel en la evaluacion? ¿Metodólogo? ¿Evaluador? ¿Educador? ¿Cliente?

¿De donde se pueden obtener las preguntas? ¿Fuentes internas o externas? ¿Qué metodología utilizaría?

EL DISEÑO DE LA EVALUACIÓN

formativa-sumativa

formal - informal

Caso particular - generalización

El producto-proceso

descriptivo – crítico

Pre-ordenada - sensible

holístico-analítica

interna-externa

LA TEORÍA DE LA EVALUACIÓN:

Ayudar a saber:◦ cuándo, dónde y por qué algunos métodos se pueden aplicar y otros

no. ◦ Se puede sugerir secuencias en las que se podrían aplicar los métodos.◦ Las formas en el que los diferentes métodos se pueden combinar.◦ Tipos de preguntas contestadas mejor o peor por un método concreto.◦ Beneficios que se pueden esperar de algunos métodos en comparación

con otros.

REGLA PARA LA ELECCIÓN DE LOS DISEÑOS DE EVALUACIÓN:

'' El evaluador debe elegir el mejor diseño posible,

teniendo en cuenta la funcionalidad y viabilidad del los recursos disponibles y la

experiencia del evaluador ''

ENFOQUES DE EVALUACIÓN DE LOS PROGRAMAS

Se han desarrollado diferentes modelos de evaluación.

La elección del modelo por el evaluador es libre y depende del objetivo o de lo que se busque .

Todos tienen ciertas características: ◦ Incluyen unas listas de chequeo exhaustivas◦ Cada enfoque de evaluación incluye hipótesis de evaluación y diferentes énfasis de aspectos a evaluar

dependiendo de las prioridades y preferencias de cada autor.◦ Pocas vienen con instrucciones detalladas de aplicación paso a paso◦ Muy pocas son útiles fuera de los escenarios y circunstancias en las que fueron desarrolladas.

Estos modelos de evaluación se pueden categorizar en 3 dimensiones:◦ Metodologías◦ Valores◦ Usos

CATEGORÍAS USADAS PARA LA CLASIFICACIÓN DE LOS MÉTODOS DE EVALUACIÓN. WORTHEN (1997):

1. Enfoque orientado a los objetivos: en donde el foco son objetivos específicos2. Enfoque orientado a la gestión: se centra en identificar y reunir información para

tomar decisiones de gerenciales3. Enfoque orientado al consumidor: centra en desarrollar información para evaluar

los “productos” que se orientan al consumidor como servicios o productos competitivos.

4. Enfoque orientado a la experticia: depende de la aplicación directa de la experticia profesional

5. Enfoque orientado al adversario: se planea con puntos de vista opuestos de diferentes evaluadores

6. Enfoque orientado al participante: en donde se incluyen a los participantes como centro de la evaluación con valores, criterios y necesidades.

DIMENSIÓN DE HOUSE’S (UTILITARIA A INTUICIONISTA PLURALISTA)

En donde el enfoque de evaluación utilitaria determina el valor al evaluar el impacto global de un programa en los afectados, mientras que el enfoque intuicionista pluralista está basado en la idea de que el valor depende del impacto del programa en cada individuo que está inmerso o impactado por el programa.Colocar el programa a lo largo de esta dimensión es arbitrario y durante el desarrollo del programa en sus diferentes fases puede estar en diferentes categorías.

*Copia original de: Goldie J. AMME Education Guide n° 29: Evaluating educational programmes. Medical Teacher, 2006; 28(3): 210-24

NECESIDADES, CARACTERÍSTICAS, FORTALEZAS Y LIMITACIONES DE CADA ENFOQUE: PARA AYUDAR A ELEGIR QUE CATEGORÍA DE EVALUACIÓN ESCOGER


Estos enfoques se pueden adoptar o adaptar e incluso muchos evaluadores de los programas los usan sin una adherencia estricta a un modelo.


INTERPRETANDO LOS RESULTADOS

Interpretación de los datos

◦ Analizar◦ Confiabilidad ◦ Validez

Métodos cualitativos o cuantitativos

◦ Explicar y divulgar los resultados

El reconocimiento de los componentes sociales y la confiabilidad de las metodologías de la evaluación, ha llevado a métodos para examinar críticamente preguntas de evaluación, a través de:

◦ Comentarios de expertos ◦ Supervisión de la aplicación de las evaluaciones ◦ Análisis secundarios de los datos recogidos◦ Comentarios en informes finales por parte del personal del programa

evaluado, entre otros

Metaevaluaciones: todas las evaluaciones pueden ser evaluadas y los datos pueden ayudar a determinar que tan buenas son esas evaluaciones.

Scriven (1980) desarrolló una lista de verificación de la evaluación que guía a los evaluadores, incluye 19 factores dentro de los cuales podemos destacar:◦ Qué se va a evaluar?◦ Quién está encargando de la evaluación◦ Antecedentes y contexto del evaluado y de la evaluación◦ Recursos disponibles para la evaluación◦ Qué efectos tiene la evaluación en el evaluado?◦ Costos ◦ Meta evaluación: Los resultados del meta-evaluación deben ser usados formativamente, pero también

puede serincorporado en el informe o transmitido al cliente

DIFUSIÓN DE RESULTADOS

◦ Cómo y a quién se van a reportar los resultados?◦ Cómo se divulgarán los resultados: verbal, escrito?◦ Los resultados se divulgarán sólo en la unidad o externamente?

◦ Los resultados deben ser presentados adecuadamente. Hawkridge (1979) identificó tres posibles barreras en la difusión exitosa:

DIFUSIÓN DE RESULTADOS3. Pensar que métodos de investigación

cualitativa son menos potentes

que las investigaciones cuantitativas.

2. Los resultados

pueden amenazar intereses creados

1. Traducción de los resultados en un lenguaje que el público pueda

comprender

Adicionalmente tener en cuenta la ética de reporte de los resultados: a quién y para quién estoy divulgando los resultados

INFLUIR EN LA TOMA DE DECISIONES: UN RETO DE LAS EVALUACIONES. COLES Y GRANT (1985), SUGIEREN LOS SIGUIENTES CAMINOS EN LOS CUALES LOS EVALUADORES PUEDEN AFECTAR LAS DECISIONES EDUCATIVAS:

◦ Permitir la participación de las personas interesadas◦ Educar a las personas a aceptar los resultados de la evaluación◦ Establecimiento de canales de comunicación apropiados◦ Proporcionar protección experimental para cualquier desarrollo, asignar

recursos suficientes y hacer seguimiento de su progreso◦ Designar un agente de cambio◦ Lograr un cambio natural mediante la evaluación, promoviendo la innovación

CONCLUSIONES La Evaluación surgió como una ciencia aplicada en los últimos 40 años. Importante tener en cuenta las responsabilidades éticas y limitaciones técnicas de los evaluadores.

Se recomiendan los nuevos métodos y técnicas que sirven de ayuda en el proceso de realizar las evaluaciones.

Se debe establecer la validez y confiabilidad de los datos obtenidos y unificar los diferentes enfoques cuanti y cualitativo usados en la misma evaluación.

Socializar los resultados de una forma adecuada y comprensible. Considerar el contexto político cuando se intenta influir en la toma de decisiones.