investigaciÓn evaluativa
DESCRIPTION
La evolución histórica de la investigación evaluativa; los modelos más representativos de la investigación evaluativa y procedimientos metodológicos.TRANSCRIPT
CHINA Dubois (1970) y Coffman (1971) citan los procedimientos
que se empleaban hace más de tres mil años, para
seleccionar a los altos funcionarios.
Sundbery (1977) hablan de pasajes evaluadores en la Biblia
GRIEGOS Y ROMANOS
Blanco (1994) se refiere a los exámenes de los profesores
griegos y romanos
McReynold (1975) , el tratado más importante de evaluación
de la antigüedad es el Tetrabiblos, que se atribuye a Ptolomeo
EDAD MEDIA Se introducen los exámenes en los medios universitarios con carácter más formal
RENACIMIENTO Huarte de San Juan, en su Examen de ingenios para las
ciencias, defiende la observación como procedimiento básico
de la evaluación (Rodríguez y otros, 1995).
MTRA. EDITH MELGAR MONDRAGÓN
SIGLO XVIII Las instituciones educativas van elaborando e introduciendo
normas sobre la utilización de exámenes escritos (Gil, 1992).
SIGLO XIX Se establecen los sistemas nacionales de educación y aparecen los
diplomas de graduación, surge un sistema de exámenes de comprobación de una preparación específica.
En los Estados Unidos
Horace Mann en 1845, comienza a utilizar las primeras técnicas
evaluativas del tipo «tests» escritos, y que inician el camino hacia referentes objetivos con respecto a las destrezas lecto-escritoras.
AL FINAL
DEL SIGLO XIX
La primera investigación evaluativa en educación fue de J.M.RICE
Se trataba de un análisis comparativo en escuelas americanas sobre el
valor de la instrucción en el estudio de la ortografía, utilizando como
criterio las puntuaciones obtenidas en los tests. (Mateo y otros, 1993).
MTRA. EDITH MELGAR MONDRAGÓN
La década de
los 20’ y 30’
marca el punto
más alto en el
<testing> en el
campo
educativo
Las escalas de
escritura de
Ayres y
Freeman
Redacción de
Hillegas,
Ortografía de
Buckingan
1904
la obra de
Thorndike, fue
la de mayor
influencia
Stanford-Binet,
los test de
capacidades
cognitivas.
Arthur Otis,
construye test
colectivos de
inteligencia
general, e
inventarios de
personalidad.
MTRA. EDITH MELGAR MONDRAGÓN
La década entre 1920 y 1930 marca el
punto más alto del «testing», se idean
multitud de tests estandarizados para
medir toda clase de destrezas escolares.
El papel del evaluador era técnico, como
proveedor de instrumentos de
medición.
Todavía existen textos y publicaciones
que utilizan de manera indisoluble
evaluación y medida.
MTRA. EDITH MELGAR MONDRAGÓN
Ralph W. Tyler, es conocido
como el padre de la
evaluación educativa, por ser
el primero en dar una visión
metódica .
En su obra plantea la
necesidad de una evaluación
científica que sirva para
perfeccionar la calidad de la
educación.
La buena evaluación precisa
de las siguientes
condiciones:
•Propuesta clara de objetivos.
•Determinación de las situaciones en
las que se deben manifestar las
conductas esperadas.
•Elección de instrumentos apropiados
de evaluación.
•Interpretación de los resultados de las
pruebas.
•Determinación de la fiabilidad y
objetividad de las medidas
MTRA. EDITH MELGAR MONDRAGÓN
• La evaluación supone un juicio de valor
•Para Ralph Tyler, la referencia central en la evaluación son los objetivos
preestablecidos, que deben ser cuidadosamente definidos en términos de
conducta
•El objeto del proceso evaluativo es determinar el cambio ocurrido en
los alumnos
.
•Es un medio para informar sobre la eficacia del programa
educacional y también de educación continua del profesor
MTRA. EDITH MELGAR MONDRAGÓN
En las prácticas evaluativas se
observan dos niveles de
actuación
Un nivel podemos calificarlo
como la evaluación orientada
hacia los individuos,
fundamentalmente alumnos y
profesores.
El otro nivel, es el de la
evaluación orientada a la toma
de decisiones sobre el
«instrumento» o «tratamiento»
o «programa» educativo
MTRA. EDITH MELGAR MONDRAGÓN
Asociar el concepto de evaluación a la
toma de decisiones
Mejorar un programa mientras se esté
aplicando
Que los estudios evaluativos sean de
tipo comparativo
Se defienden los estudios más
analíticos
Las técnicas no deben limitarse a los
test
Establece la diferencia entre la evaluación
como actividad metodológica y las
funciones de la evaluación
Propone:
evaluación formativa y sumativa
Evaluación intrínseca y extrínseca
Defiende el carácter comparativo de la
evaluación
CRONBACH(1963)
Course improvement through evaluation
SCRIVEN (1967)
The methodoly of evaluation
MTRA. EDITH MELGAR MONDRAGÓN
Tipo de evaluación que suministra una
información real y descriptiva del
estatus del sujeto o sujetos respecto a
los objetivos de enseñanza previstos,
así como la valoración de ese estatus
por comparación con un estándar o
criterio de realizaciones deseables.
MTRA. EDITH MELGAR MONDRAGÓN
Se trata, por tanto, de una época caracterizada por la pluralidad conceptual y metodológica.
Guba y Lincoln (1982) nos hablan de más de cuarenta modelos propuestos en estos años.
Mateo (1986) se refiere a la eclosión de modelos.
House (1989), tienden a clasificar estos modelos en dos grandes grupos, cuantitativos y cualitativos.
MTRA. EDITH MELGAR MONDRAGÓN
Otros modelos consideran el proceso de evaluación
al servicio de las instancias que deben tomar
decisiones.
◦ Ejemplos:
El C.I.P.P. (contexto, input, proceso y producto),
propuesto por Stufflebeam y colaboradores
(1971)
El C.E.S. (toma sus siglas del Centro de la
Universidad de California para el Estudio de la Evaluación) dirigido por Alkin (1969).
MTRA. EDITH MELGAR MONDRAGÓN
Evaluación Responsable de Stake (1975 y 1976), a la
que se adhieren Guba y Lincoln (1982)
Evaluación Democrática de MacDonald (1976)
Evaluación Iluminativa de Parlett y Hamilton (1977)
Evaluación como crítica artística de Eisner (1985)
enfatiza el papel de la audiencia (propios
participantes) de la evaluación y de la relación del
evaluador con ella.
Propugnan una evaluación de tipo etnográfico.
MTRA. EDITH MELGAR MONDRAGÓN
Aportaciones a la evaluación en los años setenta y ochenta.
Se profundizó en los planteamientos teóricos y prácticos y se consolidó la evaluación como investigación evaluativa
Surgen revistas, asociaciones y programas de posgrado y planes de estudio para titulaciones.
MTRA. EDITH MELGAR MONDRAGÓN
La evaluación es un proceso sociopolítico.
La evaluación es un proceso conjunto decolaboración.
La evaluación es un proceso deenseñanza/aprendizaje.
La evaluación es un proceso continuo, recursivo yaltamente divergente.
La evaluación es un proceso emergente.
La evaluación es un proceso con resultadosimpredecibles.
La evaluación es un proceso que crea realidad.
MTRA. EDITH MELGAR MONDRAGÓN
Los planes de evaluación deben satisfacer los cuatro requerimientos de utilidad, factibilidad, legitimidad y precisión.
La evaluación se ve como una transdisciplina
Para evaluar la educación en una sociedad moderna, se deben tomar algunos criterios básicos de referencia: ◦ Las necesidades educativas◦ La equidad◦ La factibilidad◦ La excelencia
MTRA. EDITH MELGAR MONDRAGÓN
A la hora de plantearnos una investigación evaluativa, tenemos distintos enfoques modélicos y un amplio soporte teórico y empírico, que permiten al evaluador ir respondiendo de manera bastante adecuada a las distintas cuestiones que le va planteando el proceso de investigación, ayudándole a configurar un plan global, un organigrama coherente, un «modelo» científicamente robusto para llevar a cabo su evaluación (Escudero, 1993).
MTRA. EDITH MELGAR MONDRAGÓN
1) Objeto de la investigación evaluativa.
2) Propósito, objetivos.
3) Audiencias/implicados/clientela.
4) Énfasis/aspectos prioritarios o preferentes.
5) Criterios de mérito o valor.
6) Información a recoger.
7) Métodos de recogida de información.
8) Métodos de análisis.
9) Agentes del proceso.
10) Secuenciación del proceso.
11) Informes/utilización de resultados.
12) Límites de la evaluación.
13) Evaluación de la propia investigación evaluativa /metaevaluación.
MTRA. EDITH MELGAR MONDRAGÓN
TYLER Proceso para determinar el grado de congruencia entre las realizaciones y los objetivos previamente establecidos.
LEE. J. CRONBACHEs un proceso mediante el cual se recaba
información útil para la toma de decisiones con
relación a un programa educativo.
JAMES D. GREENBERG Procedimientos mediante los cuales se estudian
y analizan los programas educativos con el fin
de certificar y validar su eficacia en el logro de
los objetivos que éstos señalan.
DANIEL M. STUFFLEBEAM Es el proceso de determinar, obtener y proporcionar información relevante y útil que ayude a la toma de decisiones.
GENE V. GLASS La evaluación es un intento orientado a la
determinación de la validez y la utilidad de algo.
MTRA. EDITH MELGAR MONDRAGÓN
MEDICIÓN ¿QUÉ TANTO SE ALCANZÓ?
PIDE CIFRAS
DETERMINACIÓN DE
NECESIDADES
¿SE ALCANZÓ EL OBJETIVO?
LOGRO DE OBJETIVOS
ESPECIFICACIÓN DE ÁREAS DE MEJORA
ANÁLISIS DE
RESPONSABILIDADES
LAS PERSONAS RESPONSABLES TUVIERON UN BUEN
DESEMPEÑO EN EL LOGRO DEL OBJETIVO
CUMPLIMIENTO DE LO QUE SE ASIGNÓ
EVALUACIÓN SE ALCANZARON LAS METAS EVALUADAS EN TÉRMINOS
DE CRITERIOS Y ESTÁNDARES
LOGRO DE METAS U OBJETIVOS IDEALES
COMPARACIÓN DE LO REAL CONTRA LO IDEAL
INVESTIGACIÓN ¿CUÁL ES LA RELACIÓN DE LAS VARIABLES ESTUDIADAS?
EL POR QUÉ DE LA RELACIÓN DE LAS VARIABLES
(MÉTODO HIPOTÉTICO DEDUCTIVO)
SIGNIFICADOS, PROCESOS, PERSPECTIVAS DE LOS SUJETOS
ESTUDIADOS (MÉTODOS INTERPRETATIVOS INDUCTIVOS)
MTRA. EDITH MELGAR MONDRAGÓN
“El objeto de la investigación evaluativa es medir los efectos de un programa por comparación con las metas que se propuso alcanzar, a fin de contribuir a la toma de decisiones subsiguientes acerca del programa y para mejorar la programación futura…”
Carol H. Weiss
MTRA. EDITH MELGAR MONDRAGÓN
Método/
autor
Finalidad
evaluativa
Paradigma
dominante
Contenido de
evaluación
Rol del
evaluadorConsecución
objetivos
Tyler (1940)
Medición logro
objetivos
Cuantitativo Resultados Técnico externo
CIPP
Stufflebeam
(1967)
Información
para toma
decisiones
Mixto C (contexto)
I (input)
P (proceso)
P (producto)
Técnico externo
Figura
(countenance)
Stake (1967)
Valoración
resultados y
proceso
Mixto Antecedentes,
transacciones,
resultados
Técnico externo
CSE
Alkin (1969)
Información para
determinación de
decisiones
Mixto Centrados en
logros de
necesidades
Técnico externo
Planificación
educativa
Cronbach (1982)
Valoración
proceso y
producto
Mixto U (unidades de
evaluación)
T (tratamiento)
O (operaciones)
Técnico externo
MTRA. EDITH MELGAR MONDRAGÓN
Método/ autor Finalidad
evaluativa
Paradigma
dominante
Contenido de
evaluación
Rol del
evaluador
Atención al
cliente
Scriven (1973)
Análisis de
necesidades del
cliente
Mixto Todos los efectos
del
programa
Evaluador
externo
de necesidades
del
cliente
Contraposición
Owens (1973),
Wolf (1974)
Opiniones para
decisión
consensuada
Mixto Cualquier aspecto
del
programa
Árbitro externo
del debate
Crítica artística
Eisner (1981)
Interpretación
crítica de la
acción
educativa
Cualitativo • Contexto
• Procesos
emergentes
• Relaciones de
procesos
• Impacto en
contexto
Provocador
externo de
interpretaciones
MTRA. EDITH MELGAR MONDRAGÓN
Método/
autor
Finalidad
evaluativa
Paradigma
dominante
Contenido de
evaluación
Rol del
evaluador
Evaluación
respondente
Stake (1976)
Valoración de
respuesta a
necesidades de
participantes
Cualitativo Resultado de
debate total
sobre programa
Promotor externo
de la
interpretación
Por los
implicados
Evaluación
holística
MacDonald
(1976)
Interpretación
educativa para
mejorarla
Cualitativo Elementos que
configuran la
acción educativa
Promotor externo
de la
interpretación
Por los
implicados
Evaluación
iluminativa
Parlett y
Hamilton 1977)
Iluminación y
comprensión de
los componentes
del programa
Cualitativo Sistema de
enseñanza y
medio
de aprendizaje
Promotor externo
de la
interpretación
Por los
implicados
MTRA. EDITH MELGAR MONDRAGÓN
ENFOCAR LA EVALUACIÓN
1. Determinar niveles de decisión2. Describir niveles de decisión3. Definir criterios para cada situación de decisión4. Definir políticas de operación de la evaluación
¿Qué voy a evaluar?
¿Qué decisiones se van a tomar?
¿En base a que criterios y estándares?
¿Quién toma las decisiones?
RECOLECTAR LA
INFORMACIÓN
1.Especificar fuentes de información
2.Especificar instrumentos y métodos de recolección
3.Especificar cronograma de recolección de información.
¿Qué instrumentos voy a utilizar?
¿Quién me dará la información?
ORGANIZAR LA
INFORMACIÓN
1. Diseñar formato de recolección de información
2. Determinar formas de codificar, organizar almacenar yrecuperar la información.
¿Qué sistema de análisis voy a utilizar?
¿ Cómo se van a sistematizar los datos?
ANALIZAR LA INFORMACIÓN
1.Seleccionar los modelos y procedimientos de análisis
2.Determinar medios de realizar el análisis¿Qué procedimiento de análisis se realizará?
¿Cómo se va a realizar el análisis?
REPORTAR LA INFORMACIÓN
1. Definir la audiencia al que se dar la información
2. Definir medios mediante los cuales se proporcionara lainformación
3. Especificar el formato de los reportes y de las sesiones dereporte
4. Hacer un cronograma de sesiones de reporte de información.
¿A quién se reportará?
¿Qué se va a reportar?
¿Cómo se va a reportar?
¿Cuándo se va a reportar
ADMINISTRAR LA
INFORMACIÓN
1. Desarrollar el cronograma de la evaluación
2. Determinar recursos y equipo necesario para realizar laevaluación.
3. Definir estrategias para alcanzar los objetivos de la evaluación
4. Evaluar el diseño según criterios de validez, confiabilidad,rapidez, credibilidad y amplitud
5. Especificar y cronometrar momentos para la evaluación de laevaluación. (metaevaluación)
6. Hacer el presupuesto de la evaluación.
¿ Cuánto tiempo va a durar la evaluación?
¿Cómo se va a evaluar la evaluación? (Metaevaluación)
Elementos para el diseño de la evaluaciónStufflebeam
MTRA. EDITH MELGAR MONDRAGÓN
LINEAMIENTOS PARA UN PLAN DE ACCIÓN
OBJETIVO O ASUNTO A EVALUAR
REQUERIMIENTOS DE INFORMACIÓN
FUENTES DE INFORMACIÓN
INSTRUMENTOS A UTILIZAR
TIPOS DE DECISIONES A TOMAR
ANÁLISIS DE DATOS
TIEMPO DE EJECUCIÓN (cronograma de trabajo)
ELABORACIÓN DEL REPORTE
MTRA. EDITH MELGAR MONDRAGÓN
STUFFLEBEAM
ALKIN
PROVUS
PATTON
GUBA &
RIPPEY
MCDONALD
PARLETT & HAMILTON.
ORIENTACION A LOS OBJETIVOS. ORIENTACION NATURALISTA.
BENEFICIOS
•Fácil de utilizar•El foco se centra en los productos•Tiene una amplia aceptación•Obliga a que se planteen los objetivos.
•Se focaliza en la descripción y el juicio•Preocupación por el contexto.•Apertura para evolucionar y ampliar el plan de evaluación.•Pluralista•Utiliza el razonamiento inductivo.•Utiliza una gran variedad de información.•Énfasis en la comprensión
LIMITACIONES
Sobre implicación de la evaluación y de la educación.
Se orienta únicamente a los resultados.
Reduccionista Lineal Un énfasis exagerado en aplicar
pruebas a los estudiantes.
No directiva. Tendencia a ser atraído por lo bizarro y
lo atípico. Potencialmente implica un alta
intensidad de trabajo y costos. La generación de hipótesis. Potencialidad de fallar y llegar al cierre
del proceso. MTRA. EDITH MELGAR MONDRAGÓN
Escudero, Tomás (2003). Desde los tests hasta la investigación evaluativa
actual. Revista Electrónica de Investigación y Evaluación Educativa
(RELIEVE), v. 9, n. 1.
http://www.uv.es/RELIEVE/v9n1/RELIEVEv9n1_1.htm. Consultado el (8 de
marzo 2010).
Weiss H. C. (2001) Investigación evaluativa. Métodos para determinar la
eficiencia de los programas de acción.
Antología. Textos sobre evaluación educativo. Recopilación: Luis González
Martínez, Guadalajara, Jalisco, enero del 2004.
MTRA. EDITH MELGAR MONDRAGÓN