inicia: de evaluación diagnóstica a evaluación con...
TRANSCRIPT
Inicia: de evaluación
diagnóstica a evaluación
con consecuencias
Paula Lacerna
Jorge Manzi
Lorena Meckes
Seminario Internacional
Medición Educacional y Responsabilización
24 mayo 2011
Índice
Antecedentes e instalación de la Evaluación
Inicia
Desafíos para la medición en contexto de
crecientes consecuencias
Percepción de los evaluados acerca de su
preparación profesional
Selección al ingreso y resultados en Inicia:
desafíos para las instituciones
Percepción acerca de las estrategias de las
instituciones para enfrentar la evaluación.
Antecedentes de la Evaluación
Comisiones previas
Programa de FFID (1997-2002)
Características de programa Inicia
Programa INICIA:
Estándares para egresados
Fondo de apoyo
Evaluación diagnóstica
Qué se evalúa
Conocimientos disciplinarios
Conocimientos pedagógicos
Competencias generales: expresión
escrita y habilidades TICs
Instalación de la Evaluación Inicia
Anuncio del programa:
Presencia de Decanos de las Facultades de
Educación
Evaluación sólo con objetivos diagnósticos.
Buen nivel de asistencia primer año.
39 IES participantes; 66% de asistencia en
estudiantes.
Trabajo posterior sistemático con autoridades
y académicos de las Facultades
Conformación de Comisión técnica del CRUCH
Participación en la construcción de preguntas.
Desafíos de la instalación
Marco temporal restringido para la primera
evaluación.
Operación que garantice confidencialidad de
la información individual e institucional.
La comunicación de resultados en contexto
de ausencia de estándares y por
consecuencia de puntos de corte.
Contexto y desafíos:
Ausencia de puntos de corte y de estándares de egreso
Presión pública por conocer resultados y su significado.
Resultados Prueba conocimientos disciplinarios 2008
Instalación de la Evaluación: La comunicación de los resultados
Prueba de conocimientos disciplinarios (2008)
Alumnos que rinden
Promedio Porcentaje de
Respuestas Correctas
Generalista 1720 47%
Lenguaje Segundo Ciclo 115 42%
Matemática Segundo Ciclo 105 39%
Sociedad Segundo Ciclo 42 40%
Naturaleza Segundo Ciclo 11 36%
Instalación de la Evaluación:
La comunicación de los resultados
Referente para la interpretación de los resultados 2009: resultados de la prueba TEDS-M (2008)
Instalación de la Evaluación: ¿Cómo interpretar y comunicar los resultados?
Resultado más relevante: Variabilidad de resultados (2008)
% d
e e
va
lua
do
s
% de logro en la prueba
Instalación de la Evaluación: ¿Cómo interpretar y comunicar los resultados?
Resultado más relevante: Diferencias entre instituciones (2009)
0
2
6
3
5 5
1
00
1
2
3
4
5
6
7
Instituciones sobre 10 inscritos y 70% de asistencia (N=22)*
% de logro en la prueba
N d
e in
sti
tuc
ion
es
Instalación de la Evaluación: Efectos públicos
Alto y creciente nivel de participación.
La prueba se legitima como un referente para
juzgar la calidad de la formación de
profesores.
Pese a la ausencia de estándares, los
resultados agudizan la consciencia de la
necesidad de mejorar la formación inicial
docente.
Evolución hacia una evaluación con
consecuencias
El 2010 se invitó a las instituciones a publicar
sus resultados.
Disposición en la ley de presupuesto 2010: los
resultados de las instituciones deben ser
públicos.
La gran mayoría ratifica su participación. Sólo 2
instituciones retiran su participación a último minuto.
Asistencia no decae, pese a información ambigua
que llegó a los estudiantes.
Evolución hacia una evaluación con
consecuencias
El 2010 se invitó a las instituciones a
publicar sus resultados.
Disposición en la ley de presupuesto
2010: los resultados de las instituciones
deben ser públicos.
La gran mayoría ratifica su participación.
Sólo 2 instituciones retiran su participación
después del cambio de condiciones.
Asistencia no decae.
Evolución hacia una evaluación con
consecuencias
Panel de expertos 2010:
Deficiencias detectadas:
• Explosión de las carreras de pedagogía
• Menor número de años de acreditación de éstas
respecto de otras carreras.
Surgen propuestas: • Examen de habilitación exigible para enseñar en
establecimientos con subvención estatal.
• Resultados deberán ser públicos.
• Acreditación de carrera debe considerar estos resultados.
• Examen deberá estar a cargo de un consejo que dé
garantías de imparcialidad.
Evolución hacia una evaluación con
consecuencias
Proyecto de Ley (2010):
Examen de excelencia profesional docente.
Evaluación de conocimientos disciplinarios que
arroje información a las instituciones formadoras;
egresados de pedagogía; futuros estudiantes;
sostenedores.
Haber rendido el examen será requisito para ser
contratado en el sistema subvencionado.
Establece asignación de excelencia pedagógica
inicial.
Resultados de instituciones serán públicos y estas
podrán conocer el resultado de sus estudiantes.
Desafíos para la medición derivados de un
escenario de crecientes consecuencias
1. Comparabilidad de los instrumentos y de los resultados
en el tiempo: para que decisiones que se tomen a partir
de los resultados no dependan de la dificultad de las
pruebas cada año.
2. Liberación de preguntas y constante renovación del
banco de ellas.
3. Significado de los resultados: no basta con el puntaje, es
necesario establecer puntajes de corte asociados a
estándares. Relevante a nivel institucional e individual.
Desafíos para la medición derivados de un
escenario de crecientes consecuencias
4. Publicación de resultados institucionales y su comparación:
requiere contar con información confiable y actualizada
sobre el universo potencial de participantes para determinar
representatividad de la muestra que rinde por institución.
5. Estudiar la validez predictiva de los resultados de la
evaluación.
6. Qué evaluar y cómo: conocimiento de las disciplinas que se
enseñará, conocimientos pedagógico, conocimiento
pedagógico del contenido, competencias profesionales
generales y competencias específicas para enseñar.
Algunos ejemplos de experiencia internacional en
evaluaciones externas:
USA: todos los estados exigen aprobar exámenes
de conocimiento disciplinario, la mayoría además
conocimiento pedagógico general o específico y
demostrar desempeño en primer año de
inducción.
USA y UK: se exige haber aprobado pruebas de
habilidades básicas que deben ser presentados
para certificación.
Corea: evalúa conocimientos, conocimientos
pedagógicos, competencias pedagógicas, inglés,
aptitudes y actitudes (estas últimas a través de
entrevista en profundidad)
Ejemplos de tarea en pruebas de conocimiento
pedagógico
Considere el siguiente objetivo de aprendizaje para una
clase de 8vo básico de niñas y niños (80 min):
“Los estudiantes construyen gráficos adecuados a partir de
datos y establecen afirmaciones cuantitativas acerca de
las relaciones entre las variables”.
1. Proponga una secuencia de actividades para lograr
el objetivo.
2. Indique qué habilidad de lectura necesita desarrollar
y por qué e incluya una actividad para lograrlo.
3. Proponga tres evaluaciones, una diagnóstica inicial,
otra para monitorear el progreso y una sumativa final
para determinar si se logró el objetivo.
Fundamente, para alguna de ellas, por qué permite
recoger evidencia sobre el logro del objetivo.
Dos dimensiones
Prueba de Conocimientos Disciplinarios
Prueba de Conocimientos
Pedagógicos r=0,59**
(N=1.464)
** Significativo al 0,01.
Correlaciones entre percepción de
preparación y Pruebas INICIA
Indididual Por Institución
PCD PCP PCD PCP
Preparación Matemática 0.31
0.10
0.43 0.37
Preparación Lenguaje 0.04
0.06
0.21
0.29
Preparación Comp. Medio -0.02 -0.04 -0.19 -0.10
Preparación Pedagógica -0.05
-0.08 -0.08 0.06
Percepción de Preparación en Conocimientos
Disciplinarios (2010)
53%
47%
44%
42%
0% 20% 40% 60% 80% 100%
Lenguaje
Matemáticas
Ciencias Naturales
Historia, Geografía y Ciencias Sociales
Porcentaje de evaluados que declara sentirse "Bien preparado" o "Muy bien preparado"
Percepción de la preparación
Percepción de Preparación en Conocimientos
Pedagógicos (2010)
73%
68%
60%
57%
54%
0% 20% 40% 60% 80% 100%
Pedagogía y Didáctica General
Lenguaje
Matemáticas
Ciencias Naturales
Historia, Geografía y Ciencias Sociales
Porcentaje de evaluados que declara sentirse "Bien preparado" o"Muy bien preparado"
Percepción de la preparación
Percepción de Preparación en Habilidades Pedagógicas
89%
88%
87%
83%
83%
80%
79%
47%
0% 20% 40% 60% 80% 100%
Planificar clases
Evaluar conocimientos y habilidades
Manejar un grupo de alumnos
Adaptar las estrategias de enseñanza
Utilizar estrategias para aprendizaje de diferentescontenidos
Enfrentar los desafíos de aprendizaje de diferentesdisciplinas
Enfrentar las dificultades de aprendizaje de las diferentesetapas del desarrollo
Enseñar a estudiantes con necesidades educativasespeciales
Porcentaje de evaluados que declara sentirse "Bien preparado" o "Muy bien preparado"
Percepción de Preparación en Habilidades y
Dimensiones del Quehacer Pedagógico
¿Qué efectos puede tener y está teniendo la
evaluación en la formación y la preparación
de los estudiantes de pedagogía?
Selección al ingreso y resultados en Inicia
desafíos para las instituciones
r=0,88**
Selección de los
mejores estudiantes
aumenta
expectativa de
resultados en Inicia
Desafíos de una evaluación con consecuencias:
efectos en las instituciones
Instituciones de
Educación
Superior
Con igualdad de
condiciones de
ingreso, algunas
facultades
logran mejores
resultados
Desafíos de una evaluación con consecuencias:
efectos en las instituciones
Instituciones de
Educación
Superior
¿Qué
características de
la formación se
relacionan con
una mayor
“efectividad”?
Desafíos de una evaluación con
consecuencias
Dos grandes desafíos:
1. Lograr buenos resultados en la Evaluación.
2. “Agregar valor”, y superar los resultados que,
por selección, se puede esperar a nivel de la
institución.
Desafíos de una evaluación con
consecuencias: efectos en las instituciones
Tres formas de enfrentar el desafío:
1. Seleccionar a los estudiantes que ingresan a
pedagogía
2. Mejorar la calidad de la formación
profesional
3. Preparar a los estudiantes para la prueba
Desafíos de una evaluación con
consecuencias: efectos en la preparación
¿Su Institución preparó para la Evaluación INICIA?
0%
20%
40%
60%
80%
100%
No
contesta
No Si
% d
e E
va
lua
do
s Pe
d
Bá
sic
a
Tipo de preparación institucional
94%
85%
85%
11%
0% 20% 40% 60% 80% 100%
Entrega de información
acerca de INICIA
Talleres de entrenamiento
para preparar INICIA
Motivación a participar en
evaluación INICIA
Otro tipo de preparación
Evaluados que declaran que su institución preparó…
Desafíos de una evaluación con
consecuencias: efectos en la preparación
Desafíos de una evaluación con
consecuencias: efectos en la preparación
0%
20%
40%
60%
80%
100%
No contesta No Si
% E
va
lua
do
s P
ed
. B
ási
ca
¿Preparó Evaluación INICIA por cuenta propia?
Desafíos de una evaluación con
consecuencias: efectos en la preparación
Tipo de preparación realizada por cuenta propia
80%
74%
40%
39%
32%
0% 20% 40% 60% 80% 100%
Estudio del material de clases
Búsqueda de información
respecto de INICIA
Entrenamiento con pruebas
tipo INICIA
Revisión de ejemplos de
preguntas de INICIA
Estudio de evaluaciones
pasadas de la carrera
Evaluados que declaran haberse preparado por cuenta…
¿Qué dicen los evaluados sobre su
formación?
Contenidos de la Evaluación Inicia cubiertos por
el Curriculum Institucional
0
5
10
15
20
25
30
0% - 20% 21% - 40% 41% - 60% 61% - 80% 81% - 100%
N d
e In
stitu
cio
ne
s
% de Contenidos Inicia cubiertos por Curriculum
Institucional
Qué dicen los evaluados sobre la
evaluación y su formación
Énfasis del Programa de Formación
83%
62%
64%
57%
46%
0% 20% 40% 60% 80% 100%
Práctica
Fundamentos
Pedagogía y didáctica general
Didáctica de las disciplinas a
enseñar
Conocimiento de las disciplinas a
enseñar
Porcentaje de evaluados que declara que se le dio
bastante o mucho énfasis al área
Conclusiones
Alta participación de instituciones y de sus
egresados ha favorecido la rápida
instalación de esta evaluación
Resultados fuertemente correlacionados
con los puntajes de admisión sugieren un
débil “valor agregado” de la formación
docente, lo que también abre la discusión
acerca de las condiciones mínimas para
garantizar una buena formación docente.
Conclusiones
Impacto público de la evaluación diagnóstica
demuestra la relevancia que tiene la información
para orientar la discusión y toma de decisiones
en este ámbito.
Se constatan efectos de las mediciones y
discusión de estándares en las facultades de
educación (aunque es prematuro juzgar la
valencia de estos efectos). Es fundamental
monitorear los ajustes que estas mediciones
están promoviendo en las facultades.