1

Proceso de evaluación

Descripción de la realidad que

va a ser evaluada

ReferenteComparar

Opinión, valoración

Decisiones

Prozeso de evaluación: ejemplo

El alumno lee 10 palabras por

minuto

Velocidad lectora: 30

pal/minComparar

Opinión, valoración

Decisiones

Lee despacio

Ingresar al alumno en el grupo de los alumnos de lectura lenta

Realidad evaluada Referente

Valoración de un dibujo teniendo en cuenta diferentes referentes

Es un buen dibujo.Combinación de los criterios anteriores

Es una imagen que recoge adecuadamente los detalles: los colores están bien utilizados y las formas están

equilibradas.

Objetivos establecidos

Entre todos los dibujos presentados éste es el mejor.

Situaciones similares

Este dibujo, es peor que el realizado anteriormente por el mismo alumno.

La situación anterior

Hay que mejorar el dibujo.El dibujo ideal

Recogida de información de un dibujo realizado por un alumno

Opinión, ValoraciónPunto de referencia

Realidad que va a ser evaluada

Idiográfico

Normativo

Criterial

2

Ámbitos de recogida de la información

Cambios

TransferenciaInfluencia en la institución

Actitudes

Conocimientos

Procedimientos

Enseñanza

Satisfacción

Conclusiones

Actividades realizadaAplicación

Actividades previstas

ObjetivosPlanificación

Document.EntrevistaObservac.Dominios que pueden ser evaluadosRecogida de la información

Modelo de Evaluación Libre de Objetivos de Scriven

A

B

C

D

E

F

EFECTOS PERFIL DE NECESIDADES VALORACIÓN

INTERVEN-CIÓN

Qué cambios?

No logrados

Buscados

No buscados

1ª

2ª

3ª

4ª

5ª

6ª

B

C

A

D

E

F

Se cubren todas las necesidades?

Los efectos no esperados son

deseables?

Los efectos no esperados cubren alguna necesidad?

Implicaciones para el centro?

Procedimientos para la Recogida de la Información: Criterios de Clasificación

TÉCNICAS CUANTITATIVAS

(pruebas objetivas, tests, etc.)

TÉCNICAS CUALITATIVAS(observación participante, entrevista en profundidad, etc)

ESTRATEGIAS

(entrevista, observación participante)

INSTRUMENTOS

(tests, pruebas objetivas)

MEDIOS AUDIOVISUALES Y DOCUMENTALES

(vídeo, fotografía)

INSTRUMENTOS ESTADARIZADOS

(pruebas objetivas, tests, etc.)

INSTRUMENTOS NO ESTANDARIZADOS

(observación, entrevista, cuestionario)

PROCEDIMIENTOS OBSERVACIONALES (observación)

INSTRUMENTOS DE ENCUESTA

(entrevista y cuestionario)

TESTS Y PRUEBAS OBJETIVAS

OTRAS TÉCNICAS Y ESTRATEGIAS

(portafolios, historias de vida, etc)

3

Procedimientos de Recogida de Información

• La Observación• La Entrevista• El Cuestionario• Las Pruebas de Aprendizaje• Los tests estandarizados• Otros procedimientos

– Las Escalas de Actitudes– La Sociometría– El Grupo de Discusión– El Autoinforme– Las Historias de Vida– Los Documentos– La Técnica Delphi

Observación

Modalidades de observación y registro utilizadas en evaluación

Observación

En función del nivel desistematización del proceso

K No sistemáticaK SistematizadaK Muy sistematizada

En función de la fuente dedatos

L DirectaL Indirecta

En función del rol delobservador

P ParticipanteP No participante

En función del agenteevaluador

M Auto-observaciónM Hetero-observación

RegistrosNarrativos

S Notas de campoS DiariosS Registros anecdóticos

Categoriales R Escalas valorativasR Listas de control

Pasos a Seguir en la Observación (I)1. Elección del escenario

1. Acceso fácil2. Buenas relacines con los informadores 3. Que da datos de interés

2. Acceso al escenario 1. Permiso, porteros, negociación

3. La primera entrevista 1. Presentación del estudio 2. El escenario no cambia 3. Confidencialidad de los datos 4. Notas de campo

4

Pasos a Seguir en la Observación (II)4. Aspectos a tener en cuenta en el campo

1. Aparecer de modo pasivo (comodidad)2. La recogida de datos objetivo secundario 3. Incomodidad inicial4. Cantidad de los datos 5. Personas que quieren dirigir la investigación6. Tomar parte7. El investigador se tiene que adaptar 8. Hablar de otros temas de interés 9. No dar lecciones 10. No dar por entendido 11. Datos que no son verdaderos 12. Conocer el significado de los términos de los

informadores

Planificación de la Observación Participante

¿Qué investigar?

¿Cómo analizar?

¿Qué registrar?

¿Cuándo observar?

¿Qué observar?

¿Dónde observar?

¿Cómo investigar?

OBSERVACIÓN

Problema y objetivos

Perspectiva y alcance

Límites de tiempo

Técnicas de registro

Técnicas de análisis

Modo de observar

Escenario

Momentos del proceso de observación

Observación descriptiva

Observación focalizada

Observación selectiva

INICIO DEL PROYECTO FINAL DEL PROYECTO

5

Distribución del tiempo en las fases de observación

Observación descriptiva

Observación focalizada

Observación selectiva

Pre

par

ació

n d

e la

obse

rvaci

ón

part

icip

ante

Tiem

po d

edic

ado

a la

obs

erva

ción

(p

orce

ntaj

e)

0 1 8 9 10 11765432

50

100

0

Serie de los momentos de observación

Ejemplo de la información que puede recogerse en las notas de campo• Fecha:• ¿Dónde se hizo la observación?• ¿Quién estaba allí?• ¿Cómo era el ambiente?• ¿Qué tipo y modo de relaciones sociales

se dieron?• ¿Qué tipo de actividades se realizaron?• Otro tipo de información descriptiva:

Notas de campo• Cuando estamos en el escenario

1. Tomar notas tan pronto termine la observación2. Dibujar el diagrama del escenario 3. Escribir y rescribir las notas 4. Tomar notas en el mismo escenario

• Metodología de la transcripción1. Datos de identificación 2. Diagrama3. Márgenes amplios4. Punto y aparte 5. Literalidad 6. Utilización de sobrenombres 7. Guardar las notas por triplicado 8. Introducir los comentarios del observador 9. Aunque sean incomprensibles recoger todas las

expresiones posibles

6

Ejemplo de notas de campoCOLEGIO: C.P. Xxxxxx LUGAR: aula 5º A FECHA: 16-03-2003PROFESORA: Maribel OBSERVADOR: Juan OBSERVACIÓN: PrimeraDURACIÓN: 15:00 16:00 ASIGNATURA: Ciencias SocialesTEMA: Geografía de Cataluña ACTIVIDAD: Dibujar y colorear el mapa

15:05 Se oye murmullo en el aula... La profesora ha gritado y ha dicho: “... Ea... Coger las mesas y poneros por grupos... Tu aquí ... Y vosotras, chicas, aquí juntas... Así...”

15:10 La profesora ha señalado la manera de componer los grupos. Un alumno extranjero (Amed) se ha quedado solo en su mesa. Por lo que parece se trata de una situación que la consideran como habitual tanto él como el resto de compañeros y que la aceptan tal cual. Cati parece que estáenfadad y les dirige miradas rápidas a las niñas de su mesa. Es posible que la distribución hecha por la profesora se acepte en contra de su voluntad. El aula ha quedado configurada de la siguiente manera:

Ejemplo de diagramaPizarra A Pizarra B

Grupo 3

Rosa Vanesa

JuanLina

Grupo 5

Elena Susi

ZaraPili

Grupo 4

Pablo Karim

MouratAntoni

Grupo 2

Nati Carla

VeroSole

Grupo 1

Cati Mireia

SaraMarta

Mesa profes.

Amed

PuertaBibliotecaMurales Esfera de la Tierra Murales Mapas Murales

Notas de campo tomadas en un aula intercultural. Los alumnos que son de otras etnias aparecen subrayados

Luci

AnecdotarioAnverso

Reverso

Persona:__________________ Edad:____________Fecha:____ Hora:_____ Mes:______ Padres:______Situación o contexto:Otros aspectos reseñables:Descripción objetiva del suceso:

Reflexiones, interpretación y valoración subjetivas del observador..............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................

7

Rúbrica

Los argumentos no fueron claramente vinculados a una idea principal (premisa).

Todos los argumentos fueron claramente vinculados a una idea principal (premisa), pero la organización no fue, algunas veces, ni clara ni lógica.

La mayoría de los argumentos fueron claramente vinculados a una idea principal (premisa) y fueron organizados de manera lógica.

Todos los argumentos fueron vinculados a una idea principal (premisa) y fueron organizados de manera lógica.

Organización

Uno o más de los miembros del equipo tuvieron un estilo de presentación que no mantuvo la atención de la audiencia.

El equipo algunas veces usógestos, contacto visual, tono de voz y un nivel de entusiasmo en una forma que mantuvo la atención de la audiencia.

El equipo por lo general usógestos, contacto visual, tono de voz y un nivel de entusiasmo en una forma que mantuvo la atención de la audiencia.

El equipo consistentemente usó gestos, contacto visual, tono de voz y un nivel de entusiasmo en una forma que mantuvo la atención de la audiencia.

Estilo de Presentación

La información tiene varios errores; no fue siempre clara.

La mayor parte de la información en el debate fue presentada en forma clara y precisa, pero no fue siempre minuciosa.

La mayor parte de la información en el debate fue clara, precisa y minuciosa.

Toda la información presentada en el debate fue clara, precisa y minuciosa.

Información

Ningún punto principal fue apoyado.

Cada punto principal estuvo adecuadamente apoyado con hechos, estadísticas y/o ejemplos, pero la relevancia de algunos fue dudosa.

Cada punto principal estuvo adecuadamente apoyado con hechos relevantes, estadísticas y/o ejemplos.

Cada punto principal estuvo bien apoyado con varios hechos relevantes, estadísticas y/o ejemplos.

Uso de hechos/estadísticas

El equipo no demostró un adecuado entendimiento del tema.

El equipo parecía entender los puntos principales del tema y los presentó con facilidad.

El equipo claramente entendióel tema a profundidad y presentó su información con facilidad.

El equipo claramente entendió el tema a profundidad y presentósu información enérgica y convincentemente.

Entendiendo el Tema

Los contra-argumentos no fueron precisos y/o relevantes.

La mayoría de los contra-argumentos fueron precisos y relevantes, pero algunos fueron débiles.

La mayoría de los contra-argumentos fueron precisos, relevantes y fuertes.

Todos los contra-argumentos fueron precisos, relevantes y fuertes.

Rebatir

1 2 3 4 CATEGORÍAS

Las listas de control• Registrar la aparición o

no de una conducta durante el periodo que dura la observación

• Previamente hay que especificar las conductas a evaluar (por ejemplo los objetivos) y ubicarlas en un formato especialmente diseñado

• Fácil manejo• Fotografía

XObjetivo n

XObjetivo 2

XXObjetivo 1

Alumna nAlumna 2Alumno 1

Las escalas de estimación• Gradúan la fuerza con la que aparece una conducta (“es

capaz de escuchar las opiniones de sus compañeros”: 1-4)• Similares a las listas de control, pero admiten diversas

categorías• Se basan en una observación estructurada o sistemática (las

conductas a observarse han estipulado previamente)• Son más complejas que las listas de control ya que

implican una discriminación más precisa• No incluyen comentarios ni interpretaciones por parte del

profesor• Ofrece una información muy completa del estudiante

8

Entrevista

• Confrontación interpersonal, en la cual el entrevistador formula al entrevistado preguntas con el fin de conseguir respuestas relacionadas con los propósitos de la evaluación

• Modalidades:— Entrevistas estructuradas— Entrevistas semiestructuradas— Entrevistas no estructuradas

Planificación de la Entrevista

A. Objetivo de la entrevista B. Muestreo de las personas que van a ser

entrevistadas C. Desarrollo de la entrevista

Contenido y naturaleza de las preguntas Organización y orden de la preguntas Relación entre el entrevistador y el entrevistado Modo de hacer las preguntas Registro de la información

9

La presentación de la entrevista

Explicación de la intención y de los objetivos Descripción y explicación del porqué y de la forma de elección de la persona entrevistada Explicación de la persona que va a dirigir la investigación Aclaración del anonimato y confidencialidad de la entrevista

Momentos que componen la estructura de la entrevista

MOMENTO INICIAL: Preguntas que no producen duda o discusión, como por ejemplo su comportamiento acutual, o preguntas relativas a la actividad o experiencia. Principalmente, preguntas de tipo descriptivo.

MOMENTO INTERMEDIO: Interpretación, opinión y sentimientos de los comportamientos y acciones descritas previamente. En esta y en la siguiente fase se hacen las preguntas más comprometidas. Se ha creado el “rapport”adecuado y se ha conseguido avivar el interés del entrevistado.

MOMENTO FINAL: Conocimientos y habilidades. Estas preguntas son más prudentes y pueden dejar en evidencia al entrevistado. Es necesaria una relación de confianza entre el entrevistador y el entrevistado y tener una clima de relación natural.

Tipos de preguntas (Brandt, 1972) (1)a. Comparativas

b. Recuerdo de sucesos pasados

c. Recuerdo de comportamientos pasados

d. Reacciones afectivas

e. Causa-efecto

“¿Prefiere trabajar en un centro público o en un centro privado?”

“¿Qué sucedió cuando ...?”

“¿Qué hizo cuando ...?” “¿Ha hecho previamente algo similar?”

“¿Se preocupa, se enfada cuando ...?”

“¿Por qué ...?” “¿Cuáles fueron las razones ...?”

10

Tipos de preguntas (Brandt, 1972)(2)

f. Sucesos, reacciones e Información complementaria

g. Condicionales

h. De investigación

“¿Qué hizo que su opinión cambiara?”

“¿Mostrarías tu apoyo al director?”“¿Puede dejarse en manos del alumnado la elección de los contenidos del curso?”

“¿Por qué decidió revisar el currículum?”

Cuestionario

• Conjunto de preguntas estructuradas sobre un tema

• Población o muestra• Poco tiempo y muchos sujetos• Se garantiza el anonomato de las respuestas• No responde el que lo redacta

Un cuestionario es un conjunto de preguntas sistemáticas y ordenadas para intentar recoger información acerca de

las características, opiniones, actitudes y percepciones de las personas.

Redacción del cuestionario (1)1. Las respuestas de los sujetos deben ofrecer

la información que necesitamos.2. El lenguaje utilizado debe facilitar la

comprensión unívoca de las preguntas:• Lenguaje claro y adecuado a los sujetos.• Utilización de términos no ambiguos.• Una idea en única en cada pregunta.• Planteamiento no dirigido y no utilización de

negaciones.• Sin suposiciones implícitas. • Formato simple.

11

Redacción del cuestionario (2)3. Elegir el tipo de respuesta más adecuada a

cada situación.1. Preguntas cerradas

2. Preguntas abiertas

3. Preguntas mixtas

4. Decidir la posición de cada pregunta 5. Aplicación del cuestionario

¿Has aprendido mucho en esta asignatura? SI NO

¿Qué objetivos se persiguen con las actividades extraescolares?

¿Has dispuesto de suficientes recursos didácticos para llevar adelante las actividades del tema trabajado? SI NOSi tu respuesta es que NO, ¿explica por qué?

Cuestionario. Clasificacióno Según el tipo de ítems se distinguen los

cuestionarios cerrados, abiertos, mixtos, de elección múltiple, etc.

o Según la escala de respuesta se distinguen los cuestionarios que buscan juicios categóricos y los que buscan juicios continuos.

o Según el método de administración se distinguen los personales, por teléfono, por correo, por ordenador, etc.

o Según el tipo de información requerida se distinguen los cuestionarios de información general y los cuestionarios específicos.

Fases en la planificación de una prueba objetiva

Resultados más significativos.Optimización de la prueba elaborada.

Sugerencias para posteriores aplicaciones.

FASE 5: SÍNTESIS SOBRE EL

ESTUDIO

Análisis estadístico.Validez y fiabilidad de la prueba.

Análisis de ítems.Baremos.

FASE 4: ESTUDIO EMPÍRICO

DE LA PRUEBA

Presentación del instrumento.Administración de la prueba.

Corrección.Confección de la tabla de resultados.

FASE 3: APLICACIÓN Y ORGANIZACIÓN DE LOS RESULTADOS

Redacción de ítems.Revisión de los ítems por expertos.

Confección del original de la prueba (3.1. Instrucciones. 3.2. Distribución de los ítems. 3.3. Hoja

de respuestas).Revisión del original.

Normas de corrección.Estudio preliminar o ensayo.

Impresión definitiva.

FASE 2: ELABORACIÓN DE LA

PRUEBA

Identificación de los objetivos de la prueba.Selección y delimitación de contenidos.

Elaboración de la tabla de especificaciones.

FASE 1: PLANTEAMIENTO DE

LA PRUEBA

12

Sociometría (1)

• La sociometría ofrece información de la estructura interna de los grupos.

• Ofrece información cuantitativa sobre la cantidad de aceptaciones y rechazos que recibe cada sujeto.

• Razones para su utilización:– Está probado que la posición del individuo en el grupo

tiene influencia en su rendimiento. – El buen clima del grupo también tiene influencia.– Para formar los componentes de los grupos.

Análisis de la evolución de los grupos y de la posición que ocupa cada individuo en los mismos, sin tener en cuenta el

problema de la estructura interna de cada individuo.

Sociometría (2)

• Por medio del sociograma:– La aceptación de un alumno dentro de su grupo.– El nivel de cohesión del grupo.– La existencia de líderes. – La identificación de alumnos aislados, es decir,

los que no reciben ninguna aceptación.– La identificación de sujetos que son rechazados

por todo el grupo.

Test Sociométrico

Colegio:________________________________Nombre y apellidos:_______________________ Número:______Edad:_______ Curso:_____ Fecha:______

1.-¿Al lado de quién te gustaría estar sentado en el aula?

2.-¿Para jugar, para ir a una excursión, para ir al cine, ..., a quién de clase elegirías?

3.-¿Con quién de clase no te gustaría jugar o al lado de quién no te gustaría estar sentado?

13

Tabla Sociométrica

40010011210112U14

U13U12

U11U10

U9U8

U7U6

U5U4

U3U2

U11413121110987654321

Sociograma

10 1 14 4

139

2

12 7

6

5

3

8

11

chico

Chica

141

12

Psicograma

14

61

2

3

5

7

8

11 4

10

12

13

14

Portafolios (1)• Colección de trabajos realizados por el alumno

en un campo determinado. Mediante ellos tendremos la historia de sus esfuerzos, progresos y logros. Esta colección entre otros necesita de la participación del alumno en la elección de los contenidos del portafolios, los criterios para juzgar los méritos y pruebas para su autorreflexión.

Definición de Portafolios (Klenowski, 2004)

• “Un portafolios es una colección de trabajos que incluyen los logros individuales, tales como resultados de tareas genuinas, la evaluación del proceso, tests convencionales o muestras de trabajo; documenta los logros alcanzados a lo largo del tiempo. Generalmente el individuo elige el tipo de trabajo que le sirva mejor para expresar su éxito así como para demostrar su aprendizaje respecto a un objetivo particular como podría ser la certificación o la evaluación tanto sumativa como formativa. La autoevaluación es un proceso integral que implica tener capacidad de juicio para valorar la calidad del propio rendimiento así como las estrategias de aprendizaje. Igualmente la discusión y reflexión con los compañeros y tutores durante una entrevista, una conversación o una presentación, facilita la comprensión del proceso de aprendizaje. El desarrollo del portafolios implica por tanto documentar no sólo los logros conseguidos sino también las autoevaluaciones, las estrategias aplicadas y el análisis sobre las experiencias de aprendizaje, por lo que es mucho más que una simple colección de las tareas.”

Portafolios (2)• Metacognición.• Utilizar el portafolios es un proceso de aprendizaje.• El alumno es el responsable de su aprendizaje

permanente.• El portafolios no es la meta en sí misma, sino un medio

para alcanzar el aprendizaje.• El proceso es tan importante como el producto.• La utilización del portafolios exige el uso de

habilidades cognitivas y metacognitivas: observar, planificar, reflexionar, autoevaluar.

• Se adecua a la evaluación formativa.

15

Portafolios (3)

• Hay distintos tipos de portafolios.• Portafolios de rendición de cuentas, para la

evaluación sumativa, para la acreditación, para la selección, para la evaluación formativa, etc.

• Todos los portafolios contienen evidencias del aprendizaje significativo.

Normaspara la utilización del Portafolios

No es posible la evaluación formativaTutorización y corrección continua

Acumulación de trabajos y poco aprendizaje en la selección significativa

Seleccionar semanalmente algunos ejemplos (muestras) para que los últimos sean seleccionados más fácilmente.

Demasiada abundancia y falta de organización

Establecer normas claras: días de revisión, secciones, situación física, obligatoriedad, …

Poca efectividadOpción del centro: utilizarlo en más de una asignatura

Sensación de sucesión de imprevistos o falta de control

Tener una tutorización mayor al principio

Portafolio= colección de trabajos de poco valor para el profesor

Determinar claramente lo que los alumnos deben presentar

Si no...Es necesario...

La Calidad de la Información

A B C

16

Procedimientos para asegurar los criterios de calidad

Descriptores de baja inferencia.Comprobaciones de los y las participantes.Recogida mecánica de datos.Triangulación.Explicar posicionamiento del o de la investigadora.Ejercicio de reflexión.Revisión por agentes externos.

CONFIRMABILIDAD

Garantía de que los datos, interpretaciones y conclusiones de una investigación no están sesgados por las opiniones, creencias o prejuicios del o de la investigadora.

Identificación del status y el rol del o de la investigadora.Descripciones minuciosas de los y las informantes.Identificación y descripción de las técnicas de análisis y recogida de datos.Delimitación del contexto físico, social e interpersonal.Réplica paso a paso.Revisión por observadores externos.Métodos solapados.

DEPENDENCIA

Estabilidad de los resultados y conocimiento de los factores que explicarían la variabilidad de los mismos en el caso de repetir el estudio.

Muestreo teórico.Descripción exhaustiva.Recogida de abundante información.

TRANSFERIBILIDAD

Grado en el que se pueda dar algún tipo de transferencia entre contextos, dependiendo del grado de similitud entre ellos.

Observación persistente.Trabajo prolongado.Saturación.Triangulación: de tiempos, de espacio, de teorías, de investigadores o investigadoras, de métodos, múltiple.Recogida de material referencial.Comprobaciones con los y las participantesJuicio crítico de colegas.

CREDIBILIDAD

Consiste en que las interpretaciones y los hechos ocurridos deben hacerse creíbles y aceptables.

PROCEDIMIENTOSCRITERIOS