método y modelo para el apoyo computacional a la evaluación en cscl directores: dr. yannis...

Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL

Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo

UNIVERSIDAD DE VALLADOLIDDEPARTAMENTO DE INFORMÁTICA

Grupo EMIC

Tesis Doctoral

Alejandra Martínez Monés

Mayo 2003

2

Índice

1. Introducción

2. Apoyo computacional a la evaluación

3. Método mixto para la evaluación en CSCL

4. Representación de la acción colaborativa

5. Trabajo experimental

6. Conclusiones y líneas abiertas

3

Índice

1. Introducción Motivación– Objetivos– Metodología

2. Apoyo computacional a la evaluación3. Método mixto para la evaluación en CSCL4. Representación de la acción colaborativa5. Trabajo experimental6. Conclusiones

4

Evaluación formativa en CSCL

Complejidad del dominio CSCL (Computer Supported Collaborative Learning)

Evaluación formativa – Heramienta estratégica

• Investigación• Práctica educativa

– No suficientemente tratada en CSCL– Interés incipiente

1.Introducción / Motivación

5

1.Introducción / Motivación

Forma de investigación con fines prácticos (Gimeno Sacristán & Pérez Gómez, 1985)

CSCLCSCLEVALUACIÓN FORMATIVAEVALUACIÓN FORMATIVA

– Situaciones reales– Acción– Metáfora participativa

– Paradigma interpretativo– Métodos cualitativos

Elección de unaperspectiva teórica

Paradigma evaluación– Métodos– Aspectos / Variables

Teorías sociales del aprendizaje (Koschmann, 1996)

– Interacción– Contexto

APRENDIZAJE SITUADO

APRENDIZAJE SITUADO

Evaluación formativa en CSCL

6

Apoyo computacional a la evaluación

Oportunidad– Nueva fuente de datos (Littleton, 1999)

– Configurar y estudiar nuevas situaciones (Dillenbourg,1999)

Propuestas actuales– Prototipos experimentales– Aspectos cognitivos – No integrados en evaluación cualitativa – Poco reutilizables– Análisis de redes sociales

1. Introducción / Motivación

7

DELFOS Elementos

(Osuna, 1999)

– Modelo de aprendizaje constructivista

– Arquitectura en capas

– Método de diseño participativo

Estudio de necesidades (Martínez, 2000)

1. Introducción / Motivación

– Adaptar la evaluación a las necesidades del CSCL

– Soluciones eficientes para recogida y análisis de datos

– Modelar y evaluar interacciones

8

Revisar propuestas y proponer soluciones

Método deevaluación

Modelo de representación de la interacción2. Describir un método de evaluación formativa

que integre herramientas automáticas en un marco que responda a las demandas del

aprendizaje situado

3. Describir un modelo de representación de la interacción generalizable e

independiente de la perspectiva de análisis

1. Introducción / Objetivos

Evaluación Formativa en CSCL

Aprendizaje Situado

• Métodos cualitativos • Herramientas • Aspectos participativos

DELFOS

Objetivos

Objetivos

1. Revisar propuestas relativas al apoyo a la evaluación formativa en CSCL y proponer soluciones– Enfoques de evaluación– Modelado computacional de la interacción– Herramientas

9

Metodología

Proceso cíclico Estudio teórico

– Definición del problema– Revisión crítica de propuestas existentes– Propuesta de soluciones

Aplicación a la práctica real – caso AO – UVA

Validación con casos de estudio adicionales– caso IAG-UOC– Puzle Colaborativo

Refinamiento

Objetivos experimentale

s

1. Introducción / Metodología

10

Índice

1. Introducción





6. Conclusiones

11

ObjetivosRevisar

Propuestas y proponer soluciones


Modelo derepresentación

de la interacción


Aprendizaje Situado


DELFOS

Sistematización- Sistemas de apoyo a la evaluación

13

Localización del procesamientoProfesores /

Participantes Sistema

Ciclo de gestión de la colaboración extendido


Herr.metacognitivas

Herr.correctoras

Herr. ''espejo'‘y de conciencia

de grupoHerramientas

Recogida dedatos sobre la

interacciónConstruccióndel modelo

de interacción

Comparar estado actual

/ estadodeseado

Aconsejar /guiar la

interacción

Sistemasorientados

al andamiaje(Jermann, Soller,

Mühlenbrock,2001)Fases

Herramientas de apoyo

al análisis de la

interacción

Herr.de reproduccióny sincronización

Herr.de apoyo a la

evaluación ?

Herramientas

datos sobre la

Análisis dedatos

Correccionesformativas

Recogida de

interacción

Construccióndel modelo

de interacción Sistemasorientados ala evaluación

(Jermann, Soller,

Mühlenbrock, Martínez, 2003)

Fases

14

SISTEMAS DEAPOYO AL

ANÁLISIS DE LAINTERACCIÓN

CAPTURA DEEVENTOS

- Diálogo

- Acción

- Tarea

- Caja blanca

- Dimensión individual

- Dimensión interactiva-cognitiva

- Dimensión interactiva-social

- Reproducción de actividad

- Visualización de procesos interacción

- Sociogramas

- Caja negraACCESOAL

CÓDIGO

ANÁLISIS DEINTERACCIONES

PRESENTACIÓNDERESULTADOS

FUENTEDE

DATOS

Definición del espacio de diseño


15

Criterios de valoración

Externos – Transparencia– Eficiencia– Escalabilidad– Independencia del dominio de aprendizaje– Configurabilidad

Internos– Nivel adecuado de abstracción– Interoperabilidad– Modularidad


16

Fuente

de d

ato

sIn

stru

m

Reco

gid

a

de d

ato

s

Trans Efic Esc Indep Conf Abs Mod

Diálogo Precodificado - -

Diálogo Postcodificado - - -

Acción (estructurado) - -

Acción (no estructurado) - - -

Tarea - - - - -

Caja blanca - - - - Caja negra - - - - ~ Individual - - - - -

Interactivo -cognitivo - - - - - -

Interactivo– social - - - - - -

Reproducción - - - -

Proceso - - - - -

Sociogramas - - - - -

Anális

isPre

senta

c.

Revisión del espacio de diseño2. Apoyo computacional a la evaluación

Análisis de redes sociales

(SNA)

RepresentaciónAcción- Genérica- Nivel abstracción- Interoperable

Métodos cualitativos (recogida y análisis de

datos)

17

Aprendizaje situado y SNA Red Social

– Conjunto actores + relaciones entre ellos Representación

– Matriz de adyacencia / Sociograma Medidas:

– Globales: • Densidad (), actividad global de la red • Centralización (CD), dependencia global de un actor

– Individuales: • Centralidad (CD (ni)), actividad del actor (ni)

Análisis de Redes Sociales (SNA)2. Apoyo computacional a la evaluación

18

Atributos de imagen Escalamiento Multidimensional (MDS)

SNATécnicas de visualización


= 24,45%

CD = 63,6%

CD (x00) = 81,9 %

CD (x21) = 9,1 %CD (x32) = 9,1 %

19

SNADiscusión

Otras experiencias (Wortham, et al., 1999; Nurmela et al. 1999; Haythornthwaite, 1999; Lipponen et al., 2001; Cho et al., 2002)

– Confirman el interés del enfoque– Coinciden en el tipo de técnicas

Cuestiones no resueltas– Integración de diferentes fuentes de datos– Acercamiento de las técnicas a personas no

expertas– Complementar SNA con otras formas de análisis


20

Índice

1. Introducción





6. Conclusiones

21

Objetivos


Aprendizaje Situado


DELFOS

Propuestas evaluación

Revisar aproximaciones y

proponer soluciones


Modelo de representación

de la interacción

Método mixto deevaluación de aspectos

participativos

22

Método Mixto Evaluación

Integrar contexto

Estudio de situaciones reales

Visión de los participantes

Nuevas formas de interacción

Sistemas de visualización

Aspectos participativos

Procesos eficientes y escalables


Requisitos

– Fuentes etnográficas– Análisis cualitativo

– Datos registrados automáticamente

– Análisis cuantitativo– Herramientas

– Análisis de Redes Sociales

23

Grupos discusión

CuestionariosObserva-ciones

Datos automat.

Fases

Fase final

Durante la

experiencia

Prepara-ción

Modos de

análisis

SNA

Eventosautom

Socio-metrías

Socio-metrías

Interacc. cara a cara

Análisis Cualitat.

Esquema de categorías

Análisis Cuantit.

Fuentes de datos


Esquema general de evaluación

• Después de hitos significativos

• Críticas al proyecto

Final

Conceptosprevios

(individual)Inicial

Después de hitos

Trabajodiario

Final

Conclusiones.

24

Observaciones

SAMSA

Profesor /evaluador

Parámetrosde configuración

Fichero DL (formato UCINET)

Herramientade

colaboración

QUEST

obs2xml

Participantes

Respuestascuestionarios

Interacciones através del ordenador

el2xml

Registro de eventos

Mapasde interacción

NUD*IST

Nuevascategorías

Herr. educativa

Herr. y módulode evaluación

Fichero

PAQUETEESTADÍSTICO

Categorías


Índicesestadísticos

Apoyo computacional

Índices SNA y sociogramas

Respuestas a sociometrías

Registro de eventos

Mapasde interacción

Parámetrosde configuración


Definición decuestionarios

ObservacionesNuevas

categoríasRespuestastextuales (RTF)

Respuestasnuméricas

Respuestas a sociometrías

Respuestasnuméricas

Respuestastextuales (RTF)


Definición decuestionarios

Acciones

25


Discusión

Aportaciones originales– No restringido a entornos a distancia– Estudio de aspectos participativos– Herramientas de análisis de interacciones

Validación a través del trabajo experimental

26

Índice

1. Introducción






27

Objetivos


Aprendizaje Situado


DELFOS

Propuestas de modelado de de la acción


proponer soluciones


Modelo de representación

de la interacción

Método mixto deevaluación de aspectos

participativos

Modelo de la acción

colaborativa en XML

28


Acción vs interacción

Propuesta de definición de interacción:

– Supera problema del silencio– Síncrona / asíncrona; potencial / efectiva– Acción en la base de toda interacción.

Requisitos representación:– Representación genérica, flexible, e interoperable– Modelado del contexto

Acción que afecta, o puede afectar, al proceso de colaboración.

Una acción es interacción si puede ser percibida por al menos

un miembro del grupo o comunidad distinto del emisor

Acción que afecta, o puede afectar, al proceso de colaboración.

Una acción es interacción si puede ser percibida por al menos

un miembro del grupo o comunidad distinto del emisor

29


Propuestas

Análisis de la colaboración basado en la acción (Mühlenbrock, 2000)

– Enfoque inductivo (abajo-arriba)– Flexible– No genérica: sólo acciones sobre interfaces

estructuradas Ontologías CSCL (Inaba et al., 2001), (Barros et al., 2002)

– Enfoque deductivo (arriba-abajo)– Genérica– No flexible: influido por la perspectiva teórica

30

Acciones de losparticipantes

Contexto

Modelo Acción

Modelo Acción

DELFOS(Situación,

Actividad, Sesión)

DELFOS(Situación,

Actividad, Sesión)

Tipos genéricos de acción en

CSCL

Tipos genéricos de acción en

CSCL

Representación: Interoperabilidad

– XML

Flexibilidad– DTD (Definición de Tipo de Documento)

Funciones genéricas

Características de la propuesta


31


Contexto

Notación:Bosak et al., 2000

32


Tipos de acción

33


Discusión

Compromiso flexibilidad vs. estructuración Ventajas y limitaciones de XML

– Lenguaje estándar– Mayores posibilidades de aplicación de la

propuesta – Disponibilidad tecnológica– Sólo nivel sintáctico

• interpretación depende de cada desarrollador o usuario• mayor flexibilidad (potencial ventaja)

Validación mediante trabajo experimental

34

Índice

1. Introducción






35

Planteamiento general


AO-UVA IAG-UOC Puzle

Experiencia Real Real Experimental

Nº alumnos >100 >130 2-4

Int. tiempo Asíncrona Asíncrona Síncrona

Int.espacio Semi-presencial A distancia Presencial

Instrument. Caja negra Caja negra Caja blanca

Escenario Tarea abierta Tarea abierta Tarea cerrada

Objetivo Aplicación y refinamiento de propuestas

Caso externo Evaluación parcial SNA

Caja blanca SNA en entorno restringido

36





Nº alumnos >100 >130 2-4








37



Nº alumnos >100 >130 2-4










38





Nº alumnos >100 >130 2-4


Int.espacio Semi-presenc. A distancia Presencial




Caso externo Evaluación a posteriori Parcial


39

AO – UVAResultados

Diseño educativo:– Curso Proyecto. – 5 “clientes” o casos de estudio – Niveles de grupo:

• Parejas – colaboran todo el curso• Clientes – parejas asignadas a uno de los 5 casos de estudio

– Niveles de colaboración a lo largo del curso:• 3 subproyectos – nivel de parejas• Proyecto final – nivel de clientes

– Herramienta CSCL: BSCW (Basic Support for Cooperative Work) (Appelt, 1999)

Objetivo de evaluación:Estudiar cómo evolucionan las ideas y actitudes ante la colaboración de los alumnos, y cómo los recursos utilizados influyen en esta evolución.


40

Grupos discusión

CuestionariosObserva-ciones

Datos automat.

Fases

Fase final

Durante la

experiencia

Prepara-ción

Modos de

análisis

SNA

EventosBSCW

Socio-metrías

Socio-metrías

Interacc. cara a cara

Análisis Cualitat.

Esquema de categorías

Conclusiones.

Análisis Cuantit.

Fuentes de datos

5. Trabajo experimentalAO – UVADiseño de evaluación

• Después de subpr.• Críticas al proyecto

Final

Conceptosprevios

(individual)Inicial

Después subpr.

Trabajodiario

Final

Colaboración como compartición de

información

Colaboración como compartición de

información

41


Análisis cuantitativo– Valoración ambiente en clase (encuesta Inicial y

Final)– Mejora de la percepción del ambiente en clase

( c ) ( d )

E n s e ñ a n z aM ó v i lB o l s aI m a g e nB i b l i o t e c a

Ambiente Inicial Final

Muy competitivo 11,7% 6,8%

Competitivo 30,6% 18,2%

Indiferente 10,6% 9,1%

Colab. sólo con amigos 30,6% 40,9%

Colaboración general 16,5% 25,0%


42

Redes de relaciones indirectas a través de BSCW


( c ) ( d )


Subproyecto 2

Proyecto Final

=17,54% = 35,48%

CD=87,03% CD= 68,21%

43


Análisis cualitativo– Compartir Información – BSCW – negativo:

“Claro, si compartiéramos todo todos, todos haríamos el mismo trabajo, todos tendríamos la misma nota”

“Como nunca hemos encontrado ... [nada interesante]”

“En mi caso ha sido fundamental no disponer de Internet en casa”

– Compartir Información – BSCW – positivo:“Utilizamos BSCW de manera que la persona encargada de

ponerlo todo junto lo pudiera hacer en casa, y entonces el día siguiente quedábamos [...]”

“BSCW: es un método muy útil para compartir información, al que siempre puedes volver en el momento que convenga. Por mi parte ha sido más útil para la elaboración del informe final”

( c ) ( d )



44


Conclusiones– Resistencias culturales y prácticas para colaborar– El método educativo “obligó’’ a desarrollar mejores

prácticas colaborativas– Mejora de la percepción del ambiente de la clase

Correcciones formativas– Aumentar tiempo de trabajo en grupo grande

Validación de propuestas– Relevancia y complementariedad de las fuentes

de datos y métodos de análisis


45

Discusión general

Modelo Capaz de representar los diferentes tipos de acción

considerados Nivel apropiado para el análisis computacional (SAMSA)

Método Relevancia de las fuentes de datos y modos de análisis Necesidad de participación de profesores y alumnos en el

proceso Opinión positiva de profesores externos Método mixto vs. cuatitativo puro

Eficiencia, Complementariedad, Triangulación Más complejo

Desarrollo de guías para el diseño de experiencias de evaluación


46

Herramientas:– Aumento general de la eficiencia– SAMSA: apoyo al análisis de interacciones

– Quest y Nudist: gestión de los procesos de evaluación cualitativa

SNAComplementariedad de índices y sociogramasFlexibilidad– Posibilidades de uso de SNA en andamiaje

Discusión general

Trans Efic Esc Indep Conf Abs Mod Inter


47

5. Trabajo experimentalDiscusión general

Instrumentación de aplicaciones– Patrones de diseño

• Filtros (caja negra)• Envolturas (caja blanca)

– Componentes software y patrones Método y dimensión espacio-temporal

– Adaptable a situaciones presenciales, a distancia y semi-presenciales

– Adaptable al estudio de interacción síncrona y asíncrona Método y escenario de colaboración

– Necesidad de un mínimo de complejidad en las posibilidades de interacción social

– Tamaño mínimo de grupo: 3-4 personas

48

Contribuciones

Objetivos


Aprendizaje Situado


DELFOS

Sistematización- Herramientas- Concept. acción- Aprox. Evaluac.

Método mixto eval. de aspectos

participativos

Modelo de acción colaborativa

En XML

Caso AO – UVA Caso IAG- UOCPuzle

Colaborativo


proponer soluciones


Representación de la interacción

49

Índice

1. Introducción







50

Conclusiones

Objetivo 1: Revisar aproximaciones a la evaluación y proponer soluciones

Contribuciones (I)– Evaluación educativa: Aprendizaje situado como

síntesis de otros enfoques al estudio del aprendizaje

– Paradigma interpretativo– Aspectos participativos del aprendizaje – Acción como unidad de análisis– Necesidad de métodos cualitativos de análisis


51

Conclusiones

Objetivo 1: Revisar aproximaciones a la evaluación y proponer soluciones

Contribuciones (II)2. Modelado computacional de la acción colaborativa

• Criterios operativos para la relación entre acción e interacción

• Aproximación inductiva-deductiva al modelo de la acción

3. Revisión de los sistemas de apoyo al análisis de la interacción• Ciclo de gestión de la colaboración extendido

• Descripción del espacio de diseño con dimensiones originales

• Revisión sistemática de las propuestas existentes


52

Conclusiones

Objetivo 2: Describir un método de evaluación formativa que integre herramientas con las demandas del aprendizaje situado

Contribuciones:– Propuesta y descripción de un método mixto para la

evaluación de aspectos participativos del aprendizaje en CSCL

– Identificación y uso de medidas y técnicas de SNA – Desarrollo de herramientas de apoyo a la evaluación– Refinamiento de DELFOS

• Mejora del método de evaluación formativa para su uso en el proceso de diseño participativo

– Validación a través de diferentes experiencias de evaluación


53

Conclusiones

Objetivo 3: Describir un modelo de representación de la interacción colaborativa para el apoyo al análisis

Contribuciones:– Modelo de la acción: contexto y tipos genéricos de acción– Representación del modelo de la acción en XML – Refinamiento de DELFOS

• Modelo de la acción colaborativa

• Propuestas más eficientes para la recogida y análisis de datos

– Validación mediante las experiencias de evaluación


54

Conclusiones

Objetivo 4: Validación experimental de las propuestas

Contribuciones:– Evaluación AO-UVA, IAG-UOC, Puzle – Refinamiento de método y modelo– Identificación de líneas de trabajo futuro


55

Líneas abiertas

Modelo– Refinar el modelo mediante la aplicación a nuevos

entornos– Extender la representación con lenguajes que

proporcionen semántica– Aplicación del modelo en el diseño de

componentes software para CSCL


56

Líneas abiertas

Método– Refinamiento mediante aplicación a nuevas experiencias– Integración de otras perspectivas de evaluación

• Construcción de conocimiento

– Análisis de redes sociales• Exploración de medidas y técnicas adicionales• Aplicación a sistemas orientados al andamiaje

– Aumento de eficiencia y facilidad de uso• Mayor automatización del análisis de redes (Villacorta, 03)• Explotación de datos representados en XML con otras

herramientas (Ibáñez, 03)

– Reflexión sobre las contribuciones de las ideas planteadas a la Ingeniería del Software en general

– Contraste con otras aproximaciones metodológicas: investigación-acción


57

Publicaciones

15 comunicaciones en Congresos y Workshops especializados, un capítulo de libro, y un artículo de revista más otro en proceso de revisión.

Ciclo de gestión de la colaboración extendido– Capítulo en “Computers and Education: Towards a lifelong

learning society”, Kluwer (2003)– IJAIED (enviado)

Modelo– CSCL 03

Método– Aplicación del método al caso AO – CSCL 02– Métodos Investigación en Ing. Sw. – MIFISIS 02– Visión global: Computers & Education (2003)

6. Conclusiones

Método y Modelo para el Apoyo Computacional a la Evaluación en CSCL

Directores: Dr. Yannis Dimitriadis Dr. Pablo de la Fuente Redondo

UNIVERSIDAD DE VALLADOLIDDEPARTAMENTO DE INFORMÁTICA

Grupo EMIC

Tesis Doctoral

Alejandra Martínez Monés

Mayo 2003

método y modelo para el apoyo computacional a la evaluación en cscl directores: dr. yannis...

Documents