evaluación de competencias genéricas basada en indicadores procedentes de registros de actividades...
TRANSCRIPT
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Evaluación de Competencias Genéricas Basada en IndicadoresProcedentes de Registros de Actividades de Aprendizaje
Tesis Doctoral
Antonio Balderas Alberico
Directores: Juan Manuel Dodero Beardo y Manuel Palomo DuarteDepartamento de Ingeniería Informática
Universidad de Cádiz
27 de julio de 2016AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 1/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Indice
1 Introducción
2 Estado del arte
3 Problemas encontrados
4 Método y herramientas
5 Resultados
6 Evaluación
7 Conclusiones
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 2/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Sección 1 Introducción
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 3/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Introducción
CompetenciasLas competencias son habilidades que un alumno debe haberadquirido durante su formación.Se dividen:
Específicas: conocimientos y habilidades específicos de una materia.Genéricas: habilidades, capacidades y conocimientos que cualquierestudiante debería desarrollar independientemente de su área deestudio [González and Wagenaar, 2005].
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 4/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Introducción
MotivaciónLa evaluación de competencias genéricas juegan un papelfundamental en el diseño de las estrategias educativas.
Las TIC producen Technology Enhanced Learning (TEL).Entornos virtuales de aprendizaje:
LMS.Wikis.Mundos virtuales.
Utilizar la actividad en los sistemas de aprendizaje para obtenerindicadores del desempeño.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 5/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Motivación
Figura 1: Estudiantes interactuando con campus virtualAB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 6/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Antecedentes
Evaluación de competencias genéricas en Wiki
Cada grupo de estudiantes desarrollaba su trabajo en una página delwiki.
Wiki favorece el trabajo colaborativo.
Wiki almacena un histórico de las versiones de una página.
Permite saber qué contribución ha hecho cada estudiante.
¿Cómo evaluar competencias genéricas a partir del trabajo en elwiki?
AssessMediaWiki (AMW)
Evaluación del trabajo de los estudiantes en el wiki (MediaWiki) apartir de sus contribuciones.
Procedimientos de autoevaluación, evaluación entre iguales yevaluación del docente.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 7/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Antecedentes
Evaluación de competencias genéricas en Wiki
Cada grupo de estudiantes desarrollaba su trabajo en una página delwiki.
Wiki favorece el trabajo colaborativo.
Wiki almacena un histórico de las versiones de una página.
Permite saber qué contribución ha hecho cada estudiante.
¿Cómo evaluar competencias genéricas a partir del trabajo en elwiki?
AssessMediaWiki (AMW)
Evaluación del trabajo de los estudiantes en el wiki (MediaWiki) apartir de sus contribuciones.
Procedimientos de autoevaluación, evaluación entre iguales yevaluación del docente.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 7/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Antecedentes
Figura 2: Retroalimentación formativa y contribución de wiki evaluada
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 8/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Antecedentes
Figura 3: Proceso de evaluación en el wiki utilizando AMW
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 9/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Antecedentes
ResultadosEvaluación de un gran número de contribuciones de las realizadasen un wiki.Se evaluaron competencias genéricas como:
trabajo en equipohabilidad para comunicarse de manera escritacapacidad de aplicar el conocimiento en situaciones prácticascapacidad para mantener la calidad en el trabajopensamiento crítico
Se encontraron algunos problemas:subjetividad [Carreras Marín et al., 2013]diseño indicadores [Anderson and Shattuck, 2012]escalabilidad [Lasa et al., 2013]aplicable a otros entornos [Anderson and Shattuck, 2012]
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 10/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Antecedentes
ResultadosEvaluación de un gran número de contribuciones de las realizadasen un wiki.Se evaluaron competencias genéricas como:
trabajo en equipohabilidad para comunicarse de manera escritacapacidad de aplicar el conocimiento en situaciones prácticascapacidad para mantener la calidad en el trabajopensamiento crítico
Se encontraron algunos problemas:subjetividad [Carreras Marín et al., 2013]diseño indicadores [Anderson and Shattuck, 2012]escalabilidad [Lasa et al., 2013]aplicable a otros entornos [Anderson and Shattuck, 2012]
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 10/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Antecedentes
ResultadosEvaluación de un gran número de contribuciones de las realizadasen un wiki.Se evaluaron competencias genéricas como:
trabajo en equipohabilidad para comunicarse de manera escritacapacidad de aplicar el conocimiento en situaciones prácticascapacidad para mantener la calidad en el trabajopensamiento crítico
Se encontraron algunos problemas:subjetividad [Carreras Marín et al., 2013]diseño indicadores [Anderson and Shattuck, 2012]escalabilidad [Lasa et al., 2013]aplicable a otros entornos [Anderson and Shattuck, 2012]
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 10/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Antecedentes
ReflexiónLa evaluación de competencias genéricas requiere al docente:
1 Diseñar actividades.
2 Diseñar evaluaciones.
Design-Based Research (DBR)
Aplicar DBR en la evaluación de competencias genéricas.
DBR es un método que parte/define intervenciones.
Evoluciona iterativamente durante su implementación en entornos.
Definir evaluaciones a partir de indicadores de las actividades deaprendizaje.
Refinar las evaluaciones.
Herramienta para formular/diseñar evaluaciones: lenguaje específicode dominio (DSL).
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 11/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Antecedentes
ReflexiónLa evaluación de competencias genéricas requiere al docente:
1 Diseñar actividades.
2 Diseñar evaluaciones.
Design-Based Research (DBR)
Aplicar DBR en la evaluación de competencias genéricas.
DBR es un método que parte/define intervenciones.
Evoluciona iterativamente durante su implementación en entornos.
Definir evaluaciones a partir de indicadores de las actividades deaprendizaje.
Refinar las evaluaciones.
Herramienta para formular/diseñar evaluaciones: lenguaje específicode dominio (DSL).
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 11/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Antecedentes
ReflexiónLa evaluación de competencias genéricas requiere al docente:
1 Diseñar actividades.
2 Diseñar evaluaciones.
Design-Based Research (DBR)
Aplicar DBR en la evaluación de competencias genéricas.
DBR es un método que parte/define intervenciones.
Evoluciona iterativamente durante su implementación en entornos.
Definir evaluaciones a partir de indicadores de las actividades deaprendizaje.
Refinar las evaluaciones.
Herramienta para formular/diseñar evaluaciones: lenguaje específicode dominio (DSL).
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 11/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Antecedentes
ReflexiónLa evaluación de competencias genéricas requiere al docente:
1 Diseñar actividades.
2 Diseñar evaluaciones.
Design-Based Research (DBR)
Aplicar DBR en la evaluación de competencias genéricas.
DBR es un método que parte/define intervenciones.
Evoluciona iterativamente durante su implementación en entornos.
Definir evaluaciones a partir de indicadores de las actividades deaprendizaje.
Refinar las evaluaciones.
Herramienta para formular/diseñar evaluaciones: lenguaje específicode dominio (DSL).
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 11/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Antecedentes
ReflexiónLa evaluación de competencias genéricas requiere al docente:
1 Diseñar actividades.
2 Diseñar evaluaciones.
Design-Based Research (DBR)
Aplicar DBR en la evaluación de competencias genéricas.
DBR es un método que parte/define intervenciones.
Evoluciona iterativamente durante su implementación en entornos.
Definir evaluaciones a partir de indicadores de las actividades deaprendizaje.
Refinar las evaluaciones.
Herramienta para formular/diseñar evaluaciones: lenguaje específicode dominio (DSL).
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 11/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Antecedentes
ReflexiónLa evaluación de competencias genéricas requiere al docente:
1 Diseñar actividades.
2 Diseñar evaluaciones.
Design-Based Research (DBR)
Aplicar DBR en la evaluación de competencias genéricas.
DBR es un método que parte/define intervenciones.
Evoluciona iterativamente durante su implementación en entornos.
Definir evaluaciones a partir de indicadores de las actividades deaprendizaje.
Refinar las evaluaciones.
Herramienta para formular/diseñar evaluaciones: lenguaje específicode dominio (DSL).
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 11/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Antecedentes
ReflexiónLa evaluación de competencias genéricas requiere al docente:
1 Diseñar actividades.
2 Diseñar evaluaciones.
Design-Based Research (DBR)
Aplicar DBR en la evaluación de competencias genéricas.
DBR es un método que parte/define intervenciones.
Evoluciona iterativamente durante su implementación en entornos.
Definir evaluaciones a partir de indicadores de las actividades deaprendizaje.
Refinar las evaluaciones.
Herramienta para formular/diseñar evaluaciones: lenguaje específicode dominio (DSL).
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 11/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Antecedentes
ReflexiónLa evaluación de competencias genéricas requiere al docente:
1 Diseñar actividades.
2 Diseñar evaluaciones.
Design-Based Research (DBR)
Aplicar DBR en la evaluación de competencias genéricas.
DBR es un método que parte/define intervenciones.
Evoluciona iterativamente durante su implementación en entornos.
Definir evaluaciones a partir de indicadores de las actividades deaprendizaje.
Refinar las evaluaciones.
Herramienta para formular/diseñar evaluaciones: lenguaje específicode dominio (DSL).
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 11/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Antecedentes
ReflexiónLa evaluación de competencias genéricas requiere al docente:
1 Diseñar actividades.
2 Diseñar evaluaciones.
Design-Based Research (DBR)
Aplicar DBR en la evaluación de competencias genéricas.
DBR es un método que parte/define intervenciones.
Evoluciona iterativamente durante su implementación en entornos.
Definir evaluaciones a partir de indicadores de las actividades deaprendizaje.
Refinar las evaluaciones.
Herramienta para formular/diseñar evaluaciones: lenguaje específicode dominio (DSL).
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 11/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Objetivos y preguntas de investigación
Objetivo principal
Proporcionar un método y una herramienta informática para diseñar ycontrastar estrategias de evaluación de competencias genéricas a partirde los registros de actividad de los entornos virtuales de aprendizaje.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 12/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Objetivos y preguntas de investigación
Objetivos específicos
O1. Definir un método que permita al docente obtener de maneraautomática un conjunto de indicadores de los entornos virtuales deaprendizaje.
O2. Definir un lenguaje específico de dominio (DSL) que permita alos docentes diseñar y contrastar estrategias de evaluación a partirde los registros de actividad de los entornos virtuales de aprendizaje.
Hipótesis de investigación
H1. El método permite obtener de manera automática indicadores delos entornos virtuales de aprendizaje.
H2. El DSL permite a los docentes diseñar y contrastar estrategiasde evaluación a partir de los registros de actividad de los entornosvirtuales de aprendizaje.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 13/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Objetivos y preguntas de investigación
Objetivos específicos
O1. Definir un método que permita al docente obtener de maneraautomática un conjunto de indicadores de los entornos virtuales deaprendizaje.
O2. Definir un lenguaje específico de dominio (DSL) que permita alos docentes diseñar y contrastar estrategias de evaluación a partirde los registros de actividad de los entornos virtuales de aprendizaje.
Hipótesis de investigación
H1. El método permite obtener de manera automática indicadores delos entornos virtuales de aprendizaje.
H2. El DSL permite a los docentes diseñar y contrastar estrategiasde evaluación a partir de los registros de actividad de los entornosvirtuales de aprendizaje.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 13/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Sección 2 Estado del arte
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 14/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Estado del arte
Systematic Mapping Study
Se realizó un estudio de mapeo sistemático (SMS, del inglésSystematic Mapping Study) [Kitchenham and Stuart, 2007].
Preguntas de investigación
Q1. ¿Qué competencias se han evaluado de forma automática oasistida por ordenador a partir de la actividad de los estudiantes enlos entornos virtuales de aprendizaje?
Q2. ¿Qué métodos se utilizan para evaluar competencias genéricasen entornos virtuales de aprendizaje?
Q3. ¿Qué técnicas se utilizan para evaluar competencias genéricas apartir de los registros de actividad de un entorno virtual deaprendizaje?
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 15/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SMS: Términos de búsqueda
Fuente Términos Resultados
((“generic competences“ OR “generic skills“)AND assessment)
138
“generic competences“ AND assessment 50
(“generic competences“) AND assessment) 71
((“generic competences“) AND assessment) 54
TOTAL 313
Tabla 1: Términos de búsqueda
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 16/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SMS: selección primaria
Figura 4: Publicaciones según criteriosde selección
Figura 5: Distribución en el tiempo delas publicaciones seleccionadas
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 17/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SMS: Categorización del estudio
Categoría Trabajos
Evaluación entre iguales y autoevaluación 13Evaluación del docente 11Herramientas de evaluación automática 5Revisiones de la literatura 1
Tabla 2: Distribución de publicaciones por tratamiento del problema
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 18/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SMS: Categorización del estudio
Figura 6: Ámbito de trabajos según tipo de investigación y tipo de contribución
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 19/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SMS: Categorización del estudio
Figura 7: Ámbito de trabajos según tipo de investigación y tipo de contribución
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 20/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SMS: Categorización del estudio
Figura 8: Ámbito de trabajos según tipo de investigación y tipo de contribución
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 21/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SMS: Categorización del estudio
Figura 9: Ámbito de trabajos según tipo de investigación y tipo de contribución
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 22/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SMS: Esquema de clasificación
Esquema de clasificación
Evaluación asistida.Autoevaluación o evaluación entre iguales.Evaluación del docente.
Evaluación semiautomática.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 23/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SMS: Respuestas a preguntas de investigación
Q1. ¿Qué competencias se han evaluado de forma automática o asistidapor ordenador a partir de la actividad de los estudiantes en los entornosvirtuales de aprendizaje?
Comunicación (14 trabajos)
Trabajo en equipo (13 trabajos)
Resolución de problemas (7 trabajos)
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 24/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SMS: Respuestas a preguntas de investigación
Competencias Trabajos Competencias Trabajos
Análisis 4 Liderazgo 2Aprendizaje permanente 3 Pensamiento crítico 4Comunicación 14 Planificación 3Creatividad 3 Resolución de problemas 7Cultural 1 Responsabilidad 3Emprendimiento 5 TIC 3Gestión de proyectos 2 Toma de decisiones 1Habilidades int. 3 Trabajo autónomo 2Investigación 2 Trabajo en equipo 13Lengua extranjera 3
Tabla 3: Número de trabajos en que se evalúa cada competencia genérica
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 25/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SMS: Respuestas a preguntas de investigación
Q2. ¿Qué métodos se utilizan para evaluar competencias genéricas enentornos virtuales de aprendizaje?
Tipos de trabajo1 El entorno virtual de aprendizaje asiste al usuario.
Autoevaluación o evaluación entre iguales.Evaluación del docente.
2 El entorno virtual realiza la evaluación automáticamente.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 26/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SMS: Respuestas a preguntas de investigación
Figura 10: Competencias genéricas evaluadas con cada método (1 de 2)
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 27/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SMS: Respuestas a preguntas de investigación
Figura 11: Competencias genéricas evaluadas con cada método (2 de 2)AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 28/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SMS: Respuestas a preguntas de investigación
Q3. ¿Qué técnicas se utilizan para evaluar competencias genéricas apartir de los registros de actividad de un entorno virtual de aprendizaje?
Técnicas de learning analytics para obtener indicadores de actividaden entornos virtuales de aprendizaje.
Procesos ETL (Extract, Transform and Load) para obtener registros deactividad de diversos entornos de aprendizaje.
Minería de datos mediante el desarrollo de servicios web que seintegran con los LMS.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 29/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Sección 3 Problemas encontrados
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 30/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Problemas encontrados
Evaluación asistidaSubjetividad.
Escalabilidad.
Evaluación semiautomáticaPropósito específico.
Recursos limitados/coste elevado.
Validez de los indicadores.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 31/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Problemas encontrados
Evaluación asistidaSubjetividad.
Escalabilidad.
Evaluación semiautomáticaPropósito específico.
Recursos limitados/coste elevado.
Validez de los indicadores.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 31/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Problemas evaluación asistida
Subjetividad
Autoevaluación o evaluación entre iguales.
Rúbrica.Falta de madurez
Las calificaciones que asignan los estudiantes difieren de las queasignan los docentes a un mismo trabajo [Carreras Marín et al., 2013].
EscalabilidadAutoevaluación o evaluación entre iguales y evaluación del docente.
El número de trabajos a evaluar/revisar crece y el evaluador/revisorno es capaz de abarcar estecrecimiento [Lacuesta et al., 2009, Sevilla-Pavón et al., 2012].
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 32/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Problemas evaluación asistida
Subjetividad
Autoevaluación o evaluación entre iguales.
Rúbrica.Falta de madurez
Las calificaciones que asignan los estudiantes difieren de las queasignan los docentes a un mismo trabajo [Carreras Marín et al., 2013].
EscalabilidadAutoevaluación o evaluación entre iguales y evaluación del docente.
El número de trabajos a evaluar/revisar crece y el evaluador/revisorno es capaz de abarcar estecrecimiento [Lacuesta et al., 2009, Sevilla-Pavón et al., 2012].
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 32/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Evaluación semiautomática
Propósito específico
Recursos creados para un propósito específico: juegos seriosenfocados a ciertas competenciasespecíficas [Bedek et al., 2011, Guenaga et al., 2013].
Recursos limitados/coste elevadoSe necesitan expertos para desarrollar herramientas queimplementen ciertos métodos.
Test psicológicos [André et al., 2011].Juegos serios.
Validez de los indicadoresObtención de registros de aprendizaje mediante Learning Analytics.
Indicadores fijos, orientados a una competencia enconcreto [Fidalgo-Blanco et al., 2015, Rayon Jerez et al., 2014].
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 33/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Evaluación semiautomática
Propósito específico
Recursos creados para un propósito específico: juegos seriosenfocados a ciertas competenciasespecíficas [Bedek et al., 2011, Guenaga et al., 2013].
Recursos limitados/coste elevadoSe necesitan expertos para desarrollar herramientas queimplementen ciertos métodos.
Test psicológicos [André et al., 2011].Juegos serios.
Validez de los indicadoresObtención de registros de aprendizaje mediante Learning Analytics.
Indicadores fijos, orientados a una competencia enconcreto [Fidalgo-Blanco et al., 2015, Rayon Jerez et al., 2014].
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 33/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Evaluación semiautomática
Propósito específico
Recursos creados para un propósito específico: juegos seriosenfocados a ciertas competenciasespecíficas [Bedek et al., 2011, Guenaga et al., 2013].
Recursos limitados/coste elevadoSe necesitan expertos para desarrollar herramientas queimplementen ciertos métodos.
Test psicológicos [André et al., 2011].Juegos serios.
Validez de los indicadoresObtención de registros de aprendizaje mediante Learning Analytics.
Indicadores fijos, orientados a una competencia enconcreto [Fidalgo-Blanco et al., 2015, Rayon Jerez et al., 2014].
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 33/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Los requisitos que debe tener el método son:
1 Indicadores objetivos.
2 Evaluación escalable.
3 Propósito general.
4 Accesibilidad.
5 Diseño de evaluaciones.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 34/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Los requisitos que debe tener el método son:
1 Indicadores objetivos.
2 Evaluación escalable.
3 Propósito general.
4 Accesibilidad.
5 Diseño de evaluaciones.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 34/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Los requisitos que debe tener el método son:
1 Indicadores objetivos.
2 Evaluación escalable.
3 Propósito general.
4 Accesibilidad.
5 Diseño de evaluaciones.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 34/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Los requisitos que debe tener el método son:
1 Indicadores objetivos.
2 Evaluación escalable.
3 Propósito general.
4 Accesibilidad.
5 Diseño de evaluaciones.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 34/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Los requisitos que debe tener el método son:
1 Indicadores objetivos.
2 Evaluación escalable.
3 Propósito general.
4 Accesibilidad.
5 Diseño de evaluaciones.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 34/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Los requisitos que debe tener el método son:
1 Indicadores objetivos.
2 Evaluación escalable.
3 Propósito general.
4 Accesibilidad.
5 Diseño de evaluaciones.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 34/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Sección 4 Método y herramientas
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 35/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Método DBA
En esta tesis se propone un método de evaluación de competenciasgenéricas basado en el diseño de evaluaciones (DBA, del inglés,design-based assessment)
Método DBAOrigen en la investigación basada en el diseño(DBR) [Anderson and Shattuck, 2012].
Situado en un contexto educativo real.Enfocado en diseño y prueba de intervención significativa.Múltiples iteraciones.Empleo de métodos mixtos.
Diseño de indicadores a partir de la actividad generada por losestudiantes en los entornos virtuales de aprendizaje.
Evaluar competencias genéricas a partir de estos indicadores.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 36/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Método DBA
En esta tesis se propone un método de evaluación de competenciasgenéricas basado en el diseño de evaluaciones (DBA, del inglés,design-based assessment)
Método DBAOrigen en la investigación basada en el diseño(DBR) [Anderson and Shattuck, 2012].
Situado en un contexto educativo real.Enfocado en diseño y prueba de intervención significativa.Múltiples iteraciones.Empleo de métodos mixtos.
Diseño de indicadores a partir de la actividad generada por losestudiantes en los entornos virtuales de aprendizaje.
Evaluar competencias genéricas a partir de estos indicadores.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 36/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Método DBA
En esta tesis se propone un método de evaluación de competenciasgenéricas basado en el diseño de evaluaciones (DBA, del inglés,design-based assessment)
Método DBAOrigen en la investigación basada en el diseño(DBR) [Anderson and Shattuck, 2012].
Situado en un contexto educativo real.Enfocado en diseño y prueba de intervención significativa.Múltiples iteraciones.Empleo de métodos mixtos.
Diseño de indicadores a partir de la actividad generada por losestudiantes en los entornos virtuales de aprendizaje.
Evaluar competencias genéricas a partir de estos indicadores.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 36/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Método DBA
En esta tesis se propone un método de evaluación de competenciasgenéricas basado en el diseño de evaluaciones (DBA, del inglés,design-based assessment)
Método DBAOrigen en la investigación basada en el diseño(DBR) [Anderson and Shattuck, 2012].
Situado en un contexto educativo real.Enfocado en diseño y prueba de intervención significativa.Múltiples iteraciones.Empleo de métodos mixtos.
Diseño de indicadores a partir de la actividad generada por losestudiantes en los entornos virtuales de aprendizaje.
Evaluar competencias genéricas a partir de estos indicadores.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 36/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Método DBA
En esta tesis se propone un método de evaluación de competenciasgenéricas basado en el diseño de evaluaciones (DBA, del inglés,design-based assessment)
Método DBAOrigen en la investigación basada en el diseño(DBR) [Anderson and Shattuck, 2012].
Situado en un contexto educativo real.Enfocado en diseño y prueba de intervención significativa.Múltiples iteraciones.Empleo de métodos mixtos.
Diseño de indicadores a partir de la actividad generada por losestudiantes en los entornos virtuales de aprendizaje.
Evaluar competencias genéricas a partir de estos indicadores.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 36/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Método DBA
En esta tesis se propone un método de evaluación de competenciasgenéricas basado en el diseño de evaluaciones (DBA, del inglés,design-based assessment)
Método DBAOrigen en la investigación basada en el diseño(DBR) [Anderson and Shattuck, 2012].
Situado en un contexto educativo real.Enfocado en diseño y prueba de intervención significativa.Múltiples iteraciones.Empleo de métodos mixtos.
Diseño de indicadores a partir de la actividad generada por losestudiantes en los entornos virtuales de aprendizaje.
Evaluar competencias genéricas a partir de estos indicadores.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 36/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Método DBA
En esta tesis se propone un método de evaluación de competenciasgenéricas basado en el diseño de evaluaciones (DBA, del inglés,design-based assessment)
Método DBAOrigen en la investigación basada en el diseño(DBR) [Anderson and Shattuck, 2012].
Situado en un contexto educativo real.Enfocado en diseño y prueba de intervención significativa.Múltiples iteraciones.Empleo de métodos mixtos.
Diseño de indicadores a partir de la actividad generada por losestudiantes en los entornos virtuales de aprendizaje.
Evaluar competencias genéricas a partir de estos indicadores.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 36/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Método DBA
Figura 12: Ciclo de contraste de hipótesis
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 37/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Ejemplo aplicación Método DBA: Iteración I
I.1 Hipótesis inicial
Mensajes foro para la evaluación de las habilidades interpersonales.
Hipótesis inicial: se considerará que un estudiante ha desempeñadosatisfactoriamente la competencia de las habilidades interpersonalessi ha escrito al menos dos mensajes en el foro en la semana.
I.2 Diseño y formulación de la evaluación.
Ejemplo formulación en lenguaje SASQL.
Evidence participacion_foro:get studentsshow participationin forum between 2015-10-21 and 2015-10-27.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 38/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Ejemplo aplicación Método DBA: Iteración I
I.1 Hipótesis inicial
Mensajes foro para la evaluación de las habilidades interpersonales.
Hipótesis inicial: se considerará que un estudiante ha desempeñadosatisfactoriamente la competencia de las habilidades interpersonalessi ha escrito al menos dos mensajes en el foro en la semana.
I.2 Diseño y formulación de la evaluación.
Ejemplo formulación en lenguaje SASQL.
Evidence participacion_foro:get studentsshow participationin forum between 2015-10-21 and 2015-10-27.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 38/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Ejemplo aplicación Método DBA: Iteración I
I.3 Petición de datosSe envia la consulta a un software que lo interprete, procese y seacapaz de proporcionar los datos solicitados.
I.4 Validación de resultados
id Username Debate-starter Debate-participation Total
1 student1 1 2 32 student2 0 4 43 student3 0 1 14 student4 1 2 35 student5 0 2 2
Tabla 4: Resultado consulta intervenciones foro
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 39/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Ejemplo aplicación Método DBA: Iteración I
I.3 Petición de datosSe envia la consulta a un software que lo interprete, procese y seacapaz de proporcionar los datos solicitados.
I.4 Validación de resultados
id Username Debate-starter Debate-participation Total
1 student1 1 2 32 student2 0 4 43 student3 0 1 14 student4 1 2 35 student5 0 2 2
Tabla 4: Resultado consulta intervenciones foro
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 39/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Ejemplo aplicación Método DBA: Iteración I
I.3 Petición de datosSe envia la consulta a un software que lo interprete, procese y seacapaz de proporcionar los datos solicitados.
I.4 Validación de resultados
id Username Debate-starter Debate-participation Total
1 student1 1 2 32 student2 0 4 43 student3 0 1 14 student4 1 2 35 student5 0 2 2
Tabla 5: Resultado consulta intervenciones foro
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 40/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Ejemplo aplicación Método DBA: Iteración I
Análisis de los datos
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 41/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Ejemplo aplicación Método DBA: Iteración II
II.1 Hipótesis inicial
Hipótesis inicial: se considerará que un estudiante ha desempeñadosatisfactoriamente la competencia de las habilidades interpersonalessi ha escrito al menos dos mensajes en el foro y ha interactuado conmás de un compañero en la semana.
II.2 Diseño y formulación de la evaluación.
Ejemplo formulación en lenguaje SASQL.
Evidence interacciones_foro:get studentsshow interactionin forum between 2013-10-21 and 2013-10-27.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 42/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Ejemplo aplicación Método DBA: Iteración II
II.1 Hipótesis inicial
Hipótesis inicial: se considerará que un estudiante ha desempeñadosatisfactoriamente la competencia de las habilidades interpersonalessi ha escrito al menos dos mensajes en el foro y ha interactuado conmás de un compañero en la semana.
II.2 Diseño y formulación de la evaluación.
Ejemplo formulación en lenguaje SASQL.
Evidence interacciones_foro:get studentsshow interactionin forum between 2013-10-21 and 2013-10-27.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 42/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Ejemplo aplicación Método DBA: Iteración II
II.3 Petición de datosSe envia la consulta a un software que lo interprete, procese y seacapaz de proporcionar los datos solicitados.
II.4 Validación de resultados
Figura 13: Grafo de interacción de los estudiantes en el foroAB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 43/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Herramientas
CaracterísticasPersonalización de evaluaciones.
Cercana al dominio.
Fácilmente exportable a otros dominios y entornos.
A tenor de estos requisitos se confirmó que la herramienta informática aimplementar debía ser un lenguaje específico de dominio (DSL).
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 44/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Herramientas
CaracterísticasPersonalización de evaluaciones.
Cercana al dominio.
Fácilmente exportable a otros dominios y entornos.
A tenor de estos requisitos se confirmó que la herramienta informática aimplementar debía ser un lenguaje específico de dominio (DSL).
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 44/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Herramientas
CaracterísticasPersonalización de evaluaciones.
Cercana al dominio.
Fácilmente exportable a otros dominios y entornos.
A tenor de estos requisitos se confirmó que la herramienta informática aimplementar debía ser un lenguaje específico de dominio (DSL).
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 44/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Herramientas
CaracterísticasPersonalización de evaluaciones.
Cercana al dominio.
Fácilmente exportable a otros dominios y entornos.
A tenor de estos requisitos se confirmó que la herramienta informática aimplementar debía ser un lenguaje específico de dominio (DSL).
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 44/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Herramientas
CaracterísticasPersonalización de evaluaciones.
Cercana al dominio.
Fácilmente exportable a otros dominios y entornos.
A tenor de estos requisitos se confirmó que la herramienta informática aimplementar debía ser un lenguaje específico de dominio (DSL).
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 44/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Lenguajes de dominio: SASQL y EvalCourse
SASQLSimple Assessment SpecificQuery Language (SASQL).
Lenguaje específico paraevaluación en LMS.
EvalCourseHerramienta informática queejecuta instrucciones escritasen SASQL.
Se comunica con el LMS paraextraer la información delregistro de actividad.
Figura 14: LMS basado en Moodle
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 45/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Lenguajes de dominio: SASQL
SASQL y EvalCourse
Principios y técnicas de la ingeniería dirigida por modelos (MDE)
Figura 15: Metamodelo de SASQL
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 46/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Lenguajes de dominio: SASQL
Sintaxis de SASQL
Evidence indicator_name: get studentsshow milestones | participation | access
| interaction | assessment | gradein assignment | forum | campus | workshop
| wiki [list of ids]between YYYY-MM-DD and YYYY-MM-DDfrom course id | backup
Pensado para cualquier LMS.
Las primeras versiones se han desarrollado para extraer indicadoresde Moodle.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 47/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Lenguajes de dominio: VWQL y EvalSim
VWQLVirtual World Query language(VWQL).
Lenguaje específico paraevaluación en mundos virtuales.
EvalSimHerramienta informática queejecuta instrucciones escritasen VWQL.
Extrae información del registrode actividad.
Mundos virtuales basados enOpenSim. Figura 16: Capturas de mundo virtual
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 48/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Lenguajes de dominio: VWQL
VWQLwords: número de palabras escritas.
sentences: número de frases escritas.
single: número de intervenciones de una sola palabra escritas.
turns: número de turnos empleados. Un turno es un conjunto defrases consecutivas escritas por el mismo usuario.
time: número de minutos jugados en el mundo virtual.
points: número de puntos obtenidos en el mundo virtual.
Evidence name_of_the_evidence:get students [id_of_the_student]show ( words [dict] | sentences | turns
| single | time | points )+between YYYY-MM-DD and YYYY-MM-DD
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 49/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Sección 5 Resultados
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 50/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Resultados
SASQL: Propuesta de indicadores
SASQL se utilizó en variasasignaturas durante los cursos2012-13 y 2013-14.
Los estudiantes debíandesempeñar diferentescompetencias genéricas.Se propusieron indicadorespara evaluar competencias talescomo:
Habilidades interpersonales.Planificación y gestión deltiempo.Liderazgo.Pensamiento crítico.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 51/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Resultados
SASQL: Propuesta de indicadores
SASQL se utilizó en variasasignaturas durante los cursos2012-13 y 2013-14.
Los estudiantes debíandesempeñar diferentescompetencias genéricas.Se propusieron indicadorespara evaluar competencias talescomo:
Habilidades interpersonales.Planificación y gestión deltiempo.Liderazgo.Pensamiento crítico.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 51/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Resultados
SASQL: Propuesta de indicadores
SASQL se utilizó en variasasignaturas durante los cursos2012-13 y 2013-14.
Los estudiantes debíandesempeñar diferentescompetencias genéricas.Se propusieron indicadorespara evaluar competencias talescomo:
Habilidades interpersonales.Planificación y gestión deltiempo.Liderazgo.Pensamiento crítico.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 51/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Lenguajes de dominio
Planificación y gestión del tiempo
Tareas del LMS.
Fecha límite de entrega.
Por ejemplo, fijar un mínimo número de tareas a tiempo para evaluarpositivamente al alumnado en la competencia.
Evidence planificacion:get studentsshow milestonesin assignment.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 52/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SASQL: Propuesta de indicadores
Habilidades interpersonales
Participación en foros de trabajo en equipo.
Se fomenta que durante el curso utilicen el foro para la comunicaciónentre los miembros del equipo.
Por ejemplo, un estudiante con tres o más intervenciones en el forotendría una evaluación positiva en la competencia.
Evidence habilidades_interpersonales:get studentsshow participationin forum.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 53/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SASQL: Propuesta de indicadores
Liderazgo
Inicio de debates en foros de trabajo en equipo.
Cantidad de debates que un estudiante ha iniciado.
Por ejemplo, un estudiante que haya iniciado dos o más debates enel foro tendría una evaluación positiva en la competencia.
Evidence liderazgo_foro:get studentsshow participationin forum.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 54/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SASQL: Propuesta de indicadores
Liderazgo
Wiki de Moodle.
Rol de líder: usuarios querealizan las primeras y últimasediciones de la página detrabajo en el wiki.
Evidence liderazgo_wiki:get studentsshow interactionin wiki.
Figura 17: Contribuciones al wiki
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 55/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SASQL: Propuesta de indicadores
Pensamiento críticoUso de los talleres.
Diferencia entre la media de lasnotas dadas por suscompañeros y la que se asignóel propio estudiante.
Evidence p_critico:get studentsshow assessmentin workshop.
Id Username Auto Peer1 Peer2
1 student1 8 9 82 student2 7 4 53 student3 9 9 84 student4 10 7 95 student5 10 8 10
Tabla 6: Resultados a la consulta del taller
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 56/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
SASQL: Propuesta de indicadores
Pensamiento críticoUso de los talleres.
Diferencia entre la media de lasnotas dadas por suscompañeros y la que se asignóel propio estudiante.
Evidence p_critico:get studentsshow assessmentin workshop.
Id Username Auto Peer1 Peer2
1 student1 8 9 82 student2 7 4 53 student3 9 9 84 student4 10 7 95 student5 10 8 10
Tabla 7: Resultados a la consulta del taller
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 57/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Resultados
VWQL: Propuesta de indicadores
VWQL se utilizó en asignaturasde idiomas durante el curso2014-15.
Los estudiantes debíancomunicarse correctamente enel idioma correspondiente.Se propusieron indicadorespara evaluar la siguientecompetencia:
Capacidad de hacerseentender en lenguaextranjera.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 58/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Resultados
VWQL: Propuesta de indicadores
VWQL se utilizó en asignaturasde idiomas durante el curso2014-15.
Los estudiantes debíancomunicarse correctamente enel idioma correspondiente.Se propusieron indicadorespara evaluar la siguientecompetencia:
Capacidad de hacerseentender en lenguaextranjera.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 58/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Resultados
VWQL: Propuesta de indicadores
VWQL se utilizó en asignaturasde idiomas durante el curso2014-15.
Los estudiantes debíancomunicarse correctamente enel idioma correspondiente.Se propusieron indicadorespara evaluar la siguientecompetencia:
Capacidad de hacerseentender en lenguaextranjera.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 58/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
VWQL: Propuesta de indicadores
Lengua extranjera
Número de intervenciones deuna sola palabra.
Indicador negativo.
Evidence respuestas_cortas:get studentsshow single.
Id Username Single
1 student1 02 student2 13 student3 44 student4 05 student5 26 student6 47 student7 3
Tabla 8: Respuesta consulta intervenciones de una palabra
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 59/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
VWQL: Propuesta de indicadores
Lengua extranjera
Número de intervenciones deuna sola palabra.
Indicador negativo.
Evidence respuestas_cortas:get studentsshow single.
Id Username Single
1 student1 02 student2 13 student3 44 student4 05 student5 26 student6 47 student7 3
Tabla 9: Respuesta consulta intervenciones de una palabra
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 60/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
VWQL: Propuesta de indicadores
Lengua extranjera
Complementar indicadoranterior.
Palabras por turno.
Evidence palabras_turno:get studentsshow words, turns.
id username words turns words per turn
1 student1 117 9 132 student2 132 11 123 student3 63 9 74 student4 140 10 145 student5 99 11 96 student6 80 10 87 student7 72 9 8
Tabla 10: Respuesta consulta de palabras por turno
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 61/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
VWQL: Propuesta de indicadores
Lengua extranjera
Complementar indicadoranterior.
Palabras por turno.
Evidence palabras_turno:get studentsshow words, turns.
id username words turns words per turn
1 student1 117 9 132 student2 132 11 123 student3 63 9 74 student4 140 10 145 student5 99 11 96 student6 80 10 87 student7 72 9 8
Tabla 11: Respuesta consulta de palabras por turno
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 62/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Sección 6 Evaluación
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 63/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Estudios de caso (LMS)
Estudiode caso
Curso Ámbito Competencias
CS02 2012-13Procesadores deLenguajes II (I.I.)
Habilidades interperso-nales y liderazgo
CS03 2012-13Programación Fun-cional (I.I.)
Pensamiento crítico
Proyectos deInnovaciónDocente (G.I.I. &G.P.RR.PP.)
Trabajo en equipo,planificación,pensamiento crítico,resolución de problemasy trabajo autónomo
CS04 2013-14
CS05 2014-15
Tabla 12: Estudios de caso en los que se empleó EvalCourse y SASQL
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 64/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Estudio de caso (mundos virtuales)
Estudiode caso
Curso Ámbito Competencias
CS06 2014-15Alemán como lenguaextranjera
Hacerse entender enun segundo idioma
Tabla 13: Estudio de caso en el que se empleó EvalSim y VWQL
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 65/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Cuestionarios de evaluación
Cuestionario C1Cuestionario sobre el método y la herramienta.
Participantes: profesorado universitario.
Cuestionarios C2Cuestionario sobre aplicación de indicadores a competencias.
Participantes: profesorado (universitario y no universitario) y expertosno docentes.
Cuestionarios C3Cuestionario sobre uso de actividades para evaluar competencias.
Participantes: profesorado universitario.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 66/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Cuestionario C1
Método DBA26 de 31 docentes (84 %) encuestados consideraron el métodoadecuado para obtener automáticamente indicadores de losentornos virtuales de aprendizaje. (Test de Fisher p-valor = 0,6142)
Rama Sí No
SSHArte y humanidades 4 1Ciencias sociales yjurídicas
3 2
EHSECiencias 5 0Ciencias de la salud 5 1Ingeniería y arquitec-tura
9 1
Tabla 14: Idoneidad por ramasFigura 18: Distribución de respuestas
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 67/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Cuestionario C1
DSL26 de 31 docentes (84 %) encuestados consideraron el DSL útil paradiseñar y contrastar estrategias de evaluación a partir de los registrosde actividad de los entornos virtuales de aprendizaje. (Test de Fisherp-valor = 0,6142)
Rama Sí No
SSHArte y humanidades 4 1C. sociales y jurídicas 3 2
EHSECiencias 5 0Ciencias de la salud 5 1Ingeniería y arquitec-tura
9 1
Tabla 15: Utilidad por ramasFigura 19: Distribución de respuestas
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 68/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Cuestionario C1
Sintaxis del DSL24 de 31 docentes (77 %) encuestados consideraron la consulta delDSL entendible. (Test de Fisher p-valor = 0,121)
Rama Sí No
SSHArte y humanidades 2 3Ciencias sociales yjurídicas
3 2
EHSECiencias 5 0Ciencias de la salud 5 1Ingeniería y arquitec-tura
9 1
Tabla 16: Entendible por ramas Figura 20: Distribución de respuestas
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 69/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Cuestionario C1
Resultados devueltos por el DSL
20 de 31 docentes (64 %) encuestados consideraron los resultadosentendibles. (Test de Fisher p-valor = 0,010)
Rama Sí No
SSHArte y humanidades 3 2Ciencias sociales yjurídicas
0 5
EHSECiencias 5 0Ciencias de la salud 5 1Ingeniería y arquitec-tura
7 3
Tabla 17: Entendible por ramas Figura 21: Distribución de respuestas
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 70/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Cuestionario C1
CaracterísticasTotalmente
de acuerdo
De
acuerdo
Ni de acuerdo
ni en
desacuerdo
En
desacuerdo
Totalmente
en
desacuerdo
Objetividad 23 % 23 % 32 % 19 % 3 %Adaptabilidad 16 % 45 % 23 % 13 % 3 %Sistematicidad 40 % 30 % 20 % 10 % 0 %Flexibilidad 19 % 42 % 26 % 13 % 0 %Fiabilidad 6 % 39 % 26 % 23 % 6 %
Tabla 18: Características de método DBA
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 71/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Cuestionario C1
CaracterísticasTotalmente
de acuerdo
De
acuerdo
Ni de acuerdo
ni en
desacuerdo
En
desacuerdo
Totalmente
en
desacuerdo
Facilidad deaprendizaje 19 % 32 % 39 % 7 % 3 %Eficacia 13 % 45 % 26 % 16 % 0 %Ahorra tiempo 32 % 23 % 32 % 13 % 0 %Escalabilidad 23 % 23 % 35 % 19 % 0 %Capacidad dereutilización 26 % 32 % 29 % 6,5 % 6,5 %Fiabilidad 6 % 29 % 42 % 23 % 0 %
Tabla 19: Características del DSL
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 72/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Cuestionario C2
Cuestionario de indicadoresObjetivo: demostrar que la consideración de indicadores por parte delos usuarios del método es independiente de los conocimientos deprogramación de los mismos.Se presenta un ejemplo de propuesta de uso de indicadores delregistro de actividad de Moodle para evaluar:
trabajo en equipoplanificación y gestión del tiempoliderazgo
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 73/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Cuestionario C2
Cuestionario de indicadores
RespuestaTrabajo
en equipo
Planificacióny gestión
del tiempoLiderazgo
Sí 26 (51 %) 40 (78 %) 17 (33 %)No 25 (49 %) 11 (22 %) 34 (67 %)
Tabla 20: Validez de indicadores para cada competencia genérica
Se confirma que:el indicador que es válido para un docente para evaluar competenciasgenéricas puede no serlo para otrolas respuestas son independientes de los conocimientos deprogramación y del pefil docente (prueba χ2)
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 74/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Cuestionario C2
Cuestionario de indicadores
IndependenciaTrabajo
en equipo
Planificacióny gestión
del tiempoLiderazgo
Conocimientosprogramación (1)
0,020 1,199 10,043
Relación con ladocencia (2)
0,541 5,001 4,105
Tabla 21: Valores prueba chi-cuadrado
(1) χ2α(r−1)(c−1) = χ2
0,05(2−1)(2−1) = 3, 84
(2) χ2α(r−1)(c−1) = χ2
0,05(2−1)(3−1) = 5, 991
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 75/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Cuestionario C3
Cuestionario de complementario de indicadoresObjetivo: demostrar utilidad de la actividad generada por diversasherramientas del LMS Moodle para evaluar competencias genéricas.
Competencia Accesos Foros Actividades Wiki Talleres
Trabajo en equipo 1 2 2 4 0Planificación 5 2 6 5 0Capacidad crítica 0 4 2 1 0Resolución de problemas 0 5 4 2 1Habilidades interpersonales 2 6 0 3 1Trabajo autónomo 6 3 5 7 1
Tabla 22: Uso de indicadores de herramientas para competencias
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 76/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Discusión
Hipótesis
A partir de los resultados obtenidos se ratifican las hipótesisplanteadas en esta tesis:
H1: El método DBA permite obtener de manera automáticaindicadores de los entornos virtuales de aprendizajeH2: El DSL permite a los docentes diseñar y contrastar estrategias deevaluación a partir de los registros de actividad de los entornosvirtuales de aprendizaje
Los indicadores son aplicables a la evaluación de diferentescompetencias genéricas.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 77/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Discusión
Cumplimiento de los requisitos1 Indicadores objetivos.
2 Evaluación escalable.
3 Propósito general.
4 Accesibilidad.
5 Diseño de evaluaciones.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 78/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Discusión
Cumplimiento de los requisitos1 Indicadores objetivos.
2 Evaluación escalable.
3 Propósito general.
4 Accesibilidad.
5 Diseño de evaluaciones.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 78/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Discusión
Cumplimiento de los requisitos1 Indicadores objetivos.
2 Evaluación escalable.
3 Propósito general.
4 Accesibilidad.
5 Diseño de evaluaciones.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 78/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Discusión
Cumplimiento de los requisitos1 Indicadores objetivos.
2 Evaluación escalable.
3 Propósito general.
4 Accesibilidad.
5 Diseño de evaluaciones.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 78/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Discusión
Cumplimiento de los requisitos1 Indicadores objetivos.
2 Evaluación escalable.
3 Propósito general.
4 Accesibilidad.
5 Diseño de evaluaciones.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 78/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Sección 7 Conclusiones
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 79/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Conclusions
The use of indicators from virtual learning environments activityrecords to assess students’ performance in generic skills.
An evaluation method called Design-Based Assessment (DBA).
Two Domain-Specific Languages (DSL) were developed.
Hypotheses
H1: the DBA method allows to automatically obtain indicators fromvirtual learning environments.
H2: the DSLs allow teachers to design and contrast assessmentstrategies from virtual learning environments activity records.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 80/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Conclusions
The DBA method along with the DSLs were evaluated by:
University & high school students.
Teachers belonging to all educational levels.
ConclusionsFrom the results obtained there are evidences to support thefollowing conclusions:
The DBA method allows to automatically obtain indicators from virtuallearning environments.The DSLs allow teachers to design and contrast assessment strategiesfrom virtual learning environments activity records.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 81/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Conclusions
ScopeTeachers do not include modules that generate activity in the virtuallearning records.
The records containing information on the activity generated bystudents in virtual learning environments cannot be accessed neitherthrough direct connection nor through backup.
Threats to validity
Teachers without interest in educational innovation, ICT and theirapplication in improving learning processes.
Tested only in two specific learning environments.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 82/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Contributions
Journal publications
Journal article in Computers in Human Behaviour (2014), entitled“Scalability of assessments of wiki-based learning experiencesin higher education” [Palomo-Duarte et al., 2014] (ISI JCR 2014:Q1, T1).
Journal article in International Journal of Engineering Education(2015), entitled “A Domain Specific Language for Online LearningCompetence Assessments” [Balderas et al., 2015b] (ISI JCR 2015:Q3, T3).
Journal article submitted to Journal of Information TechnologyResearch (2016) invited after presenting in Technological Ecosystemfor Enhancing Multiculturality (TEEM 2015) [Balderas et al., 2015a],entitled “Retrieving Objective Indicators from Student Logs inVirtual Worlds” (SCImago SJR 2015: Q4).
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 83/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Contributions
Journal publications
Journal article submitted to Computers in Human Behaviour (2016)invited after presenting in III Congreso Internacional sobreAprendizaje, Innovación y Competitividad (CINAIC2015) [Palomo-Duarte et al., 2015], entitled “Analyzing StudentInteraction in Virtual World-based Game Environments” (ISI JCR2015: Q1, T1).
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 84/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Contributions
Conference proceedings
Oral communication presented at the IX Simposio Pluridisciplinarsobre Diseño, Evaluación y Descripción de Contenidos Educativos(SPDECE 2012), entitled “Qualitative assessment of wiki-basedlearning processes” [Balderas et al., 2012].
Poster presented at the 8th European Conference on TechnologyEnhanced Learning (EC-TEL 2013), entitled “A GenerativeComputer Language to Customize Online LearningAssessments” [Balderas et al., 2013a].
Oral communication presented at the 4th International Workshop onSoftware Engineering for E-learning (ISELEAR’13), held within IInternational Conference on Technological Ecosystem for EnhancingMulticulturality (TEEM 2013), entitled “A generative computerlanguage to customize online learningassessments” [Balderas et al., 2013b].
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 85/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Contributions
Conference proceedings
Oral communication presented at the International Symposium onComputers in Education (SIIE 2014), entitled “Domain-drivencompetence assessment in virtual learning environments.Application to planning and time managementskills” [Balderas et al., 2014].
Oral communication presented at the 6th International Workshop onSoftware Engineering for E-learning (ISELEAR’15), held within IIIInternational Conference on Technological Ecosystem for EnhancingMulticulturality (TEEM 2015), entitled “A Domain Specific Languageto retrieve objective indicators for foreign language learning invirtual worlds” [Balderas et al., 2015a].
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 86/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Contributions
Methodological contributions
DBA method.
Software contributionsAssessMediaWiki system.
EvalCourse system and SASQL query language.
EvalSim system and VWQL query language.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 87/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Conclusions
Future workAdaptation and extension of the DSLs so that they can be used inobtaining indicators of other virtual learning environments.
The integration of the DSLs into virtual learning environments.
The creation of a visual version of the DSL.
Creating a repository that maps activities to be performed by studentsin virtual learning environments, indicators that these activitiesgenerate and generic skills that can be assessed with theseindicators.
The addition of indicators based on the application of social networkanalysis (SNA) techniques to virtual learning environments.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 88/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Questions?
Thank you very much for your attention
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 89/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
ANEXO I: Estancia de investigación (Brunel)
Extracción de indicadores de un wiki basado en MediaWiki.
Aplicados en la evaluación de la competencia de planificación ygestión del tiempo para combatir la procrastinación.
Group Late sub’s (rate) Ext. Circ. (rate) Retakes (rate)Control 30 (16 %) 3 (2 %) 3 (2 %)
Experiment 4 ( 2 %) 0 (0 %) 0 (0 %)
Tabla 23: Planificación: grupo de control vs grupo experimental
Contribuciones:Se desarrolló herramienta web WAM (Wiki Assignment Monitor)1
Artículo enviado a la revista Transactions on Education, titulado“Reducing Procrastination in Class: A Wiki-powered Experimentwith Students”. (ISI JCR 2015: Q2, T2).
1https://subversion.assembla.com/svn/wikiassignmentmonitor/AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 90/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
ANEXO II: Metamodelo SASQL
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 91/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
ANEXO III: Metamodelo VWQL
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 92/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Bibliografía I
[Anderson and Shattuck, 2012] Anderson, T. and Shattuck, J. (2012).Design-based research a decade of progress in education research?Educational researcher, 41(1):16–25.
[André et al., 2011] André, M., Baldoquín, M. G., and Acuña, S. T. (2011).Formal model for assigning human resources to teams in softwareprojects.Information and Software Technology, 53(3):259–275.
[Balderas et al., 2015a] Balderas, A., Berns, A., Palomo-Duarte, M.,Dodero, J. M., Gómez-Sánchez, R., and Ruiz-Rube, I. (2015a).A domain specific language to retrieve objective indicators for foreignlanguage learning in virtual worlds.In Proceedings of the 3rd International Conference on TechnologicalEcosystems for Enhancing Multiculturality, pages 675–680. ACM.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 93/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Bibliografía II
[Balderas et al., 2015b] Balderas, A., Dodero, J. M., Palomo-Duarte, M.,and Ruiz-Rube, I. (2015b).A domain specific language for online learning competenceassessments.International Journal of Engineering Education - Special issue onInnovative Methods of Teaching Engineering, 31(3):851–862.
[Balderas et al., 2014] Balderas, A., Galan-Pinero, A.,Caballero Hernandez, J. A., Rodriguez Gomez, G., Dodero, J., andPalomo-Duarte, M. (2014).Domain-driven competence assessment in virtual learningenvironments. application to planning and time management skills.In Computers in Education (SIIE), 2014 International Symposium on,pages 121–126. IEEE.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 94/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Bibliografía III
[Balderas et al., 2012] Balderas, A., Palomo-Duarte, M., Dodero, J. M.,and Rube, I. R. (2012).Qualitative assessment of wiki-based learning processes.In Proceedings of SPDECE-2012. Ninth multidisciplinary symposium onthe design and evaluation of digital content for education, pages161–172.
[Balderas et al., 2013a] Balderas, A., Ruiz-Rube, I., Dodero, J. M.,Palomo-Duarte, M., and Berns, A. (2013a).A generative computer language to customize online learningassessments.Lecture Notes in Computer Science (including subseries Lecture Notesin Artificial Intelligence and Lecture Notes in Bioinformatics), 8095LNCS:591–592.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 95/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Bibliografía IV
[Balderas et al., 2013b] Balderas, A., Ruiz-Rube, I., Palomo-Duarte, M.,and Dodero, J. M. (2013b).A generative computer language to customize online learningassessments.In Proceedings of the First International Conference on TechnologicalEcosystem for Enhancing Multiculturality, pages 141–147. ACM.
[Bedek et al., 2011] Bedek, M., Petersen, S. A., and Heikura, T. (2011).From behavioral indicators to contextualized competence assessment.In 11th IEEE International Conference on Advanced LearningTechnologies (ICALT), 2011, pages 277–281. IEEE.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 96/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Bibliografía V
[Carreras Marín et al., 2013] Carreras Marín, A., Blasco, Y., Badia-Miró,M., Bosch Príncep, M., Morillo, I., Cairó i Céspedes, G., andCasares Vidal, D. (2013).The promotion and assessment of generic skills from interdisciplinaryteaching teams.EDULEARN13 Proceedings, pages 201–207.
[Fidalgo-Blanco et al., 2015] Fidalgo-Blanco, Á., Sein-Echaluce, M. L.,García-Peñalvo, F. J., and Conde, M. Á. (2015).Using learning analytics to improve teamwork assessment.Computers in Human Behavior, 47:149–156.
[González and Wagenaar, 2005] González, J. and Wagenaar, R. (2005).Tuning Educational Structures in Europe II. Universitites’ contribution tothe Bologna Process.University of Deusto.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 97/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Bibliografía VI
[Guenaga et al., 2013] Guenaga, M., Arranz, S., Rubio Florido, I., Aguilar,E., Ortiz de Guinea, A., Rayon, A., Bezanilla, M. J., and Menchaca, I.(2013).Serious games for the development of employment orientedcompetences.IEEE Revista Iberoamericana de Tecnologías del Aprendizaje,8(4):176–183.
[Kitchenham and Stuart, 2007] Kitchenham, B. and Stuart, C. (2007).Guidelines for performing systematic literature reviews in softwareengineering.In Technical report, Ver. 2.3 EBSE Technical Report. EBSE.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 98/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Bibliografía VII
[Lacuesta et al., 2009] Lacuesta, R., Palacios, G., and Fernández, L.(2009).Active learning through problem based learning methodology inengineering education.In 39th IEEE Frontiers in Education Conference, 2009. FIE’09., pages1–6. IEEE.
[Lasa et al., 2013] Lasa, A., Txurruka, I., Simón, E., and Miranda, J.(2013).Problem based learning implementation in the degree of humannutrition and dietetics.Proceedings of the International Conference of Education, Researchand Innovation (ICERI) 2013, pages 1687–1692.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 99/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Bibliografía VIII
[Palomo-Duarte et al., 2015] Palomo-Duarte, M., Berns, A., Dodero, J. M.,and Ruiz-Rube, I. (2015).Analysis of students’ interaction in virtual environments designed forforeign language learning.pages 597–601.
[Palomo-Duarte et al., 2014] Palomo-Duarte, M., Dodero, J. M.,García-Domínguez, A., Neira-Ayuso, P., Sales-Montes, N.,Medina-Bulo, I., Palomo-Lozano, F., Castro-Cabrera, C.,Rodríguez-Posada, E. J., and Balderas, A. (2014).Scalability of assessments of wiki-based learning experiences in highereducation.Computers in Human Behavior, 31:638–650.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 100/89
Introducción Estado del arte Problemas encontrados Método y herramientas Resultados Evaluación Conclusiones
Bibliografía IX
[Rayon Jerez et al., 2014] Rayon Jerez, A., Guenaga, M., and Núñez, A.(2014).A web platform for the assessment of competences in mobile learningcontexts.In IEEE Global Engineering Education Conference (EDUCON), 2014,pages 321–329. IEEE.
[Sevilla-Pavón et al., 2012] Sevilla-Pavón, A., Martínez-Sáez, A., andGimeno-Sanz, A. (2012).Assessment of competences in designing online preparatory materialsfor the cambridge first certificate in english examination.Procedia-Social and Behavioral Sciences, 34:207–211.
AB | Evaluación de Competencias Genéricas Basada en Indicadores Procedentes de Registros de Actividades de Aprendizaje 101/89