diseño e implementación de un módulo de analítica de aprendizaje en la plataforma khan academy
TRANSCRIPT
![Page 1: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/1.jpg)
DISEÑO E IMPLEMENTACIÓN DE UN MÓDULO DE ANALÍTICA DE
APRENDIZAJE EN LA PLATAFORMA
KHAN ACADEMY
Autor: José A. Ruipérez Valiente – [email protected] @JoseARuiperez – www.joseruiperez.com
Tutor: Pedro J. Muñoz Merino – [email protected]
Universidad Carlos III de Madrid Departamento de Ingeniería Telemática
Máster en Ingeniería de Telecomunicación
![Page 2: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/2.jpg)
2
ÍNDICE
Introducción
Definición de parámetros de alto nivel
Desarrollo del módulo ALAS-KA
Evaluación del proceso de aprendizaje
Conclusiones y resultados
Vídeo demostración de ALAS-KA
![Page 3: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/3.jpg)
INTRODUCCIÓN
3
![Page 4: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/4.jpg)
4
MOTIVACIONES
Generan grandes
cantidades de
datos de bajo nivel
Plataformas e-learning
Difícil de interpretar
![Page 5: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/5.jpg)
5
OBJETIVOS
1
2
3
Definición de un conjunto de parámetros de alto nivel
Implementación de ALAS-KA
Evaluación del proceso de aprendizaje
![Page 6: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/6.jpg)
6
DEFINICIÓN Y PROCESO
Procesado de métricas
Generación y captura de datos
Definición 1ª conferencia internacional LAK:
“learning analytics es la medida, recolección, análisis e informe de los datos sobre los estudiantes y sus contextos, con el propósito de entender y optimizar el aprendizaje y el entorno en el que ocurre”
Trabajos como (Campbell et al., 2007) y (Clow, 2012) han
tratado las fases del proceso Visualizador
Recomendador
Actuador datos de
bajo nivel información
de alto nivel
![Page 7: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/7.jpg)
7
KHAN ACADEMY: Estructura
![Page 8: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/8.jpg)
8
KHAN ACADEMY: Ejercicios y vídeos
![Page 9: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/9.jpg)
9
KHAN ACADEMY: Learning analytics
Informe Focus
Informe Activity
Informe Progress
![Page 10: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/10.jpg)
PARÁMETROS DE ALTO NIVEL
10
![Page 11: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/11.jpg)
11
BLOQUES DE PARÁMETROS
Correcto Progreso en la Plataforma
Distribución del Tiempo de Uso de la Plataforma
Hábitos Resolviendo
Ejercicios Hábitos de Ludificación
Uso Total en la Plataforma
![Page 12: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/12.jpg)
CONJUNTO DE PARÁMETROS
12
Uso Total de la Plataforma
Uso efectivo de la plataforma
Abandono de vídeos y ejercicios
Tiempo total en la plataforma
Uso de elementos opcionales
Focalizador de vídeos o ejercicios
Correcto Progreso en la Plataforma
Progreso en ejercicios
Progreso en vídeos
Eficiencia temporal
Eficiencia resolviendo ejercicios por primera vez
Eficiencia viendo vídeos
![Page 13: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/13.jpg)
13
Distribución del Tiempo de Uso de la Plataforma
Uso de la plataforma por tramos horarios
Eficiencia en tramos horarios
Media y varianza del tiempo de uso
Constancia
Hábitos Resolviendo Ejercicios
Seguidor de recomendaciones
Usuario olvidadizo
Evitador de vídeos y pistas
Usuario no reflexivo
Abusador de pistas
Hábitos de Ludificación
Interés en ganar medallas
Proporción de puntos por ludificación
![Page 14: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/14.jpg)
MODELO COGNITIVO 14
Evitador de vídeos y pistas, usuario no reflexivo
Detectar usuarios evitadores de pistas y vídeos, y no reflexivos
Modelo de comportamiento
Ejemplo
![Page 15: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/15.jpg)
DESARROLLO DEL MÓDULO ALAS-KA
15
![Page 16: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/16.jpg)
FASES DEL DESARROLLO
16
Especificación de requisitos Análisis y
diseño
Implementación
Pruebas
Integración
Mantenimiento
Validación y verificación
![Page 17: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/17.jpg)
ESPECIFICACIÓN DE REQUISITOS
17
Visualizaciones individuales y de clase
Tabla descriptiva de usuarios
Descripción de los parámetros
Soporte de distintos cursos en una instancia
Procesado de estadísticas periódico
Generación de estadísticas para cada curso
Acceso mediante log-in Khan Academy
Seguridad de acceso y gestión de permisos
Requisitos funcionales
Requisitos no funcionales
![Page 18: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/18.jpg)
ANÁLISIS Y DISEÑO
Lenguaje de programación Python: Algunas APIs utilizadas como Webapp2, Jinga2, Numpy o Matplotlib
Google App Engine como infraestructura
App Engine Datastore para la persistencia de datos
Google Charts para las visualizaciones
18
TECNOLOGÍAS
![Page 19: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/19.jpg)
19
DIAGRAMA DEL SISTEMA
Estudiantes
Profesores
Datastore
Procesado de datos
Visualizaciones
Recomendador
![Page 20: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/20.jpg)
20
Cron jobs
Queue
Tasks
Procesado personalizado
PROCESADO DE DATOS
![Page 21: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/21.jpg)
21
Fase de codificación de toda la aplicación
Código y entidades Datastore independientes de Khan Academy
IMPLEMENTACIÓN Y PRUEBAS
IMPLEMENTACIÓN PRUEBAS
Pruebas unitarias
Pruebas modulares
Prueba global
Pruebas de seguridad
![Page 22: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/22.jpg)
22
INTEGRACIÓN, VALIDACIÓN Y MANTENIMIENTO
INTEGRACIÓN VALIDACIÓN
MANTENIMIENTO
Integración e instalación de ALAS-KA en las plataformas Khan Academy de los cursos 0
Comprobación correcto funcionamiento de Khan Academy y ALAS-KA una vez hecha la instalación
Verificar correcto funcionamiento procesado datos
Carga de nuevos usuarios
![Page 23: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/23.jpg)
EVALUACIÓN DEL PROCESO DE APRENDIZAJE
23
![Page 24: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/24.jpg)
24
DOS TIPOS DE EVALUACIÓN
Por combinación de parámetros...
Por perfiles de usuario a través de ALAS-KA...
... en los cursos 0 de 2012/2013
... en los cursos 0 de 2013/2014
![Page 25: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/25.jpg)
COMBINACIÓN DE PARÁMETROS
25
Considerando un mínimo de 16 vídeos
para UEV2 o 21 ejercicios para UEE3
22 de 66 hicieron progreso correcto
Pero...
el parámetro EJ3 lo muestra
Correcto Progreso en la Plataforma
¿Quién fue más eficiente?
![Page 26: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/26.jpg)
26
Si no ha hecho un progreso correcto... ¿Se ha esforzado?
Considerando un TT de 225 minutos, o
15 vídeos de UEV1 o 20 ejercicios de
UEE1
8 de 44 “suspensos”
se esforzaron
UEV1 UEV2 UEE1 UEE3
TT r=0.81 r=0.80 r=0.71 r=0.83
USO DE LA PLATAFORMA
La correlación de TT es indicativo de que puede ser
buen predictor
![Page 27: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/27.jpg)
27
Mediante combinación
de los parámetros
UEV1 y UEV2 se estima
el abandono
USO DE LA PLATAFORMA
![Page 28: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/28.jpg)
POR PERFILES DE USUARIO MEDIANTE ALAS-KA
28
Uso Total de la Plataforma
Recursos accedidos
Recursos abandonados
![Page 29: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/29.jpg)
29
Progreso Correcto en la Plataforma Igual progreso,
¡distinta eficiencia!
![Page 30: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/30.jpg)
30
Gran diferencia en la
constancia de dos
usuarios con similar
tiempo invertido
Distribución del Tiempo de Uso de la Plataforma
![Page 31: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/31.jpg)
CONCLUSIONES Y RESULTADOS
31
![Page 32: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/32.jpg)
CONCLUSIONES
32
Los objetivos marcados han sido alcanzados
Definir un conjunto de parámetros de alto nivel
Implementar ALAS-KA con dichos parámetros y visualizaciones
Usar los puntos anteriores para evaluar el proceso de aprendizaje
Es necesario decidir entre las muchas formas de procesar la información
Las interpretaciones pueden depender del contexto educativo
La carga del procesado de datos aumenta exponencialmente
![Page 33: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/33.jpg)
RESULTADOS ASOCIADOS
33
Artículos en Journals en el índice JCR
Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., Leony, D., & Delgado Kloos, C. (2015). ALAS-KA: A learning analytics extension for better understanding the learning process in the Khan Academy platform. Computers in Human Behavior, 47(Learning Analytics, Educational Data Mining and data-driven Educational Decision Making), 139-148
Leony, D, Muñoz-Merino, P. J., Ruipérez-Valiente, J. A., Pardo A., Martín-Caro, D.A., Delgado Kloos, C. (In press). Detection and evaluation of emotions in Massive Open Online Courses. Journal of Universal Computer Science.
Publicación en capitulo de libro
Muñoz-Merino, P. J., Ruipérez-Valiente, J. A., Sanz, J. L., & Delgado Kloos, C. (In press). Assessment Activities in MOOCs. In Furthering Higher Education Possibilities through Massive Open Online Courses. IGI Global, E-Editorial Discovery
http://www.joseruiperez.com/mi-investigacion/
![Page 34: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/34.jpg)
34
Publicación en congresos internacionales
Muñoz-Merino, P. J., Ruipérez Valiente, J. A., & Kloos, C. D. (2013). Inferring higher level learning information from low level data for the Khan Academy platform. In Proceedings of the Third International Conference on Learning Analytics and Knowledge - LAK ’13 (pp. 112–116). New York, New York, USA
Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., & Kloos, C. D. (2013). An architecture for extending the learning analytics support in the Khan Academy framework. In Proceedings of the First International Conference on Technological Ecosystem for Enhancing Multiculturality - TEEM ’13 (pp. 277–284). New York, New York, USA
Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., & Delgado Kloos, C. (2014). A demonstration of ALAS-KA : A learning analytics tool for the Khan Academy platform. In 9th European Conference on Technology Enhanced Learning (EC-TEL 2014) (pp. 518–521)
Ruipérez-Valiente, J. A., Muñoz-Merino, P. J., Delgado Kloos, C., Niemann, K., & Scheffel, M. (2014). Do Optional Activities Matter in Virtual Learning Environments? In Ninth European Conference on Technology Enhanced Learning (pp. 331–344). Graz, Austria: Springer International Publishing
El proyecto es parte del laboratorio Gradient, ha sido expuesto en diferentes foros y conferencias
Parte de los resultados de este trabajo han sido utilizados en los proyectos eMadrid y EEE-Virtual
![Page 35: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/35.jpg)
35
El módulo ALAS-KA y los parámetros obtenidos en este TFM han sido utilizados para evaluar el proceso de aprendizaje de los cursos 0 de 2012/2013, 2013/2014 y 2014/2015
El software desarrollado ha sido liberado en GitHub bajo MIT license y puede ser accedido en este enlace
Otros méritos:
Premio al mejor proyecto Fin de Máster en Ingeniería de Telecomunicaciones patrocinado por Accenture en la Universidad Carlos III de Madrid del curso lectivo 2012/2013.
Premio eMadrid 2015 al mejor TFM/TFG/PFC relacionado con tecnologías educativas
Premio al mejor PFC/TFM/TFG del Capítulo Español de la Sociedad de la Educación del IEEE (CESEI)
Premio otorgado por el COIT-AIET al “Mejor Trabajo Fin de Máster en Nuevos Servicios, Aplicaciones y Modelos de Negocio Digitales” patrociado por Accenture
El artículo “Do Optional Activities Matter in Virtual Learning Environments?” realizado a partir de este TFM y publicado en el EC-TEL 2014 fue seleccionado como uno de los mejores artículos de la conferencia
![Page 36: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/36.jpg)
VÍDEO DEMOSTRACIÓN DE ALAS-KA
36
![Page 37: Diseño e Implementación de un Módulo de Analítica de Aprendizaje en la Plataforma Khan Academy](https://reader034.vdocuments.co/reader034/viewer/2022051007/5aaad7f57f8b9a351c8b474f/html5/thumbnails/37.jpg)
DISEÑO E IMPLEMENTACIÓN DE UN MÓDULO DE ANALÍTICA DE APRENDIZAJE EN LA PLATAFORMA
KHAN ACADEMY
¿Preguntas?
Universidad Carlos III de Madrid Departamento de Ingeniería Telemática
Máster en Ingeniería de Telecomunicación
Autor: José A. Ruipérez Valiente – [email protected] @JoseARuiperez – www.joseruiperez.com
Tutor: Pedro J. Muñoz Merino – [email protected]