medir para entender y mejorar: la analítica del aprendizaje como nuevo paradigma de las...
TRANSCRIPT
Medir para Entender y Mejorar: la Analítica del Aprendizaje como
nuevo paradigma de las Tecnologías Educativas
Xavier OchoaEscuela Superior Politécnica del Litoral
Tecnologías Educativas
Problemas con las Tecnologías Educativas
Rápido ciclo de generación de ideas
Los investigadores educativos no son escalables
La Inteligencia Artifical actual no iguala a un ser humano
Oprtunidades de las Tecnologías Educativas
Generan gran cantidad de información
Nuestros Usuarios estan cada vez mas listos
Nuestra capacidad de procesamiento es cada vez más sofisticada
El campo está listo para un nuevo
paradigma
El aprendizaje es una actividad que se basa en interacciones humanas
Humano – HumanoHumano – CotenidoHumano – Objetos
Antes solamente podíamos apreciar y analizar esta
interacciones con nuestros sentidos
Investigadores Educacionales tenían que observar, registrar y analizar
(y sabemos que no se escalan)
Ahora contamos con nuevas herramientas para medir y analizar las interacciones
humanasInteracciones capturadas a través de sistemas o sensores
Patrones analizados a través de minería de datos Resultados presentados a través de visualizaciones
Esto ha pasado antes…
Ahora podemos medir las interacciones que suceden de
manera permanente y en un nivel de detalle superior
Pero con un gran poder viene una gran responsabilidad
¿Para que usaremos la información que capturamos de nuestros alumnos y profesores?
Este es un problema transdiclipinar
Investigación Educacional + Computación
+ Análisis de Datos + Pedagogía
+ Interacción Hombre Máquina+ Ética
Este es un caso para…La Analítica del
Aprendizaje
Analítica del Aprendizaje es la medida, recolección, análisis y reporte de datos acerca de estudiantes y sus
contextos, para entender y optimizar su aprendizaje y los ambientes en que este ocurre.
Siemens, George, and Phil Long. "Penetrating the fog: Analytics in learning and education." Educause Review 46.5 (2011): 30-32.
Analítica del
AprendizajeBusiness
Intelligence
Big Data
EDM
Métodos Estadísticos
Tutores Inteligentes
Personalización
Aprendizaje Adaptativo
Raices de la Analítica del Aprendizaje
Analítica del Aprendizaje
CienciasEducacionales
Mineríade Datos
Educacionales
Análisis del Aprendizaje•Ciencias Educacionales y Cognitivas
•Motores•Analítica del Aprendizaje
•Panel de Control (Dashboard)•Minería de Datos Educacionales
•Vehículos Automáticos
Analítica
¿De donde se puede sacar datos?
• Selección de Cursos• Registro en Cursos• Aplicaciones a Prestamos y Becas• Participación en Clase• Estudiar Solo o en Grupos• Uso de Recursos Digitales• Compra/Uso/Prestamo Libros• Interacción con Profesor• Evaluaciones
La Analítica del Aprendizaje no es el futuro, es el presente
Si no la usas, ya estás atrasado
http://www.itap.purdue.edu/studio/signals/
http://www.itap.purdue.edu/studio/signals/
http://www.itap.purdue.edu/studio/signals/
Datos AcadémicosEstudiante Curso Paralelo Semestre Nota
9093233 HCD001 1 2005-1S 85
9093233 LMS003 2 2005-1S 97
9088442 HCD001 2 2005-2S 1000
… … … … …
Estimación de la Dificultad
¿Cúan difícil es un curso?
GPA vs. Calificación en el Curso
Calificación > GPA
Calificación < GPA
0
Calificación = GPA
Tres escenarios:
Diferencias entre elGPA y la calificación en el curso
> 0< 0
Ejemplos Reales
Cursos Difíciles (Top 10)
Percibido EstimadoAlgorithms Analysis
Operating SystemsPhysics ADifferential EquationsLinear AlgebraProgramming Fundamentals
Object-Oriented Programming
Differential Calculus
Data Structures
Statistics
Operating Systems
Statistics
Differential Equations
Linear Algebra
Programming Languages
Electrical Networks I
Artificial Intelligence
Programming Fundamentals
Data Structures
Hardware Architecture and Organization
Percepción != Estimación
¿Que hace a un curso difícil?
Coherencia del Programa
Como los cursos se agrupan juntos
CORE - CS CURRICULUMBasic Physics
Integral Calculus
Multivariate Calculus
Electrical Networks
Digital Systems I
Hardware Architectures
Operative Systems
General Chemistry
ProgrammingFundamentals
Object-orientedProgramming
Data Structures
ProgrammingLanguages
Database Systems I
Software Engineering I
Software Engineering II
Oral and WrittenCommunication Techniques
Computing and Society
Discrete Mathematics
Algorithms Analysis
Human-computerInteraction
Differential Calculus
Linear Algebra
Differential Equations
Ecology andEnvironmental Education
Statistics
Economic Engineering I
Artificial Intelligence
PROFESSIONAL TRAINING HUMANITIES BASIC SCIENCE
52
Estructura Subyacente
Electrical Networks
Differential Equations
Software Engineering II
Software Engineering I
HCI
Oral and Written
Communication Techniques
General Chemistry
Programming Languages
Object-Oriented Programming
Data Structures
Artificial Intelligence
Operative Systems
Software Engineering
Object-Oriented Programming
Economic Engineering
Hardware Architectures
Database Systems
Digital Systems I
HCI
Differential and Integral CalculusLinear Algebra
Multivariate CalculusDigital Systems I
Basic PhysicsProgramming Fundamentals
Discrete MathematicsGeneral Chemistry
StatisticsData Structures
Computing and SocietyAlgorithms Analysis
Differential EquationsEcology and Environmental Education
Object-Oriented Programming
FACTOR 1: Ciencias Básicas
FACTOR 2: CS Avanzado
FACTOR 3: Interacción con el Cliente
FACTOR 4: Programación
FACTOR 5: El factor ?
La agrupación no es como esperábamos
¿Qué hacer con las materias que no se agrupan?
Caminos de Falla
Que cursos llevan a los estudiantes a retirarse
Reprobación y DeserciónTiempo
(semestres)
0
1
2
3
4
Deserción
Todos comienzas felices, pero…
Caminos de FallaSequence Support
<Physics A, Dropout> 0.608196721
<Differential Calculus , Dropout> 0.570491803
<Programming Fundamentals , Dropout> 0.532786885
<Integral Calculus , Dropout> 0.496721311
<Physics A, Differential Calculus , Dropout> 0.43442623
<Linear Algebra , Dropout> 0.432786885
<Differential Calculus, Integral Calculus , Dropout> 0.385245902
<Physics C , Dropout> 0.347540984
<Physics A, Integral Calculus , Dropout> 0.327868852
<General Chemistry , Dropout> 0.319672131
<Differential Equations , Dropout> 0.31147541
Deserción en Cursos de Ciencia
¿Deberían empezar con CS?¿Mucha presión en cursos de ciencias?
Gráfico Carga/Desempeño
Lo que los estudiantes creen poder vs.
lo que realmente pueden
Gráfico Carga/Desempeño
Gráfico Carga/Desempeño
Gráfico Carga/Desempeño
Carga Recomendada Irreal
¿Como presentar el programa de mejor manera?¿Cómo recomendar a los estudiantes su carga adecuada?
Con los datos más simples podemos obtener
mucha informaciónAyuda para diseñar programas
Detección de discriminaciónPredicción de demanda
NO HAY EXCUSA
Analítica del AprendizajeMultimodal
Possibilities• What we see• What we hear• How we move• How we write• How we blink• Our pulse• Brain activity?• Our hormones?
Efecto de la Lámpara de Alumbrado
Math Data Corpus
Video: Uso de la Calculadora
Video: Distancia de la Cabeza al Centro de la Mesa
Audio: Cantidad de veces que dicen números o términos matemáticos
Pluma Digital: Características del Trazo
Resultado• Tres Caracteristicas:
• Escritor más rápido (Digital Pen)• Porcentaje del Uso de la Calculadora (Video)• Número de Veces en se mencionan Números (Audio)
• Pueden predecir quien es el experto 80% del tiempo• Puden predecir quien resolverá el problema correctamente
60% del tiempo
Corpus de Calidad de Presentación Oral
Características extraidas de video
• 66 características faciales fueron extraidas usando el softwarea Luxand incluyendo los ojos, punta de la nariz para estimar hacia donde se dirige la vista
Características del Kinect• Identificar posturas comunes
Características del Kinect• Identifcar posturas
Características de KinectUsa teoría de Laban para describir el movimiento humano usando características no-verbales:
Spatial aspects of movement
Temporal aspects of movement
Fluency, smoothness, impulsivity
Energy and power
Overall activity
Evaluación
Características Extraidas
Calificación Humana
Video
Kinect Lenguaje Corporal
Contacto Visual
Resultado: menos del 50% de precisión
Lo que medimos no fue lo que los humanos midieron
Conclusiones para las Tecnologías Educativas
Nustros sistemas generan datos, muchos datos
USEMOSLOS
Cuando diseñen una nueva herramienta
INCORPORA TOMA DE DATOS
No solo realices encuestas sobre el uso
ANALIZA LOS DATOS PARA EVALUAR Y VALIDAR
Los datos no son tuyos ni para ti, los datos son de y
para ellos EL OBJETIVO ES ENTENDER Y MEJORAR EL APRENDIZAJE
Tu no puedes cambiar el proceso, ellos si
RETROALIMENTA
No esperemos que nos vengan a vender un
productoEMPIEZA HOY
Gracias / Thank you / Obrigado
Xavier [email protected]://ariadne.cti.espol.edu.ec/xavierTwitter: @xaoch