smart data para la mejora de la educación y sus procesos de enseñanza aprendizaje

Smart Data para la mejora de la

educación y sus procesos de enseñanza-aprendizaje

Alex Rayón [email protected], @alrayon

Director General Deusto eCampus, la universidad online de Deusto

7 de Septiembre, 2015Santander, España

mailto:[email protected]

Tabla de contenidosClarificando conceptosPor qué Smart DataImpacto en educaciónTratamiento y gestión de datosEn educación… evaluando competenciasImplantación sistema Smart Data

2


3

Clarificando conceptosDrivers of Big Data

4

Clarificando conceptosDrivers of Big Data (II)

5

La sociedad se ha tecnificado, y estamos cada vez más interconectados

Se habla de las redes sociales

A eso unámosle que el coste computacional es cada vez menor

Menor coste de producción

Cada vez se están digitalizando más procesos y actividades de nuestro día a día

Generaremos cada vez más datos

Clarificando conceptosBig Data vs. Business Intelligence

6

Business Intelligence

Big Data

Clarificando conceptosBig Data vs. Business Intelligence (II)

7

No obtiene respuestas quién posee los datos, sino quien sabe hacer las preguntas

Una disciplina que tiene un objetivo a medio plazo

La herramienta de la estrategia y de la dirección

Busca dar respuestas a preguntas concretas y formuladas a priori analizando datos

Fuente: http://www.xiskya.com/2012/12/21/una-pregunta-poderosa-por-favor/

Clarificando conceptosData Science

8

Fuente: http://www.slideshare.net/TechnetFrance/rec201-mstechdaysfinal130213033305phpapp02-19779391

Clarificando conceptosData Science: Scientific Method

9

Fuente: http://kids.britannica.com/elementary/art-183875/The-scientific-method-is-the-process-scientists-follow-to-solve


10

Por qué Smart DataDel dato al conocimiento

11

El dato por si solo nos aporta poco…2.000 visitantes únicos en mi tienda online1.000 nuevos usuarios en mi aplicación10% nuevos clientes en mi exposición24 conversiones de las campañas de captación3.000 € de incremento del tamaño de la

transacción media de ticket de compra…

Falta contexto → circunstanciasFechaDispositivo/canalGeolocalizaciónTendencia/perspectiva...

Por qué Smart DataSmart and Deep Data

12

Por qué Smart DataEl Business Analytics en educación

13

Fuente: https://wiki.smu.edu.sg/is101_2012/Week_12_(G3)


14

Impacto en educaciónData-Driven university

15

Impacto en educaciónData-Driven university (II)

16

Fuente: http://misalondon.ca/PDF/special_pres/Data_Quality_Capacity_&_Culture.pdf

Impacto en educaciónEnfoques

17

● Academic Analytics○ (Goldstein and Katz, 2005) Prácticas de toma de

decisiones académicas basado en el análisis y explotación de datos

○ (Campbell and Oblinger, 2007) Maridaje entre los conjuntos de datos y los métodos estadísticos para mejorar la toma de decisiones académicas

● Learning Analytics○ Sus objetivos de mejora están en el aprendizaje○ Factores que están impulsándolo: cada vez mayor

generación de datos, mayor capacidad computacional, accountability, perfil de los estudiantes, mejores formatos de datos, el éxito del Academic Analytics

Impacto en educaciónAcademic Analytics: aplicaciones

18

● Estudios de mercado○ Dirigir acciones de marketing hacia perfiles

tradicionalmente matriculados en el pregrado o postgrado que se quiera reforzar

● Proceso de admisión○ La Universidad de Baylor, TX, USA, modela el

perfil del estudiante de éxito para disponer de un sistema de admisión exigente basado en la evidencia empírica de perfiles que saben funcionan

Impacto en educaciónAcademic Analytics: aplicaciones (II)

19

● Servicios de inserción profesional sobre el perfil competencial○ Podremos analizar datos

de otros alumni ya trabajando para que los alumnos actuales encuentren mejores pasantías, localizar mentores o mejorar el proceso de intermediación laboral a través de alumnis

At Universities, a Push for Data-Driven Career Services

http://bits.blogs.nytimes.com/2015/01/26/at-universities-a-push-for-data-driven-career-services/?_r=2

http://bits.blogs.nytimes.com/2015/01/26/at-universities-a-push-for-data-driven-career-services/?_r=2

Impacto en educaciónAcademic Analytics: aplicaciones (III)

20

Proponer a los estudiantes la elección de asignaturas

según perfiles de competencias y Alumnis

de éxito

Ayudar a los estudiantes recién ingresados a

encontrar un camino y estrategia de estudio

Comparar datos de Alumni con los estudiantes actuales

en función de roles y competencias

Impacto en educaciónAcademic Analytics: aplicaciones (IV)

21

Reducción tasa de abandonosAnalizando datos demográficos, estilos de

aprendizaje, motivaciones, rasgos de personalidad, etc. etc., construiremos un perfil de éxito y de fracaso

De este modo, podremos optimizar la predicción del posible éxito o fracaso de un estudiante

Es el modelo que dispone la Universidad de Northern Arizona, AZ, USA

El objetivo será disponer de un modelo predictivo, que, además, vaya mejorándose con el resultado de las intervenciones que se planteen para reducir la tasa de abandonos

Impacto en educaciónLearning Analytics: aplicaciones

22

● Evaluación y feedback○ Dar al estudiante una retroalimentación

inteligente que le permita mejora de manera continua su desempeño

○ El estudiante podrá entender cómo mejorar su proceso de resolución de ejercicios, asimilación de conocimientos, toma de decisiones, etc.

○ Se disponen de métricas de interacción entre estudiante y plataforma, materiales didácticos, actividades de aprendizaje y evaluación, etc.

○ Por lo tanto, se podrán hacer análisis muy exhaustivos

Impacto en educaciónLearning Analytics: aplicaciones (II)

23

● Sistemas de alerta temprana○ En la línea del sistema Signals de la

Universidad de Purdue, IN, USA, disponer de un sistema de predicción del eventual rendimiento de un estudiante para notificarle, con carácter preventivo, que debe cambiar ciertas conductas para mejorar su rendimiento académico

● Clasificación de estudiantes○ A través de diferentes criterios educativos, se

pueden agrupar estudiantes para organizar grupos de trabajo, equipos de alto rendimiento, etc.

Impacto en educaciónLearning Analytics: aplicaciones (III)

24

● Ofrecer recomendaciones○ El proyecto RISE de la Open University del

Reino Unido, busca proveer a los estudiantes de un feedback activo y en tiempo real mientras estudian

○ De este modo, buscar mejorar la experiencia del estudiante, y que perciba la cercanía y tutorización que todo estudiante dispone

● Personalizar el curso al estudiante○ Se pueden personalizar los materiales

didácticos, actividades de evaluación y aprendizaje, etc. sobre la base de las preferencias que hubiera previamente dispuesto un estudiante

Impacto en educaciónLearning Analytics: aplicaciones (IV)

25

● Aumentar la reflexión○ Cuando los estudiantes observan su progreso

en un dashboard, interiorizan más sus resultados, y pueden reflexionar hacia la mejora continua

● Detectar la emoción/sentimiento de los estudiantes○ Si se analiza el comportamiento de los

estudiantes en entornos digitales de aprendizaje, se puede llegar a modelizar la emoción y sentimiento de los mismos

● Y muchas otras aplicaciones

Impacto en educaciónLearning Analytics: aplicaciones (V)

26

● Quizás, la aplicación más interesante para una universidad sea el análisis de los datos que los estudiantes y sus contextos de aprendizaje producen

● Ello, permitiría ayudar en el proceso de desarrollo y evaluación de competencias○ Proceso que actualmente es difícil por la

naturaleza aún subjetiva de la evaluación, la falta de escalabilidad del proceso y la dificultad de encontrar cómo los estudiantes han procedido a resolver una determinada actividad


27

Tratamiento y gestión de datosEsquema general

28

Tratamiento y gestión de datosEsquema general

29

Pasaremos de disponer de datos brutos (que permiten responder al “qué”) al conocimiento (que responden al “cómo” y “por qué”) a través de su

presentación gráfica

Tratamiento y gestión de datos

Data Analytics

30

Analytics, es la ciencia del análisis lógico

En entornos universitarios, permite introducir el análisis lógico y la toma de decisiones basada en evidencias y no solamente en la experiencia

Esto permite mejorar el valor añadido de los servicios

Se compone de los procesos, técnicas y herramientas que se emplean para producir y comunicar inteligencia accionable a partir del análisis de grandes volúmenes de datos

Tratamiento y gestión de datosData Analytics (II)

31

Informa de patrones ocultos y relaciones del proceso de aprendizaje y profesional así como los factores que determinan el éxito de un estudiante

Todo ello, analizando la complejidad, diversidad y abundancia de información que los entornos de aprendizaje dinámicos pueden generar

Describen el mundo real, reduciendo su complejidad a una forma más entendible y accesible para todas las personas

Tratamiento y gestión de datos

Resolución de problemas

32

Problemas

Predictivos(supervisados)

Descriptivos(no supervisados)

Clasificación

Regresión

Análisis correlacional

Agrupamiento

Reglas asociación


33

En educación… evaluando competencias

Introducción

34

Competencias“Measurable or observable knowledge,

skills and behaviors”


La dificultad de la evaluación de competencias(i) ScalabilityEven more difficult with distance learning models [Johnson, 2013]

(ii) Subjective natureCurrently, interpreted by the teacher

(iii) Finding latent skillsHard to find the latent skills behind exercises or questions [Beheshti,

2012]

(iv) Difficulty to assess the procedural aspects

How students arrive at answers35


La dificultad de la evaluación de competencias (II)Process/Work of the student

36


La dificultad de la evaluación de competencias (III)“In order to create innovative learning environments, ideas

focus on engagement and feedback”

[OECD, 2013]

“Make sense and intelligent use of the data provided by ICT in order

to facilitate learning”[Sutherland, Joubert, Eagle, 2012]37


ObjetivosObjetivo principalOfrecer al estudiado de cualquier pregrado o postgrado

servicios de valor añadido de carácter longitudinal antes, durante y después de haber cursado sus estudios

Objetivos secundariosFacilitar los procesos de enseñanza-aprendizaje

Potenciar el desarrollo profesional

Mejorar la toma de decisiones académica y los servicios ofrecidos por la institución

Analizar los datos demográficos, académicos, familiares, vocacionales, motivacionales, aspiracionales, perfil competencial (antes del ingreso, durante el estudio o después de los mismos)

38


Objetivos (II)

39

Integrar los datos brutos de fuentes heterogéneas en un único modelo de datos multidimensional

Será la entrada al sistema de información sobre el que analizaremos posteriormente los datos

Creación de un motor de análisis de datos que permita detectar conocimiento que los datos brutos no nos pueden ofrecer

Ofrecer una interfaz de usuario (Dashboard) a través de un dashboard que permita realizar las consultas a través de las múltiples dimensiones y aplicaciones que se propongan


Soporte evaluación competencias

40

Reto evaluación

competencias

LearningAnalytics

Rúbricas enriquecida

s

● Naturaleza subjetiva● Falta de escalabilidad● Difícil encontrar habilidades● Difícil evaluar aspectos

procedimentales

● TIC en Educación● Datos sociales y de uso● Una promesa para mejorar

el aprendizaje y evaluación


Soporte evaluación competencias (II)

Para cada competencia,

podríamos disponer de métricas de actividad para

evaluar a través de las rúbricas

enriquecidas (para un descriptor e indicador de una competencia)

41


Soporte evaluación competencias (III)Y así ofrecer al profesorado un panel de mando donde puede consultar las métricas de actividad de los estudiantes y así poder disponer de las

aplicaciones anteriormente indicadas: alertas tempranas de rendimiento académico, feedback real-time, etc.

42


Soporte evaluación competencias (IV)La visualización de métricas de aprendizaje y de desarrollo de competencias permite entender el procedimiento y toma de decisiones que sigue un estudiante

El dashboard, es una herramienta muy buena de:

ExploraciónConfirmaciónPresentación

43


Soporte evaluación competencias (V)En todo ello, resulta especialmente importante definir nuevas métricas más allá de las calificaciones tradicionales

El objetivo es permitir disponer de un feedback más enriquecido → además de motivar a los estudiantes, mejorará su aprendizaje significativo

Por lo tanto, hay que definir relaciones del tipo:

Objetivo - Indicador - Métrica (OIM)44


Soporte evaluación competencias (VI)Todo ello, recogiendo datos de entornos con muchas herramientas digitales de

soporte

45


Arquitectura de información integrada

Capacidades de una arquitectura de información integrada [Oracle, 2012]

46


Arquitectura

47


Arquitectura: Fuentes de datosFuentes internasCRM, Sistema de Gestión Académica,

Plataforma de Gestión del Aprendizaje, Redes Sociales, BBDD de Alumni, Hojas de cálculo, etc.

Se procedería a una normalización al modelo de datos multidimensional que se consensuó

Fuentes externasAdemás, los datos internos, se pueden

enriquecer con datos externos, como informes estadísticos, banco de datos oficiales, etc.

48


Arquitectura: Modelos analíticosLos datos capturados de los procesos de enseñanza-aprendizaje nos explican qué es lo que ocurre

Sin embargo, esta fotografía del qué no explica el por qué pueden ocurrir algunos comportamientos del estudiante

Y esto, puede ser de mucho valor para el proceso de desarrollo y evaluación de competencias

Por ello, utilizaremos métodos estadísticos que nos permitan obtener relaciones, patrones o descubrir estructuras de conocimiento para entender el “por qué” del comportamiento de los estudiantes

49

En educación… evaluando competenciasArquitectura: VisualizaciónConstruiremos un dashboard, que permitirá

a usuarios no técnicos la posibilidad de acceder fácilmente al conocimiento: Visual

Analytics

50


51

Implantación sistema Big Data

Metodología CRISP-DM

52


53

Necesidad1

3

4

5

2 Planificación

Requisitos

DiseñoConstrucción

6

Mantenimiento

Gobierno

Procesos

Operaciones

Herramientas

Implantación sistema Big DataGestión del cambio

54


Visualización

55

“La visualización es crítica para el análisis de datos. Aporta una primera línea de ataque, revelando estructuras intrincadas en datos que no pueden ser absorbidas de otro modo. Descubrimos efectos inimaginables y cuestionamos aquellos que han sido imaginados.”

William S. Cleveland en Visualizing Data

Smart Data para la mejora de la

educación y sus procesos de enseñanza-aprendizaje

Alex Rayón [email protected], @alrayon

Director General Deusto eCampus, la universidad online de Deusto

7 de Septiembre, 2015Santander, España

mailto:[email protected]

smart data para la mejora de la educación y sus procesos de enseñanza aprendizaje

Education