foros - elsemantico.es · •aplicación de sna a los términos (conspect) vi. contenido de la...

FOROS ACADÉMICOS ¿Podemos medir su eficiencia automáticamente?

Guillermo de Jorge Botana

Dto. Psicología Evolutiva y de la Educación

Fac. de Psicología. UNED

gdejorge (a) psi.uned.es

Pag.: www.elsemantico.com / es

Curso de Verano impartido en el centro

asociado de Alcalá la Real, 2012

http://www.elsemantico.com/

I. INTRODUCCIÓN

Preguntas:

• ¿Necesitamos monitorizar automáticamente los procesos

en el ámbito académico?

• ¿De dónde podemos partir?

• ¿A qué se parece?

• ¿Hay algo hecho al respecto?

I. Introducción

Motivación general: Monitorizar los procesos de

aprendizaje y actuar potencialmente sobre los hechos

observados en un LMS (Learning Management System)

I. Introducción

• LMS (Learning Management System)

se emplea para administrar, distribuir y controlar las

actividades de formación no presencial.

I. Introducción

• Minería de datos educativa (Educational data

mining)

• Analítica Académica (Academic Analytics)

• Analítica sobre aprendizaje(Learning Analytics)

I. Introducción

• Aplicación de técnicas de inteligencia de negocio y de

marketing al dominio del aprendizaje (Goldstein y Katz,

2005)

• El uso de datos y otras observaciones disponibles para

impactar directamente en los estudiantes, los

profesores y el proceso de aprendizaje.

• Detectar situaciones específicas y riesgos especiales

I. Introducción

• Planteamiento

• La necesidad de números en el rendimiento de sistemas y

comportamientos de clientes ha generado un gran corpus de

técnicas.

• Copiar el modelo para la gestión de herramientas educativas y

aprendizaje de los alumnos.

----Cambio de módulo-----

II. Fuentes de datos

Preguntas

• ¿De dónde sacamos los datos?

• ¿Qué camino recorren los datos?

• ¿A quién se los pedimos?

• ¿Cómo hay que pedirlos?

• ¿Por qué tenemos que involucrarnos los que trabajamos

en educación?


• Logs y trazas


• Bases de datos

Servidor Aplicaciones

LMS

Usuario

Servidor BBDD

LMS

Logs


• CRM (Customer Relationship Management)

Sistemas informáticos de apoyo a la gestión de las

relaciones con los clientes, a la venta y al marketing. Con

este significado CRM se refiere al sistema que administra

un “data warehouse” (almacén de datos) con la

información de la gestión de ventas y de los clientes de la

empresa.


• Minería de datos (y textual)

prepara, sondea y analiza los datos para sacar la

información oculta en ellos

Preparación Análisis

Datos


• Big Data (Facebook, linkedin, etc)

Gestión y análisis de cantidades ingentes de datos distribuidos en

multitud de servidores a lo largo de todo el mundo.


KPI (Key Performance Index)

• Un indicador clave de rendimiento (KPI) es un índice que da a

conocer el progreso que se está realizando para lograr un objetivo, o

para monitorizar un proceso.

http://www.miqueridousuario.com/wp-content/uploads/2011/03/kpi.jpg


• Objetivo: Que los alumnos intervengan en cuantas más temáticas mejor

• Creamos un KPI

1. Es importante definir con palabras el concepto que queremos medir y darle un nombre

“Focalización en hilos”: Cuán focalizada es la intervención de los alumnos en torno a unos pocos hilos

2. Suelen ser Ratios, por ejemplo:

nº de hilos en los que interviene una persona

---------------------------------------------------------------

total de hilos


• Centro de mandos

Una vez definidos los KPIs en nuestro plan de

medidas representamos los más importantes dentro

un “cuadro de mandos”, que estarán representados

en tiempo real (o casi, según sea la temporalidad de

lo que medimos).

1 2 3





• KPIs


Análisis Rendimiento

DEFINICIÓN E INTERPRETACIÓN

DE KPIs



• SLA (Service Level Agreement)

Un acuerdo de nivel de servicio, también conocido por las

siglas ANS o SLA, es un contrato escrito entre un

proveedor de servicio y su cliente con objeto de fijar el

nivel acordado para la calidad de dicho servicio.


----Tiempo para discusión-----

III.¿Qué medir en los foros?

Preguntas:

• ¿Qué podemos medir?

• ¿Cómo podemos medirlo?

• ¿Hasta dónde podemos llegar?


• Reto: Monitorizar nuestros foros


• ¿Qué podríamos monitorizar automáticamente?

• Magnitud de participación

• Relaciones de los participantes

• Contenido de la participación

• Análisis sobre secuencias

• Ratios y promedios

IV. Magnitud de participación (ejemplos)

• 1. Volumen de participación

• 2. Masa silenciosa

• 3. Participación ermitaña

• 4. Focalización de hilos

IV. Magnitud de participación

• 1. Volumen de participación

*Alumnos participativos tendrá que definirse bajo algún criterio, por ejemplo,

alumnos que hayan posteado, o que hayan posteado y han sido respondidos.

CENSO DE

ALUMNOS

ALUMNOS

PARTICIPATIVOS


• 2. Masa silenciosa

Personas que entran en los foros pero no participan.

TOTAL DE

SESIONES

SESIONES

PARTICIPATIVAS


• 3. Participación ermitaña

Personas que participan una sola vez

ALUMNOS

PARTICIPATIVOS

ALUMNOS

PARTICIPACIÓN ÚNICA


• 4. Participación focalizada Las participaciones se focalizan en unos cuantos hilos

• *Nº de hilos en los que se ha participado: Si un alumno ha participado se

consigna 1, sino 0.

• * Se promediaría el resultado de cada alumno participativo no ermitaño

Nº DE HILOS Nº de hilos en los

que se ha

participado

V. Relaciones entre participantes

• Medidas de SNA (Social Networks Analysis)

• 1. Centralidad

• 2. Corrillos

• 3. “Brokers” de información (intercambiadores)

• 4. Influencia en la comunicación

• 5. Proporción Core-Periferia


• 1. Centralidad

• El número de enlaces que parten o llegan de un actor. Lo que mide

realmente es la exposición de un alumno a lo que se dice.

• No es lo mismo recibir información que dar información

• Centralidad “In-Degree”: Reciben muchos mensajes de otros

• Centralidad “Out-Degree”: Mandan muchos mensajes a otros


• 1. Centralidad

El gráfico muestra en una escala que va de 0 a 1 el grado de

centralidad de los jugadores (nodos) de la red (equipo) del FC

Barcelona. http://arsfutbol.wordpress.com/ (Aplicaciones de Análisis

de Redes al Fútbol)

http://arsfutbol.wordpress.com/

http://arsfutbol.wordpress.com/


• Centralidad: Matriz de proximidad (Adjacency Matrix)

Lanzan

Reciben


• 2. Corrillos (“Cliques”)

• Nº de corrillos (o subgrupos) a los que pertenece un alumno

• Los corrillos se identifican a partir de la matriz de proximidad

• Existen varios criterios para considerar corrillos (estrictos y laxos)

• Diadas, triadas, etc

• Proximidad, densidad de las relaciones, reciprocidad


• 3. “Brokers” de información (“hubs”)

• Personas que actúan de intermediarios

• Hablan con personas que no hablan entre ellos


3. “Brokers” de información:


• 4. Influencia en la comunicación

• Combinación entre la centralidad y la participación en corrillos.

• Muestra como una persona está “al tanto” de la información.



• Personas bien conectadas en proporción a las personas aisladas o

desconectadas

• Se suelen medir en referencia a un modelo de core-periferia.

• 0 indicaría que no se ha formado un core entre los alumnos

• > 0,5 indicaría que se ha formado un core


Para explorar redes sociales

“Nuestro nuevo foro”

• “Un entendimiento profundo [del juego] se obtiene

consignando el coeficiente de conglomerado (clustering)

el cuál captura la naturaleza combinatoria del tiqui-taca”

• Los jugadores tienden a distribuirse en clusters, unidos

por “intercambiadores” (Xabi Alonso, Xavi Hernandez).

Cotta, Mora, Merelo-Molina, Merelo(2011). FIFA World Cup 2010: A

Network Analysis of the Champion Team Play. the Complex Systems in

Sports Workshop, August 2011

http://arxiv.org/find/cs/1/au:+Cotta_C/0/1/0/all/0/1

http://arxiv.org/find/cs/1/au:+Mora_A/0/1/0/all/0/1

http://arxiv.org/find/cs/1/au:+Merelo_Molina_C/0/1/0/all/0/1



http://arxiv.org/find/cs/1/au:+Merelo_J/0/1/0/all/0/1

• Otras medidas

• -Número de pases

• -Longitud de las cadenas de los pases (profundidad)

• Centralidad de los jugadores

Cotta, Mora, Merelo-Molina y Merelo(2011). FIFA World Cup 2010: A

Network Analysis of the Champion Team Play. the Complex Systems in

Sports Workshop, August 2011

http://arxiv.org/find/cs/1/au:+Cotta_C/0/1/0/all/0/1

http://arxiv.org/find/cs/1/au:+Mora_A/0/1/0/all/0/1




http://arxiv.org/find/cs/1/au:+Merelo_J/0/1/0/all/0/1

VI. Contenido de la participación

• 1. Proporción de off-topic

• 2. Tópicos más discutidos

• 3. Tono emocional

• 4. Entropía de los mensajes

• 5. Cohesión de los mensajes


• Se suelen usar técnicas:

• Apariciones literales

• Vectoriales

• Ontologías


• 1. Proporción de off-topic

• Consignar la proporción de contenido que es ajeno a la materia

• Cómo de centrado está la conversación en los temas académicos

TOTAL DE

ENTRADAS

OOT


• 2. Tópicos más discutidos

• 2.1 Categorías a las que pertenecen los temas más discutidos

• 2.2 Visualización de términos


• 2.1 Categorías a las que pertenecen los temas más

discutidos

Se clasifican automáticamente las entradas del foro en

categorías previamente establecidas

Disfasia

Dislexia

TEL

Afasia

Alexia

Pruebas

OOT



• Tratan de visualizar la representación de las palabras en la

comunidad de estudiantes

• Cómo se relacionan

• Cuáles son centrales

• Grupos de palabras asociados

• Cuáles son intermediarias entre unos temas y otros


2.2 Visualización de términos



• Aplicación de SNA a los términos (CONSPECT)



• Análisis del sentimiento (“Sentiment Analysis”)

• Listados de palabras para encontrarlas en el texto.

• LIWC (Linguistic Inquiry and Word Count)



• Mediciones LIWC



• Ejemplo: comparación por edades en usuarios de mySpace

Tomado de Pfeil, Arjan y Zaphiris (2008)


• 4. Entropía de los mensajes

• Cantidad de información que porta el lenguaje.

• Especificidad del mensaje

“La movida es qué la mente se pone a

trabajar”

VS.

“Las zonas parieto-temporales registran

actividad”


• 5. Cohesión de los mensajes


• CohMetrix

VI. Contenido de la participación • Gallito 2.0

VII. Análisis sobre secuencias

No se toma como unidad la entrada sino la conversación (y sus hilos)

1. Reconstrucción de conversaciones

2. Profundidad, nº participantes

3. Cohesión

4. Nivel de resolución

5. Pérdida de temática


• 1. Reconstrucción de conversaciones

Reconstruir la estructura multi-hilo de las conversaciones en base a su

temática y su temporalidad (o por claves de la base de datos)

Identificar los hilos padre

Identificar el flujo de las conversaciones


Tomado de Wang, Joshi, Cohen y Rosé (2008)


• 2. Profundidad, nº participantes

• Profundidad: nº de interacciones que alcanza una conversación

• Participantes: nº de personas que participan en la conversación.


• 3. Cohesión

• grado de cohesión entre las diferentes entradas que

forman parte de un hilo.


• 4. Nivel de resolución

En que medida las conversaciones académicas acaba siendo

resueltas satisfactoriamente (dudas, sugerencias, valoraciones)

- Cada participante declara la resolución

- Se identifica automáticamente


• 5. Pérdida de temática

En que medida el estado inicial de la temática de la

conversación dista del estado final.

• Tomar los datos provenientes de las anteriores medidas y

convertir todo en promedios, porcentajes o ratios globales

(no de personas y eventos individuales)))

• Analizar estrategias e intervenciones en los foros en base

a ésos índices.

VII. Ratios y Promedios

Conclusión

Conclusión

• Se necesitan números para comprobar la efectividad de

las intervenciones

• Los profesionales de la educación tienen que estar

involucrados en la definición de los índices (no hay

escusa)

• Existe software para explorar posibles definiciones de los

índices

• Existen fuentes de datos localizadas para extraer los

datos, ordenarlos, y calcular KPIs o índices análogos

Biobligrafía

-Cotta, Mora, Merelo-Molina, Merelo(2011). FIFA World Cup 2010: A Network Analysis of the

Champion Team Play. the Complex Systems in Sports Workshop, August 2011

-Romero-Zaldivar, Pardo, Burgos, Delgado-Kloos (2012) Monitoring Student

Progress Using Virtual Appliances: A Case Study. Computers & Education., 58,

1058-1067

-Rose, Wang, Cui, Arguello, Stegmann, Weinberger & Fischer(2008) Analyzing

Collaborative Learning Processes Automatically: Exploiting the Advances of

Computational Linguistics in Computer-Supported Collaborative Learning, 3,

237-271

-Vercellone-Smith, Jablokow, & Friedel (2012) Characterizing communication

networks in a web-based classroom: Cognitive styles and linguistic behavior of

self-organizing groups in online discussions. Computers & Education, 59, 222-235

-Yi-Chia Wang, Mahesh Joshi, Carolyn Rosé and William Cohen. Recovering Implicit Thread Structure

in Newsgroup Style Conversations. In Proceedings of the 2nd International Conference on Weblogs

and Social Media (ICWSM 2008).

Software • UCINET

(https://sites.google.com/site/ucinetsoftware/home)

• LIWC (http://liwc.net/liwcespanol/index.php)

• CONSPECT (http://www.ltfll-

project.org/index.php/conspect.html)

• Pajek (http://vlado.fmf.uni-lj.si/pub/networks/pajek/)

• WEKA (http://www.cs.waikato.ac.nz/ml/weka/)

• NLTK (http://nltk.org/)

• Gallito 2.0 (http://www.elsemantico.es)

• Coh-Metrix

(http://cohmetrix.memphis.edu/cohmetrixpr/index.htm)

https://sites.google.com/site/ucinetsoftware/home

https://sites.google.com/site/ucinetsoftware/home

http://liwc.net/liwcespanol/index.php

http://liwc.net/liwcespanol/index.php

http://www.ltfll-project.org/index.php/conspect.html



http://vlado.fmf.uni-lj.si/pub/networks/pajek/




http://www.cs.waikato.ac.nz/ml/weka/

http://nltk.org/

http://www.elsemantico.es/

http://cohmetrix.memphis.edu/cohmetrixpr/index.htm

http://cohmetrix.memphis.edu/cohmetrixpr/index.htm

foros - elsemantico.es · •aplicación de sna a los términos (conspect) vi. contenido de la...

Documents