lsa. evaluación de resúmenes en diferentes niveles académicos

LSA. Evaluación de resúmenes en diferentes niveles académicos

AESLA 09

L S AATENT EMANTIC NALYSIS ( )LSA

Ricardo Olmos, José Antonio León, Guillermo Jorge-Botana e Inmaculada Escudero

Universidad Autónoma de Madrid

LSA. Evaluación de resúmenes en diferentes niveles académicos

(1) Qué es el LSA

(2) Aplicación en la evaluación de resúmenes

¿QUÉ ES EL LSA?

• LSA es una herramienta computacional capaz de simular aspectos de la semántica

• LSA es un modelo de adquisición del conocimiento (Landauer y Dumais, 1997)

• La idea clave bajo la que se sustenta el LSA es que las palabras que ocurren en contextos parecidos son similares semáticamente

• LSA comienza analizando una gran cantidad de documentos que sitúa en una matriz

¿QUÉ ES EL LSA?

Matriz (m x n)

¿QUÉ ES EL LSA?

• La matriz de frecuencias NO es lo suficientemente sensible como para detectar qué palabras se parecen semánticamente.

¿QUÉ ES EL LSA?

¿QUÉ ES EL LSA?

• La matriz se transforma matemáticamente en otras tres matrices a partir de la técnica matemática Descomposición en valores singulares (SVD)

¿QUÉ ES EL LSA?

¿QUÉ ES EL LSA?

¿QUÉ ES EL LSA?

• La nueva matriz de términos SÍ es sensible al parecido semántico entre las palabras. SVD capta las regularidades del lenguaje y elimina el uso subjetivo que cada autor da las palabras

¿QUÉ ES EL LSA?

¿QUÉ ES EL LSA?

• La medida con la que se evalúa la relación semántica entre dos palabras es el COSENO que forman los dos vectores que representan cada palabra

¿QUÉ ES EL LSA?

¿QUÉ ES EL LSA?

• La similitud semántica entre dos textos se mide también con el coseno que forman los dos vectores

¿QUÉ ES EL LSA?

LSA. Evaluación de resúmenes en diferentes niveles académicos

Objetivos del estudio:

2) ¿es el LSA una herramienta fiable al evaluar resúmenes si los comparamos con jueces?

3) ¿detecta el LSA diferencias entre distintos niveles académicos?

LSA. Evaluación de resúmenes en diferentes niveles académicos

Método:

Muestra: Participaron 786 estudiantes en el estudio (de 6º de primaria, 2º de ESO, 4 de ESO y universitarios):

LSA. Evaluación de resúmenes en diferentes niveles académicos

LSA. Evaluación de resúmenes en diferentes niveles académicos

Método:

Material. Cada estudiante resumió bien un texto narrativo “La leyenda del algarrobo” o bien un texto expositivo “Los árboles estranguladores”

LSA. Evaluación de resúmenes en diferentes niveles académicos

Método:

Material. El corpus utilizado para entrenar al LSA pertenece a la universidad de Colorado de Boulder y es de tipo generalista. El número K de dimensiones utilizado fue de 337

LSA. Evaluación de resúmenes en diferentes niveles académicos

Método:

Evaluaciones de los jueces. Se instruyó a cuatro jueces para que evaluaran cada resumen en una escala de 0-10 puntos.

ContenidoCoherenciaNotaJUEZ +=

Método:

Evaluaciones del LSA. La nota otorgada por el LSA se basa en el coseno (Landauer et al., 1998; León et al., 2006) y la longitud del vector resumen

LSA. Evaluación de resúmenes en diferentes niveles académicos

ctorLongitudVeCosenoKteLSANota ** 21 ββ ++=

LSA. Evaluación de resúmenes en diferentes niveles académicos

¿Cómo obtenemos el coseno? Método de los expertos (Landauer, Foltz y Laham, 1998; León et al., 2006)

LSA. Evaluación de resúmenes en diferentes niveles académicos

¿Cómo obtenemos el coseno? Método de los expertos

LSA. Evaluación de resúmenes en diferentes niveles académicos

¿Cómo obtenemos la longitud del vector?

LSA. Evaluación de resúmenes en diferentes niveles académicos

71.0*528.0* 21 ββ ++= KteLSANota

LSA. Evaluación de resúmenes en diferentes niveles académicos

ctorLongitudVeCosenovoLSAnarrati *76.5*26.1162.1 ++−=

ctorLongitudVeCosenoositivoLSA *18.10*61.1519.4exp ++−=

Una muestra al azar de resúmenes evaluados por LSA y por jueces

LSA. Evaluación de resúmenes en diferentes niveles académicos

(2) Aplicación del LSA en evaluación de resúmenes

Resultados

Fiabilidad del LSA al evaluar resúmenes (Correlación LSA-jueces)

LSA. Evaluación de resúmenes en diferentes niveles académicos

LSA. Evaluación de resúmenes en diferentes niveles académicos

Resúmenes del texto narrativo• La fiabilidad entre propios jueces osciló entre 0,78 y 0,86

• La fiabilidad del LSA con los jueces osciló entre 0,60 y 0,68

Resúmenes del texto expositivo La fiabilidad entre propios jueces osciló entre 0,83 y 0,88

La fiabilidad del LSA con los jueces osciló entre 0,76 y 0,78

Fiabilidad Narrativo = 0,68 Fiabilidad expositivo = 0,82

Con las puntuaciones promediadas de los cuatro jueces

(2) Aplicación del LSA en evaluación de resúmenes

Resultados

¿Distingue el LSA entre diferentes niveles académicos?

LSA. Evaluación de resúmenes en diferentes niveles académicos

LSA Jueces

CONCLUSIONES

• LSA se muestra como una herramienta fiable evaluando resúmenes breves

• Si utilizamos la longitud del vector junto con un buen método del LSA (expertos) se llega a una fiabilidad de 0,82, en el texto expositivo y una fiabilidad de 0,68 en el texto narrativo, con resúmenes de máximo 50 palabras!

LSA. Evaluación de resúmenes en diferentes niveles académicos

CONCLUSIONES

• Los jueces fueron capaces de discriminar algo mejor entre los distintos niveles académicos, sin embargo LSA, sobre todo en el texto expositivo, muestra un patrón casi idéntico en las evaluaciones al de los jueces humanos

LSA. Evaluación de resúmenes en diferentes niveles académicos