SINAI en TASS 2018: Insercion de ConocimientoEmocional Externo a un Clasificador Lineal de

Emociones

SINAI at TASS 2018: Lineal Classification System withEmotional External Knowledge

Flor Miriam-Plaza-del-Arco1, Eugenio Martınez Camara2,M. Teresa Martın Valdivia1, L. Alfonso Urena-Lopez1

1Departamento de Informatica,Centro de Estudios Avanzados en Tecnologıas de la Informacion y de la Comunicacion

Universidad de Jaen, Campus Las Lagunillas, 23071, Jaen, Spain2Instituto Andaluz de Investigacion en Ciencia de Datos e Inteligencia Computacional (DaSCI)

Universidad de Granada{fmplaza, maite, laurena}@ujaen.es, emcamara@decsai.ugr.es

Resumen: Este artıculo describe el sistema de clasificacion de emociones desarrolla-do por el equipo SINAI en la Tarea 4 de la competicion TASS 2018. Nuestro sistemase basa en un metodo supervisado con SVM utilizando caracterısticas emocionales.Para ello, hacemos uso de distintos lexicones emocionales y realizamos la adaptacionde las distintas emociones a la polaridad de las mismas. Los resultados obtenidosnos animan a seguir trabajando en este tipo de tareas.Palabras clave: Analisis de Sentimientos, minerıa de emociones, lexicones emocio-nales, SVM

Abstract: In this paper, we present the emotion classification system developed bythe SINAI team for the Task 4 at TASS 2018 workshop. Our approach is based on asupervised learning algorithm, SVM, using emotional features, which are groundedin several emotional lexicons. The obtained results encourage us to continue workingon this line.Keywords: Sentiment Analysis, emotion mining, emotional lexicons, SVM

1 Introduccion

En este trabajo se describen las aportacio-nes realizadas a la Tarea 4 del taller TASS(Good Or Bad News? Emotional categoriza-tion of news articles) (Martınez-Camara etal., 2018). La tarea propone el desarrollo desistemas que identifiquen si una noticia es se-gura o adecuada para un anunciante en fun-cion de la emocion que suscite el titular dela misma. Debe destacarse que los titularesproceden de noticias publicadas en periodicosde Espana y de diversos paıses de America,de manera que el corpus que se proporciona,SANSE, es una representacion global de lalengua espanola escrita1.

Con la aparicion de la Web 2.0, la cantidadde informacion subjetiva en Internet ha creci-do exponencialmente. Existen diferentes pla-taformas como son las redes sociales, portales

1Los detalles de la tarea y el corpus pueden leerseen (Martınez-Camara et al., 2018).

de noticias, blogs o microblogs en los que losusuarios publican abiertamente. Si nos cen-tramos en el dominio de las noticias, encon-tramos diversos periodicos digitales como ElPaıs, El Mundo o ABC que poseen artıculosde este tipo. En ellos, los usuarios pueden co-mentar de forma anonima o publica, dandosu opinion acerca de una determinada noti-cia. Debido al interes de analizar este tipo deinformacion, surge la tarea de detectar au-tomaticamente las emociones publicas evoca-das por los documentos en lınea. Sin embar-go, anotar los titulares de noticias con emo-ciones es una tarea difıcil incluso para los se-res humanos (Katz, Singleton, y Wicentows-ki, 2007).

El reconocimiento de emociones en textostiene multiples beneficios en diferentes sec-tores. Algunos ejemplos se listan a continua-cion:

1. Ayuda a las empresas a configurar sus

TASS 2018: Workshop on Semantic Analysis at SEPLN, septiembre 2018, págs. 125-130

ISSN 1613-0073 Copyright © 2018 by the paper's authors. Copying permitted for private and academic purposes.

estrategias de marketing en funcion delas emociones de los consumidores (Bou-gie, Pieters, y Zeelenberg, 2003).

2. Permite mejorar los sistemas de reco-mendacion basados en filtros colabora-tivos (Badaro et al., 2013).

3. Los polıticos pueden adaptar su discur-so en base a la reaccion de la poblacion(Pang, Lee, y others, 2008).

4. Puede ayudar a predecir el mercado devalores.

5. Puede identificar si el titular de una no-ticia es seguro o inseguro para un anun-ciante en funcion de las emociones ex-presadas en el mismo.

En este trabajo, proponemos un sistemade clasificacion de emociones en espanol parael reconocimiento de emociones en titularesde noticias. Para ello, usamos diferentes le-xicones afectivos para extraer una serie decaracterısticas y, ademas, integramos dichoconocimiento en un clasificador supervisado.Los resultados obtenidos nos animan a seguirtrabajando en esta tarea.

2 Minerıa de emociones

La minerıa de la opinion y la minerıa de laemocion forman parte del area de Analisis deSentimientos (AS), pero tienen diferentes ob-jetivos. La minerıa de la opinion trata el estu-dio de las opiniones expresadas en los textosy su tarea basica es la deteccion de la po-laridad (Liu, 2015), mientras que la minerıade la emocion se relaciona con el estudio delas emociones y su tarea basica es el recono-cimiento de emociones (Cambria, 2016). Ladeteccion de la polaridad suele ser una tareade clasificacion binaria en la que se obtienecomo resultado si una opinion es positiva onegativa, mientras que el reconocimiento deemociones trata de identificar diferentes cate-gorıas emocionales en un texto como el mie-do, la alegrıa, la tristeza o la repulsion.

En la ultima decada, la mayor parte deltrabajo se ha centrado en la tarea de clasifica-cion de la polaridad. Sin embargo, una de lasareas mas complejas que aun no se ha estu-diado en profundidad es la minerıa de la emo-cion. Algunos trabajos estan comenzando aexplorar el potencial de los sistemas de de-teccion y clasificacion de emociones (Moham-mad, 2017). No obstante, la mayor parte de

los trabajos estan orientados a tratar docu-mentos en ingles, encontrando muy pocos tra-bajos en espanol.

La mayor parte de los trabajos de recono-cimiento de emociones, se centran en el usoe integracion de diferentes recursos como le-xicones y corpus. En concreto, los lexiconesafectivos son muy valiosos ya que proporcio-nan informacion acerca del tipo de emocion eintensidad que expresa cada palabra del tex-to. Ademas, pueden ser utilizados en variosenfoques del AS, como caracterısticas para laclasificacion en metodos de aprendizaje au-tomatico (Liu y Zhang, 2012), o para gene-rar una puntuacion de afecto para cada do-cumento, basada en el valor de intensidad decada palabra (Socher et al., 2013).

Sin embargo, la disponibilidad de recursosemocionales es escasa y la mayorıa de ellos losencontramos en ingles. Por ejemplo, Strappa-rava y Valitutti (2004) desarrollaron el recur-so WordNet-Affect formado por un conjuntode terminos afectivos en ingles y basado en lossynsets de WordNet. Linguistic Inquiry andWord Count (LIWC) es otro lexicon emo-cional que divide las palabras en diferentescategorıas, incluidos los estados emociona-les. Mohammad y Turney (2010) desarrollanun recurso denominado NRC Affect IntensityLexicon el cual proporciona valores de inten-sidad de afecto para cuatro emociones basicas(enfado, miedo, tristeza, alegrıa). Por ultimoMohammad y Turney (2010) crean otro re-curso denominado NRC Word-Emotion As-sociation Lexicon (Emolex).

Con respecto a la disponibilidad de recur-sos emocionales en espanol, encontramos queel numero es muy limitado. Hasta donde sa-bemos, el unico lexicon emocional que pode-mos encontrar es Spanish Emotion Lexicon(SEL) (Sidorov et al., 2012) aunque los re-sultados obtenidos en diferentes experimen-tos no son muy prometedores.

En este trabajo, usamos los lexicones emo-cionales como caracterısticas para la clasifica-cion de noticias haciendo uso de un algoritmode aprendizaje automatico.

3 Descripcion del sistema

El equipo SINAI ha participado con un sis-tema, que se describira a continuacion, en laSubtarea 1 de la Tarea 4 de la edicion de 2018del taller TASS.

En esta seccion, se presentan los elemen-tos que forman parte del sistema desarrollado

Flor Miriam-Plaza-del-Arco, Eugenio Martínez Cámara, M. Teresa Martín Valdivia y L. Alfonso Ureña López

126

para la competicion. En primer lugar, se des-criben los lexicones utilizados para la obten-cion de las caracterısticas emocionales dadasen una noticia. En segundo lugar, se explica elproceso seguido para la extraccion de las ca-racterısticas haciendo uso de los lexicones y,por ultimo, se explica la etapa de clasificacionllevada a cabo con un algoritmo supervisado.

3.1 Lexicones de emocion y depolaridad

Para el reconocimiento de la emocion a nivelde oracion, es esencial el analisis de las pala-bras del titular de la noticia para determinarsu emocion. Por esta razon, en este sistemautilizamos dos lexicones de emocion y uno depolaridad con el fin de determinar la cargaemocional que expresan las palabras del titu-lar de una noticia. Los lexicones empleadosson:

• NRC Word-Emotion AssociationLexicon (Emolex) (Mohammad y Tur-ney, 2010). Esta constituido por 14.182terminos en ingles asociados a una omas emociones: ira, miedo, anticipacion,confianza, sorpresa, tristeza, alegrıa.Ademas, este recurso esta disponible enmas de cien idiomas, incluido el espanol.Todas estas versiones se han generadomediante la traduccion de los terminosen ingles haciendo uso del traductor deGoogle.

• Spanish Emotion Lexicon (SEL)(Sidorov et al., 2012). Incluye 2.036 pala-bras en espanol que se asocian con la me-dida del Factor de Probabilidad de UsoAfectivo con respecto a al menos unaemocion basica: alegrıa, ira, miedo, tris-teza, sorpresa y repulsion. Fue anotadomanualmente por 19 anotadores (escala:nula, baja, media, alta) y se implemen-taron ciertos umbrales de acuerdo.

• Lexicon Mejorado de Opiniones enEspanol (iSOL2) (Molina-Gonzalez etal., 2013). Es una lista de palabras deopinion en espanol independiente del do-minio. Los autores tradujeron automati-camente con el traductor Reverso3 el le-xicon de Bing Liu (Hu y Liu, 2004), yposteriormente corrigieron manualmente

2http://sinai.ujaen.es/isol/3http://www.reverso.net/

la traduccion. iSOL contiene 2.509 pala-bras positivas y 5.626 negativas.

3.2 Extraccion de caracterısticas

Para la extraccion de caracterısticas emocio-nales de una noticia se ha tenido en cuenta lasiguiente hipotesis: si una noticia genera unaemocion positiva o neutra, es segura para in-corporar anuncios, pero si genera una emo-cion negativa, la noticia no es segura paraanadir anuncios. En base a esta hipotesis, sehan utilizado los lexicones mencionados an-teriormente mapeando cada emocion de lasdistintas palabras en polaridad positiva o ne-gativa. Este mapeo se ha realizado en el casode los lexicones que contienen palabras cla-sificadas en emociones: Emolex y SEL. Sinembargo, para el caso del lexicon iSOL no hasido necesario ya que se trata de un lexiconde polaridad. Las Tablas 1 y 2 muestran lacorrespondencia realizada entre las emocio-nes de los distintos lexicones y la polaridad(positiva o negativa).

Emocion Polaridad

anger negativafear negativasadness negativajoy positivadisgust negativasurprise positiva

Tabla 1: Correspondencia entre las emocionesde SEL y la polaridad positiva/negativa

Emocion Polaridad

enfado negativamiedo negativatristeza negativaalegrıa positivaasco negativasorpresa positivaanticipacion negativaconfianza positiva

Tabla 2: Correspondencia entre las emocionesde Emolex y la polaridad positiva/negativa

El metodo seguido para la extraccion decaracterısticas emocionales es el siguiente:

1. Se comprueba la presencia de cada uno

SINAI en TASS 2018: Inserción de Conocimiento Emocional Externo a un Clasificador Lineal de Emociones

127

Figura 1: Cobertura del numero de palabrasde la noticia detectadas en los lexicones

de los terminos que componen el titularde la noticia en los distintos lexicones.

2. Si el termino esta presente en algun le-xicon, se mapea la emocion de dichotermino y se obtiene la polaridad posi-tiva o negativa.

3. Para cada titular de noticia, obtenemosun valor de polaridad positiva y otro depolaridad negativa. Este valor se obtienerealizando el sumatorio de la polaridadde cada una de las palabras del titularpresente en los distintos lexicones (Emo-lex, SEL e iSOL).

4. Como resultado, obtenemos un vector dedos valores (positivo, negativo) para ca-da lexicon, es decir, extraemos un totalde seis caracterısticas para cada noticia.

En la Tabla 3 podemos ver un ejemplo dealgunas de las noticias junto a las emocionesreconocidas por el sistema.

3.3 Aprendizaje supervisado

En primer lugar, preprocesamos el corpus denoticias proporcionado. El preprocesamientoque llevamos a cabo se explica a continuacion:

• Tokenizacion con TweetTokenizer4 deNLTK.• Eliminacion de palabras vacıas (stop-

words) con NLTK.5

• Conversion de las palabras a minuscula.

Seguidamente, se realiza la union de losvectores obtenidos con los distintos lexiconesde emociones y de polaridad, y la representa-cion TF-IDF de la noticia. Para llevar a ca-bo la clasificacion, optamos por el algoritmo

4http://www.nltk.org/api/nltk.tokenize.html

5https://pythonspot.com/nltk-stop-words/

de aprendizaje supervisado SVM, y concreta-mente su implementacion C-SVC. Se uso unnucleo lineal y el valor de C fue 1.0.

Por ultimo, para ejecutar nuestros expe-rimentos, se utilizaron los conjuntos de da-tos proporcionados por los organizadores dela tarea de la siguiente manera. Duranteel perıodo de pre-evaluacion, entrenamos elsistema con el conjunto de entrenamiento(train) y evaluamos con el conjunto de desa-rrollo (dev.). Sin embargo, durante el perıodode evaluacion, entrenamos el sistema con elconjunto train y dev., y evaluamos con el con-junto de evaluacion (test).

4 Resultados obtenidos

Los resultados proporcionados por nuestrosistema sobre el corpus SANSE para la Ta-rea 4 se muestran en la Tabla 3 y 4. Las me-didas oficiales de la competicion son Macro-Precision, Macro-Recall, Macro-F1 y Accu-racy.

En la Tabla 5 podemos observar los resul-tados obtenidos por clase (SAFE, UNSAFE).Como podemos apreciar, el modelo mues-tra mejores resultados para la clase UNSA-FE. Sin embargo, para la clase SAFE obte-nemos un recall bajo de 62,2 %. Esto se de-be a que en el mapeado realizado (emocion-polaridad), el numero de emociones negativases mayor que el numero de emociones positi-vas como se puede observar en la Tabla 1 y2 y, por consiguiente, hay mas palabras ne-gativas que positivas en los lexicones emocio-nales. En la Figura 1 vemos claramente queel numero de palabras negativas encontradasen la noticia (65,1 %) es mayor que el numerode palabras positivas (34,9 %). Por tanto, serecuperan pocas palabras con polaridad po-sitiva. Por otra parte, como podemos ver enla Tabla 4 los resultados obtenidos a nivelgeneral por nuestro sistema son de 73,33 %en el caso de la Macro-Precision, 72,22 % deMacro-Recall, 72,8 % de Macro-F1 y 74,2 %de Accuracy.

5 Conclusiones

En este trabajo presentamos un metodo declasificacion de emociones desarrollado conaprendizaje supervisado que hace uso de ca-racterısticas emocionales extraıdas a partirde diferentes lexicones y que se utilizan comoentrada para un clasificador supervisado. Losresultados obtenidos demuestran la utilidadde utilizar caracterısticas emocionales para

Flor Miriam-Plaza-del-Arco, Eugenio Martínez Cámara, M. Teresa Martín Valdivia y L. Alfonso Ureña López

128

Titular noticia Emociones positivas Emociones negativasObesidad[tristeza, asco], un proble-ma[tristeza, miedo] de gravedad[tristeza, miedo]

mayor[tristeza, confianza] en Mexico

1 3

Secretario de estado comprometi-do[alegrıa, confianza, anticipacion] con lapaz[alegrıa, confianza, anticipacion] en Bolivia

2 1

Detenido un yihadista que querıa ma-tarenfado, miedo, tristeza, anticipacion a Espanoles

0 4

Tabla 3: Emociones detectadas en una noticia

Macro-P Macro-R Macro-F1 Acc.

0.733 0.722 0.728 0.742

Tabla 4: Resultados obtenidos sobre el corpusSANSE

Categorıa Precision Recall F1

SAFE 0.702 0.622 0.660UNSAFE 0.764 0.823 0.792

Tabla 5: Evaluacion categorica

realizar la clasificacion ya que son aceptables.Ademas, vemos que es necesario el desarrollode lexicones emocionales en espanol ya que elunico que encontramos actualmente es SEL.Nuestro proximo estudio se enfocara en ex-plorar mas lexicones afectivos en otros idio-mas con el objetivo de adaptarlos al espanolya que como se demostro en la tarea compar-tida del WASSA-2017 (Mohammad y Bravo-Marquez, 2017), el uso de lexicones es bene-ficioso para la clasificacion de emociones.

Agradecimientos

Este trabajo ha sido parcialmente subven-cionado por el Fondo Europeo de Desa-rrollo Regional (FEDER), el proyecto RE-DES (TIN2015-65136-C2-1-R) y el proyectoSMART-DASCI (TIN2017-89517-P) del Go-bierno de Espana. Eugenio Martınez Cama-ra fue financiado por el programa Juan dela Cierva Formacion (FJCI-2016-28353) delGobierno de Espana.

Bibliografıa

Badaro, G., H. Hajj, W. El-Hajj, y L. Nach-man. 2013. A hybrid approach with co-llaborative filtering for recommender sys-tems. En Wireless Communications and

Mobile Computing Conference (IWCMC),2013 9th International, paginas 349–354.IEEE.

Bougie, R., R. Pieters, y M. Zeelenberg.2003. Angry customers don’t come back,they get back: The experience and beha-vioral implications of anger and dissatis-faction in services. Journal of the Aca-demy of Marketing Science, 31(4):377–393.

Cambria, E. 2016. Affective computing andsentiment analysis. IEEE Intelligent Sys-tems, 31(2):102–107.

Hu, M. y B. Liu. 2004. Mining and sum-marizing customer reviews. En Procee-dings of the tenth ACM SIGKDD interna-tional conference on Knowledge discoveryand data mining, paginas 168–177. ACM.

Katz, P., M. Singleton, y R. Wicentowski.2007. Swat-mp: the semeval-2007 systemsfor task 5 and task 14. En Proceedings ofthe 4th international workshop on seman-tic evaluations, paginas 308–313. Associa-tion for Computational Linguistics.

Liu, B. 2015. Sentiment analysis: Mi-ning opinions, sentiments, and emotions.Cambridge University Press.

Liu, B. y L. Zhang. 2012. A survey of opinionmining and sentiment analysis. En Miningtext data. Springer, paginas 415–463.

Martınez-Camara, E., Y. Almeida-Cruz,M. C. Dıaz-Galiano, S. Estevez-Velarde,M. A. Garcıa-Cumbreras, M. Garcıa-Vega, Y. Gutierrez, A. Montejo Raez,A. Montoyo, R. Munoz, A. Piad-Morffis,y J. Villena-Roman. 2018. Overviewof TASS 2018: Opinions, health andemotions. En E. Martınez-CamaraY. Almeida-Cruz M. C. Dıaz-Galiano

SINAI en TASS 2018: Inserción de Conocimiento Emocional Externo a un Clasificador Lineal de Emociones

129

S. Estevez-Velarde M. A. Garcıa-Cumbreras M. Garcıa-Vega Y. GutierrezA. Montejo Raez A. Montoyo R. MunozA. Piad-Morffis, y J. Villena-Roman,editores, Proceedings of TASS 2018:Workshop on Semantic Analysis atSEPLN (TASS 2018), volumen 2172 deCEUR Workshop Proceedings, Sevilla,Spain, September. CEUR-WS.

Mohammad, S. M. 2017. Word affect inten-sities. arXiv preprint arXiv:1704.08798.

Mohammad, S. M. y F. Bravo-Marquez.2017. Wassa-2017 shared task onemotion intensity. arXiv preprint ar-Xiv:1708.03700.

Mohammad, S. M. y P. D. Turney. 2010.Emotions evoked by common words andphrases: Using mechanical turk to crea-te an emotion lexicon. En Proceedingsof the NAACL HLT 2010 workshop oncomputational approaches to analysis andgeneration of emotion in text, paginas 26–34. Association for Computational Lin-guistics.

Molina-Gonzalez, M. D., E. Martınez-Cama-ra, M.-T. Martın-Valdivia, y J. M. Perea-Ortega. 2013. Semantic orientationfor polarity classification in spanish re-views. Expert Systems with Applications,40(18):7250–7257.

Pang, B., L. Lee, y others. 2008. Opinionmining and sentiment analysis. Founda-tions and Trends R© in Information Retrie-val, 2(1–2):1–135.

Sidorov, G., S. Miranda-Jimenez, F. Viveros-Jimenez, A. Gelbukh, N. Castro-Sanchez,F. Velasquez, I. Dıaz-Rangel, S. Suarez-Guerra, A. Trevino, y J. Gordon. 2012.Empirical study of machine learning basedapproach for opinion mining in tweets. EnMexican international conference on Arti-ficial intelligence, paginas 1–14. Springer.

Socher, R., A. Perelygin, J. Wu, J. Chuang,C. D. Manning, A. Ng, y C. Potts. 2013.Recursive deep models for semantic com-positionality over a sentiment treebank.En Proceedings of the 2013 conferenceon empirical methods in natural languageprocessing, paginas 1631–1642.

Strapparava, C. y A. Valitutti. 2004. Word-net affect: an affective extension of word-

net. En Lrec, volumen 4, paginas 1083–1086. Citeseer.

Flor Miriam-Plaza-del-Arco, Eugenio Martínez Cámara, M. Teresa Martín Valdivia y L. Alfonso Ureña López

130