Tarea 2 del Taller NEGES 2018: Deteccion de Clavesde Negacion

NEGES 2018 Task 2: Negation Cues Detection

Salud Marıa Jimenez-Zafra1, Noa P. Cruz Dıaz2,Roser Morante3, Marıa Teresa Martın-Valdivia1

1SINAI, Centro de Estudios Avanzados en TIC (CEATIC), Universidad de Jaen{sjzafra, maite}@ujaen.es

2Savana Medica, Madridcontact@noacruz.com

3CLTL Lab, Computational Linguistics, VU University Amsterdamr.morantevallejo@vu.nl

Resumen: El XXXIV Congreso Internacional de la Sociedad Espanola para el Pro-cesamiento del Lenguaje Natural (SEPLN 2108) albergo el taller de NEGacion enESpanol (NEGES 2018). La segunda tarea compartida estuvo dedicada a identificarlas claves de negacion. Este artıculo presenta las especificaciones, el conjunto de da-tos y los criterios de evaluacion de la tarea. Ademas, se proporciona una descripciongeneral de los sistemas participantes y se resumen sus resultados.Palabras clave: Negacion, deteccion de claves, analisis de sentimientos

Abstract: The XXXIV International Conference of the Spanish Society for theNatural Language Processing (SEPLN 2108) hosted the workshop on Negation inSpanish (NEGES 2018). The second shared task was dedicated to identifying thenegation cues. This article presents the specifications, the data set and the evaluationcriteria of the task. Moreover, an overview of participating systems is provided andtheir results are summarised.Keywords: Negation processing, cue detection, sentiment analysis

1 Introduccion

La negacion es un fenomeno linguıstico com-plejo que se ha estudiado ampliamente desdeuna perspectiva teorica (Morante y Sporle-der, 2012). Su deteccion y tratamiento au-tomatico es relevante en una amplia gama deaplicaciones, como la extraccion de informa-cion (Savova et al., 2010), la traduccion au-tomatica (Baker et al., 2012) o el analisis desentimientos (Cruz Dıaz et al., 2012), dondees crucial conocer cuando una parte del textopuede tener un significado diferente debido ala presencia de negacion. Esta parte del textoes lo que se conoce como el alcance o ambito.

La deteccion de la negacion se esta con-virtiendo en una tarea importante en el Pro-cesamiento del Lenguaje Natural (PLN). Dehecho, en los ultimos anos, varios desafıos ytareas compartidas han incluido la extrac-cion de este elemento del lenguaje (Moran-te y Blanco, 2012). Sin embargo, la mayorparte de la investigacion sobre la negacionse ha realizado para ingles. En espanol, en-

contramos sistemas como los propuestos porCostumero et al. (2014) y Stricker, Iacobac-ci, y Cotik (2015) orientados a identificar deforma automatica la negacion en el ambitoclınico mediante la adaptacion del popular al-goritmo basado en reglas, NegEx (Chapmanet al., 2001).

Aunque en menor medida, la deteccion dela negacion en espanol se ha aplicado tambienal analisis de sentimientos como medio paradeterminar la polaridad de los sentimientosy la opinion. Por ejemplo, Vilares, Alonso,y Gomez-Rodrıguez (2015) demostraron quetener en cuenta la estructura sintactica deltexto para el tratamiento de la negacion, dela intensificacion y de las oraciones subordi-nadas mejora con respecto a los sistemas pu-ramente lexicos. Por otro lado, Jimenez-Zafraet al. (2017) desarrollaron un sistema basadoen reglas de deteccion de las claves de nega-cion y su alcance para mejorar la clasificacionde tweets en espanol. La evaluacion de esteenfoque en el corpus TASS (Villena-Roman

35

Proceedings of NEGES 2018: Workshop on Negation in Spanish, pages 35-41 Seville, Spain, September, 18, 2018

et al., 2013) mostro como introducir la detec-cion de la negacion en un sistema de analisisde sentimientos aumenta considerablementesu precision.

En un trabajo mas reciente, Jimenez-Zafraet al. (2018a) llevaron a cabo varios experi-mentos orientados a la clasificacion de opi-niones en los que se combinaban diferentesaspectos de la informacion de la negacion ydistintos algoritmos de aprendizaje automati-co. La coleccion de documentos utilizada eneste caso fue el SFU ReviewSP-NEG corpus,anotado con claves de negacion, su alcance yla forma en que la negacion afecta a la pola-ridad de las palabras de su ambito (inversion,no efecto, incremento o reduccion) (Jimenez-Zafra et al., 2018b). Los resultados obtenidosdemostraron que considerar la negacion me-jora el rendimiento de la tarea de clasificacionde sentimientos.

A pesar de que, como demuestran los tra-bajos descritos anteriormente, el campo de ladeteccion de la negacion en espanol es un areamuy activa en los ultimos anos, son necesariosmas esfuerzos que permitan avanzar en estearea. Por ello, la tarea 2 del taller NEGES2018 se propuso con el objetivo de promoverel desarrollo y la evaluacion de los sistemasde identificacion de claves de negacion en es-panol en el area del analisis de opiniones.

El resto del documento esta organizado dela siguiente manera. La tarea propuesta sedescribe en la Seccion 2 y el corpus en laSeccion 3. Los sistemas participantes y susresultados se resumen en la Seccion 4. Losenfoques utilizados por los sistemas partici-pantes se describen en la Seccion 5, ası comoel analisis de los resultados. Finalmente, laSeccion 6 concluye el documento.

2 Descripcion de la tarea

Como se ha especificado en la introduccion,la tarea 2 del taller NEGES 20181 estuvo de-dicada a la deteccion automatica de las clavesde negacion en espanol en el dominio de lasopiniones.

Por ejemplo, en la frase (1) los sistemastenıan que identificar la palabra no comoclave de negacion.

(1) Yo [no] recomiendo el libro.

1http://www.sepln.org/workshops/neges/index.php

Los sistemas participantes recibieron unconjunto de datos de entrenamiento y desa-rrollo para construir sus sistemas durante lafase de entrenamiento. Todas las claves denegacion utilizadas para las fases de entrena-miento, desarrollo y test se generaron a travesde una exhaustiva anotacion manual por ex-pertos del dominio, siguiendo unas guıas deanotacion bien definidas (Jimenez-Zafra etal., 2018b). En una etapa posterior, se pusodisponible un conjunto de test para el que losparticipantes enviaron sus predicciones quefueron evaluadas frente a las anotaciones ma-nuales.

2.1 Metricas de evaluacion

El script de evaluacion fue el propuesto en el*SEM 2012 Shared Task - Resolving the Sco-pe and Focus of Negation (Morante y Blanco,2012) y se basa en los siguientes criterios:

Los signos de puntuacion son ignorados.

Un verdadero positivo (VP) requiere quetodos los elementos de la clave de nega-cion sean identificados correctamente.

Para evaluar las claves, las coincidenciasparciales no se cuentan como falso positi-vo (FP), solo como falso negativo (FN)con el objetivo de evitar penalizar masla identificacion parcial de las claves denegacion que la no identificacion de lasmismas.

Se utilizaron las medidas estandar de eva-luacion de precision (P), cobertura (C) yMedida-F donde:

P =V P

V P + FP(1)

C =V P

V P + FN(2)

Medida− F =2 ∗ P ∗RP + R

(3)

En la evaluacion propuesta, se cuenta co-mo FN aquellas claves incorrectamente iden-tificadas por el sistema, ya sea porque la coin-cidencia es parcial o porque directamente nohayan sido identificadas como claves de nega-cion. Se considera FP aquellas palabras iden-tificadas incorrectamente como claves de ne-gacion. Finalmente, se cuenta como VP aque-llas claves de negacion correctamente identi-ficadas por el sistema (esto es, coincidenciaexacta).

36

Entrenamiento Desarrollo Test

Comentarios 264 (130-, 134+) 56 (34-, 22+) 80(36-, 44+)Neg 2.511 594 836

Noneg 104 22 55Contrast 100 23 52

Comp 18 6 6

Tabla 1: Distribucion de comentarios y claves de negacion en la coleccion de datos

3 Colecciones de datos

El corpus SFU ReviewSP-NEG (Jimenez-Zafra et al., 2018b) fue la coleccion de docu-mentos utilizada para entrenar y probar lossistemas.

Los conjuntos de entrenamiento, desarro-llo y test fueron generados de forma aleatoriamanteniendo 33 comentarios por dominio enel entrenamiento, 7 por dominio en el desa-rrollo y 10 por dominio en el test. Las clavesde negacion se corresponden con las estruc-turas neg y las que no niegan con las demasestructuras (noneg, contrast, comp). En total,221.866 palabras y 9.455 frases, de las cuales,3.022 frases contienen al menos una estructu-ra de negacion. En la Tabla 1 puede verse ladistribucion de comentarios y claves.

Los datos se proporcionaron en forma-to CoNLL (Farkas et al., 2010) donde cadalınea corresponde a un token, cada anotacionse proporciona en una columna y las lıneasvacıas indican el final de la frase. El conteni-do de las columnas dadas es:

Columna 1: dominio y nombre del archi-vo separados por barra baja.

Columna 2: numero de oracion dentrodel archivo.

Columna 3: numero de token dentro dela oracion.

Columna 4: palabra.

Columna 5: lema.

Columna 6: categorıa gramatical.

Columna 7: tipo de categorıa gramatical.

Los sistemas tuvieron que generar un ar-chivo por dominio con el contenido de las 7columnas anteriores mas las siguientes colum-nas (los archivos debıan tener el mismo or-den de oraciones y tokens que los archivos detest):

Columnas 8 hasta el final: Si la oracionno tiene negaciones, la columna 8 tieneun valor *** y no hay mas columnas.Si la oracion tiene negaciones, la anota-cion para cada negacion se proporcionaen tres columnas. La primera columnacontiene la palabra que pertenece a laclave de negacion y la segunda y terceracolumnas contienen -.

3.1 Anotacion de claves denegacion en el SFUReviewSP-NEG corpus

El SFU ReviewSP-NEG corpus2 consiste en400 resenas de coches, hoteles, lavadoras, li-bros, telefonos moviles, musica, ordenadoresy pelıculas extraıdas del sitio web ciao.es. Ca-da dominio contiene 25 revisiones positivas y25 negativas. La anotacion se llevo a cabo anivel de token para el lema y la categorıa gra-matical y a nivel de frase para las claves denegacion, su alcance linguıstico y el evento.

Las etiquetas utilizadas para la anotacionde la negacion son las siguientes:

<review polarity=“positive/negative”>.Describe la polaridad de la revision, quepuede ser positiva o negativa.

<sentence complex=“yes/no”>. Estaetiqueta corresponde a una frase com-pleta o fragmento de la misma en la quepueda aparecer una estructura negativa.Las frases sin claves negativas no sonanotadas. Esta etiqueta lleva asociadoun atributo que puede tomar los siguien-tes valores:

• “yes”, si la frase contiene masde una estructura negativa(<neg structure>).

• “no”, si la frase contiene solo unaestructura negativa.

2http://sinai.ujaen.es/sfu-review-sp-neg-2/

37

<neg structure>. Esta etiquta corres-ponde con una estructura sintactica en laque aparece una clave de negacion. Tie-ne 4 atributos posibles, dos de los cuales(change y polarity modifier son mutua-mente excluyentes).

• polarity: indica la orientacionsemantica de la estrucutra denegacion (“positive”, “negative” or“neutral”).

• change: indica si la orientacion osignificado de la estructura de ne-gacion se ha modificado completa-mente a causa de la negacion (chan-ge=“yes” o change=“no”).

• polarity modifier: indica si la estruc-tura negativa contiene un elementoque matiza su polaridad. Si hay unincremento en la intensidad del va-lor de polaridad, toma el valor “in-crement” y, en cambio, si hay unadisminucion del valor de polaridad,toma el valor “reduction”.

• value: muestra el significado de laestructura de negacion, esto es,“neg” si expresa negacion, “con-trast” si expresa contraste u opo-sicion, “comp” si expresa compara-cion o desigualdad entre terminos y“noneg” si no niega pese a conteneruna clave de negacion.

<scope>. Esta etiqueta delimita la partede la estructura negativa que esta dentrodel alcance de la negacion. Incluye tantola clave de negacion (<negexp>) como elevento (<event>).

<negexp>. Esta etiqueta se correspon-de con la(s) palabra(s) que indica(n) ne-gacion. Puede tener asociado el atributodiscid si la negacion esta expresada pormas de un elemento negativo disconti-nuo.

<event>. Denota las palabras que estanafectadas directamente por la negacion.

4 Trabajos presentados yresultados

Dos sistemas participaron en esta tarea (Fa-bregat, Martınez-Romo, y Araujo, 2018;Loharja, Padro, y Turmo, 2018). No obstan-te, hubo participantes que mostraron interes

en la tarea y expresaron que no participa-ron debido a la falta de tiempo. Los resulta-dos oficiales se muestran en las Tablas 2, 3 y4, evaluados en terminos de Precision (Prec),Cobertura (Cob) y Medida F (F).

Equipo Prec Cob F

UNED 79,45 59,58 67,97UPC 91,48 82,18 86,45

Tabla 2: Resultados oficiales globales

Si comparamos los resultados globales dela Tabla 2, vemos como la precision de ambossistemas fue similar. Sin embargo, el nivel decobertura que presento el sistema desarrolla-do por el equipo de la UNED fue bajo, lo queprovoco la caıda de la medida-F. No obstante,hay que tener en cuenta que hubo un error alenviar los datos y el sistema no pudo ser eva-luado sobre la subcoleccion de ordenadores,por lo que los resultados globales deben serinterpretados con precaucion. El mejor resul-tado lo obtuvo el equipo de la UPC con unamedida-F del 86,25 %.

Dominio Prec Cob F

Coches 94,23 72,06 81,67Hoteles 97,67 71,19 82,35

Lavadoras 92,00 66,67 77,31Libros 79,52 66,27 72,29

Telefonos moviles 93,33 73,68 82,35Musica 92,59 57,47 70,92

Ordenadores - - -Pelıculas 86,26 69,33 76,87

Tabla 3: Resultados oficiales por dominio pa-ra el equipo de la UNED

Dominio Prec Cob F

Coches 95,08 85,29 89,92Hoteles 94,00 79,66 86,24

Lavadoras 94,74 78,26 85,72Libros 84,19 84,52 84,35

Telefonos moviles 89,80 77,19 83,02Musica 92,96 75,86 83,54

Ordenadores 91,36 91,36 91,36Pelıculas 89,68 85,28 87,42

Tabla 4: Resultados oficiales por dominio pa-ra el equipo de la UPC

38

Si analizamos los datos por dominio enlas Tablas 3 y 4, hay subcolecciones comola de libros y moviles en la que ambos sis-temas obtuvieron peores resultados en com-paracion con el resto de subcolecciones. Elsistema desarrollado por la UNED obtuvo elmayor rendimiento en las subcolecciones demoviles y hoteles, mientras que el sistema dela UPC mostro una mejor deteccion de lasclaves de negacion en la subcoleccion de or-denadores, en concreto, obtuvo una medida-Fde 91,36 %.

5 Enfoques

Remitimos al lector a los artıculos de losparticipantes (Fabregat, Martınez-Romo, yAraujo, 2018; Loharja, Padro, y Turmo,2018) para obtener una descripcion completade los sistemas. En la seccion anterior puedeverse el rendimiento, tanto global como pordomino, de cada uno de estos sistemas.

Ambas propuestas utilizaron el esquemaestandar de etiquetado BIO donde la prime-ra palabra de una estructura de negacion dedenota por B y las restantes por I. La etique-ta O indica que la palabra no se correspondecon una clave de negacion.

El equipo de la UNED (Fabregat,Martınez-Romo, y Araujo, 2018) aplico unmodelo de aprendizaje profundo inspirado enlas arquitecturas del reconocimiento de en-tidades nombradas y en modelos de detec-cion del ambito de la negacion. En concreto,la propuesta esta basada en el uso de variasredes neuronales junto a una LSTM (LongShort-Term Memory) bidireccional. Este en-foque supervisado se basa en word embed-dings preentrenados para el espanol. Por suparte, el equipo de la UPC (Loharja, Padro, yTurmo, 2018) utilizo el algoritmo de aprendi-zaje automatico Conditional Random Fields(CRFs) junto a una serie de atributos como lacategorıa gramatical de la palabra, informa-cion sobre como estan escritas las palabras,etc.

Los recursos utilizados por los participan-tes son diversos. El equipo de la UNED hizouso de la librerıas Keras (Chollet, 2015) yTensorFlow (Abadi et al., 2016), ademas deword embeddings preentrenados para el es-panol (Cardellino, 2016), y el equipo de laUPC utilizo NLTK (Loper y Bird, 2002).

6 Conclusiones

La tarea 2 del taller NEGES 2018 promovio eldesarrollo de sistemas de deteccion automati-ca de la negacion en espanol en el ambito delanalisis de sentimientos, una tarea clave dePLN. En concreto, se centro en la deteccionde las claves de negacion presentes en la co-leccion de documentos SFU ReviewSP-NEG.Hasta donde conocemos, se trato de la pri-mera tarea orientada a detectar la negacionen espanol, de ahı la relevancia del taller. 2fueron los sistemas presentados pero variosequipos mostraron su interes en la tarea, nopudiendo entregar sus propuestas a tiempo.Los participantes utilizaron enfoques super-visados basados en tecnicas de aprendizajeautomatico y aprendizaje profundo, mostran-do las primeras un mayor rendimiento.

En futuras ediciones del taller, las tareaspodrıan ir orientadas a detectar de forma au-tomatica las claves de negacion en espanol enotros dominios como el clınico. Ademas, sepodrıa incluir la deteccion del ambito o al-cance de dichas claves de negacion.

Agradecimientos

Este trabajo ha sido parcialmente financia-do por el Ministerio de Educacion, Cultura yDeporte (MECD - ayuda FPU014/00983), elFondo Europeo de Desarrollo Regional (FE-DER) y el proyecto REDES (TIN2015-65136-C2-1-R) del Gobierno de Espana. Roser Mo-rante ha sido financiada por la Organiza-cion Holandesa para la Investigacion Cientıfi-ca (NWO) a traves del premio Spinoza otor-gado a Piek Vossen (SPI 30-673, 2014-2019).

Bibliografıa

Abadi, M., P. Barham, J. Chen, Z. Chen,A. Davis, J. Dean, M. Devin, S. Ghema-wat, G. Irving, M. Isard, y others. 2016.Tensorflow: a system for large-scale machi-ne learning. En OSDI, volumen 16, pagi-nas 265–283.

Baker, K., M. Bloodgood, B. J. Dorr,C. Callison-Burch, N. W. Filardo, C. Piat-ko, L. Levin, y S. Miller. 2012. Moda-lity and negation in simt use of moda-lity and negation in semantically-informedsyntactic mt. Computational Linguistics,38(2):411–438.

Cardellino, C. 2016. Spanish billion wordscorpus and embeddings.

39

Chapman, W. W., W. Bridewell, P. Hanbury,G. F. Cooper, y B. G. Buchanan. 2001. Asimple algorithm for identifying negatedfindings and diseases in discharge summa-ries. Journal of biomedical informatics,34(5):301–310.

Chollet, F. 2015. Keras.

Costumero, R., F. Lopez, C. Gonzalo-Martın,M. Millan, y E. Menasalvas. 2014. Anapproach to detect negation on medicaldocuments in Spanish. En Internatio-nal Conference on Brain Informatics andHealth, paginas 366–375. Springer.

Cruz Dıaz, N. P., M. J. Mana Lopez, J. Ma-ta Vazquez, y V. Pachon Alvarez. 2012.A machine-learning approach to nega-tion and speculation detection in clini-cal texts. Journal of the American so-ciety for information science and techno-logy, 63(7):1398–1410.

Fabregat, H., J. Martınez-Romo, y L. Araujo.2018. Deep Learning Approach for Nega-tion Cues Detection in Spanish at NEGES2018. En Proceedings of NEGES 2018:Workshop on Negation in Spanish, volu-men 2174, paginas 43–48.

Farkas, R., V. Vincze, G. Mora, J. Csirik, yG. Szarvas. 2010. The CoNLL-2010 sha-red task: learning to detect hedges andtheir scope in natural language text. EnProceedings of the Fourteenth Conferen-ce on Computational Natural LanguageLearning—Shared Task, paginas 1–12. As-sociation for Computational Linguistics.

Jimenez-Zafra, S. M., M. T. Martın-Valdivia,M. D. Molina-Gonzalez, y L. A. Urena-Lopez. 2018a. Relevance of the SFUReview SP-NEG corpus annotated withthe scope of negation for supervised pola-rity classification in Spanish. InformationProcessing & Management, 54(2):240–251.

Jimenez-Zafra, S. M., M. Taule, M. T.Martın-Valdivia, L. A. Urena-Lopez, yM. A. Martı. 2018b. SFU Review SP-NEG: a Spanish corpus annotated withnegation for sentiment analysis. a typo-logy of negation patterns. Language Re-sources and Evaluation, 52(2):533–569.

Jimenez-Zafra, S. M., M. T. M. Valdivia,E. M. Camara, y L. A. Urena-Lopez.2017. Studying the Scope of Negation for

Spanish Sentiment Analysis on Twitter.IEEE Transactions on Affective Compu-ting.

Loharja, H., L. Padro, y J. Turmo. 2018.Negation Cues Detection Using CRF onSpanish Product Review Text at NEGES2018. En Proceedings of NEGES 2018:Workshop on Negation in Spanish, volu-men 2174, paginas 49–54.

Loper, E. y S. Bird. 2002. NLTK: The na-tural language toolkit. En Proceedingsof the ACL-02 Workshop on Effectivetools and methodologies for teaching natu-ral language processing and computationallinguistics-Volume 1, paginas 63–70. Asso-ciation for Computational Linguistics.

Morante, R. y E. Blanco. 2012. * SEM 2012shared task: Resolving the scope and focusof negation. En Proceedings of the FirstJoint Conference on Lexical and Compu-tational Semantics-Volume 1: Proceedingsof the main conference and the sharedtask, and Volume 2: Proceedings of theSixth International Workshop on Seman-tic Evaluation, paginas 265–274. Associa-tion for Computational Linguistics.

Morante, R. y C. Sporleder. 2012. Moda-lity and negation: An introduction to thespecial issue. Computational linguistics,38(2):223–260.

Savova, G. K., J. J. Masanz, P. V. Ogren,J. Zheng, S. Sohn, K. C. Kipper-Schuler,y C. G. Chute. 2010. Mayo clinical TextAnalysis and Knowledge Extraction Sys-tem (cTAKES): architecture, componentevaluation and applications. Journal ofthe American Medical Informatics Asso-ciation, 17(5):507–513.

Stricker, V., I. Iacobacci, y V. Cotik. 2015.Negated Findings Detection in RadiologyReports in Spanish: an Adaptation of Ne-gEx to Spanish. En IJCAI-Workshop onReplicability and Reproducibility in Natu-ral Language Processing: adaptative met-hods, resources and software, Buenos Ai-res, Argentina.

Vilares, D., M. A. Alonso, y C. Gomez-Rodrıguez. 2015. A syntactic approachfor opinion mining on Spanish reviews.Natural Language Engineering, 21(1):139–163.

40

Villena-Roman, J., S. Lana-Serrano,E. Martınez-Camara, y J. C. Gonzalez-Cristobal. 2013. TASS-Workshop onSentiment Analysis at SEPLN. Procesa-miento del Lenguaje Natural, 50:37–44.

41