aplicacióndelasoniﬁcacióndeseñalescerebrales … · 2019-09-30 · i es el potencial entre el...

ARTÍCULO DE INVESTIGACIÓN REVISTA MEXICANA DE

INGENIERÍA BIOMÉDICAibVol. 36, No. 3, Sep-Dic 2015, pp. 235-250

dx.doi.org/10.17488/RMIB.36.3.8

Aplicación de la Sonificación de Señales Cerebralesen Clasificación Automática

E.F. González Castañeda, A.A. Torres-García, C.A. Reyes-García, L. Villaseñor-PinedaInstituto Nacional de Astrofísica Óptica y Electrónica (INAOE)

RESUMENEn años recientes la sonificación de electroencefalogramas (EEG) ha sido utilizada como una alternativa para analizarseñales cerebrales al convertir el EEG en audio. En este trabajo se aplica la sonificación a señales de EEG duranteel habla imaginada o habla no pronunciada, con el objetivo de mejorar la clasificación automática de 5 palabras delidioma español. Para comprobarlo, se procesó la señal cerebral de 27 sujetos sanos. Estas señales fueron sonificadaspara después extraer características con dos métodos diferentes: la transformada Wavelet discreta (DWT); y loscoeficientes cepstrales en la escala de Mel (MFCC). Éste último comúnmente utilizado en tareas de reconocimientode voz. Para clasificar las señales se aplicaron tres algoritmos distintos de clasificación Naive Bayes (NB), Máquinade vectores de soporte (SVM) y Random Forest (RF). Se obtuvieron resultados usando los 4 canales más cercanosa las áreas de lenguaje de Broca y Wernicke, así como también los 14 canales del dispositivo EEG utilizado. Losporcentajes de exactitud promedio para los 27 sujetos en los dos conjuntos de 4 y 14 canales usando sonificaciónde EEG fueron de 55.83% y 64.14% respectivamente, con lo que se logró mejorar ligeramente los porcentajes declasificación de las palabras imaginadas respecto a no utilizar sonificación.Palabras clave: sonificación, electroencefalogramas (EEG), habla imaginada, palabras no pronunciadas,clasificación automática.

Correspondencia:Erick GonzálezINAOE Luis Enrique Erro 1 Sta. María Tonantzintla, Puebla.Correo electrónico: [email protected]

Fecha de recepción:8 de mayo de 2015

Fecha de aceptación:11 de septiembre de 2015

dx.doi.org/10.17488/RMIB.36.3.8

236 Revista Mexicana de Ingeniería Biomédica · volumen 36 · número 3 · Sep-Dic, 2015

ABSTRACTIn recent years sonification of electroencephalograms (EEG) has been used as an alternative to analyze brain signalsafter converting EEG to audio. In this paper we applied the sonification to EEG signals during the imagined speechor unspoken speech, with the aim of improving the automatic classification of 5 words of Spanish. To check this, thebrain signals of 27 healthy subjects were processed. These sonificated signals were processed to extract features withtwo different methods: discrete wavelet transform (DWT); and the Mel-frequencies cepstral coefficients (MFCC).The latter commonly used in speech recognition tasks. To classify the signals three different classification algorithmsNaive Bayes (NB), Support Vector Machine (SVM) and Random Forest (RF) were applied. Results were obtainedusing the 4 channels closest to the language areas of Broca and Wernicke, as well as the 14 channels of the EEGdevice used. The percentages of average accuracy for the 27 subjects in the two sets of 4 and 14 channels using EEGsonification were 55.83% and 64.14% respectively, which are improvements in the classification rates of the imaginedwords compared with a scheme without sonification.Keywords: sonification, electroencephalograms (EEG), unspoken speech, unspoken words, classification.

INTRODUCCIÓN

La sonificación de EEG es el uso de cualquiermétodo de sonificación para transformar lalectura de ondas cerebrales a sonidos conel objetivo de facilitar su análisis. Lasonificación de EEG permite, en general,distribuir la información en un amplio rangode frecuencias audibles. La sonificación deEEG ha sido utilizada para fines diversos:el estudio de la distribución espacial dela actividad cerebral [1], el análisis dela coherencia del sonido con la actividadcerebral de la banda alfa [2], la asistencia enrehabilitación [3] e incluso en la creación decomposiciones musicales [4].

Diversos investigadores han desarrolladotrabajos relacionados con las técnicas yaplicaciones de la sonificación de EEG.Thomas Hermann y sus colaboradoreshan demostrado las ventajas y desventajasde la sonificación de EEG [5]. Dichosinvestigadores han presentado métodosde sonificación de EEG para mostrarla correspondencia entre las actividadesneurales y cognitivas, como por ejemplo

con el método de sonificación por matrizde distancias entre filas de electrodos [6].También han propuesto los métodos desonificación basada en eventos [7], y elmétodo de sonificación de EEG Vocal [8], loscuales han servido para analizar a pacientescon epilepsia.

Antecedentes

Los audios de un EEG sonificado hansido utilizados para ayudar en la toma dedecisiones en los diagnósticos médicos, porejemplo el diagnóstico de la enfermedadneurológica de Alzheimer.

En [9], los audios se generan a partirde electroencefalogramas (EEG) de sujetossanos y sujetos con etapa temprana dela enfermedad de Alzheimer. En estetrabajo se aplicó una técnica de sonificaciónde EEG para hacer clasificación entrelas distintas condiciones de los pacientes.En una primera fase, la clasificación fuerealizada manualmente por personas noespecializadas, al percibir la diferencia enla retroalimentación audible del EEG de lospacientes con Alzheimer contra los audios de

González-Castañeda y cols. Aplicación de la sonificación de señales cerebrales en clasificación automática 237

pacientes saludables. En esta investigación selograron reconocer las diferencias escuchandola sonificación de los sujetos sanos y lossujetos enfermos con un 95% de exactitud.En una segunda fase, se aplicó un métodode clasificación automática mediante análisisdiscriminante lineal (LDA) para clasificar losmismos datos y compararlos con los obtenidospor los voluntarios, con lo que se obtuvo unaexactitud promedio del 90%.

Dicho trabajo obtuvo resultadosexcelentes en la clasificación subjetiva yautomática, lo que motivó nuestro interésen comprobar si al aplicar una técnicade sonificación de EEG se puede mejorarla clasificación automática en las señalescerebrales para la tarea de habla imaginada.Algunos antecedentes en la clasificación deseñales EEG de palabras no pronunciadasson los trabajos reportados en [10, 11, 12].Esta tarea de clasificación ha sido afrontadacon distintos enfoques, donde por ejemplo enel trabajo [10] se buscó clasificar 5 palabrasno pronunciadas del idioma inglés usandométodos de reconocimiento de voz pero sobreel EEG sin sonificar, aun cuando las señalesde EEG poseen un espectro de frecuenciasmenor al de una señal de audio.

De acuerdo con lo anterior, en estainvestigación se aplicó un método deaprendizaje automático para evaluar si lasonificación de la señal de EEG puede apoyara mejorar los resultados de clasificaciónde palabras no pronunciadas. Este es elprincipal objetivo tanto de este trabajo comode nuestros trabajos previos (véase [13]).No obstante, el presente trabajo extiendela experimentación al evaluar la aplicaciónde técnicas de extracción de característicascomúnmente utilizadas para reconocimientode voz; además de usar información de unmayor número de canales (14 canales).

METODOLOGÍA

En la presente investigación se siguieronlas etapas mostradas en la figura 1. Secomenzó con una base de datos de palabras

no pronunciadas, después en el montajede referencia de la señal cerebral se aplicóla referencia promedio común. Luego lasseñales se sonificaron usando el método desonificación de EEG a tonos [14]. Despuésse aplicaron los métodos para extraer lascaracterísticas de los audios resultantes dela sonificación, en este caso la transformadaWavelet discreta (DWT) y los coeficientescepstrales en la escala de Mel (MFCC).Posteriormente se procedió a clasificar losvectores de características de las 5 palabrasusando Naive Bayes, SVM y Random Forest.

Adquisición de la señal cerebral

La base de datos de señales cerebralesutilizada fue la misma que se adquirióen el trabajo [15], la cual cuenta conlos registros de 27 sujetos durante lapronunciación imaginada de 5 palabras delidioma español (arriba, abajo, derecha,izquierda, seleccionar). Estas señales fueronregistradas utilizando el dispositivo de EEGEpoc de la compañía Emotiv, este dispositivocuenta con 14 electrodos de lectura los cualesposeen una frecuencia de muestreo de 128 Hz.En la figura 2 se muestra la distribución delos electrodos en el dispositivo de EEG.

En la sesión de registro de señales cadasujeto imaginó la pronunciación de cada unade las palabras 33 veces, delimitando laseñal de interés mediante clics. Los registrosfueron obtenidos en el Instituto Nacional deAstrofísica, Óptica y Electrónica (INAOE),en un sala libre de distracciones y ruidoexterno audible, esto para evitar que la señalcerebral tuviera información no deseada quepudiera afectar el proceso de clasificación.

Montaje de referencia

Las señales de EEG obtenidas fueronprocesadas con el método de referenciapromedio común (CAR) (tal como se aplicóen otros trabajos sobre habla imaginada[16, 17, 12]). Este montaje mejora larelación señal a ruido de la señal de EEG.


Figura 1. Metodología seguida para la clasificación de palabras no pronunciadas usando sonificación deEEG.

Figura 2. Localización de los electrodos en el dispositivo EPOC de Emotiv. Se resaltan en naranja los4 electrodos seleccionados para representar las áreas que se activan durante el procesamiento de lenguajesegún el modelo Geschwind-Wernicke.

La referencia promedio común busca quitarla información que es común en todas laslecturas simultáneas de los electrodos [18].La CAR puede ser calculada mediante laresta del potencial entre cada electrodo y lareferencia (el potencial promedio de todos loscanales), se repite esto para cada instante detiempo, tal como se muestra en la siguientefórmula:

V CARi = V ER

i − 1n

n∑j=1

V ERj (1)

donde V ERi es el potencial entre el i-ésimo

electrodo y la referencia, y n es el número deelectrodos en el montaje [12].

Sonificación de EEG

En el presente trabajo se utilizó la técnicade Sonificación EEG to tones (EEG a tonos)[14]. Este método genera audios basadosen tonos (ondas sinusoidales con frecuenciaaudible) mediante la elección de amplitudesdominantes en las frecuencias de la señalcerebral. El pseudocódigo que explica elmétodo de sonificación de EEG utilizado esmostrado en el algoritmo 1. A continuaciónse describe el proceso.

El algoritmo de sonificación EEG a tonos,toma de entrada una señal de EEG de uncanal. Luego se crea un espectrograma dela señal de EEG, con el que se obtienen lasamplitudes en cada frecuencia de la señal deEEG para cada segmento de tiempo.

Las amplitudes del espectrogramaobtenido se re-escalan respecto a la máxima


Figura 3. A la izquierda se muestra el espectrograma de una repetición de la palabra arriba. A laderecha el audio resultante de la sonificación de EEG con distinta duración de tono y distinto número detonos.

Figura 4. Espectrogramas del resultado de la sonificación de EEG correspondientes a utilizar 4 tonos(izquierda) y 14 tonos (derecha). En el audio con 14 tonos los picos de amplitud tienen mayor separaciónen el eje de frecuencias respecto al audio con 4 tonos, cuyas amplitudes se concentran en las bajasfrecuencias.

amplitud la cual pasa a representar el 100%.Las amplitudes escaladas del espectrogramase ordenan de manera descendente y se tomanlas de mayor valor. El número de amplitudesa tomar es el establecido por el parámetrode número de tonos a representar en el audio.Con lo anterior se crean vectores de frecuenciadominantes por cada segmento de tiempo.

A continuación se establece qué tono lecorresponde a cada vector de frecuenciasdominantes del espectrograma. Para ellose establecen las frecuencias mínima ymáxima a representar en el archivo de audio.Luego a partir de ese rango se distribuyenproporcionalmente los tonos respecto al rangode frecuencias de la señal de EEG.

Por último, se forma el audio desalida. Para ello se recorre cada ventana

del espectrograma y se verifica si existenfrecuencias dominantes. De ser así, seasignan los tonos correspondientes conla duración previamente establecida ensegundos. En otras palabras, se suman lasseñales sinusoidales de los tonos para cadasegmento de tiempo.

En la figura 3 se muestra un ejemplo delresultado de la ejecución del algoritmo condos configuraciones distintas, en el cual semuestra que al aplicar la sonificación de EEGpodemos expandir o contraer la señal a partirde la modificación del parámetro de entradade duración de tonos. Para escuchar ejemplosde la sonificacion de EEG visitar la página 1.

La señal de audio generada ahora poseeotras características en la distribución delas frecuencias como se puede apreciar en

1Ejemplos de sonificación de EEG, goo.gl/NdNMft, Laboratorio de procesamiento de bioseñales y computaciónmédica, INAOE, 2014

240 Revista Mexicana de Ingeniería Biomédica · volumen 36 · número 3 · Sep-Dic, 20156 Revista Mexicana de Ingeniería Biomédica

Algoritmo 1 Sonificación de EEG a tonosEntradas: eeg //señal de EEG de un canalfs //Frec. de muestreo EEG ntn //Número de tonosfl //Frec. mínima en EEG fh //Frec. máxima en EEGw //Longitud de ventana sf //Traslape de ventanadur //Duración de los tonos fla //Frec. mínima del audiofha //Frec. máxima del audio fsa //Frec. de muestreo del audioSalida: audio //Sonificación de la señal de EEG

//Obtener matriz de espectrograma del EEGspec = espectrograma(eeg, w, sf , fl, fh, fs)for c = 1 hasta columnas(spec) do

//Escalar amplitudes respecto a la máxima amplitudfor r = 1 hasta renglones(spec) dospecr,c = specr,c/ amplitudMax(spec)

end for//Ordenar amplitudes descendentementeord:,c = ordendesc(spec:,c)//Tomar las frec. de mayor amplitud por columnafda:,c = ord1:ntn,c

//Escalar frecuencias únicas de fda a un tono audiblefor r = 1 hasta renglones(fda) doif unica(fdar,c) thenftn = [(fdar,c − fl)/(fh− fl)] ∗ (fha− fla) + flatnfdar,c

= sin(2π/((fsa ∗ ftni) ∗ (fsa ∗ dur)))end if

end forend for//Crear audio con la suma de las señales en tonosfor c = 1 hasta columnas(fda) dofor r = 1 hasta renglones(fda) dosumtn = sumtn+ tnfdar,c

end foraudio = audio+ sumtn

end forreturn audio


el espectrograma calculado a partir de lasseñales de audio. En los espectrogramasde la figura 4, se aprecia el impacto quetiene la cantidad de tonos en el audio desalida, pues para la sonificación con 4 tonoslas frecuencias dominantes estarán con pocaseparación, mientras que con 14 tonos lasfrecuencias están mejor distribuidas.

Extracción de características

Después de aplicar el proceso de sonificaciónde EEG a las palabras no pronunciadas,la siguiente etapa es buscar la manera deextraer características de la señal de audiocon el objetivo de que un clasificador puedadiscriminar entre clases.

DWT y energía relativa

La transformada wavelet discreta (DWT, porsu siglas en inglés), es una técnica que permitemodelar las variaciones de las señales de EEGen el dominio tiempo-escala [19]

Una vez aplicada la DWT sobre la señalse obtienen coeficientes de aproximación y dedetalle, desde los cuales es posible calcular laenergía relativa wavelet. La energía relativawavelet (RWE) representa la energía quealgún nivel de descomposición aporta al totalde la energía wavelet de la señal. La energíarelativa provee información para caracterizarla distribución de energía de la señal endiferentes bandas de frecuencia, con lo quese obtiene independencia del tamaño de laventana de señal de EEG o de audio, segúnsea el caso. En este trabajo se aplicó la RWEtal como se explica en [12].

Para N niveles de descomposición, laenergía relativa wavelet para el nivel dedescomposición j se define como:

RWEj = Ej

Etotal; Para j = 1, . . . , N + 1; (2)

Donde Ej representa la energía en el j-ésimonivel de descomposición, la cual se definecomo:

Para i = 1, . . . , N + 1.

Ej =

∑k

|detallej,k|2; Si j <= N ;∑k

|aproxk|2; en caso contrario.(3)

Por su parte Etotal representa la energía totalde los coeficientes wavelet: Etotal

N+1∑j=1

Ej.

A partir de la descripción anterior, enlas señales de EEG no sonificadas, se aplicóla transformada wavelet usando una waveletde la familia Daubechies. Cada ventana dehabla imaginada se representó mediante unconjunto de 5 valores de energía wavelet, 4de los niveles de descomposición y uno deaproximación (D2-D5 y A5) con respecto a laenergía wavelet total. Tal como se realizó en[12], el valor asociado con D1 es descartado.

Por otra parte, en las señales EEGsonificadas se usó la misma familia dewavelets y se determinó usar 7 valores querepresentan la energía wavelet en todos losniveles de descomposición y el último deaproximación (D1-D6 y A6).

En la figura 5 se muestran los nivelesde descomposición y detalle obtenidos dela transformada wavelet, donde cada nivelrepresenta un rango de frecuencias en la señalde EEG o de audio. En la sonificación deEEG se aplicó la DWT usando una waveletde diferente orden y con diferentes nivelesde descomposición para intentar adaptarlosal nuevo dominio y al diferente rango defrecuencias. Se aplicó de dicha forma debidoa que para la señal de EEG se calcularon losniveles a partir del rango de frecuencias de0 a 60 Hz, mientras que en la señal de EEGsonificado los niveles van de 50 a 5000 Hz.

MFCC y coeficientes Delta

Los coeficientes cepstrales en la escala deMel (Mel-frequency Cepstral Coefficients) soncaracterísticas espectrales que se calculandesde un análisis espectral en tiempo cortoderivado de la transformada rápida deFourier, comunmente se utilizan en señalesde audio. Estos coeficientes aproximan el


Figura 5. Descomposición en niveles de la transformada Wavelet de la señal de EEG (arriba) y la señalde EEG sonificado (abajo).

comportamiento de la señal al uso de la escalade frecuencia lineal.

En esta técnica se crea un espectrogramabasado en los parámetros de tamaño deventana y traslape entre ventanas. Luegoa partir del espectrograma se establecenfiltros en la escala de Mel por medio defunciones triangulares. A partir de lasfrecuencias filtradas el algoritmo obtienecoeficientes cepstrales que indican la energíaen las distintas bandas del espectro. Con loanterior se obtiene una matriz de coeficientescepstrales por cada segmento de tiempo.

Los coeficientes cepstrales totalesobtenidos son de gran dimension por lo que esconveniente hacer reducciones o representarlos valores con sus atributos estadísticos.En nuestro caso se optó por representarlos coeficientes con los siguientes atributosestadísticos: Valor máximo, valor mínimo,media y desviación estándar.

A partir de los coeficientes cepstrales, seimplementó un esquema para la extracciónde los cambios diferenciales entre segmentosde tiempo, para obtener los valores conocidoscomo valores delta. Además se extrajeronlos cambios diferenciales entre segmentosde valores delta, para obtener los valoresconocidos como valores doble delta. Paraobtener los valores delta se tiene queestablecer una ventana que indicará cuántasmuestras vecinas se tomarán para calcularlos cambios en el tiempo [20]. La ventanaes representada por coeficientes obtenidos deun tiempo anterior y de un tiempo posteriorde la muestra central. Estos coeficientes sedefinen como: C = {k, k − 1, k − 2, · · · ,−k}.Donde k es el tamaño de la ventana. Serepiten las muestra inicial y final k veces comoajuste. Después para calcular la derivada di

en el tiempo de cada muestra, se recorre elvector aplicando una operación filtro usandolos coeficientes calculados:

∆i = C1Xn + C2Xn−1 + . . . + C|C|Xn−|C| (4)

Donde Xn es la muestra en la posición final dela ventana. Una vez calculadas las derivadaspara cada muestra del vector, se divide cadavalor entre la suma de los cuadrados de loscoeficientes C.

∆Fi = ∆i∑|C|n=1 Cn

2 (5)

Al final se quitan las muestras de ajusteagregadas. Los valores delta representan aun segmento de MFCC por lo que tienenque ser representados igualmente en formade atributos estadísticos. Por otra parte,los valores doble delta se calculan con elmismo proceso que los coeficientes delta, perocon los coeficientes delta como vector deentrada y también son representados con susrespectivos atributos estadísticos.

Clasificación

En la etapa de clasificación de estetrabajo se emplearon dos configuracionesde experimentos con diferente número decanales. Un enfoque clasifica solo 4 canalescorrespondientes al modelo Geschwind-Wernicke correspondientes al hemisferioizquierdo en las áreas que involucran elprocesamiento del lenguaje. Los electrodosseleccionados se muestran en la figura 2.El otro enfoque buscará clasificar usandotodos los 14 canales disponibles, esto conla finalidad de evaluar si un conjuntomás amplio de canales permite obtener


Figura 6. Promedios de exactitud en la clasificación con distintas configuraciones de número de tonos(a) y de duración de los tonos (b).

Figura 7. Promedios de exactitud en la clasificación con distintas configuraciones de distinta frec. demuestreo en audios (a) y de rango de frecuencias en audios (b).

información adicional que ayude a mejorar losporcentajes de exaactitud en la clasificación.Cabe señalar que las características fueronobtenidas para cada canal del dispositivo deEEG, por lo que en la etapa de clasificaciónlas características (de los 4 ó 14 canales)fueron concatenadas en un solo archivo.

En este trabajo se evaluó el desempeño delos clasificadores: Naive Bayes (NB), SupportVector Machine (SVM) y Random Forest(RF). Se eligieron estos clasificadores paracomparar los resultados con el trabajo previo[12]. Cada clasificador se implementó bajoun enfoque de validación cruzada [21] el cualhace particiones sobre el conjunto de datos deentrada. En nuestro caso para mantener lascomparaciones de manera justa, se ejecutó lavalidación cruzada con 10 particiones bajo lamisma semilla para el generador aleatorio departiciones.

Naive Bayes

Naive Bayes es un clasificador probabilista,el cual es muy utilizado por ser sencillo yeficiente en muchos casos. Este clasificadorfunciona bajo la suposición de que lascaracterísticas en un conjunto de datos sonindependientes entre sí. Para clasificar una

instancia, se determinan las probabilidades decada valor de los atributos de esa instanciapara cada clase disponible. Después seaplica el teorema de Bayes para conocerla probabilidad que tiene la instancia depertenecer a una clase y se elige la clase conel valor de probabilidad más alto. NaiveBayes se describe con más detalle en [22]. Enel presente trabajo se utilizó el clasificadorNaive Bayes en su version tradicional.

SVM

SVM es un algoritmo de clasificación quebusca separar lo mejor posible las clasesde un conjunto de datos. Además la SVMtiene buenas propiedades de generalización,es insensible al sobre-entrenamiento ypuede tratar conjuntos de datos de grandimensionalidad. La SVM utiliza un hiper-plano para maximizar los margenes queforman las fronteras de cada clase y un kernelel cual puede modificar la forma en que elhiperplano realiza la separación de clases.(en [23] se describe SVM a detalle). En estainvestigación se aplicó un clasificador SVMque usa optimización mínima secuencial, bajolos siguientes parámetros: kernel tipo linealy un error de 1.0E−12.


Figura 8. Promedios de exactitud en la clasificación con distintas muestras por ventana (a) y distintasmuestras de traslape entre ventanas (b).

Random Forest

Random Forest es un algoritmo deaprendizaje basado en arboles de decisiónque puede clasificar en corto tiempo basesde datos que pueden tener ruido y unagran cantidad de atributos. RF es unacombinación de árboles predictores talque cada uno de los árboles dependede los valores de un vector aleatoriomuestreado independientemente y con lamisma distribución para todo los árboles enel bosque. Cada árbol arroja un único votopara la clase más popular para una entradadada, y al final la elección de la clase enRF se realiza usando voto mayoritario. En[24] se describe en detalle el algoritmo declasificación de RF incluyendo el procesopara construir los arboles individuales. Enla implementación de este clasificador seestablecieron los siguientes parámetros: elnúmero de árboles es 50 y el número deatributos considerados en cada nodo fueestablecido a log2(numeroCaracteristicas)+1.

RESULTADOS Y DISCUSIÓN

Configuración de parámetros delmétodo de Sonificación de EEG

Los procesos de sonificación de EEG, deextracción de características usando la DWTy de extracción de características usandoMFCC, requieren diversos parámetros delos cuales se desconocían sus efectos en laclasificación de audios provenientes de lasonificación de EEG. Para conocer dichosefectos, se ejecutaron diversas simulaciones

que permitieran obtener una tendencia enla variación de los porcentajes de exactitudpromedio al clasificar las palabras. Ennuestro caso se tomó un subconjunto de 3sujetos para poder efectuar las simulacionesen corto tiempo, sin buscar optimizar losparámetros para todos los sujetos, sino quesólo se buscó obtener valores cuya exactituden la clasificación fuera aproximada a lamejor. La clasificación fue realizada concaracterísticas extraídas aplicando la DWT yusando el clasificador RF, bajo un enfoquede validación cruzada con 10 particiones.Por ejemplo, el algoritmo de sonificaciónde EEG a tonos posee parámetros queafectan las características del audio quese genera, por lo que fue convenienteevaluar su comportamiento para seleccionarlos parámetros.

El número de tonos en el proceso desonificación indica el número de frecuenciasdominantes del espectrograma de EEG queestarán representadas en la señal de audioEEG (ver las figuras 3 y 4). El número detonos afecta también a cómo se percibe por eloído. Por ejemplo, un audio con pocos tonostendrá pocas variaciones en tipos de sonidoal escucharla y será más difícil encontrardetalles en una frecuencia en específico.

En la figura 6a se muestran los resultadosde clasificación de los sujetos usando distintacantidad de tonos en la señal de audio. Seobserva que cuando hay menos de 10 tonosaproximadamente en la señal de audio losresultados de clasificación son bajos respectoa cuando se eligen 10 o más. Además alusar 14 tonos se obtuvo el mejor promediode clasificación, esto nos indica que no


Tabla 1. Exactitud promedio en la clasificación con y sin sonificación de EEG en 4 canales

10 Revista Mexicana de Ingeniería Biomédica

Figura 8: Promedios de exactitud en la clasificación con distintas muestras por ventana (a) ydistintas muestras de traslape entre ventanas (b).

Tabla 1: Exactitud promedio en la clasificación con y sin sonificación de EEG en 4 canales

Clasificador/Enfoque NB SVM RF Atributos

DWT 37.84 ± 21.32 38.69 ± 14.85 48.10 ± 12.77 20Sonif. DWT 45.50 ± 18.89 48.17 ± 13.69 55.83 ± 11.45 28Sonif. MFCC 44.96 ± 21.60 52.08 ± 13.33 52.37 ± 12.21 368






Los procesos de sonificación de EEG, deextracción de características usando la DWT yde extracción de características usando MFCC,requieren diversos parámetros de los cualesse desconocían sus efectos en la clasificaciónde audios provenientes de la sonificación deEEG. Para conocer dichos efectos, se ejecutarondiversas simulaciones que permitieran obteneruna tendencia en la variación de los porcentajesde exactitud promedio al clasificar las palabras.En nuestro caso se tomó un subconjunto de3 sujetos para poder efectuar las simulacionesen corto tiempo, sin buscar optimizar losparámetros para todos los sujetos, sino quesólo se buscó obtener valores cuya exactituden la clasificación fuera aproximada a la mejor.La clasificación fue realizada con característicasextraídas aplicando la DWT y usando elclasificador RF, bajo un enfoque de validacióncruzada con 10 particiones. Por ejemplo, elalgoritmo de sonificación de EEG a tonos posee

parámetros que afectan las características delaudio que se genera, por lo que fue convenienteevaluar su comportamiento para seleccionar losparámetros.

El número de tonos en el proceso desonificación indica el número de frecuenciasdominantes del espectrograma de EEG queestarán representadas en la señal de audio EEG(ver las figuras 3 y 4). El número de tonos afectatambién a cómo se percibe por el oído. Porejemplo, un audio con pocos tonos tendrá pocasvariaciones en tipos de sonido al escucharla y serámás difícil encontrar detalles en una frecuenciaen específico.

En la figura 6a se muestran los resultadosde clasificación de los sujetos usando distintacantidad de tonos en la señal de audio. Seobserva que cuando hay menos de 10 tonosaproximadamente en la señal de audio losresultados de clasificación son bajos respectoa cuando se eligen 10 o más. Además alusar 14 tonos se obtuvo el mejor promediode clasificación, esto nos indica que nonecesariamente una sonificación de EEG congran cantidad de tonos obtiene los mejores

Tabla 2. Exactitud promedio en la clasificación con y sin sonificación de EEG en 14 canales


Figura 8: Promedios de exactitud en la clasificación con distintas muestras por ventana (a) ydistintas muestras de traslape entre ventanas (b).









Los procesos de sonificación de EEG, deextracción de características usando la DWT yde extracción de características usando MFCC,requieren diversos parámetros de los cualesse desconocían sus efectos en la clasificaciónde audios provenientes de la sonificación deEEG. Para conocer dichos efectos, se ejecutarondiversas simulaciones que permitieran obteneruna tendencia en la variación de los porcentajesde exactitud promedio al clasificar las palabras.En nuestro caso se tomó un subconjunto de3 sujetos para poder efectuar las simulacionesen corto tiempo, sin buscar optimizar losparámetros para todos los sujetos, sino quesólo se buscó obtener valores cuya exactituden la clasificación fuera aproximada a la mejor.La clasificación fue realizada con característicasextraídas aplicando la DWT y usando elclasificador RF, bajo un enfoque de validacióncruzada con 10 particiones. Por ejemplo, elalgoritmo de sonificación de EEG a tonos posee

parámetros que afectan las características delaudio que se genera, por lo que fue convenienteevaluar su comportamiento para seleccionar losparámetros.

El número de tonos en el proceso desonificación indica el número de frecuenciasdominantes del espectrograma de EEG queestarán representadas en la señal de audio EEG(ver las figuras 3 y 4). El número de tonos afectatambién a cómo se percibe por el oído. Porejemplo, un audio con pocos tonos tendrá pocasvariaciones en tipos de sonido al escucharla y serámás difícil encontrar detalles en una frecuenciaen específico.

En la figura 6a se muestran los resultadosde clasificación de los sujetos usando distintacantidad de tonos en la señal de audio. Seobserva que cuando hay menos de 10 tonosaproximadamente en la señal de audio losresultados de clasificación son bajos respectoa cuando se eligen 10 o más. Además alusar 14 tonos se obtuvo el mejor promediode clasificación, esto nos indica que nonecesariamente una sonificación de EEG congran cantidad de tonos obtiene los mejores

necesariamente una sonificación de EEG congran cantidad de tonos obtiene los mejoresresultados de clasificación.

En la figura 6b se muestra que unaduración de tonos baja no ayuda al procesode clasificación, mientras que conforme seva aumentando la duración, la exactitudtambién aumenta.

En la figura 7a se muestra que parafrecuencias de 8 KHz en adelante la exactitudde los promedios de clasificación aumentaen pequeñas cantidades, aunque cabe señalarque tanto la duración de los tonos, como lafrecuencia de muestreo en los audios afectadirectamente al tamaño del archivo de audioalmacenado, por lo que su incremento tieneun alto costo.

En la figura 7b se muestran los resultadosde clasificación variando el tamaño del rangode frecuencias, estableciendo un mínimo de 50Hz y máximos de 1 KHz hasta 16 KHz, dondelos rangos entre 3 KHz y 8 KHz obtienen losmejores resultados.

El tamaño de las ventanas para crear elespectrograma influye en el detalle de loscambios capturados en el tiempo de la señal.En la figura 8a se muestra que con unaventana formada por 26 muestras se obtieneel mejor porcentaje de clasificación de lassimulaciones realizadas. El traslape entreventanas influye en la longitud y detalle delos cambios capturados por el espectrograma.En la figura 8b se muestran los resultados de

variar el traslape entre ventanas manteniendoel tamaño de ventana en 26. Se muestraque cuando existe el mínimo traslape entreventanas se obtiene el mejor resultado declasificación.

Resumen de configuraciones utilizadas

Después de efectuar simulaciones como lasmencionadas anteriormente se obtuvieron lasconfiguraciones con las cuales se realizaronlos experimentos finales. Las configuracionesde parámetros utilizadas son descritas acontinuación:

• Sonificación de EEG a tonos: Númerode tonos = 14, frecuencia mínima dela señal de EEG = 1 Hz, frecuenciamáxima de la señal de EEG = 60 Hz,tamaño de la ventana del espectrograma= 26 muestras, traslape entre ventanasdel espectrograma = 1, duración de lostonos = 0.6 seg., frecuencia mínima delaudio = 50 Hz, frecuencia máxima delaudio = 5000 Hz, frecuencia de muestreodel audio = 8000 Hz.

• Extracción de características usandoDWT en EEG: Wavelet madredaubechies orden 2, niveles dedescomposición = 5.

• Extracción de características usandoDWT en EEG sonificado: Wavelet


madre daubechies orden 20, niveles dedescomposición = 6.

• Extracción de características usandoMFCC en EEG sonificado: Duraciónde la ventana = 20 ms, duracióndel traslape entre ventanas = 10 ms,frecuencia inferior = 50 Hz, frecuenciasuperior = 5000 Hz, coeficientescepstrales = 23. Valores deltacon ventana = 2 y valores dobledelta con ventana = 1. Atributosestadísticos: Máximo, mínimo, media,desv. estándar. Al final solo toman los23 coeficientes de los valores doble delta.

Experimento de clasificación para los27 sujetos

Después de extraer las caracterísitcas de losaudios se procedió a clasificar las palabrasimaginadas de los 27 sujetos. Luego deobtener los resultados de la clasificación, seprocedió a realizar una comparación entrelos resultados de aplicar la sonificación deEEG y no aplicarla. En las tablas 1 y 2se muestran los resultados de clasificaciónpromedio obtenidos para los 27 sujetos, asícomo los resultados reportados al no utilizarsonificación de EEG.

Analizando las tablas se observa queel enfoque de extracción de característicasde los audios con DWT obtuvo el mejordesempeño al usar 4 canales clasificandocon RF. Mientras que para 14 canalesel enfoque de extracción de característicascon MFCC logra los mejores porcentajesde clasificación clasificando con SVM. Losenfoques propuestos incluyendo sonificaciónmejoran ligeramente los porcentajes deexactitud respecto a los resportados en [12],obteniendo una diferencia de 7.73% y 5.73%para 4 y 14 canales respectivamente.

En la última columna de cada una delas tablas 1 y 2 se muestra el número decaracterísticas o atributos obtenidos paracada enfoque. La cantidad de atributosobtenidos puede afectar la clasificación si

estos son muy pocos o demasiados, por loque seleccionar el valor adecuado de atributoses un problema de optimización (fuera delalcance de este trabajo). En nuestro caso,más allá de la cantidad, toma relevancialo que representan los atributos obtenidos.Donde por ejemplo al clasificar con 14canales, en el enfoque de sonificación de EEGcon MFCC se obtuvo una cantidad alta deatributos (1288), y éstos fueron clasificadoscon buenos resultados usando SVM sin caeren el problema de la alta dimensionalidad.

En las figuras 9 y 10 se comparan lospromedios de clasificación de los 27 individuosusando 4 y 14 canales, respectivamente.

En la figura 9 se comparan los resultadosobtenidos por el enfoque de EEG sinsonificación y extracción de característicascon DWT contra el enfoque de sonificaciónde EEG con DWT, ambos clasificando conRF. Mientras que en la figura 10 se comparanlos resultados obtenidos del enfoque de EEGsin sonificación con DWT clasificando conRF contra el enfoque de sonificación deEEG con MFCC clasificando con SVM. Endichas gráficas se observa que existen sujetosque obtuvieron una amplia diferencia en laexactitud de clasificación al ser procesadosmediante los enfoques de sonificación deEEG, pero también existen sujetos que nomejoraron sus promedios de clasificación alaplicar la sonificación de EEG. En la tabla3 se detallan los resultados de las gráficasy 10 incluyendo la exactitud y desviaciónestándar obtenida en la clasificación por cadasujeto. En esta tabla se muestra que elmejor resultado de clasificación que obtuvoun sujeto fue de 83.03% y 91.52% para 4y 14 canales, respectivamente. Esto sugiereque existe información suficiente en la señalcerebral para que por medio de técnicas comolas aquí propuestas se puedan tener buenosporcentajes de clasificación. Se muestra queel método tiene variaciones amplias en laexactitud entre sujetos. Se aplicó una pruebaT con un valor de significancia de 0.05,para comparar los promedios de la tabla 3,


Figura 9. Exactitud de la clasificación para los 27 sujetos usando 4 canales.

Figura 10. Exactitud de la clasificación para los 27 sujetos usando 14 canales.

para los pares de 4 canales y 14 canalesrespectivamente. Con esta prueba se obtuvoque existe diferencia significativa entre lospromedios de exactitud obtenidos por losmétodos que si aplican sonificación respectoa los que no aplican sonificación, esto paraambos pares de 4 y 14 canales.

CONCLUSIONES

Este trabajo explora una representacióndistinta de las señales de EEG en eldominio acústico mostrando su impacto en laclasificación automática de estas señales.

Se muestra que la clasificación de la señalde EEG aplicando la sonificación, mediantela elección de las frecuencias dominantes delespectrograma de la señal de EEG y el mapeode las frecuencias de EEG a frecuencias delaudio, logró resaltar patrones de la señal queayudaron a tener mejores resultados respectoa trabajos previos en la correcta clasificaciónde los datos de 27 sujetos. Por otra partese observó que los métodos propuestos varíansu exactitud dependiendo del sujeto y nohay un método dominante, esto como seobservó en la sección de resultados, da piea probar una posible unión de enfoques o


Tabla 3. Mejores exactitudes promedio en la clasificación con y sin sonificación de EEG en 4 y 14canales


Tabla 3: Mejores exactitudes promedio en la clasificación con y sin sonificación de EEG en 4 y14 canales

EEG Sin Sonif.4 canales

EEG Sonif.4 Canales

EEG Sin Sonif.14 canales

EEG Sonif.14 Canales

S1 66.06 ± 9.54 70.30 ± 8.78 73.94 ± 8.28 75.15 ± 11.35S2 38.18 ± 14.44 40.00 ± 14.73 42.42 ± 13.98 44.85 ± 14.06S3 39.39 ± 14.44 55.76 ± 11.05 63.03 ± 10.50 61.21 ± 12.67S4 46.67 ± 13.28 58.18 ± 10.74 60.00 ± 11.24 70.91 ± 11.63S5 61.82 ± 9.95 75.15 ± 8.22 72.12 ± 9.80 69.09 ± 11.67S6 31.52 ± 15.24 30.91 ± 15.57 36.36 ± 14.54 41.21 ± 14.49S7 48.78 ± 13.15 52.44 ± 12.15 56.71 ± 11.41 62.80 ± 12.44S8 66.06 ± 9.46 73.33 ± 8.01 82.42 ± 7.74 91.52 ± 10.37S9 58.79 ± 11.35 60.61 ± 10.90 64.24 ± 11.05 65.45 ± 12.24S10 41.21 ± 14.36 48.48 ± 13.28 57.58 ± 11.89 69.09 ± 11.68S11 73.33 ± 7.79 83.03 ± 5.37 83.64 ± 5.82 86.67 ± 10.56S12 49.70 ± 12.89 59.39 ± 10.61 60.00 ± 11.57 70.30 ± 11.71S13 49.09 ± 11.93 60.61 ± 10.30 55.76 ± 11.40 69.70 ± 11.73S14 32.73 ± 15.4 41.82 ± 14.30 44.24 ± 14.26 43.64 ± 13.92S15 59.39 ± 10.99 64.85 ± 9.97 63.64 ± 10.41 75.76 ± 11.39S16 37.58 ± 14.29 46.06 ± 13.18 45.45 ± 12.93 53.33 ± 12.96S17 49.70 ± 12.45 55.76 ± 11.48 60.61 ± 10.61 70.91 ± 11.48S18 58.79 ± 11.60 54.55 ± 11.53 68.48 ± 10.22 70.30 ± 11.99S19 27.88 ± 15.99 32.12 ± 15.36 52.73 ± 13.11 58.18 ± 13.08S20 75.76 ± 7.40 73.33 ± 7.83 75.15 ± 8.04 81.21 ± 10.87S21 31.52 ± 15.67 49.70 ± 12.60 43.03 ± 14.08 46.67 ± 13.80S22 55.15 ± 10.4 68.48 ± 8.97 65.45 ± 9.33 61.21 ± 12.14S23 47.27 ± 13.73 57.58 ± 11.71 51.52 ± 13.24 56.97 ± 12.54S24 33.33 ± 14.7 60.00 ± 10.63 46.67 ± 13.36 59.39 ± 12.91S25 28.48 ± 17.32 33.94 ± 16.65 43.64 ± 16.06 46.06 ± 12.43S26 41.21 ± 14.23 44.85 ± 13.39 56.36 ± 12.41 66.67 ± 11.82S27 49.39 ± 12.71 56.10 ± 11.90 51.83 ± 11.80 63.41 ± 12.29Avg. 48.10 ± 12.77 55.83 ± 11.45 58.41 ± 11.45 64.14 ± 12.23

REFERENCIAS

[1] T. M. Rutkowski, A. Cichocki, andD. Mandic, “Information fusion forperceptual feedback: A brain activitysonification approach,” Signal ProcessingTechniques for Knowledge Extraction andInformation Fusion, pp. 261–273, 2008.

[2] G. Marco-Zaccaria, “Sonification ofEEG signals: A study on alpha bandinstantaneous coherence,” Master thesis,2011.

[3] E. Miranda, A. Brouse, B. Boskamp, andH. Mullaney, “Plymouth brain-computermusic interface project: Intelligent

assistive technology for music-making,”International Computer Music Conference,2005.

[4] J. Eaton and E. Miranda, “Real-timenotation using brainwave control,” Soundand Music Computing Conference, 2013.

[5] G. Baier and T. Hermann, “Thesonification of rhythms in humanelectroencephalogram.” InternationalConference on Auditory Display (ICAD),2004.

[6] T. Hermann, P. Meinicke et al.,“Sonification for EEG data analysis,”Proceedings of the 2002 InternationalConference on Auditory Display, 2002.

esquema de selección de métodos. Otra ideaa explorar es personalizar la configuracióndel método, usando un algoritmo de selecciónde modelo para optimizar los parámetros dela sonificación, extracción de característicasy clasificación, los cuales otorguen la mejorexactitud de clasificación para cada sujeto.También se muestra que cuando se extraencaracterísticas usando MFCC los porcentajesde clasificación son relativamente mejores,posiblemente esto se debe a que bajoesta representación se incluyó informacióntemporal, representada con los valores dobledelta. Es por ello que en trabajos futuros seespera experimentar con otros métodos quecaractericen de mejor forma la secuencia deeventos en la señal.

REFERENCIAS

[1] T. M. Rutkowski, A. Cichocki, andD. Mandic, “Information fusion forperceptual feedback: A brain activitysonification approach,” Signal ProcessingTechniques for Knowledge Extractionand Information Fusion, pp. 261–273,2008.

[2] G. Marco-Zaccaria, “Sonification of EEGsignals: A study on alpha bandinstantaneous coherence,” Master thesis,2011.

[3] E. Miranda, A. Brouse, B. Boskamp,and H. Mullaney, “Plymouth brain-


computer music interface project:Intelligent assistive technology formusic-making,” International ComputerMusic Conference, 2005.

[4] J. Eaton and E. Miranda, “Real-time notation using brainwavecontrol,” Sound and Music ComputingConference, 2013.

[5] G. Baier and T. Hermann, “Thesonification of rhythms in humanelectroencephalogram.” InternationalConference on Auditory Display(ICAD), 2004.

[6] T. Hermann, P. Meinicke et al.,“Sonification for EEG data analysis,”Proceedings of the 2002 InternationalConference on Auditory Display, 2002.

[7] G. Baier, T. Hermann, S. Sahle, andU. Stephani, “Event based sonificationof EEG rhythms in real time,” ClinicalNeurophysiology, vol. 118, no. 6, pp.1377–1386, 2007.

[8] T. Hermann, G. Baier, U. Stephani, andH. Ritter, “Kernel regression mappingfor vocal EEG sonification,” Proceedingsof the International Conference onAuditory Display, 2008.

[9] M. Elgendi, J. Dauwels et al., “Fromauditory and visual to immersiveneurofeedback: Application todiagnosis of alzheimerś disease,” NeuralComputation, Neural Devices, andNeural Prosthesis, pp. 63–97, 2014.

[10] M. Wester and T. Schultz, “UnspokenSpeech - Speech Recognition Based OnElectroencephalography,” Master’sthesis, Institut fur TheoretischeInformatik Universitat Karlsruhe(TH), Karlsruhe, Germany, 2006.

[11] A. A. Torres-García, C. A. Reyes-García,and L. Villaseñor Pineda, “Toward asilent speech interface based on unspoken

speech,” BIOSTEC - BIOSIGNALS, pp.370–373, 2012.

[12] A. A. Torres-García, C. A. Reyes-García,and L. Villaseñor-Pineda, “Análisis deSeñales Electroencefalográficas para laClasificación de Habla Imaginada,”Revista Mexicana de IngenieríaBiomédica, vol. 34, no. 1, pp. 23–39, 2013.

[13] E. F. González-Castañeda, A. A.Torres-García, C. A. Reyes-García, andL. Villaseñor-Pineda, “Sonificación deEEG para la clasificación de palabras nopronunciadas,” Research in ComputingScience, vol. 74, pp. 61–72, 2014.

[14] C. Anderson, “Sonification - BrainComputer Interfaces Laboratory,”Department of CommputerScience, Colorado State University,www.cs.colostate.edu/eeg/main/projects/sonification, 2005.

[15] A. A. Torres-Garcia, “Clasificación depalabras no pronunciadas presentes enElectroencefalogramas (EEG),” Tesis deMaestría, 2011.

[16] Xuemin, Chi and Hagedorn,John and others, “EEG-baseddiscrimination of imagined speechPhonemes,” International Journal ofBioelectromagnetism, vol. 13, no. 4, pp.201–206, 2011.

[17] X. Pei, D. L. Barbour, E. C. Leuthardt,and G. Schalk, “Decoding vowels andconsonants in spoken and imaginedwords using electrocorticographicsignals in humans,” Journal of neuralengineering, vol. 8, no. 4, p. 046028,2011.

[18] J. Mourino, J. del R Millan et al.,“Spatial filtering in the trainingprocess of a brain computer interface,”Engineering in Medicine and BiologySociety. Proceedings of the 23rd Annual


International Conference of the IEEE,vol. 1, pp. 639–642, 2001.

[19] M. A. Pinsky, Introduction to Fourieranalysis and wavelets. AmerMathematical Society, 2002, vol.102.

[20] X. Hu, H. Zhang et al., “Isolatedword speech recognition system based onFPGA,” Journal of Computers, vol. 8,no. 12, pp. 3216–3222, 2013.

[21] R. Kohavi et al., “A study of cross-validation and bootstrap for accuracyestimation and model selection,” IJCAI,vol. 14, no. 2, pp. 1137–1145, 1995.

[22] G. H. John and P. Langley, “Estimatingcontinuous distributions in bayesianclassifiers,” in Proceedings of theEleventh conference on Uncertaintyin artificial intelligence. MorganKaufmann Publishers Inc., 1995, pp.338–345.

[23] J. C. Platt, “Fast training of supportvector machines using sequentialminimal optimization,” in Advances inkernel methods. MIT press, 1999, pp.185–208.

[24] L. Rokach, Pattern Classification UsingEnsemble Methods. World Scientific,2009.

ib

aplicacióndelasoniﬁcacióndeseñalescerebrales … · 2019-09-30 · i es el potencial entre el...

Documents