integracion de interfaz cerebro-computador y … · 2015. 9. 18. · palabras clave: bci, miembro...

INTEGRACION DE INTERFAZ CEREBRO-COMPUTADORY EXOESQUELETO DE MIEMBRO INFERIOR

ORIENTADO A LA REHABILITACION

A. Costa, G. Asın-Prieto, S. Shimoda, E. Ianez, J.C. Moreno, J.L Pons, J.M. AzorınAv. de la Universidad S/N, 03202 Elche, Spain, [email protected]

Resumen

Con el incremento actual del porcentaje depoblacion discapacitada, ha surgido un interes so-cial en mejorar el nivel de vida de estas per-sonas, ya sea mediante asistencia o mediante larecuperacion de sus capacidades fısicas. En estetrabajo se presenta un sistema que permite en-viar comandos de alto nivel desde una InterfazCerebro-Maquina a un exoesqueleto de miembroinferior. El objetivo final es involucrar en unmayor nivel a los pacientes con lesiones medularesen sus terapias de rehabilitacion. Tras disenar elsistema completo se ha realizado un experimentode validacion cuyos resultados demuestran unagran robustez y control por parte del usuario delexoesqueleto.

Palabras clave: BCI, Miembro Inferior, Ex-oesqueleto, Rehabilitacion.

1 INTRODUCCION

Con las mejoras de los ultimos anos en la medicinay el incremento de la concienciacion social pormantener estilo de vida saludable, se ha pro-ducido un claro envejecimiento de la poblacion.De acuerdo con el World Population AgeingReport del 2013, a niveles mundiales, la vidamedia de la poblacion ha incrementado en 6 anosunicamente en la ultima decada. Este incrementoes todavıa mayor en los paıses desarrollados. Porotro lado, las mejoras actuales en la medicinapermiten la supervivencia de las personas condiscapacidad y las mejoras en la tecnologıa lesfacilitan la vida en la sociedad moderna. Porestos motivos tambien ha habido un incrementoen el porcentaje de poblacion discapacitada. Deestos hechos, ha surgido un interes social porinvestigar metodos y tecnologıas que permitana estas personas incrementar su calidad de viday recuperarse de sus lesiones. Estas nuevastecnologıas y estudios van desde la mejora deterapias de rehabilitacion [7, 10] hasta el disenode dispositivos que permiten a una personadiscapacitada realizar tareas cotidianas con unamayor facilidad [5, 6]. Con este interes social

y cientıfico, los gobiernos de muchos paıses haninvertido en estas tecnologıas. A dıa de hoy, seconceden una gran cantidad de ayudas financierasa diferentes grupos de investigacion para querealicen estudios y desarrollen tecnologıas conestos fines.

El trabajo que aquı se presenta esta finan-ciado por el Proyecto BioMot (Smart WearableRobots with Bioinspired Sensory-Motor Skills,Grant Agreement number IFP7-ICT-2013-10-611695). El objetivo final de este proyecto esel diseno y desarrollo de un exoesqueleto demiembro inferior que se encuentre realimentadopor senales fisiologicas que le permitan modificarlos parametros de rehabilitacion de un pacientede lesion medular incompleta. Entre las senalescon las que se trabajara en este proyecto, cabedestacar las procedentes de una Interfaz Cerebro-Maquina (BCI del ingles “Brain-ComputerInterface”). Mediante el registro de senaleselectroencefalograficas (EEG) se pretende obtenerındices que representen el estado cognitivo delsujeto y sus intenciones de forma que se puedaadaptar la rehabilitacion a dicho estado.

Tras desarrollar diferentes experimentos rela-cionados con estas interfaces [2, 3, 9], y comenzarlos desarrollos del exoesqueleto, se ha comenzadocon las tareas de integracion necesarias paracomunicar ambos sistemas. El trabajo queaquı se describe esta centrado en esta tarea deintegracion. Con el objeto de disenar un sistemarobusto se partira de un BCI muy basico yrobusto y se utilizara para que un usuario puedaenviar facilmente comandos de movimiento a unexoesqueleto. Asımismo se realizaran pruebaspara asegurar el correcto funcionamiento de laintegracion de ambos sistemas.

2 MATERIALES Y METODOS

En la Figura 1 se muestra una representacionde la arquitectura del sistema disenado duranteeste trabajo. Como se puede observar existentres partes fundamentales: el sistema EEG, el ex-oesqueleto y el protocolo de comunicacion UDP.

Actas de las XXXVI Jornadas de Automática, 2 - 4 de septiembre de 2015. Bilbao ISBN 978-84-15914-12-9 © 2015 Comité Español de Automática de la IFAC (CEA-IFAC) 766

Figura 1: Arquitectura fundamental del sistema propuesto. El software del sistema BCI se encargade obtener mediciones de las ondas cerebrales y clasificar las tareas. Estas tareas se emplearan paragenerar comandos que seran enviados mediante un protocolo de comunicacion al software de control delexoesqueleto que a su vez mandara ordenes de movimiento al exoesqueleto.

A lo largo de esta seccion se describiran los com-ponentes y funcionamiento de cada uno de estossistemas ası como su interconexion. De la mismaforma, se validara su funcionamiento mediante larealizacion de un experimento con usuarios sanosen el que se utilizara el sistema completo.

En la Figura 2 se muestra el usuario portando elsistema completo durante la realizacion de un ex-perimento.

2.1 EXOESQUELETO

Se ha trabajado con el exoesqueleto de miembroinferior H2, disenado por el grupo de bioingenierıadel CSIC y distribuido por Technaid S.L. Se tratade un exoesqueleto de 6 articulaciones que in-cluyen tobillo, rodilla y cadera de ambas piernasy que permite emular completamente la marchahumana. Mediante este sistema es posible asistira una persona con paralisis total o parcial de laspiernas de forma que pueda andar de forma nat-ural. El sistema H2 resulta de gran utilidad en elcampo de la investigacion ya que esta disenado conuna estructura abierta que permite al investigadormodificar los parametros de control del sistema.De esta forma es posible modificar el grado deasistencia de cada articulacion por separado paraadaptarse al nivel y areas de la lesion de cada pa-ciente. Tambien permite el diseno de diferentesestrategias de movimiento permitiendo modificarlongitud y velocidad de ciclo de marcha. Ademasproporciona medidas de torque y movimiento an-gular de cada articulacion tanto por movimien-tos predefinidos sobre el exoesqueleto como pormovimientos forzados sobre las articulaciones porel usuario. Por todos estos motivos el sistemaH2 ha sido ampliamente utilizado en tareas de re-habilitacion [1, 8] y diferentes grupos de investi-

Figura 2: Entorno experimental. El sujeto se en-cuentra equipado con el sistema completo. Lassenales EEG son registradas por el sistema BCIy tranformadas en comandos de movimiento queson posteriormente enviadas al exoesqueleto.

gacion siguen a dıa de hoy disenando nuevas es-trategias de control para el. El H2 utilizado en estetrabajo recibe comandos de movimiento desde un


sistema informatico basado en C++ y ejecutadodesde Linux. Diferentes estrategias de movimientopueden enviarse desde este sistema hasta el H2.Para los experimentos descritos en este artıculosolo se utilizaron 3 comandos de movimiento:

• Inicio de Marcha: Se parte de un estado ini-cial de reposo en el cual el usuario que portael exoesqueleto se encuentra perpendicular alsuelo en una posicion natural de parado. Trasrecibir este comando el exoesqueleto simulaun patron de movimiento fijo.

• Patron de Movimiento fijo: Se establece unpatron de movimiento a partir de la alturay peso del usuario. Con estos parametrosse generan unas fuerzas de actuacion sobrecada articulacion que generan un ciclo de pasoadaptado a la fisiologıa de cada usuario.

• Fin de Marcha: Se simula desde el estadode movimiento con patron de marcha fijouna vuelta al estado de reposo pasando porlos movimientos articulares que realizarıa unapersona desde el punto de la marcha en la quedecide pararse hasta el estado de detencion,de nuevo, perpendicular al suelo.

Con estos comandos es posible para un pacientecon movilidad muy reducida realizar terapias derehabilitacion de inicio y fin de marcha sin tenerque pasar por las fases previas de estimulacionmanual de cada musculo con la ayuda de un ter-apeuta.

2.2 Sistema BCI

El sistema BCI utilizado no esta basado en senalespuramente EEG. Aunque dichas senales son reg-istradas con este sistema, de ellas se extraen lascomponentes de ruido electromiografico produci-das por el usuario que lo porta al realizar presionesmandibulares. Este sistema esta basado en un tra-bajo previo [4], en el que se proponıa la medicionde artefactos EMG en las senales EEG para elcontrol de dispositivos roboticos. El objetivo fi-nal que se plantea como trabajo futuro en esteartıculo implica la medicion de diferentes ındicesrepresentativos del estado mental y cognitivo delusuario mediante el analisis de las senales EEG ysu utilizacion para modificar las estrategias de re-habilitacion de acuerdo con ellos. Por este motivo,pare reducir el numero de sensores empleados, seha decido usar un sistema de lectura EEG parala medicion de contaminacion EMG en lugar desituar directamente electrodos EMG.

2.2.1 Sistema de Adquisicion

Las senales EEG se registran a traves de 2 elec-trodos pseudo-activos situados en las posicionesFC5 y FC6 de acuerdo con el Sistema Interna-cional 10/10. La seleccion de esas posiciones seha realizado de acuerdo con un estudio previo re-alizado en [4], en el que se comprueba que cor-responden a las zonas de maxima actividad es-pectral ante presiones mandibulares. Ademas sesitua un electrodo de referencia en el lobulo dela oreja derecha y un electrodo de tierra en laposicion AFz. Todos los electrodos son situa-dos sobre la zona cortical mediante el uso de ungorro elastico (g.GammaCap, g.Tec, Austria). Lassenales adquiridas pasan por una etapa de pream-plificacion (g.GammaBox, g.Tec, Austria) antesde ser digitalizadas a 1000 Hz mediante un ampli-ficador comercial (Livo, Toyota, Japon). Ademasse aplica un filtro paso banda de 0.1 a 400 hz paraeliminar la componente continua de la senal y unfiltro Notch de 60 Hz para evitar las interferenciasde la red electrica. Finalmente las senales son al-macenadas en una computadora para su posteriorprocesamiento. La adquisicion, procesado y clasi-ficacion de senales se realiza sobre un entorno deprogramacion Matlab ejecutado sobre Windows 7-32 bits.

2.2.2 Procesamiento

Al tratarse de artefactos EMG que contaminanlas senales EEG, es necesario seleccionar el rangode frecuencias que maximiza su potencia antela aparicion de senales EMG (entre 50 y 300Hz). Para este trabajo se ha decidido utilizar lasfrecuencias entre 55-75 Hz ya que en ese rango semaximizan los resultados para la clasificacion demovimientos mandibulares [4].

Puesto que el sistema debe funcionar en tiemporeal, se seleccionan ventanas de 1 segundo deduracion con un solape de 0.5 segundos entre ven-tanas (lo que hace que cada ventana contenga 0.5segundos de informacion de la ventana anterior y0.5 segundos de nueva informacion). Se obtienela potencia espectral de cada ventana aplicandoel metodo de la Maxima Entropıa (PMEM) [11].De cada electrodo se obtiene una caracterısticacomo la suma de las frecuencias entre 55 y 75 Hz.

2.2.3 Modelo y Clasificacion

Por cada nueva ventana de senal procesada seobtiene un vector de 2 caracterısticas que se usaracomo entrada a una etapa de clasificacion. Paraello se utiliza un Discriminador Linear (LDA:“Linear Discriminant Analysis” classifier) cuyofuncionamiento esta basado en el cambio de


Figura 3: Arquitectura final del sistema propuesto. El software del sistema BCI obtiene classificacionesde tareas de Relax y Presion Derecha e Izquierda. Presion Derecha e Izquierda se utilizan para enviarcomandos de Start y Stop mediante un protocolo de comunicacion UDP. El software del exoesqueleto serecibe los comandos y los convierte en ordenes de inicio y fin de patron de movimiento para el exoesqueleto.

plano de las caracterısticas de entrada a un nuevosistema de referencia el en cual se maximizala diferencia entre aquellas caracterısticas quecontengan mas informacion referente a las clasescon las que se trabaja. Al llegar un nuevo vector,es sometido a este cambio de plano y se comparacon un modelo previamente definido en funcionde una combinacion lineal de sus caracterısticas.

Para poder realizar esta comparacion es necesariodisponer de un modelo creado previamentedurante una fase de entrenamiento. En el casodel clasificador LDA, el modelo esta formado porun conjunto de caracterısticas y un vector de eti-quetas representativas de cada una de las clases.Para obtener el modelo se pide al usuario querealice un pequeno registro previo al experimentodonde debe mantener la mandıbula relajadadurante 15 segundos, seguido de 15 segundos depresion mandibular en la zona izquierda de laboca y finalmente otros 15 segundos de presionmandibular en la zona derecha. En la Figura 4 semuestran las caracterısticas (modelo) obtenidaspara uno de los usuarios. Como se puede ob-servar, la potencia de las caracterısticas es muybaja durante los 15 segundos de relax. Cuando elusuario comienza a ejercer presion sobre la zonaizquierda, las potencias de FC5 y FC6 aumentansiendo la de FC5 predominante. En el caso depresion en la zona derecha, el resultado es similarpero con la predominancia sobre el electrodo FC6.

Finalmente el sistema proporciona cada 0.5segundos la tarea detectada de entre Relax,Presion Derecha y Presion Izquierda. Para evitarla posible aparicion de falsos positivos en lasalida, se define un buffer de 4 posiciones en elque se almacenan las 4 ultimas tareas clasificadas.

En cada iteracion se comprueban los valores delbuffer y si son los 4 iguales, se considera correctala tarea detectada.

Puesto que el sistema final se debe encargarde enviar comandos de inicio y fin de marchaal exoesqueleto, es necesario poder enviar doscomandos distintos desde el sistema BCI. Lastareas de Presion Derecha e Izquierda seranutilizadas con este proposito. Por otro lado esnecesaria la existencia de una tarea de reposo queresulte comodo para el usuario y que se apliquedurante los periodos en los que no se quiera enviarningun comando al exoesqueleto. Esta funcionestara asignada a la tarea de Relax.

Figura 4: Caracterısticas extraıdas para generar elmodelo. Se divide en 3 tareas de 15 segundos deduracion cada una: mandıbula relajada, presionizquierda y presion derecha. Se puede observarcomo se produce una activacion del electrodo FC5ante la presion izquierda y una activacion del elec-trodo FC6 ante la presion derecha.


2.3 COMUNICACION UDP

Debido a las caracterısticas de ambos sistemasutilizados (exoesqueleto y sistema BCI), losentornos de funcionamiento de cada dispositivoson diferentes. Mientras el programa que con-trola el exoesqueleto funciona sobre C++ enLinux, el sistema BCI funciona sobre Matlab enWindows 7. Por este motivo, ambos sistemasdeben funcionar en ordenadores diferentes. Porlo tanto para poder comunicarlos y que seaposible que el sistema de control del exoesqueletoreciba los comandos generados por el sistemaBCI, se ha implementado entre ellos un protocolocomunicacion UDP.

Un cliente UDP en Matlab se encarga deenviar por la red los comandos generados trasla clasificacion del sistema BCI. Por su lado,un servidor UDP en C++ se encarga de recibirdichos comandos y transformarlos en ordenespara el exoesqueleto. Para que dichos sistemasfuncionen correctamente ambos ordenadoresdeben formar parte de la misma red. Pormotivos de seguridad, a la hora de comunicarlos ordenadores, se interconectan mediante ca-ble de red y se les deshabilita la comunicacion wifi.

En la Figura 3 se puede ver el esquema delsistema final tras aplicar todo lo descrito a lolargo de esta seccion

3 EXPERIMENTO

Con el objeto de validar el sistema disenado, se hadesarrollado un experimento en el cual un usuarioque porte el exoesqueleto y el sistema BCI seacapaz de decidir cuando comenzar y terminar lamarcha.

Para ello se equipa al usuario con el sistemaBCI y se realiza un registro de 45 segundos conel objeto de generar un modelo que le permitaenviar comandos mediante presion mandibular.Una vez comprobado el correcto funcionamientodel sistema BCI y haber ajustado la longitud delas extremidades del exoesqueleto para que seadapten a las del usuario, se equipa, al mismocomo el exoesqueleto. Tras equipar todos losdispositivos, se pide al usuario que se situe en unextremo de una sala de unos 5 metros de largo yse da una orden de inicio de marcha al principioy una orden de fin de marcha tras varios metrosde avance. Este proceso se repite 5 veces paracomprobar que el sistema es estable a lo largo deltiempo.Para el envıo de acciones del sistema BCI alexoesqueleto se define la tarea BCI de presion

mandibular derecha como comando de iniciode marcha y la tarea de presion mandibularizquierda como comando de fin de marcha. Comose comento en la seccion anterior, para detectarcorrectamente una tarea, es necesario que serepita una clasificacion de la misma 4 vecesconsecutivas. Siendo el tiempo de toma de deci-siones 0.5 segundos, es necesario que el usuariomantenga presionado un lago de la mandıbula(derecho o izquierdo) 2 segundos consecutivospara que se envıe correctamente la orden (inicioo fin de marcha). Tras enviar un comando ycomenzar el movimiento el usuario puede dejar dehacer presion y mantenerse el en estado de Relaxmientras se centra en seguir el patron de marchaimpuesto por el exoesqueleto.

4 RESULTADOS Y DISCUSION

Tres usuarios sanos con edades comprendidas en-tre los 24-36 anos (28.33±6.65) han realizado elexperimento. Todos ellos eran diestros y solo unotenıa experiencia previa con el equipo utilizado.En las graficas de Figura 5 se muestran las car-acterısticas registradas durante una repeticion delexperimento para cada usuario y el movimiento deuna de las articulaciones del exoesqueleto.Como se puede observar en la figura los 3 usuar-ios fueron capaces de dominar perfectamente elenvıo de comandos y el tiempo de respuesta del ex-oesqueleto fue casi instantaneo. Tambien se puedeobservar la robustez del sistema BCI apareciendoel incremento de las caracterısticas solo cuandoel usuario lo requiere. Esto en combinacion conel buffer de 2 segundos elimina completamente enenvıo erroneo de comandos por la aparicion de fal-sos positivos. El porcentaje de aciertos fue en to-dos los casos del 100%, entendiendo como aciertosque el inicio y fin de marcha se produjese en to-dos los casos cuando el usuario lo deseaba y nuncaapareciese un comando indeseado.

5 CONCLUSIONES

Durante este trabajo se ha disenado con exito unsistema BCI que permite enviar comandos de ini-cio y fin de marcha a partir de artefactos EMGrecogidos de senales EEG. Se ha demostrado larobustez de este sistema ante la aparicion de fal-sos positivos. Ademas se ha desarrollado un pro-tocolo de comunicacion basado en UDP que per-mite la comunicacion entre el sistema BCI y unexoesqueleto de miembro inferior haciendo posiblede esa forma a 3 usuarios sanos realizar estrategiasde rehabilitacion de inicio y fin de marcha. Losresultados obtenidos en este trabajo constituyenun primer paso de validacion hacia el uso del sis-


Figura 5: Caracteristicas del sistema BCI yMovimientos del Exoesqueleto. En cada par degraficas se muestra las caracterısticas registradasdurante un experimento y los movimientos que seproducen sobre la cadera derecha del exoesqueleto.Se puede comprobar como el cambio de las carac-terısticas registradas desde el sistema BCI provo-can el inicio y fin de los movimientos del ex-oesqueleto tal como se describe en el experimentopresentado.

tema con pacientes que sufran diferentes niveles

de lesion medular.En el futuro se pretende utilizar este sistema paracomprobar si la velocidad de mejora de un pa-ciente depende de su involucracion en la terapia ala que se ve sometido. Ademas se planea anadirotras mediciones cognitivas a la rehabilitacion,tales como el nivel de atencion en la marcha o elnivel de fatiga, de forma que se puedan modificaren funcion de ellos los parametros de movimientodel exoesqueleto. Por otro lado se pretende de-sarrollar otras estrategias de movimiento del ex-oesqueleto en las que se varıe el nivel de asistenciaen funcion del estado mental y fısico del usuariode forma que se reduzca la asistencia conforme lalesion del usuario se reduzca.

Agradecimientos

Esta investigacion ha sido financiada por laComision de la Union Europea bajo el proyectoBioMot - Smart Wearable Robots with Bioin-spired Sensory-Motor Skills (con el acuerdo desubvencion numero IFP7-ICT-2013-10-611695)

Referencias

[1] Asın Prieto, G., Urendes, E., Gallego, J.A.,Moreno, J.C., Pons. J.L. (2014) ”Monitor-ing stability of gait on exoskeletons basedon proprioceptive information”. WeRob 2014.Baiona, 14-18 September.

[2] Costa, A., Ianez, E., Ubeda, A., Planelles,D., Hortal, E., and Azorın, J.M. (2014) “Fre-quency and Number of Neighbors Study forAttention Level Classification Using EEGSignals”. International Workshop on Wear-able Robotics (WeRob 2014), Baiona, Spain,14-19 September.

[3] Costa, A., Hortal, E., Ubeda, A., Ianez, E.,and Azorın, J. M. (2014). Reducing the FalsePositives Rate in a BCI System to DetectError-Related EEG Potentials. In Replace,Repair, Restore, Relieve–Bridging Clinicaland Engineering Solutions in Neurorehabili-tation (pp. 321-327). Springer InternationalPublishing.

[4] Costa, A., Hortal, E., Ianez, E., and Azorın,J. M. (2014). A Supplementary System for aBrain-Machine Interface Based on Jaw Ar-tifacts for the Bidimensional Control of aRobotic Arm. PloS one, 9(11), e112352.

[5] Katsura, S., and Ohnishi, K. (2004). Hu-man cooperative wheelchair for haptic inter-action based on dual compliance control. In-dustrial Electronics, IEEE Transactions on,51(1), 221-228.


[6] Krolak, A., and Strumillo, P. (2009). Eye-blink controlled human-computer interfacefor the disabled. In Human-Computer Sys-tems Interaction (pp. 123-133). SpringerBerlin Heidelberg.

[7] Kwakkel, G., van Peppen, R., Wagenaar, R.C., Dauphinee, S. W., Richards, C., Ash-burn, A., ... and Langhorne, P. (2004). Ef-fects of augmented exercise therapy time af-ter stroke a meta-analysis. Stroke, 35(11), pp.2529-2539.

[8] Moreno, J.C., Asin, G., Pons, J.L., Cuypers,H., Lefeber, D., Ceseracciu, E., Reggiani, M.,Thorsteinsson, F., del-Ama, A., Shimoda, S.,Ianez, E., Azorin, J.M., and Roa, J. (2014)”Symbiotic Wearable Robotic Exoskeletons:The Concept of the BioMot Project?” Sym-biotic 2014, Helsinki, Finland Oct 30-31.

[9] Planelles, D., Hortal, E., Costa, A., Ubeda,A., Iaez, E., and Azorın, J. M. (2014). Eval-uating Classifiers to Detect Arm MovementIntention from EEG Signals. Sensors, 14(10),18172-18186.

[10] Rothgangel, A. S., Braun, S. M., Beurskens,A. J., Seitz, R. J., and Wade, D. T. (2011).The clinical aspects of mirror therapy in re-habilitation: a systematic review of the liter-ature. International Journal of RehabilitationResearch, 34(1), pp. 1-13.

[11] Ulrych, T. J., and Bishop, T. N. (1975).Maximum entropy spectral analysis and au-toregressive decomposition. Reviews of Geo-physics, 13(1), 183-200.


integracion de interfaz cerebro-computador y … · 2015. 9. 18. · palabras clave: bci, miembro...

Documents