desarrollo de una metodología para seguir y discriminar el ... · en la interacción...

11
Ingeniería 26 Vol. ol. ol. ol. ol. 10 No 10 No 10 No 10 No 10 No. 2 2 2 2 2 Desarrollo de una Metodología para seguir y discriminar el Movimiento de un Ojo Humano en Tiempo Real Artículo recibido el 27 de Abril de 2006. Aprobado para publicación el 29 de Junio de 2006 RESUMEN En este artículo se presenta el desarrollo de una metodología de seguimiento y discrimina- ción del movimiento de los ojos de un pacien- te. Esta propuesta de investigación constituye la primera etapa de un proyecto orientado al desarrollo de una interfaz humano – máquina para pacientes discapacitados. Se fundamenta en la necesidad de solucionar algunos de los inconvenientes que presentan las personas que padecen estas enfermedades, tales como la im- posibilidad de comunicarse y de interactuar con el medio que les rodea. En su realización se consideraron técnicas de procesamiento de imágenes para detectar y seguir el movimiento de los ojos, y métodos de inteligencia computacional para realizar la discriminación de los movimientos. La metodología propuesta fue implementada en una plataforma software que permitió su ejecución en tiempo real. Se realizaron prue- bas sucesivas con un paciente en particular y con otros pacientes en general. Los resultados obtenidos muestran en el primer caso la efecti- vidad del diseño. En el segundo, evidencian la necesidad de mejorar la robustez del sistema. Palabras clave: esclerosis lateral amiotrófica, tetraplejía, detección y seguimiento del movi- miento de los ojos, procesamiento de imáge- nes, sistemas difusos, tiempo real. Development of a Methodology to follow and to discriminate the Movement of a Human Eye in Real Time ABSTRACT This paper describes the development of tracking and discriminate methodology for human eye movements. This methodology is the first stage of a research project oriented Fidelia Milena Rubio Ramos 1 Álvaro Betancourt Uscátegui. 2 1 Asistente del Grupo de Investigación LAMIC. 2 Director Grupo de Investi- gación LAMIC. Universi- dad Distrital Francisco José de Caldas. for the development of a human-machine in- terface for disability patients. The purpose of project is help to solve some common problems of this people, such as the impossibility to communicate and to interact with the environment. The methodology uses digital image processing for eye tracking and computational intelligence methods for eye movement classifying. The methodology is software-based develop for real time operation. Several tests for a par- ticular patient and for others were made. Results of test show the efficacy of the methodology for a particular patient. However, the develop needs to improve his robustness for work with several patients. Key words: amyotrophic lateral sclerosis, tetraplegy, detection and tracking of the movement of eyes, image processing, fuzzy systems, real time. 1. INTRODUCCION En la interacción humano–computador, el seguimiento del movimiento de los ojos juega un papel especialmente importante en el caso de pacientes con enfermedades que presentan tetraplejía dentro de sus manifestaciones, tales como la Esclerosis Lateral Amiotrófica (ELA) [1,2]. En estos casos los músculos del ojo, la ca- pacidad intelectual y la visión no se ven afecta- dos, permitiendo vislumbrar un medio de co- municación basado tan solo en el movimiento de los ojos de los pacientes. Por esta razón, se han desarrollado diferentes métodos de detec- ción y seguimiento del movimiento de los ojos [3],[4], [5],[6],[7]. Estos métodos utilizan herra- mientas físicas y matemáticas que permiten la extracción de características del ojo, permitien- do su detección y posterior seguimiento. Las herramientas que se utilizan para la de- tección de un ojo pueden ser invasivas o no

Upload: others

Post on 28-Oct-2019

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Desarrollo de una Metodología para seguir y discriminar el ... · En la interacción humano–computador, el seguimiento del movimiento de los ojos juega un papel especialmente importante

Ingeniería26 VVVVVol.ol.ol.ol.ol. 10 No 10 No 10 No 10 No 10 No..... 2 2 2 2 2

Desarrollo de una Metodología paraseguir y discriminar el Movimientode un Ojo Humano en Tiempo Real

Artículo recibido el 27 de Abril de2006. Aprobado para publicación

el 29 de Junio de 2006

RESUMENEn este artículo se presenta el desarrollo de

una metodología de seguimiento y discrimina-ción del movimiento de los ojos de un pacien-te. Esta propuesta de investigación constituyela primera etapa de un proyecto orientado aldesarrollo de una interfaz humano – máquinapara pacientes discapacitados. Se fundamentaen la necesidad de solucionar algunos de losinconvenientes que presentan las personas quepadecen estas enfermedades, tales como la im-posibilidad de comunicarse y de interactuar conel medio que les rodea. En su realización seconsideraron técnicas de procesamiento deimágenes para detectar y seguir el movimientode los ojos, y métodos de inteligenciacomputacional para realizar la discriminaciónde los movimientos.

La metodología propuesta fue implementadaen una plataforma software que permitió suejecución en tiempo real. Se realizaron prue-bas sucesivas con un paciente en particular ycon otros pacientes en general. Los resultadosobtenidos muestran en el primer caso la efecti-vidad del diseño. En el segundo, evidencian lanecesidad de mejorar la robustez del sistema.

Palabras clave: esclerosis lateral amiotrófica,tetraplejía, detección y seguimiento del movi-miento de los ojos, procesamiento de imáge-nes, sistemas difusos, tiempo real.

Development of a Methodology tofollow and to discriminate theMovement of a Human Eye in RealTime

ABSTRACTThis paper describes the development of

tracking and discriminate methodology forhuman eye movements. This methodology isthe first stage of a research project oriented

Fidelia MilenaRubio Ramos1

Álvaro BetancourtUscátegui.2

1 Asistente del Grupo deInvestigación LAMIC.

2 Director Grupo de Investi-gación LAMIC. Universi-dad Distrital FranciscoJosé de Caldas.

for the development of a human-machine in-terface for disability patients. The purpose ofproject is help to solve some commonproblems of this people, such as theimpossibility to communicate and to interactwith the environment. The methodology usesdigital image processing for eye tracking andcomputational intelligence methods for eyemovement classifying.

The methodology is software-based developfor real time operation. Several tests for a par-ticular patient and for others were made. Resultsof test show the efficacy of the methodologyfor a particular patient. However, the developneeds to improve his robustness for work withseveral patients.

Key words: amyotrophic lateral sclerosis,tetraplegy, detection and tracking of themovement of eyes, image processing, fuzzysystems, real time.

1. INTRODUCCIONEn la interacción humano–computador, el

seguimiento del movimiento de los ojos juegaun papel especialmente importante en el casode pacientes con enfermedades que presentantetraplejía dentro de sus manifestaciones, talescomo la Esclerosis Lateral Amiotrófica (ELA)[1,2]. En estos casos los músculos del ojo, la ca-pacidad intelectual y la visión no se ven afecta-dos, permitiendo vislumbrar un medio de co-municación basado tan solo en el movimientode los ojos de los pacientes. Por esta razón, sehan desarrollado diferentes métodos de detec-ción y seguimiento del movimiento de los ojos[3],[4], [5],[6],[7]. Estos métodos utilizan herra-mientas físicas y matemáticas que permiten laextracción de características del ojo, permitien-do su detección y posterior seguimiento.

Las herramientas que se utilizan para la de-tección de un ojo pueden ser invasivas o no

Page 2: Desarrollo de una Metodología para seguir y discriminar el ... · En la interacción humano–computador, el seguimiento del movimiento de los ojos juega un papel especialmente importante

Ingeniería27VVVVVol.ol.ol.ol.ol. 10 No 10 No 10 No 10 No 10 No..... 2 2 2 2 2

invasivas, según el tipo de contacto que tengancon el usuario [8]. Una variedad de éstas se hanpropuesto para la detección no invasiva delmovimiento de los ojos, debido a la incomodi-dad que se ocasiona al paciente al colocarle lu-ces dirigidas a los ojos, electrodos o lentes. Es-tas aproximaciones se encuentran dentro delárea de procesamiento de imágenes e incluyencomparación con plantillas [4] y transformadaHough [9, 10], pero presentan inconvenientesen implementaciones en tiempo real debido ala complejidad de sus operaciones [11].

El seguimiento del ojo es también objeto deestudio debido a los movimientos propios delos ojos [8]. Cuando éstos siguen un objeto enmovimiento o hacen fijaciones, realizan unosmovimientos adicionales al de desplazamien-to, que incluyen movimientos sacádicos, deperseguimiento y de fijación [12]. Esas varia-ciones introducen errores en un sistema de se-guimiento si no se han considerado previamen-te. Por ésta razón se han desarrollado trabajosque modelan su comportamiento de forma es-tadística para poder eliminarlas [8]. Este tipode modelamiento implica esfuerzo por partedel diseñador, pues se tienen que considerarmétodos que involucran desarrollos matemáti-cos complejos. Otra posible solución a proble-mas de éste tipo, es el uso de técnicas de inteli-gencia computacional, en las que el diseñadorno necesita modelar de forma matemática elcomportamiento del sistema, sino que estable-ce algunos parámetros para dar solución al pro-blema de manera robusta [13].

En la investigación, se presenta una propuestaHCI ( del inglés Human Computer Interface )que permita a pacientes discapacitadosinteractuar con el PC sin utilizar las manos. Secompone de una metodología para el segui-miento y discriminación de ocho tipos de mo-vimiento de un ojo (arriba rápido, arriba lento,abajo rápido, abajo lento, derecha rápido, dere-cha lento, izquierda rápido, izquierda lento).Este método se dirige fundamentalmente a pa-cientes con discapacidades físicas que les impi-dan el movimiento de sus extremidades, peroque no comprometan la visión ni el movimientode los músculos de los ojos.

La metodología planteada en éste trabajo, seorienta a su funcionamiento en tiempo real yha sido diseñada considerando este tipo de

operación como una de las restricciones. Elproblema es tratado así de forma satisfactoria.De otra parte, la propuesta del artículo esinnovadora dada la originalidad en la concep-tualización y diseño de los conjuntos difusos através del histograma, aspecto que no se en-cuentra reportado en la literatura explorada. Losresultados obtenidos son satisfactorios para unpaciente en particular y son comparables conlos referidos por otros autores [3, 5, 6 , 7 y 11].Para pacientes en general la robutez del siste-ma disminuye. La presente publicación tienecomo base la investigación realizada por [14].

La organización del artículo se describe acontinuación: En la sección dos se exponenconceptos básicos sobre la estructura y movi-mientos propios de un ojo humano. En la sec-ción tres se presenta la metodología propuestae donde se describe el sistema de detección yseguimiento. En la sección cuatro se muestranlos métodos utilizados en la extracción de ca-racterísticas y se describe el diseño de los siste-mas difusos para la velocidad del movimientocontenidos en el sistema discriminador. Losresultados referentes a la precisión, costocomputacional y robustez de la metodologíase presentan en la sección cinco.

Finalmente, se entregan las conclusiones deltrabajo y se proponen posibles mejoras orien-tadas al desarrollo de una interfaz humano–máquina basada en el movimiento de los ojospara pacientes discapacitados.

2. EL OJO HUMANOEl ojo humano es el medio de adquisición y

parte del sistema encargado de la percepciónvisual. En la figura 1 se muestra una seccióntransversal horizontal del ojo humano. El ojoes casi esférico, con diámetro de aproximada-mente 25 mm. Está rodeado por tres membra-nas: la córnea y la esclerótica que constituyenla cubierta exterior, la coroides y la retina [12].

En su extremo anterior, la coroides está divi-dida en cuerpo ciliar e iris. Este último se abreo cierra para controlar la cantidad de luz queentra en el ojo. La abertura central del iris (lapupila) varía de diámetro desde 2 a 8 mmaproximadamente.

La retina es la membrana interna del ojo, cu-bre la totalidad de la pared posterior. Cuando

Page 3: Desarrollo de una Metodología para seguir y discriminar el ... · En la interacción humano–computador, el seguimiento del movimiento de los ojos juega un papel especialmente importante

Ingeniería28 Vol. 11 No. 1

el ojo está totalmente enfocado, la luz de unobjeto exterior al ojo forma su imagen en laretina. Existen dos clases de receptores: losconos y los bastones. Los conos son muy sen-sibles al color y se localizan principalmente enla fóvea. Los músculos del ojo giran el globoocular hasta que la imagen del objeto de inte-rés queda en la fóvea. Los bastones sirven paradar una visión general del campo de visión.

Figura 1. Corte transversal de un ojo humanodonde puede apreciarse su estructura.

2.1 Movimientos Oculares

Los movimientos oculares se controlan portres pares de músculos: los rectos interno yexterno, los rectos superior e inferior y los obli-cuos superior e inferior [12]. Los rectos inter-no y externo se contraen recíprocamente, prin-cipalmente para mover los ojos de un lado aotro. Los rectos superior e inferior se contraenrecíprocamente para mover los ojos de arribaabajo. Por último, los músculos oblicuos actúanpara rotar los globos oculares a fin de mante-ner los campos visuales en posición vertical.

Los movimientos del ojo generalmente seclasifican en tres tipos, según la fijación del ojoen un momento específico [8, 12]. Estos tiposson los siguientes:

i. Movimientos sacádicos: Cuando la es-cena visual se mueve continuamente antelos ojos, éstos se fijan sobre un punto des-tacado detrás de otro en el campo visual,saltando inmediatamente al siguiente a unavelocidad de dos o tres veces por segun-do. A estos movimientos se les denominamovimientos sacádicos. Se usan para co-locar la porción deseada de la escena vi-sual sobre el centro de la fóvea.

ii. Movimiento de seguimiento: Se reali-za cuando los ojos están siguiendo un ob-jeto que se mueve lentamente. Está for-

mado por dos componentes: una varia-ción lenta de posición y un componentesacádico.

iii. Movimientos de fijación: Durante la fi-jación en objetos, el ojo presenta dos mo-vimientos: el primero es un componentede alta frecuencia (entre 30 y 80 ciclos porsegundo) y el segundo es un componentede desvío lento de los ojos en direccionesaleatorias.

3. METODOLOGÍA PROPUESTASe plantea el desarrollo de una metodología

de detección y discriminación del movimientode un ojo humano en tiempo real. Para conse-guir este objetivo se propone en primer lugar,construir un ambiente controlado que propor-cione condiciones que eliminen el ruido am-biental (sombras o brillos en la región de inte-rés) y faciliten el procesamiento de las imáge-nes en el contexto del proyecto. Luego, se di-seña y evalúa una metodología para detectar yseguir el movimiento de un ojo, empleando téc-nicas de procesamiento de imágenes. Las seña-les de seguimiento presentan diferencias entreellas según el tipo de movimiento que se reali-ce. Por lo tanto, es posible extraer característi-cas relevantes que permitan una posterior dis-criminación. El siguiente paso es el diseño yevaluación de un procedimiento para discrimi-nar el movimiento del ojo utilizando una téc-nica de inteligencia computacional. Posterior-mente se implementa la metodología completaen una plataforma software, garantizando sufuncionamiento en tiempo real, para luego eva-luar el comportamiento general del sistemaconsiderando su eficacia y robustez.

3.1. Metodología de detección y seguimiento

Se exponen las dos etapas que componen lametodología de detección y seguimiento. Estacontiene una fase de adquisición y una de pro-cesamiento de las imágenes adquiridas.

3.1.1. Adquisición de las imágenes

En la etapa de adquisición es necesario eva-luar tanto las herramientas utilizadas como lailuminación de la escena. En primera instan-cia, se considera un control de iluminación ne-cesario para la adecuada toma de las imágenes.Se capturan utilizando una cámara que envía

Page 4: Desarrollo de una Metodología para seguir y discriminar el ... · En la interacción humano–computador, el seguimiento del movimiento de los ojos juega un papel especialmente importante

Ingeniería29Vol. 11 No. 1

(1)

los cuadros a una tarjeta de adquisición, que seencuentra en un computador personal y se en-carga, junto con un software específico, de ad-quirir y almacenar cada una de las imágenes.

3.1.2. Procesamiento de las imágenes

El objetivo de esta etapa es conseguir las co-ordenadas del centro de la pupila a partir deuna imagen de entrada que comprende partedel rostro del paciente. Se compone de dos fa-ses: una de calibración y una de ejecución, comose muestra en la figura 2. Una imagen adquiri-da ingresa en la etapa de calibración, allí se rea-liza cierto procesamiento que proporcionacomo salida a la siguiente etapa, de ejecución,cuatro coordenadas de corte que le permitenextraer el área de interés, para luego realizar elprocesamiento necesario sobre ella solamente.Esta disminución del área de trabajo permitedisminuir la carga computacional facilitando laimplementación en tiempo real. En ésta sec-ción se presenta el procesamiento que se reali-zó a las imágenes y los resultados obtenidoscon su aplicación.

Figura 2. Diagrama de bloques delprocesamiento de imágenes que se realiza.

3.1.2.1 Etapa de calibración

En la etapa de procesamiento, la primeraimagen adquirida se usa para detectar el centrode la pupila y obtener las coordenadas que de-terminan el área de interés real del sistema, lazona que encierra el ojo, y que permite a la fasede ejecución trabajar solamente sobre ella. Estaetapa se compone de una serie de fases que sedescriben a continuación:

i. Recorte grueso de la imagen: El recortegrueso de la imagen tiene como objetivo eli-minar franjas negras que aparecen en la ima-gen adquirida, y que son generadas por lacámara manteniendo constante su grosor entodos los cuadros de la secuencia de video.

ii. Transformación de contraste: Un con-traste alto permite diferenciar la zona per-

teneciente a la pupila y la perteneciente aliris. Con el fin de mantener de forma per-manente ésta diferencia para hacer posiblela extracción del área de interés: la pupila,se considera un ajuste automático del con-traste. Se trata de una función de valor úni-co y monótonamente creciente que aumentael rango dinámico de los niveles de gris enla imagen.

iii. Extracción de la pupila: Para extraer elelemento de interés, se lleva a cabo un pro-ceso de binarización de la imagen utilizan-do un umbral único. Esta técnica emplea lapartición del histograma y permite extraerlos objetos del fondo a partir de considera-ciones sobre el nivel de gris de cada píxel[15, 16].

Para obtener este valor, se propone un mé-todo consistente en la toma sucesiva depruebas en las que se obtiene el histogramade la imagen luego del aumento del con-traste y se ubica el rango de niveles de grisdonde se encuentra la pupila. Este tipo deumbralización, seguida de la obtención delnegativo de la imagen binarizada, permiteextraer la pupila como objeto.

iv. Reducción del ruido en la imagen: Laimagen que se obtiene luego de labinarización, se compone de un elementode interés y una componente de ruido. Paraminimizar este último, se utiliza un filtromorfológico [15] que consiste en una ope-ración de apertura seguida de una de cierre,como el que se expresa en la ecuación (1).

( ) BBAC •= o

Donde: C es la imagen filtrada, A es la ima-gen binarizada, y B es un elementoestructurante en forma de disco, debido a laforma circular de la pupila.

v. Localización del centro de la pupila: Enel método aquí presentado se propone en-contrar el centro de la pupila localizando elcentro del cuadrilátero más pequeño quecontiene el elemento de la imagen filtrada.Este método por su sencillez se constituyecomo una herramienta útil considerando elobjetivo de operación en tiempo real. Estamedida es una buena aproximación, tenien-

Page 5: Desarrollo de una Metodología para seguir y discriminar el ... · En la interacción humano–computador, el seguimiento del movimiento de los ojos juega un papel especialmente importante

Ingeniería30 Vol. 11 No. 1

do en cuenta que la forma de la pupila nosiempre es circular sino que en la mayoríade los casos tiene forma de óvalo, debido ala posición del ojo respecto a la cámara conla que se realiza la adquisición.

vi. Detección del borde de la pupila: Esteproceso se debe llevar a cabo luego del fil-trado morfológico. A la señal filtrada se leextrae el borde utilizando el método Prewitt[15] para luego calcular la mayor distanciaentre el centro de la pupila y su borde.

vii. Determinación de las coordenadas parael recorte fino: Una vez obtenidas las coor-denadas del centro de la pupila y las del bor-de de la misma, se procede a encontrar ladistancia más grande entre el centro de la pu-pila y cada uno de los píxeles del borde. Estevalor se considera el radio real de la pupila siésta se hubiese adquirido con la cámara ubi-cada frente a los ojos. Teniendo en cuentaesta medida y los valores reportados en laliteratura por [12] para el diámetro prome-dio del globo ocular y de la pupila, se estimael tamaño del cuadrilátero que contiene elojo mediante la proporción dada (2).

(1) ba

mmmm

22:

257

Donde: a es el radio medido de la pupila, bes el radio real del globo ocular que se desco-noce y se puede calcular, 25 mm es el diámetropromedio del globo ocular y 7 mm es el diáme-tro promedio de la pupila.

En la figura 3b se muestra el resultado dellevar a cabo el recorte fino con éstas coorde-nadas sobre la imagen que se muestra en la fi-gura 3a. Puede observarse una notable reduc-ción del área de la imagen, esto se reflejará enmenor tiempo de procesamiento.

Figura 3. Ejemplo de imagen procesada enla etapa de calibración. (a). Imagen original.

(b). Imagen luego del recorte fino

3.1.2.2 Etapa de ejecución

La fase de calibración suministra a la etapade ejecución las coordenadas del recorte fino yes en esta última donde se efectúa el seguimien-to. Luego de realizarse la calibración, las imá-genes adquiridas ingresan directamente al blo-que de ejecución, que ya contiene comoparámetro de entrada el vector de coordena-das del recorte fino. En esta parte de la meto-dología es donde se busca la operación en tiem-po real.

En la etapa de ejecución, el procesamientoque se realiza a cada imagen es similar al de laetapa de calibración. La diferencia radica en queen el primer bloque ya no se realiza tan solo elrecorte grueso, sino que se efectúa también elrecorte fino. Por otra parte, solamente ejecutala determinación de las coordenadas del cen-tro de la pupila, las cuales constituyen la salidade la metodología de detección y seguimiento.

Los valores de salida obtenidos en la meto-dología de detección y seguimiento, son matri-ces de [N x 2], donde N es el número de pun-tos capturados en la secuencia de video. La pri-mera columna corresponde a los valores de lacoordenada X en cada toma, y los de la segun-da columna a los de la coordenada Y.

4. METODOLOGÍA DE DISCRIMINACIÓN

La segunda parte de la metodología propuestacontiene dos fases y tiene como objetivo de-terminar el tipo de movimiento realizado. Laprimera fase se encarga de recibir las coorde-nadas del centro de la pupila generadas por lametodología de detección y seguimiento, paraproducir un vector de características que sirvecomo entrada al sistema discriminador. La se-gunda, recibe este vector y por medio de unclasificador genera una salida correspondientea uno de los ocho tipos de movimientos plan-teados.

4.1 Extracción de característicasde la señal de movimiento

Las señales capturadas que describen el mo-vimiento del ojo, son señales con una pequeñacomponente aleatoria y una componente detendencia marcada según el tipo de movimien-to (horizontal o vertical). Otra característica

a b

Page 6: Desarrollo de una Metodología para seguir y discriminar el ... · En la interacción humano–computador, el seguimiento del movimiento de los ojos juega un papel especialmente importante

Ingeniería31Vol. 11 No. 1

importante en el dominio temporal, es que suduración es más larga en el caso de movimien-tos lentos que en el de movimientos rápidos.Teniendo en cuenta estos factores y la especi-ficación de ejecución en tiempo real, se plan-tea una metodología que permite caracterizarlas señales del movimiento del ojo.

Con el fin de caracterizar las señales del mo-vimiento de un ojo, se realiza una serie de prue-bas que permite establecer qué información esla más relevante de la señal. En este proceso serequiere construir una base de datos que con-tenga muestras de los ocho tipos de movimien-to y establecer el tamaño de la ventana de ob-servación de las señales. Para establecer estetamaño, es importante considerar que se buscaoperación en tiempo real. Las series adquiridasdeben ser divididas en segmentos más peque-ños con el fin de actualizar la salida deldiscriminador en el menor tiempo posible.

Se propone un procedimiento para el esta-blecimiento del tamaño de la ventana basadoen la generación de histogramas claramentediferenciables. Este concepto hace referencia aque los modos de los histogramas de las carac-terísticas de dos tipos de movimiento diferen-tes se encuentren separados. En la figura 4.a semuestra el histograma correspondiente a unmovimiento derecha lento cuando la caracte-rística considerada es la suma de los puntos quecomponen la señal. La figura 4.b correspondeal movimiento izquierda lento. Los puntos don-de se localiza el cero se encuentran encerradosen el círculo que aparece en las dos imágenes.Puede observarse que en este caso loshistogramas son claramente diferenciables,dado que en el primer caso, el histograma selocaliza a la derecha del cero, mientras que enel segundo caso, se ubica a la izquierda del cero.El método propuesto para establecer el tama-ño de la ventana se describe a continuación:

Paso 1: Determinación de la máxima lon-gitud de la ventana. En este paso se debedeterminar la longitud de cada una de las seña-les adquiridas para los ocho tipos de movimien-to. El valor mínimo se considera como el ta-maño máximo de la ventana.

Paso 2: Obtención de los segmentos dela señal. Cada una de las señales de movimientodebe ser dividida en segmentos más pequeños,

cuya longitud está dada por el valor obtenidoen el paso 1 si se trata de la primera iteración opor el valor obtenido en el paso 4 si es unaiteración posterior.

Figura 4. Histogramas resultantes cuando la característicaconsiderada es la suma de los elementos de las señales. (a)Movimiento derecha lento. (b). Movimiento izquierda lento.

a

b

Paso 3: Definición de una característicaparticular. En este paso se debe escoger unacaracterística de la señal que será extraída a cadasegmento para construir nuevos vectores quedescriban cada una de las señales.

Paso 4: Construcción y comparación delos histogramas. En este paso se construyenlos histogramas de los vectores obtenidos enel paso 3 para los ocho tipos de movimiento.La comparación consiste en establecer pormedio de la observación si existen diferenciasclaras en los histogramas correspondientes acada uno de los tipos de movimiento. Si loshistogramas son claramente diferenciables seprocede a decrementar en uno la longitud de laventana y se salta al paso 2. Si ya no es posiblesu diferenciación se establece como longitudde la ventana la encontrada en la iteración an-terior y se detiene el proceso.

Luego de aplicar la metodología planteada,se observó que el tamaño de la ventana debeser de cinco muestras. Por otra parte, luego deprobar con diferentes características en el do-

Page 7: Desarrollo de una Metodología para seguir y discriminar el ... · En la interacción humano–computador, el seguimiento del movimiento de los ojos juega un papel especialmente importante

Ingeniería32 Vol. 11 No. 1

minio del tiempo y de la frecuencia, se consi-deró que las características correspondientes ala suma de los elementos de cada vector y lavelocidad del mismo fueron los que generaronmejores resultados. Esta última se define comola diferencia entre el valor del último y el pri-mer elemento del vector de entrada.

El vector de características planteado estaformado entonces por cuatro elementos. Elprimero corresponde al valor de la suma de loscinco puntos, en el eje X, que componen eldesplazamiento que se esta evaluando. El se-gundo contiene la suma en la coordenada Y. Eltercero y el cuarto se relacionan con el valor dela velocidad en las coordenadas X y Y respecti-vamente.

4.2 Discriminación

La discriminación se divide en cinco comose muestra en la figura 5. En primera instanciase determina si el movimiento realizado es detipo vertical u horizontal. Para esto, se evalúael signo de la diferencia de las sumatorias en Xy Y: si la diferencia es positiva se trata de unmovimiento horizontal pues el desplazamien-to en el eje X fue mayor y además conservó latendencia en una sola dirección. Si la diferen-cia es negativa se trata de un movimiento verti-cal ya que en este caso es en el eje Y que la serieconserva su tendencia y refiere un mayor des-plazamiento.

Si el movimiento es horizontal, se procede adeterminar si se realizó hacia la derecha o ha-cia la izquierda. Para ello, se toma el tercer ele-mento del vector de características que se re-fiere al valor de la velocidad en el eje X. Eva-luando el signo de este elemento es posibledeterminar la dirección del movimiento. Si estees positivo, el desplazamiento se realizó haciala izquierda. Por el contrario, si es menor quecero, el movimiento se realizó hacia la derecha.De la misma forma puede evaluarse la direc-ción de un movimiento vertical, sólo que eneste caso se estudia el cuarto elemento delvector de características. Este contiene el valorde la velocidad en el eje Y, y presenta signopositivo si el desplazamiento se realiza haciaarriba, y negativo si se efectúa hacia abajo.

La determinación de la velocidad del movi-miento se enfoca de una forma diferente debi-

do a que no es posible establecer un umbral declasificación.

Figura 5. Diagrama de flujo que describela metodología de discriminación.

Coordenadas del centro de la pupila

Movimientohorizontal

Clasificador: Derecha -izquierda

Clasificador:Arriba -abajo

Clasificador deVelocidad

(movimiento horizontal)

Clasificador de Velocidad

(movimiento vertical)

Fin

No

Si

Inicio

-

-

4.2.1 Sistemas difusos para la clasificación de lavelocidad

En esta sección se plantea el diseño de unsistema difuso encargado de solucionar el pro-blema de la ausencia de un umbral único quepermita la discriminación de velocidad. A con-tinuación se presenta la metodología seguidapara diseñar los conjuntos difusos, la base dereglas correspondiente y otras consideracionesen el diseño de los sistemas difusos para movi-mientos horizontales y verticales.

i. Conjuntos difusos.

La construcción de los conjuntos difusosse lleva a cabo siguiendo un procedimientoque estudia los histogramas. Los universosde entrada que se consideran son la veloci-dad actual en el eje donde se realiza el mo-vimiento (X o Y) y la velocidad anterior enel mismo eje (entendiendo velocidad comola diferencia entre el último y el primer pun-to en el vector de entrada al sistema de ex-tracción de características). Se plantean losmismos conjuntos para los dos universosde entrada. El método seguido en la cons-trucción de los conjuntos consta de cuatro

Page 8: Desarrollo de una Metodología para seguir y discriminar el ... · En la interacción humano–computador, el seguimiento del movimiento de los ojos juega un papel especialmente importante

Ingeniería33Vol. 11 No. 1

pasos que deben realizarse para cada unode los conjuntos y que se describen a conti-nuación:

Paso 1: Planteamiento de los conjun-tos iniciales. Se plantean cuatro conjun-tos gaussianos correspondientes a velo-cidad negativa alta, negativa baja, positivaalta y positiva baja.

Paso 2: Primera modificación de losconjuntos. En este caso se localiza elmáximo pico del histograma asociado alconjunto y se asigna a este valor un gradode pertenencia de uno. Las pendientes delconjunto difuso son tan abruptas comolo sean las pendientes de los datos conte-nidos en el histograma. Si el histogramacontiene datos aislados éstos no se consi-deran en la construcción del conjunto di-fuso, pues el objetivo es construir el con-junto a la luz del histograma y no imitarlocompletamente.

Paso 3: Medición del desempeño delsistema difuso. Se prueba el desempe-ño (número de aciertos respecto al nú-mero de pruebas) del sistema difuso conlos conjuntos obtenidos en el paso 1 si setrata de la primera iteración o con los ob-tenidos en el paso 4 si se trata de una ite-ración posterior. Si el desempeño obteni-do es menor al anterior se detiene el pro-cedimiento y se establece como definiti-vo el conjunto resultante de la iteraciónanterior. Luego se retorna al paso 1 peromanteniendo la forma del conjunto yadiseñado y se procede a variar el siguientehasta que finalice el diseño de todos losconjuntos.

Paso 4: Modificación de los conjun-tos a la luz del histograma. Con el finde mejorar la efectividad del sistema di-fuso, se varían los conjuntos que presen-ten menor desempeño. Esta variación serealiza observando el histograma y losdatos a los que se asignó un grado de per-tenencia pequeño o incluso ninguno. Lue-go de determinar cuales son las zonas sig-nificativas del histograma que se estándejando de incluir en el conjunto difuso,se realizan las variaciones pertinentes parasu inclusión en el mismo. De este paso se

retorna al paso 3 hasta que se consiga elmejor desempeño.

Es importante aclarar que no se está relacio-nando directamente la función de pertenenciade cada conjunto con su función de densidadde probabilidad asociada, puesto que la prime-ra indica hasta qué punto cierto valor de unamagnitud puede ser incluido en un conjuntodifuso, mientras que la segunda, por su parte,indica la frecuencia con que los diversos valo-res de una magnitud se presentan. Las funcio-nes de pertenencia fueron fijadas arbitrariamen-te por el diseñador, indicando el significadopreviamente asignado a cada una de las varia-bles lingüísticas que definen los conjuntos. Lasfunciones de densidad de probabilidad fueronutilizadas solamente como una guía en el pro-ceso de sintonización del sistema difuso. En lafigura 6 se muestran los conjuntos resultantesluego de seguir el método descrito para el casode los movimientos horizontales.

Figura 6. Conjuntos difusos de entrada para el sistema dedeterminación de la velocidad en movimientos horizontales.

El universo de salida es velocidad. Este secompone de dos conjuntos tipo singleton: ve-locidad alta y velocidad baja localizados en 1y -1 respectivamente, como se muestra en lafigura 7. Finalmente la salida del sistema difu-so se pasa por un bloque de comparadoresque indican si esta es mayor o menor que ceropara determinar la velocidad del movimientorealizado.

Figura 7 Conjuntos difusos de salida para el sistema de determinación de la velocidad.

Page 9: Desarrollo de una Metodología para seguir y discriminar el ... · En la interacción humano–computador, el seguimiento del movimiento de los ojos juega un papel especialmente importante

Ingeniería34 Vol. 11 No. 1

ii. Base de Reglas

La base de reglas se establece teniendo encuenta dos factores: si se realiza un movi-miento lento el desplazamiento es pequeñosobre la base de tiempo ya establecida comouna constante. Por otra parte, si el movi-miento es rápido el desplazamiento es ma-yor. El segundo factor está relacionado confenómenos observados en la base de datosconstruida. En los movimientos rápidos, seencuentran vectores que los describen cla-ramente, pero también vectores que se ase-mejan a movimientos lentos. Para evitar es-tos errores en la discriminación, se planteanreglas que observan el valor presente y elanterior de la velocidad en X (relativa al des-plazamiento) y dan prioridad a los valoresaltos de las dos entradas. El peso asignadopara las reglas que tienen como consecuen-te velocidad baja es de uno, y para las quetienen como consecuente velocidad alta esde 0.8. Esta asignación se realiza para com-pensar la prioridad que se esta dando a losmovimientos rápidos sobre los lentos cuan-do uno de estos es antecedido por una ve-locidad alta. A continuación se mencionanlas diez reglas que componen la base consu correspondiente peso:

• Si velocidad actual es negativa baja y velocidadanterior es negativa baja, entonces velocidad desalida es baja. (1)

• Si velocidad actual es negativa baja y velocidadanterior es negativa alta, entonces velocidad esalta. (0.8)

• Si velocidad actual es negativa baja y velocidadanterior es positiva baja, entonces velocidad desalida es baja. (1)

• Si velocidad actual es negativa baja y velocidadanterior es positiva alta, entonces velocidad desalida es baja. (1)

• Si velocidad actual es positiva baja y velocidadanterior es negativa baja, entonces velocidad desalida es baja. (1)

• Si velocidad actual es positiva baja y velocidadanterior es negativa alta, entonces velocidad desalida es baja. (1)

• Si velocidad actual es positiva baja y velocidadanterior es positiva baja, entonces velocidad desalida es baja. (1)

• Si velocidad actual es positiva baja y velocidadanterior es positiva alta, entonces velocidad desalida es alta. (0.8)

• Si velocidad actual es negativa alta, entonces ve-locidad de salida es alta (0.8)

• Si velocidad actual es positiva alta, entonces ve-locidad de salida es alta (0.8)

iii. Características del sistema difuso.

Se propone un sistema difuso de tipoMamdani con las siguientes características

• S-norma: máximo• T-norma: mínimo• Implicación por la regla del mínimo• Agregación por regla del máximo• Defusificador: mayor de los máximos

(LOM)

Las superficies de decisión resultantes parala clasificación de velocidad de los movimien-tos horizontales y verticales, se muestran en lasfiguras 7 y 8 respectivamente.

Figura 7. Superficie de decisión obtenidapara el sistema difuso encargado de determinar

la velocidad en un movimiento horizontal.

Figura 8. Superficie de decisión obtenida para el sistemadifuso encargado de determinar la velocidad en un

movimiento horizontal.

5. MPLEMENTACIÓN DE LA METODOLOGÍA Y RESULTADOS

Una vez diseñada la metodología de seguimientoy discriminación, se procede a su implementaciónen una plataforma software que permite su ope-ración en tiempo real. Esta implementación tienecomo objetivo realizar pruebas de eficacia y ro-bustez a la metodología propuesta.

La secuencia de video se capturó con unacámara de seguridad con resolución de

Page 10: Desarrollo de una Metodología para seguir y discriminar el ... · En la interacción humano–computador, el seguimiento del movimiento de los ojos juega un papel especialmente importante

Ingeniería35Vol. 11 No. 1

720X480 píxeles, una tarjeta de adquisiciónNational Instrument y un computador conprocesador Pentium 4 de 2.4 GHz y 480 Mbde memoria ram. Labview 6.5 fue la platafor-ma software elegida para la implementación dela metodología. La selección se debe a la facili-dad que ofrece en el manejo de dispositivosperiféricos y las ventajas que ofrece cuando seopera en tiempo real.

La rutina de adquisición y procesamiento decada imagen hasta el momento de entregar lascoordenadas del centro de la pupila tarda 10ms,por tanto la tasa de adquisición es de 10 imáge-nes por segundo. La discriminación de cadamovimiento requiere 5 muestras, de esta formael sistema entrega dos resultados por segundo.

5.1. Resultados experimentales

Con el objetivo de establecer la eficacia delsistema de seguimiento y discriminación, seprueba con un paciente en particular y con otrosonce pacientes en general. Cada uno realiza deforma repetitiva cada uno de los ocho tipos demovimiento, mientras que el sistema realiza ladiscriminación.

5.1.1. Resultados cuantitativos

En la figura 9 se muestra el porcentaje dediscriminaciones acertadas durante la pruebade eficacia. Puede observarse que el movimien-to para el caso del movimiento horizontal (derecho) rápido se obtiene un desempeño del100%. El movimiento vertical ( abajo ) lentopor su parte, es el de menor eficacia, con un78,45%. El valor promedio de las efectivida-des es de 91,65%.

Figura 9. Resultados obtenidos en la prueba de eficacia.

En la figura 10 se muestra el promedio deldesempeño obtenido para todos los pacientesen cada tipo de movimiento. Puede observarseque el menor desempeño fue obtenido en ladiscriminación de la velocidad para el movi-

Figura 10. Resultados obtenidos en la prueba de robustez.

5.1.2. Resultados cualitativos

Se puede observar a partir de los promediosde desempeños obtenidos para la prueba derobustez que el sistema no es robusto, puestoque el promedio de desempeño del sistema parael paciente en particular es notablemente másalto que el promedio de los desempeños cuan-do se trata de diferentes pacientes.

Puede observarse en las figuras 9 y 10, que enel caso de discriminación de velocidad en movi-mientos verticales lentos el desempeño dismi-nuye. Esto se debe a que el desplazamiento rea-lizado por los ojos durante el movimiento es máscorto y se ve afectado por las pestañas. Para ladiscriminación de la dirección en movimientosvertical y horizontal rápido la eficacia del siste-ma es mayor, puesto que la duración de las prue-bas y el parpadeo son menores. En los movi-mientos lentos la presencia de perturbacionesaumenta, debido a que los movimientos de lacabeza y el cuerpo, en ocasiones, hace que el ojosalga del área de procesamiento planteada. Ade-más el sistema discrimina el parpadeo como unmovimiento vertical rápido y esto constituye unerror en movimientos lentos.

6. CONCLUSIONES Y TRABAJO FUTURO.

En este artículo se presentó una metodolo-gía para seguir y discriminar el movimiento deun ojo humano en tiempo real, empleando pro-cesamiento de imágenes y técnicas de inteligen-cia computacional.

La división de la metodología de detección yseguimiento en dos fases: calibración y ejecu-

miento vertical (arriba) lento, éste fue del51,43%. El mejor resultado se consigue en ladiscriminación del movimiento horizontal (de-recho) rápido, donde se consigue un desempe-ño del 90%. El promedio del porcentaje deaciertos obtenido en éste caso es de 74,34%.

Page 11: Desarrollo de una Metodología para seguir y discriminar el ... · En la interacción humano–computador, el seguimiento del movimiento de los ojos juega un papel especialmente importante

Ingeniería36 VVVVVol.ol.ol.ol.ol. 11 No 11 No 11 No 11 No 11 No..... 1 1 1 1 1

ción, permite minimizar el área de la imagen ycon ello reducir el tiempo de procesamiento.Con éste planteamiento se obtiene una tasa demuestreo mayor que la obtenida al procesarcada imagen completa durante la etapa de eje-cución. Por lo tanto se describe de una mejormanera la señal de movimiento.

Los resultados experimentales confirman unfuncionamiento satisfactorio de laimplementación de la metodología cuando seprueba con un paciente en particular. Los re-sultados de las pruebas realizadas con los otrospacientes, sugieren el planteamiento de siste-mas clasificadores que consideren las diferen-cias en los movimientos propios de los ojospara diversos pacientes.

Sobre la base de los resultados obtenidos enel desarrollo de este proyecto de investigación ysu pertenencia a un proyecto mayor que consis-te en el desarrollo de una interfaz humano –máquina basada en el movimiento de un ojo, sepueden plantear algunos desarrollos posteriores,tales como el diseño e implementación de otrasestrategias de discriminación y su comparacióncon la técnica actual. El desarrollo de una apli-cación que sintonice de forma automática lossistemas difusos para un paciente nuevo. El di-seño e implementación de un sistema de con-trol para un dispositivo que pertenezca al am-biente del paciente y la implementación de unaestructura (un casco) que soporte la cámara y elsistema de iluminación, pero que evite los mo-vimientos de la cabeza.

7. AGRADECIMIENTOSQueremos agradecer a los miembros del La-

boratorio de Automática, Microelectrónica eInteligencia Computacional por su apoyo du-rante la realización de este proyecto. Especial-mente al asistente de investigación John JairoRodríguez por la colaboración prestada y al Ing.Miguel Melgarejo por la asesoría durante eldesarrollo de éste proyecto.

8. REFERENCIAS BIBLIOGRÁFICAS [1] Toro G. J., Neurología, Mc Graw-Hill Interamericana, Bogotá,

2001. pp. 220

[2] Amyotrophic lateral sclerosis (ALS) therapy developmentfoundation, http://www.als.net/als101/whatisals.asp.

[3] C. Pérez, A. Palma, C. Holzmann, C. Peña. Face and EyeTracking Algorithm Based on Digital Image Processing. Proc

of IEEE International Conference on Systems, Man, andCybernetics, vol 2, pp 1178-1183, 2001.

[4] J. Deng, F. Lai, Region based template deformation andmasking for eye feature extraction and description, PaternRecognition, Vol. 30, No. 3, 1997, pp 403-419.

[5] Kyung-Nam Kim, R. S. Ramakrishna, «Vision-Based Eye-GazeTracking for Human Computer Interface», IEEE InternationalConf. on Systems, Man, and Cybernetics, Tokyo, Japan,Oct.1999

[6] Chau Michael, Betke Margrit, «Real Time Eye Tracking andBlink Detection with USB Cameras», Boston UniversityComputer Science Technical Report No. 2005-12, Boston,USA, May. 2005.

[7] M. Betke J. Gips, and P. Fleming, «The Camera Mouse: Vi-sual Tracking of Body Features to Provide Computer AccessFor People with Severe Disabilities.» IEEE Transactions onNeural Systems and Rehabilitation Engineering, Vol. 10, No.1, pp. 1-10, March 2002.

[8] W. Almageed, M. Fadali, G. Bebis. A Non intrusive KalmanFilter Based Tracker for Pursuit Eye Movement. Proc of 2002International Control Conference, Vol. 2, pp 380-385, 2002.

[9] L. Yin, S. Bernögger. Synthesizing realistic facial animatioinsusing energy minimization for model-based coding. PatternRecognition Vol.34, No.11, November 2001, Elsevier Science,pp2201-2213

[10] W. Zorski, B. Foxon. Fingerprint and Iris Identification MethodBased on the Hough Transform. Biuletyn Instytutu AutomatykiI Robotyki Wat, NR 15, pp 43-53, 2001.

[11] A. Kavianpour, S. Shoari, N. Bagherzadeh, A New Approachfor Circle Detection on Multiprocessors, Journal of Parallel andDistributed Computing, Vol 20, No. 2, pp 256-60, February1994.

[12] A. Guyton y J. Hall, Tratado de fisiología médica, Mc Graw-HillInteramericana, 10ª ed, pp 677-739, 1998.

[13] B. Martin del Brio y A. Sanz. Redes Neuronales y SistemasDifusos. Editorial Alfa Omega, México.2002. pp. 10-90.

[14] F. Rubio, J. Rodríguez, Desarrollo de una Metodología paraseguir y Discriminar el Movimiento de un Ojo Humano en Tiem-po Real, Universidad Distrital, 2005.

[15] R. González y R. Woods. Tratamiento digital de imágenes.Editorial Addison-Wesley Iberoamericana, Wilmington, 1996,pp. 180-205, 478-494

[16] J. Russ, The image processing handbook, 2nd edition, CRCPress, 1995, pp. 213-225, 347-371.

Fidelia Milena Rubio Ramos.Ingeniera Electrónica Universidad Distrital Francisco José de Cal-das. Pertenece como asistente de investigación al grupo LAMICdesde agosto de 2004. Actualmente se encuentra diseñando el sis-tema de trazabilidad para el Sistema de Abastecimiento de Alimen-tos de Bogotá (SAAB) en la Universidad Distrital Francisco Joséde Caldas [email protected]

Alvaro Betancourt UscáteguiIngeniero Electrónico Universidad Distrital Francisco José deCaldas. Especialista en Telecomunicaciones Móviles, Universi-dad Distrital. MSc. Ciencias Financieras y de Sistemas, Univer-sidad Central. Magíster en Ingeniería, Informatique Appliquée,Ecole Polytechnique Université de Montreal, Canadá. ProfesorTitular Facultad de Ingeniería Universidad Distrital. Director delgrupo de Invest igación LAMIC, Univers idad Dist r i ta l [email protected]