Metodología para el Desarrollo de Interfaces de Usuario Vocales

Tesis que presenta:David Augusto Céspedes Hernández

Para obtener el título de:Licenciatura en Ingeniería en Ciencias de la Computación

Benemérita Universidad Autónoma de PueblaFacultad de Ciencias de la Computación

Asesores:Dr. Juan Manuel González Calleros

Dra. Josefina Guerrero García

Jurado:Dr. Manuel Isidro Martín Ortiz

Dr. Ivo Humberto Pineda Torres

Puebla, Pue. Julio 2013

Temas a tratar

• Introducción• Estado del arte• Metodología• Validación• Conclusiones y trabajo futuro

Temas a tratar

• Introducción• Estado del arte• Metodología• Validación• Conclusiones y trabajo futuro

Introducción

• Interfaces de Usuario• Interacción Natural• ¿Por qué Interfaces vocales?• Problemática• Objetivos

Interfaces de Usuario

• Conjunto de comandos o menús a través de los cuales un usuario se comunica con un programa o dispositivo.

• Inicialmente la línea de comandos, después menús desplegables e interfaces gráficas y recientemente Interfaces de Usuario Naturales.

Interacción Natural

• Interfaces cuya utilización resulta Natural para los usuarios, es decir, para su uso requieren poco entrenamiento.

• Un tipo especial de Interacción Natural son las interfaces vocales que buscan emular el diálogo que puede tener una persona con otra.

¿Por qué Interfaces vocales?

• Accesibilidad universal.• Aumentar la facilidad de uso de sistemas

computacionales.• Elaboración de sistemas vocales fácil para

desarrolladores no expertos.• Promover la interacción vocal centrada en el

usuario.

Problemática

• Se requiere una metodología para desarrollar sistemas de interacción vocal para múltiples plataformas sin necesidad de repetir en su totalidad el proceso de diseño y desarrollo de los mismos.

Objetivos

• De manera general: – Elaborar una metodología que siga los principios

de desarrollo basado en modelos para soportar la implementación de IUs vocales.

Objetivos

• De manera específica:

– Analizar herramientas, lenguajes, marcos de trabajo y plataformas existentes para que la metodología que se proponga sea extensible a diversos lenguajes, plataformas y dispositivos.

– Elaborar un modelo de interacción que permita el modelado de sistemas de interacción vocal.

– Considerar el contexto y al usuario para permitir que los desarrolladores puedan realizar implementaciones centradas en el usuario.

Temas a tratar

• Introducción• Estado del arte• Metodología• Validación• Conclusiones y trabajo futuro

Estado del arte

• Marcos de trabajo teóricos• UIDL• Herramientas para desarrollo de IU

Marcos de trabajo teóricos

• Se analizan y comparan las características marcos de trabajo que permiten el manejo de interacción vocal.

• De éstos, se destaca el CAMELEON Reference framework por permitir de manera simple el desarrollo de IU basado en modelos.

UIDLs

• Los Lenguajes de Descripción de Interfaces de Usuario son lenguajes de especificación para describir varios aspectos de las IU.

• Se destacan VoiceXML y XHTML+Voice por ser considerados estándares en la elaboración de sistemas de interacción vocal y UsiXML por su compatibilidad con múltiples plataformas y con el marco de trabajo CAMELEON.

Herramientas para desarrollo de IU

• Utilizan objetos de un repositorio o elementos de librerías para elaborar IU. Sus elementos pueden ser reutilizados para definir nuevas interfaces.

• Se destacan System.Speech.Recognition y System.Speech.Synthesis de Microsoft por la extensa documentación de su API (Interfaz de Programación de Aplicaciones).

Temas a tratar

• Introducción• Estado del arte• Metodología• Validación• Conclusiones y trabajo futuro

Metodología

• Una metodología se compone de un método, una técnica y una herramienta en este caso para desarrollo de sistemas de interacción vocal.

• Se considera la propuesta MDA (Arquitectura basada en modelos) de OMG:– Un modelo independiente de la plataforma– Un modelo específico a la plataforma– Una implementación completa a partir de ellos

Pasos para la elaboración de la metodología

1. Selección de elementos y componentes.2. Abstracción de componentes.3. Modelo para desarrollo de IU vocales.4. Elementos gráficos para representación.5. Reglas de transformación.

1. Selección de elementos y componentes

• Marcos de trabajo teóricos: CAMELEON Reference Framework.

• UIDLs: VoiceXML, XHTML+Voice y UsiXML.• Herramientas de desarrollo: Reconocedor y

sintetizador de Microsoft.

2. Abstracción de componentes

VoiceXML XHTML+Voice Kinect con System.Speech.Synthesis

<audio> <vxml : audio> Speak(FilePrompt)

<prompt> <vxml : prompt> Speak(Prompt)

<record> <vxml : record> Start() + SetOutputToAudioStream

<field> <vxml : field> Start()

2. Abstracción de componentes

VoiceXML XHTML+Voice Kinect con System.Speech.Synthesis

Función

<audio> <vxml : audio> Speak(FilePrompt) Sintetiza audio desde una fuente

<prompt> <vxml : prompt> Speak(Prompt) Sintetiza un mensaje determinado

<record> <vxml : record> Start() + SetOutputToAudioStream

Recibe una entrada vocal

<field> <vxml : field> Start() Espera una entrada por parte del usuario

3. Modelo para desarrollo de IU vocales

• Modelo del contexto

3. Modelo para desarrollo de IU vocales

• Modelo VocalCUI

4. Elementos gráficos para representación

• Elementos gráficos

5. Reglas de transformación

• Tabla de reglas

Temas a tratar

• Introducción• Estado del arte• Metodología• Validación• Conclusiones y trabajo futuro

Validación

• Notación CTTE• Caso de estudio• Publicación del trabajo

Notación CTTE

• La notación de árboles de tareas concurrentes (CTT) permite expresar las tareas identificadas en los requerimientos de un sistema de acuerdo con la naturaleza, orden y jerarquía de las mismas.

• Naturalezas

Caso de estudio: Búsqueda de un libro

• Se requiere un sistema que confirme la existencia de un libro en un inventario.

• Los libros disponibles se enlistan en una gramática con formato SRGS (Especificación de gramática para reconocimiento del habla).

• El sistema debe preguntar el titulo del libro que se desea buscar, una vez que el usuario lo mencione, si el sistema lo reconoce deberá confirmarlo y en caso positivo informar la existencia del libro en el inventario.

Caso de estudio: Búsqueda de un libro

• Modelo de Tareas

Caso de estudio: Búsqueda de un libro

• Modelo en términos del metamodelo

Caso de estudio: Búsqueda de un libro

• Código VoiceXML

Publicación del trabajo

• Como parte del proceso de validación, el modelo para desarrollo de IU vocales fue sometido a revisión en el IV Congreso Mexicano de Interacción Humano-Computadora dónde fue enriquecido por expertos en el área de la Interacción y de la Ingeniería de Software así como aceptado para su publicación en las memorias del congreso y en la biblioteca digital de ACM.

• El proyecto además fue reconocido con el segundo lugar de la categoría libre avanzada en la feria de proyectos de la Facultad de Ciencias de la Computación, donde fue evaluado por profesores, investigadores y representantes de industrias.

Temas a tratar

• Introducción• Estado del arte• Metodología• Validación• Conclusiones y trabajo futuro

Conclusiones y trabajo futuro

• Conclusiones• Trabajo futuro

Conclusiones

• En el estado del arte, se analizaron y compararon herramientas, lenguajes y marcos de trabajo teóricos que conforman la base para el desarrollo de la metodología.

• Se planteó un modelo para la interacción vocal basado en los componentes de los lenguajes y herramientas seleccionados que además considera el contexto de uso del sistema y el estereotipo de usuario.

Conclusiones

• Se validó la metodología mediante casos de estudio. Al tiempo que se puede observar que ésta cumple con los lineamientos mencionados de MDA. (Modelo ajeno a la plataforma, Modelo específico a la plataforma e Implementación).

Trabajo futuro

• Elaborar reglas de transformación para distintos lenguajes.

• Desarrollar una herramienta de software que dé soporte a esta metodología.

• Llevar a cabo evaluaciones de usabilidad sobre las implementaciones que sean resultado de esta herramienta generadora de código para comprobar que se atienden los aspectos relacionados con el usuario y el contexto.

¡Gracias por su atención!

Referencias