Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal

Primera Reunión de arranque del proyectoEn la ETSI Telecomunicación de la UPM

Proyecto

INDICE y AGENDA 10:00-10:10 Presentación 10:10-10:20 Introducción 10:20-11:30 Tareas

T1: Estudio Lingüístico T2: Diseño de Arquitectura T3: Reconocimiento de voz

11:30-12:00 Café 12:00-13:20 Tareas

T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación de prototipos T8: Gestión/documentación

13:20-13:30 Ruegos y preguntas 13:30-14:00 Visita al laboratorio

PROYECTOS

INTRODUCCIÓN

ENFOQUE

VOZ TEXTO

SIGNOS

RAZONABLE

COMPLICADO

El proceso de traducción se puede llevar a cabo en los dos sentidos

SIGNOS - VOZ

COMPLICADO

Reconocimiento visual de los signos Procesado de Vídeo 2D a 3D

Hoy: reconocimiento del alfabeto dactilográfico Captura de los movimientos mediante guantes

Mejores tasas Poco práctico

VOZ - SIGNOS

RAZONABLE

Conseguir una buena tasa de transferencia de información: 90% es posible para dominios restringidos. El 100% es una utopía

Dominios RestringidosEn torno a 100-1000 palabras: información

meteorológica, deportes,....

UN PRIMER PROTOTIPO

En primer lugar pedir perdón porque las traducciones no han sido realizadas por ningún experto, ni los signos tampoco han sido supervisados por una

persona experta

TAREAS: OBJETIVO Y

PLANIFICACIÓN GENERAL

OBJETIVO CONCRETO

Diseño, desarrollo y evaluación de una arquitectura software que permita la traducción de voz a Lengua de Signos Española (LSE) aplicados a la traducción de las frases que un funcionario público pronuncia cuando atiende personalmente a una persona sorda.

Se elegirán dos de entre estos servicios: Renovación del Documento Nacional de Identidad (DNI). Prestaciones económicas del Instituto Nacional de la Seguridad Social (INSS). Información y gestión de los servicios que presta la DGT (Dirección General de Tráfico).

PLANIFICACIÓN GENERALOriginal (15 meses)

Real (12 meses)

Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10

T11

T12

T13

T14

T1: Estudio LingüísticoT2: Diseño ArquitecturaT3: Reconocimiento de vozT4: Traducción por reglasT5: Traducción estadísticaT6: Generación de signosT7: Evaluación prototiposT8: Gestión/documentación

Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11

T1: Estudio LingüísticoT2: Diseño ArquitecturaT3: Reconocimiento de vozT4: Traducción por reglasT5: Traducción estadísticaT6: Generación de signosT7: Evaluación prototiposT8: Gestión/documentación

ESTUDIO LINGÜÍSTICO

1 PASO: ENTREVISTA CON FUNCIONARIO Y ESCENARIOS

Es necesario una entrevista con un funcionario Obtención de escenarios o posibles situaciones demandadas por los usuarios

Descripción de situaciones y escenarios

2 PASO: RECOPILACIÓN DE FRASES

el denei es obligatorio desde los catorce años

para solicitar por primera vez el denei necesitas dos fotos

si usted solicita por primera vez el denei debe llevar la partida de nacimiento

si usted tiene entre treinta y setenta años debe renovar el denei

las personas mayores de setenta años ya no tienen que renovar el denei

para hacerte las fotografías tienes que pagar cuatro euros

con tu denei puedes viajar a estos países

para alquilar un coche tienes que presentar el denei

Varios funcionarios generan varias frases según los escenarios definidos Estimación: entre 200 y 500 frases

3 PASO: EXTENSIÓN DE FRASES: FLEXIBILIDAD

el denei es obligatorio desde los catorce años

para solicitar por primera vez el denei necesitas dos fotos

si usted solicita por primera vez el denei debe llevar la partida de nacimiento

si usted tiene entre treinta y setenta años debe renovar el denei

las personas mayores de setenta años ya no tienen que renovar el denei

para hacerte las fotografías tienes que pagar cuatro euros

con tu denei puedes viajar a estos países

para alquilar un coche tienes que presentar el denei

Varias formas de expresar lo mismo para aumentar la flexibilidad del sistema Estimación: entre 500 y 800 frases

Desde los catorce años el denei es obligatorio

Con más de catorce años te tienes que sacar el denei

Cuando tengas catorce años tienes que disponer del denei

4 PASO: TRADUCCIÓN

Se podría utilizar el Excel para etiquetar Sugerencia: grabación de vídeos

Estos 4 pasos hay que repetirlos para cada uno de los 2 servicios desarrollados

DISEÑO DE LA ARQUITECTURA

ARQUITECTURA

Requiere de un corpus paralelo de varios miles

de frases para entrenar los motores de traducción

Speech Recognition

Rule-based Translation

Natural Speech

Word Sequence Translation

Rules

Acoustic Models

Language Model

Statistical Translation

Probabilistic Model

Gesture Animation

Gesture Descriptions

Gesture SequenceSpeech

Recognition

Rule-based Translation

Natural Speech

Word Sequence Translation

Rules

Acoustic Models

Language Model

Statistical Translation

Probabilistic Model

Gesture Animation

Gesture Descriptions

Gesture Sequence

ARQUITECTURA

Gran Experiencia: Optimizado en

múltiples proyectos

Speech Recognition

Rule-based Translation

Natural Speech

Word Sequence Translation

Rules

Acoustic Models

Language Model

Statistical Translation

Probabilistic Model

Gesture Animation

Gesture Descriptions

Gesture SequenceSpeech

Recognition

Rule-based Translation

Natural Speech

Word Sequence Translation

Rules

Acoustic Models

Language Model

Statistical Translation

Probabilistic Model

Gesture Animation

Gesture Descriptions

Gesture Sequence

RECONOCIMIENTO DE VOZ

RECONOCIMIENTO DE VOZ

VOZ

RECONOCIMIENTO DE VOZ

VOZ

Ya hechoDisponible

Café

TRADUCCIÓN BASADA EN REGLAS

TRADUCCIÓN POR REGLAS Reglas codificadas en C: colaboración de programador y experto en LSE. Necesidad de corpus Tipos de reglas:

Un concepto se traduce por un signo. Un concepto se traduce por varios signos. Varios conceptos se traducen por un signo. Varios conceptos se traducen por varios signos.

El orden de las reglas es muy importante 128 reglas de traducción para DNIs EJEMPLO:

Texto: ”el denei es obligatorio desde los catorce años” Signos: DNI OBLIGATORIO DESDE CATORCE EDAD

TRADUCCIÓN ESTADÍSTICA

TRADUCCIÓN ESTADÍSTICA

Generación de Modelos

Traducción y Modelos de Lenguaje

Traducción

Modelos de Traducción y

Modelos de Lenguaje

Texto Signos

Texto Signos

Texto: ”el denei es obligatorio desde los catorce años”Signos: DNI OBLIGATORIO DESDE CATORCE EDAD

TRADUCCIÓN ESTADÍSTICA

Generación de Modelos

Traducción y Modelos de Lenguaje

Traducción

Modelos de Traducción y

Modelos de Lenguaje

Texto Signos

Texto Signos

Texto: ”el denei es obligatorio desde los catorce años”Signos: DNI OBLIGATORIO DESDE CATORCE EDAD

GENERACIÓN DE LA BASE DE DATOS DE SIGNOS

LISTA DE SIGNOS A GENERAR

Lista de signos a generar

Muy fácil de generar con un programa sencillo. Nosotros lo tenemos disponible y lo

podemos generar sin problemas

REPRESENTACIÓN DE LOS SIGNOS

VGUIDO: Agente animado del proyecto eSIGN• http://www.sign-lang.uni-hamburg.de/eSIGN/• Desarrollado en colaboración con la empresa VISICAST: http://www.visicast.co.uk/.• Libre para investigación

REPRESENTACIÓN DE LOS SIGNOS

Notación HamNoSys

Editor de SIGNOS

Genera un fichero SIGML (formato XML)

para representar cada SIGNO

REPRESENTACIÓN DE LOS SIGNOS

<sigml> <hns_sign gloss="GLOSS:OBLIGATORIO"> <hamnosys_nonmanual> </hamnosys_nonmanual> <hamnosys_manual>

<hampinch12open/><hamextfingero/><hampalmul/><hamchest/><hamlrat/><hamarmextended/><hamseqbegin/><hammovedl/><hamsmallmod/><hamrepeatreverse/><hamseqend/><hamrepeatfromstartseveral/>

</hamnosys_manual> </hns_sign></sigml>

INTRODUCCIÓN A HAMNOSYS

Demo de generación de un signo

EVALUACIÓN DE LOS PROTOTIPOS

EVALUACIÓN DE LOS PROTOTIPOS

USUARIOS FINALES

Evaluación subjetiva según una encuesta

• Inteligibilidad

• Velocidad

• Utilidad....

Evaluación objetiva• Tasa de reconocimiento

• Velocidad....

• Número de repeticiones

DIVULGACIÓN DE RESULTADOS Página web con los resultados del proyecto.

Publicaciones en revistas científicas y de divulgación Publicación en congresos especializados y jornadas o congresos de divulgación (Feria de Madrid,...) Medios de comunicación: televisión, prensa,....

http://lorien.die.upm.es/~lapiz/voz2lse/introduccion.php

RUEGOS Y PREGUNTAS