materiales en la webliceu.uab.cat/~joaquim/phonetics/oviedo_03/tecnolhabla.pdf · canal visual...

1

Joaquim LlisterriGrup de Fonètica, Seminari de Filologia i Informàtica

Departament de Filologia Espanyola, Universitat Autònoma de Barcelona

El anEl anáálisis del plano de la expresilisis del plano de la expresióónnLXIII Cursos de Verano ExtensiLXIII Cursos de Verano Extensióón Universitaria 2003n Universitaria 2003

Universidad de Oviedo, 17 de julio de 2003Universidad de Oviedo, 17 de julio de 2003

Fonética y tecnologías del hablaJoaquim Llisterri

Departament de Filologia Espanyola,

Universitat Autònoma de Barcelona

[email protected]

liceu.uab.es/~joaquim





Materiales en la webhttp//liceu.uab.es/~joaquim/teaching/Phonetics/Oviedo_03/

Oviedo_03.html

2



Fonética y tecnologías del habla

�Las tecnologías del habla�La conversión de texto en

habla�El reconocimiento del habla�Los sistemas de diálogo






3



La interacción con los ordenadores

• Pantalla• Teclado• Ratón• Lápiz• Tacto

Canal visualLengua escrita



La interacción humana

• Hace unos 5.000 años queescribimos

… pero hace unos 100.000 añosque hablamos (250.000 -50.000 años según los autores)

4



Las nuevas necesidades

• Desarrollo de la Sociedad dela Información “para todos”

• Automatización de serviciostelefónicos: información,transacciones…



¿Qué quisiéramos tener?

Un ordenador que…� Habla

� Reconoce

� El habla

� El usuario

� Entiende

�Ayuda alusuario�Traduce�La lengua

escrita�La lengua

oral

5



LingWear - Interactive System Labshttp://www.is.cs.cmu.edu/LingWear/movie.html



¿Qué tecnologías necesitamos?

Un ordenador que…

� Habla SSííntesis (CTH)ntesis (CTH)� Reconoce� El habla ReconocimientoReconocimiento� El usuario IdentificaciIdentificacióónn

� “Entiende” Comprensión

6



¿Qué tecnologías necesitamos?

Un ordenador que…

� Ayuda Sistema de diSistema de diáálogologo

� Traduce El escrito TA� El habla TA oralTA oral






7



La conversión de texto en habla

Del texto… …al habla GTP-UPC



Esquema general de unconversor de texto en habla

Pre-procesado y normalización

Análisis lingüístico Transcripción fonética

Asignación de prosodia Selección de unidades

Conversión en parámetros acústicos

8



Un ejemplo en español

CASTEJÓN LAPEYRA, F.- ESCALADASARDINA, G.- MONZÓN SERRANO, L.-RODRÍGUEZ CRESPO, M.A.- SANZVELASCO, P. (1994) "Un conversor texto-vozpara el español", Comunicaciones de TelefónicaI+D, 5, 2: 114-131.http://www.tid.es/presencia/publicaciones/comsid/esp/articulos/vol52/artic8/8.html



Módulo normalizador Telefónica I+D (Castejón et al., 1994)

Texto: El Sr. JosTexto: El Sr. Joséé Luis L Luis Lóópez tiene 201 vipez tiene 201 viññas.as.

NORMALIZADORNORMALIZADOR

Frase normalizada: el Sr. josFrase normalizada: el Sr. jos éé luis l luis lóópez tiene 201pez tiene 201viviññas.as.

Formato: mm abr Mm Mm Mm mm mm mm sig

Códigos: mm: palabra en minúscula, Mm: palabra coninicial mayúscula, abr: abreviatura, sig: signoortográfico

9



Módulo de preproceso Telefónica I+D (Castejón et al., 1994)

Frase normalizada: el Sr. josé luis lópez tiene 201viñas.

Formato: mm abr Mm Mm Mm mm mm mm sig

PREPROCESOPREPROCESO

Palabras: el se#or josPalabras: el se#or jos ’’e luis le luis l’’opez tiene doscientas unaopez tiene doscientas unavi#as.vi#as.

Palab_silab: el se. #or jo. sPalab_silab: el se. #or jo. s’’e luis le luis l’’o. pez tio. pez ti’’e.ne dos.e.ne dos.cici’’en. tas en. tas ‘‘u. na vu. na v’’i. #as.i. #as.



Módulo conversor grafema-alófono Telefónica I+D (Castejón et al., 1994)

Palab_silab: el se. #or jo. s’e luis l’o. pezti’e.ne dos. ci’en. tas ‘u. na v’i. #as.

CONVERSOR GRAFEMA-ALCONVERSOR GRAFEMA-ALÓÓFONOFONOAlAlóófonos: el se. N~or xo. sfonos: el se. N~or xo. s’’e luis le luis l’’o. peTo. peT

[sil] tj[sil] tj’’e.ne Dos. Tje.ne Dos. Tj’’en. tas en. tas ‘‘u. na Bu. na B’’i. N~asi. N~as[sil][sil]

10



Módulo categorizador Telefónica I+D (Castejón et al., 1994)

Palabras: el se#or jos’e luis l’opez tiene doscientas unavi#as.

Palab_silab: el se. #or jo. s’e luis l’o. pez ti’e.ne dos.ci’en. tas ‘u. na v’i. #as.

CATEGORIZADORCATEGORIZADOR

CategorCategoríías: ART N NP NP NP V NUM NUM N SIGas: ART N NP NP NP V NUM NUM N SIG

Códigos: ART: artículo, N: nombre, NP: nombre propio,V: verbo, NUM: número, SIG: signo ortográfico



Módulo de análisis sintáctico Telefónica I+D (Castejón et al., 1994)

Palabras: el se#or jos’e luis l’opez tienedoscientas una vi#as.

Categorías: ART N NP NP NP V NUMNUM N SIG

ESTRUCTURADORESTRUCTURADOR

ÁÁrbol sintrbol sintáácticoctico

11



La contribución de las pausas

• Texto sintetizado con pausas

• Texto sintetizado sin pausas



Módulo pausador Telefónica I+D (Castejón et al., 1994)

Palabras: el se#or jos’e luis l’opez tiene doscientas unavi#as.

Categorías: ART N NP NP NP V NUM NUM N SIG

PAUSADORPAUSADOR

Palabras: el se#or josPalabras: el se#or jos ’’e luis le luis l’’opez [pau_v] tiene doscientasopez [pau_v] tiene doscientasuna vi#as.una vi#as.

Palab_silab: el se. #or jo. sPalab_silab: el se. #or jo. s’’e luis le luis l’’o. pez [pau_v] tio. pez [pau_v] ti’’e.nee.nedos. cidos. ci’’en. tas en. tas ‘‘u. na vu. na v’’i. #as.i. #as.

Códigos: [pau_v]: pausa insertada ante el verbo

12



La contribución de la curva melódica

• Texto sintetizado con variaciones deF0

• Texto sintetizado sin variación de F0



Módulo de generación de parámetros prosódicos Telefónica I+D (Castejón et al., 1994)

Alófonos: el se. N~or xo. s’e luis l’o. peT [sil] tj’e.ne Dos.Tj’en. tas ‘u. na B’i. N~as [sil]

Categorías: ART N NP NP NP V NUM NUM N SIG

Alófonos: el se. N~or xo. s’e luis l’o. peT [sil] tj’e.ne Dos.Tj’en. tas

PROSOPROSO

Duraciones (ms): 76 60 56 65 89 75 43 67 56 60 60Duraciones (ms): 76 60 56 65 89 75 43 67 56 60 60

EntonaciEntonacióón (Hz):n (Hz):

13



Módulos de conversión en parámetros acústicos para laconversión de texto a habla

Telefónica I+D (Castejón et al., 1994)

Alófonos: el se. N~or xo. s’e luis l’o. peT [sil] tj’e.ne Dos.Tj’en. tas ‘u. na B’i. N~as [sil]

Duraciones (ms): 76 60 56 65 89 75 43 67 56 60 60

Entonación (Hz):

PARLAPARLA SelecciSeleccióón de unidades de sn de unidades de sííntesis en elntesis en elinventarioinventario

GeneraciGeneracióón de tramas de sn de tramas de sííntesisntesis

SSÍÍNTESISNTESIS ConversiConversióón en una onda sonora mediante eln en una onda sonora mediante elsintetizadorsintetizador



Telefónica I+D, Madrid

• Sistema de síntesis por concatenación desubalófonos, difonemas, trifonemas ytetrafonemas codificados mediante LPCmultipulso (MPLPC), basado en tecnologíadesarrollada en AT&T Bell Laboratories

• Primera versión en 1991 Rodríguez et al. (1993)v. 2.6 voz masculina y femenina

14



Telefónica I+D, Madrid

• Sistema de conversión de texto en hablabasado en corpus

Voz femenina, castellano (marzo de 2003)Voz femenina, catalán(marzo de 2003)



Actor 5, Loquendohttp://actor.loquendo.com/actordemo/default.asp

Es, m, f

EsCh, f

EsMx, f

EsAr, m

Cat, f

15








El reconocimiento del habla

Del habla … … al texto

16



Representación simbólica de unaseñal vocal

�Tipo de enunciados�Número de locutores�Tamaño del vocabulario�Entorno

El reconocimiento del habla



Etapas en el reconocimiento

ADQUISICIÓN DE DATOS

EXTRACCIÓN DECARACTERÍSTICAS

CREACIÓN DE PLANTILLAS DEREFERENCIA

PROCEDIMIENTO DEDECISIÓN

17



Reconocimiento de palabras aisladas

DIGITALIZACION DE LA SEÑAL DETECCIÓN DE PRINCIPIO Y FINAL DE PALABRA

CODIFICACIÓN EN FORMA DE PLANTILLADICCIONARIO

DE PLANTILLASDE REFERENCIA

COMPARACICOMPARACIÓÓNN

MEDIDA DE LA DISTANCIA ENTELA PLANTILLA DE REFERENCIAY LA PLANTILLA DE ENTRADA

DECISIÓN SOBRE ELRECONOCIMIENTO



Modelo de reconocimiento de habla continua

voz texto

ENTRENAMIENTO algoritmo de entrenamiento

base de datos de modelos fonéticos

diccionariofonético

COMPILACIÓN DE

MODELOS LÉXICOSgenerador de

modelos léxicos

base de datos de modelos léxicos

RECONOCIMIENTO

algoritmo de reconocimiento

gramática

procesadoracústico

hablasecuencia de

unidades

Mariño (1993)

18



Procesadoracústico

Algoritmode reconocimiento

Algoritmode comprensión

Reglasfonológicas

Modelosfonéticos

Diccionarioy gramática

Modelode la tarea

elocución significado

Hz

Mariño, 1999



Procesadoracústico



Reglasfonológicas

Modelosfonéticos


Modelode la tarea

Fonema k-1 Fonema k Fonema k+1

Modelo de Markov

Mariño, 1999

19



Procesadoracústico



Reglasfonológicas

Modelosfonéticos


Modelode la tarea

Pr{la puerta no estaba abierta} = Pr{la}Pr{puerta/la} Pr{no/la puerta}Pr{estaba/la puerta no} Pr{abierta/lapuerta no estaba} = Pr{la} Pr{puerta/la}Pr{no/la puerta} Pr{estaba/puerta no}Pr{abierta/no estaba}

Bigrama

Mariño, 1999



Procesadoracústico



Reglasfonológicas

Modelosfonéticos


Modelode la tarea

elocución significado

textovozBASE DE DATOS

Modeladofonético

Procesadoracústico

Modeladode lenguaje

ENTRENA-MIENTO

Mariño, 1999

20








Objetivos de un sistema de diálogo

SLS, Spoken Language System

• Establecimiento decomunicación “natural” einteractiva entre una personay un sistema informático

21



Módulos de un sistema de diálogo

Un sistema de diálogo es un conjunto deconjunto demmóódulosdulos� Reconocimiento de habla� Analizador� Base de datos� Generador de unidades lingüísticas� Conversión de texto en habla




Comprensión del contenido� Comprensión del lenguaje natural (NLU)Eh, pues mire, quería saber a qué horasale la… el último tren, eh… haciaBarcelona, desde Madrid, el sábado

PETICIÓN, DESTINO=“Barcelona”, ORIGEN=“Madrid”, FECHA:DÍA=“28”, HORA=“Último”

22




Control del diálogo�coherencia entre la pregunta del

usuario y el sistema�resolución de anáforas y elipsis�predicción de las reacciones del

usuario�...




Creación de respuestas� Generación de lenguaje natural (NLG)

PETICIÓN, DESTINO=“Barcelona”,ORIGEN=“Madrid”, Fecha:DÍA=“28”, HORA=“Último”

El último tren sale a las 11y 53 minutos de la noche

23



Modelo de la tarea

• Especificación del objetivo de la tarea yde sus características específicas� Obtención de información� Transacciones� Negociación

• Discriminación de sub-diálogos nopertenecienes a la tarea



Diseño a partir de la intuición

• Determinación por parte del investigadorde todas las posibles respuestas a unapregunta

• Problemas� Variabilidad de las respuestas� Limitación de la clase de estructuras

lingüísticas utilizadas por el usuario

24



Diseño a partir de la intuición

• Utilizado en determinadas condiciones� Estructuración clara de la tarea� Introducción de frases determinadas

previamente por parte del sistema� Las preguntas del sistema presuponen

una determinada respuesta por partedel usuario



Diseño a partir de la observación de diálogosnaturales entre hablantes humanos

� Ayuda a la definición devocabularios y modelos lingüísticospropios de una tarea específica

� Diferencias entre la interacciónhumana natural y la interacciónpersona-máquina

25



Diseño por simulaciónde la interacción persona-máquina

• Protocolo del Mago de Oz(Wizard of Oz)� Simulación de la interacción

en la que el papel de lamáquina lo realiza un humanosin que lo sepa el interlocutor



Acceso al ordenador mediante el teléfono

• Portales de voz

26



Portal de voz

Grabación previa

Selección por voz

Informaciónsolicitada

RestaurantesRestaurantes

Restaurantes de Ávila

Restaurantes de Ávila



Portal de voz

Restaurantesde _________

ÁvilaMadrid

SalamancaCuenca…

27



Portal de voz

Sistema automático

Selección por voz

Informaciónsolicitada

Farmacias de guardia

Farmacias de guardia

Existe unafarmacia…

Existe unafarmacia…



Portal de voz

ochoHe encontrado nueve

diez

Existe una farmacia de guardia

Mensajes pregrabadospara insertar palabras

procedentes de unalista

Conversión de texto escrito en habla

28



El papel del lingüistaLa conversión de texto en habla

• Tratamiento previo del texto• Análisis lingüístico del texto• Transcripción fonética automática• Diccionarios de unidades de síntesis• Modelos prosódicos• Evaluación de sistemas



El papel del lingüistaEl reconocimiento del habla

• Selección de locutores para elentrenamiento del sistema

• Segmentación y transcripción delcorpus de entrenamiento

• Diccionarios de pronunciación

29



El papel del lingüistaLos sistemas de diálogo

• Estudio de corpus de interacciones naturalesentre personas

• Estudio de corpus de interacciones ficticiasentre personas y sistemas informáticos

• Diseño de estrategias de diálogo

• Adecuación pragmática del diálogo

• Corrección lingüística del sistema



El papel del lingüista

• Conocimiento de la interacción oralhumana

• Conocimiento de los mecanismos dede producción y percepción delhabla

• Conocimiento del sistema lingüístico

30





Materiales en la webhttp//liceu.uab.es/~joaquim/teaching/Phonetics/Oviedo_03/

Oviedo_03.html

¡¡MuchasMuchasgracias!gracias!

materiales en la webliceu.uab.cat/~joaquim/phonetics/oviedo_03/tecnolhabla.pdf · canal visual...

Documents