naturalidad y expresividad en la conversión de texto en...

IntroduccionObjetivos

MetodologıaResultados

Conclusiones

Naturalidad y expresividad en laconversion de texto en habla: las

consonantes roticas en coda silabica enespanol

Luz Rello y Joaquim LlisterriUniversitat Autonoma de Barcelona

[email protected] - [email protected]

IX Congreso Internacional de Linguıstica GeneralValladolid, 21 de junio de 2010

Luz Rello - Joaquim Llisterri Roticas en coda silabica y CTH

mailto:[email protected]

mailto:[email protected]



Conclusiones

1 Introduccion

2 Objetivos

3 Metodologıa

4 Resultados

5 Conclusiones




Conclusiones

Conversion de texto en hablaRoticas en coda silabicaRoticas en coda silabica y CTH

1 IntroduccionConversion de texto en habla basada en seleccion deunidadesRoticas en coda silabica en espanol peninsularTratamiento de las roticas en la conversion de texto enhabla

2 Objetivos

3 Metodologıa

4 Resultados

5 Conclusiones




Conclusiones


La conversion de texto en habla basada enseleccion de unidades

Los sistemas actuales de conversion de texto en habla sebasan en la concatenacion de unidades seleccionadas deun corpus previamente grabado y etiquetado.

La seleccion de unidades se lleva a cabo buscando en elcorpus la unidad optima en funcion del texto que sedesea sintetizar.

El conocimiento fonetico se encuentra en los moduloslinguısticos del conversor y en el corpus de sıntesis.




Conclusiones


Loquendo TTSZovato, Salza & Quazza (2006)




Conclusiones


La conversion de texto en habla basada enseleccion de unidades

El diseno de un sistema de conversion de texto en hablarequiere la definicion de un inventario de unidadesfoneticas segmentales (fonemas y alofonos).

El corpus de sıntesis se etiqueta en funcion de lasunidades foneticas segmentales definidas.

El modulo de transcripcion fonetica automaticaestablece la correspondencia entre grafıas y unidadesfoneticas segmentales.

La busqueda en el corpus para seleccionar la mejor unidadde sıntesis se realiza teniendo en cuenta el resultado de latranscripcion fonetica automatica y optimizando laconcatenacion.




Conclusiones


Las consonantes roticas en posicion de codasilabica en espanol peninsular

En las descripciones foneticas tradicionales se asume queen posicion de coda silabica aparece una realizacion‘vibrante simple’ [R].

Desde el punto de vista fonologico, se postula que en codasilabica se produce una neutralizacion de los dos fonemasroticos /r/ y /R/.




Conclusiones


Las consonantes roticas en posicion de codasilabica en espanol peninsular

Variabilidad en la realizacion (Blecua, 2001, 2005):‘Vibrante simple’ (tap o flap): [R]

oclusion + elemento vocalicoaproximante + elementos vocalico

Vibrante multiple (trill): [r]Aproximante (‘fricativa’): [ô]OclusionFriccion

Influencia del contexto fonico.

Influencia del estilo de habla.

Influencia del locutor.




Conclusiones


El tratamiento de las roticas en la conversion detexto en habla en Loquendo TTS

Bonaventura, Giuliani, Garrido & Ortın (1998)

La grafıa <r> se transcribe como [r]:

al inicio de palabra;seguida de <r> (y, a continuacion, se elide la segunda <r>);precedida de <n>, <l> o <s> y no seguida de <r>.

La grafıa <r> se transcribe como [R] en el resto de los casos.

En posicion de coda silabica se contempla unicamente larealizacion ‘vibrante simple’ [R] sin posibilidad devariacion alofonica.




Conclusiones

1 Introduccion

2 Objetivos

3 Metodologıa

4 Resultados

5 Conclusiones




Conclusiones

Objetivos

Plantear una propuesta para mejorar la naturalidad y laexpresividad de la realizacion de las consonantes roticasen posicion de coda silabica en el conversor de texto enhabla Loquendo TTS.

Naturalidad: relacionada con la alternancia entre lasdiversas realizaciones alofonicas.Expresividad: relacionada con la eleccion entre la roticamultiple y la simple.

Mostrar las mejoras que puede aportar el conocimientofonetico en el desarrollo de los sistemas de conversion detexto en habla.




Conclusiones

CorpusLocutoresGrabacionAnalisis acusticoTratamiento estadıstico

1 Introduccion

2 Objetivos

3 MetodologıaCorpusLocutoresGrabacionAnalisis acusticoTratamiento estadıstico

4 Resultados

5 Conclusiones




Conclusiones


Variables consideradas en el diseno del corpus

Posicion en la palabra: interior (roticas en la primera sılabade la palabra) y en frontera (roticas en posicion final depalabra no prepausal).

Acentuacion: roticas en sılaba tonica y roticas en sılabaatona (pretonica).

Contexto fonetico posterior a la rotica:

Sonoridad: consonantes sordas y sonoras.Modo de articulacion: consonantes oclusivas, aproximantes,fricativas, nasales, lateral y africada.Lugar de articulacion: consonantes labiales, labiodentales,interdentales, dentales, alveolares, palatales y velares.Rasgos articulatorios: consonantes labiales, coronales ydorsales.




Conclusiones


Corpus

Palabras bisılabas inseridas en una frase marco.

Tres palabras para cada contexto de aparicion de la rotica.

14 consonantes posteriores x 3 posiciones (interior depalabra en sılaba atona, interior de palabra en sılabatonica, final de palabra en sılaba tonica) = 42 contextos deaparicion.

42 contextos de aparicion x 3 palabras por contexto = 126realizaciones.

Habla natural: 5 repeticiones x 126 realizaciones = 630realizaciones.Habla sintetizada: 1 lectura x 126 realizaciones = 126realizaciones.




Conclusiones


Locutores

Habla natural

PS: mujer, entre 50 y 55 anos, con formacion universitariano relacionada con la linguıstica, hablante de la variedadmadrilena del espanol peninsular.

Habla sintetizada

Leonor: voz femenina creada en 2006, espanol peninsular,Loquendo TTS Director (version 7.8.1).




Conclusiones


Grabacion

Habla natural

Presentacion mediante KeyNote con una frase por pantalla,mas una frase ‘distractora’ por cada 10 oraciones.Estımulos en orden aletario, sin que la misma fraseapareciera en dos ocasiones seguidas.Grabacion realizada en el Laboratorio de Fonetica delCSIC, en un entorno acusticamente acondicionado.Mesa de mezclas Alesis Multimix 16USB; microfonoinalambrico AKG C444L; Adobe Audition 1.0.Ficheros sonoros en formato .wav a 44.100 Hz y 16 bits.

Habla sintetizada

Loquendo TTS Director (version 7.8.1); ficheros sonoros enformato .wav a 22.050 Hz y 16 bits.




Conclusiones


Seleccion de los datos

Habla natural

Analisis de la tercera repeticion de cada enunciado,seleccionada entre las cinco disponibles: 126 casos.

Habla sintetizada

Analisis de la grabacion completa: 126 casos.




Conclusiones


Analisis acustico

Praat (version 5.1.25) para Mac OS X 10.5.

Criterios de segmentacion de las roticas

Analisis visual de la forma de onda y del espectrograma.Presencia o ausencia de sonoridad determinada a partir dela curva de F0 y del examen de la periodicidad en la formade onda.Cambios en la curva de intensidad.Presencia de formantes y variacion en su frecuencia conrespecto a la de las vocales adyacentes.




Conclusiones


Tipologıa de realizaciones

Realizacion como rotica simple:

Dos componentes: oclusion mas un elemento vocalico.Un componente: elemento vocalico.

Realizacion como rotica multiple:

Tres componentes: oclusion, elemento vocalico y oclusion.Cuatro o cinco componentes: oclusiones alternando conelementos vocalicos.




Conclusiones


Tratamiento estadıstico

Gestion de los datos en una hoja de calculo realizadamediante Numbers.

Tratamiento estadıstico llevado a cabo con la version 2.10.1para Mac OS X 10.5 del programa R, utilizando la interfazR Commander (v. 1.5-4).

Relacion entre las variables consideradas y la realizacion dela consonante rotica como simple o como multiple: pruebade chi cuadrado.Efecto de las variables consideradas en la duracion de laconsonante rotica: analisis de varianza de un factor(one-way ANOVA).




Conclusiones

Tipo de realizacion y duracionPosicion en la palabraAcentoContexto fonetico posterior

1 Introduccion

2 Objetivos

3 Metodologıa

4 ResultadosTipo de realizacion y duracionPosicion en la palabraAcentoContexto fonetico posterior

5 Conclusiones




Conclusiones


Tipo de realizacion y numero de componentes dela rotica

Habla sintetizada:predominio derealizaciones multiples(tres componentes).

Habla natural:Predominio derealizaciones simples(dos componentes).

28 % de realizaciones conun componente en hablanatural.




Conclusiones


Duracion de la rotica

Tipo de realizacion Habla natural Habla sintetizada

simple 51,58 ms 65,76 ms

multiple 74,83 ms 74,55 ms

Duraciones mas elevadas en habla sintetizada (media: 73,42ms) que en habla natural (media: 54,89 ms).

Sin diferencias estadısticamente significativas entre laduracion de las realizaciones simples y la de las multiples.




Conclusiones


Posicion de la rotica en la palabra

La posicion de la rotica en interior de palabra o en fronterade palabra (no prepausal) no incide en el tipo derealizacion ni en habla natural ni en habla sintetizada.

En frontera de palabra la duracion de la rotica es maselevada en habla sintetizada que en habla natural.




Conclusiones


Aparicion de la rotica en sılaba tonica o atona

El acento no influye en el tipo de realizacion de la roticani en habla natural ni en habla sintetizada.

No se encuentran diferencias significativas (p=0.087) en laduracion de la rotica en funcion de su aparicion en sılabatonica o en sılaba atona.




Conclusiones


Sonoridad de la consonante posterior a la rotica

Habla sintetizada

Predominio de realizaciones simples ante consonantesorda.La sonoridad de la consonante siguiente no afecta a laduracion de la rotica.

Habla natural

Predominio de realizaciones multiples ante consonantesorda.Mayor duracion de la rotica ante consonante sonora queante consonante sorda (p=0.000).




Conclusiones


Modo de articulacion de la consonante posteriora la rotica: tipo de realizacion

Habla sintetizada

Predominio de realizaciones multiples ante consonanteafricada (100 %), fricativa (97 %) oclusiva (90 %) yaproximante (88 %).

Habla natural

Predominio de realizaciones simples ante consonanteafricada (100 %), oclusiva (100 %), lateral (100 %),fricativa (89,7 %) y aproximante (82,8 %).

Alternancia de realizaciones casi al 50 % en contexto nasaltanto en habla sintetizada como en habla natural.




Conclusiones


Modo de articulacion de la consonante posteriora la rotica: duracion

El modo de articulacion de la consonante posterior influyesignificativamente en la duracion de la rotica, tanto enhabla sintetizada (p<0.000) como en habla natural(p=0.0004).




Conclusiones


Modo de articulacion de la consonante posteriora la rotica: duracion

Habla sintetizada:

Mayor duracion de la rotica ante consonante nasal olateral.Menor duracion de la rotica ante consonante africada.

Habla natural:

Mayor duracion de la rotica ante consonante aproximante.Menor duracion de la rotica ante consonante lateral.




Conclusiones


Lugar de articulacion de la consonante posteriora la rotica: tipo de realizacion

El lugar de articulacion de la consonante posterior influyesignificativamente en el tipo de realizacion de la rotica,tanto en habla natural (p=0.035) como en hablasintetizada (p=0.003).




Conclusiones


Lugar de articulacion de la consonante posteriora la rotica: tipo de realizacion

Habla sintetizada

Siempre realizacion multiple ante consonantelabiodental, dental y palatal.Porcentaje mas elevado de realizaciones simples: anteconsonante interdental (66,7 %).

Habla natural

Siempre realizacion simple ante consonante labiodental,interdental, dental y palatal.Porcentaje mas elevado de realizaciones multiples: anteconsonante alveolar (48,1 %).




Conclusiones


Lugar de articulacion de la consonante posteriora la rotica: duracion

Diferencias significativas en la duracion de la rotica enfuncion del lugar de articulacion de la consonante siguiente.

Habla sintetizada

Realizaciones mas largas: ante consonante dental.Realizaciones mas breves: ante consonante alveolar.

Habla natural

Realizaciones mas largas: ante consonante bilabial.Realizaciones mas breves: ante consonante labiodental.




Conclusiones


Rasgos articulatorios de la consonante posteriora la rotica

Los rasgos articulatorios de la consonante posterior a larotica (labial, coronal, dorsal) no inciden ni el el tipo derealizacion ni en su duracion, tanto en habla sintetizadacomo en habla natural.




Conclusiones

EvaluacionNaturalidadExpresividadConsideraciones finales

1 Introduccion

2 Objetivos

3 Metodologıa

4 Resultados

5 ConclusionesEvaluacionNaturalidadExpresividadConsideraciones finales




Conclusiones


Diferencias entre el habla sintetizada y lanatural en la realizacion de las consonantesroticas en coda silabica

Predominio de realizaciones multiples (tres componentes)en habla sintetizada y simples (dos componentes) en hablanatural.

Duraciones mas elevadas en habla sintetizada que en hablanatural, especialmente en frontera de palabra.

Ante consonante sorda, predominio de realizaciones simplesen habla sintetizada y de realizaciones multiples en hablanatural.

Ausencia de aumento de la duracion de la rotica anteconsonante sonora en habla sintetizada.




Conclusiones



‘Distribucion complementaria’ de las realizaciones simplesy multiples ante consonantes africadas, fricativas, oclusivasy aproximantes.

Comportamiento opuesto de la duracion ante consonantelateral.

‘Distribucion complementaria’ de las realizaciones simplesy multiples ante consonantes labiodentales, dentales ypalatales.




Conclusiones



En el modulo de transcripcion fonetica automatica seconsidera un unico alofono ([R]) para la posicion en codasilabica.

Como consecuencia del proceso de seleccion de unidadesen el corpus de sıntesis, la consonante rotica en codasilabica presenta diferentes manifestaciones ([r] y [R]).

Necesidad de considerar los factores de variacion de lascaracterısticas de la consonante rotica atendiendoespecialmente a la duracion y al tipo de realizacion.




Conclusiones


Duracion

Propuesta basada en la consideracion de los factores queinciden en la duracion de la rotica contrastando los valoresen habla natural y en habla sintetizada.

Reduccion de los valores encontrados en la sıntesis enfuncion de la posicion en la palabra, la sonoridad, el modode articulacion (africada) y el lugar de articulacion (dental)de la consonante siguiente.

Incremento de la duracion en funcion del modo dearticulacion de la consonante siguiente (lateral).

Mantenimiento de la duracion actual ante consonantelabial.




Conclusiones


Duracion




Conclusiones


Tipo de realizacion

Propuesta basada en la consideracion de los factores queinciden en el tipo de realizacion de la rotica contrastandolos valores en habla natural y en habla sintetizada.

Reduccion del numero de elementos en funcion del lugarde articulacion (dental, interdental, alveolar y palatal) y delmodo de articulacion (africada) de la consonante siguiente.

Alternancia de realizaciones simples y multiples conpredominio de las simples.

Mantenimiento de la realizacion actual ante consonantelateral y nasal.




Conclusiones


Tipo de realizacion




Conclusiones


Expresividad

Aumento o disminucion del numero de realizacionessimples o multiples en funcion del estilo de habla.

La observacion de las diferencias entre las cinco repeticionesde la lectura del corpus en habla natural sugiere laposibilidad de incrementar el numero de elementos de larotica en enunciados que requieren una realizacion enfaticao que pretenden reproducir un cierto grado de estres.




Conclusiones


Consideraciones finales

La transcripcion fonetica automatica como [R] de laconsonante rotica en posicion de coda silabica no refleja lavariabilidad de sus diferentes manifestaciones foneticas enespanol.

Si en la seleccion de unidades a partir de la transcripcionno se se realiza un control de los factores contextualesque inciden en la realizacion de la rotica se obtienenresultados que pueden diferir de los observados en hablanatural.




Conclusiones


Consideraciones finales

El conocimiento fonetico que resulta del analisis del hablanatural puede incorporarse a la conversion de texto enhabla en terminos de una mayor riqueza alofonica en latranscripcion o en forma de restricciones en laseleccion de unidades.

Futuras lıneas de investigacion:

Necesidad de considerar una muestra mas amplia de hablanatural en lo que se refiere al numero de locutores.Analisis de Jorge (voz masculina creada por Loquendo parael espanol peninsular) y comparacion con Leonor paraobservar el efecto del corpus de sıntesis en la realizacion delas consonantes roticas.




Conclusiones


Referencias

Blecua, B. (2001). Las vibrantes del espanol: Manifestaciones

acusticas y procesos foneticos. Tesis doctoral. Universitat

Autonoma de Barcelona.

Blecua, B. (2005). Variacion acustica de la vibrante en posicion

implosiva. In Filologıa y linguıstica. Estudios ofrecidos a Antonio

Quilis. (pp. 97-112). Madrid: CSIC - UNED - Universidad de

Valladolid.




Conclusiones


Referencias

Bonaventura, P., Giuliani, F., Garrido, J. M., & Ortın, I. (1998).

Grapheme-to-phoneme transcription rules for Spanish, with

application to automatic speech recognition and synthesis. In

CVIR’98. Workshop on content visualization and intermedia

representations (COLING-ACL 98). (pp. 33-9). Montreal,

Quebec, Canada.

Zovato, E., Salza, P. L., & Quazza, S. (2006). La valutazione

diagnostica come ausilio per lo sviluppo dei sistemi di sintesi

vocale. In AISV 2006. Scienze vocali e del linguaggio.

Metodologie di valutazione e risorse linguistiche. (pp. 243-50).

Torriana: EDK Editore.




Conclusiones


http://liceu.uab.cat/~joaquim/speech_technology/CLG_10/CLG_10.html






naturalidad y expresividad en la conversión de texto en...

Documents