la enseñanza de la pronunciación -...
TRANSCRIPT
LA ENSEÑANZA DE LA PRONUNCIACIÓN ASISTIDA POR ORDENADORMario [email protected]
Índice
1. Herramientas (software) que incluyen práctica de la pronunciación asistida por ordenador
2. La enseñanza de la pronunciación en las appspara el aprendizaje de lenguas extranjeras
3. Tecnologías lingüísticas aplicadas a la corrección fonética y evaluación de la pronunciación: RAH
4. Corpus de habla no nativa para el desarrollo de tecnologías lingüísticas
5. Algoritmos para la evaluación automática de la pronunciación
Herramientas para la enseñanza de la pronunciación asistida por ordenador
¨ (Breve) historia de la enseñanza de lenguas asistida por ordenador (ELAO, CALL):¤ Años 60 -> laboratorios de idiomas
¤ Años 70 -> incorporación de ordenadores en el aula
¤ Años 80 -> desarrollo de los primeros sistemas informáticos de uso personal
¤ Años 90 -> incorporación de tecnologías para la enseñanza y práctica de la pronunciación asistida por ordenador (EPAO, CAPT)
¤ Años 00 -> proliferación de cursos de lenguas en DVDs y en línea
¤ 2010~ -> teléfonos inteligentes, apps, comienzo de la enseñanza de lenguas mediante dispositivos móviles (MALL)
Herramientas para la enseñanza de la pronunciación asistida por ordenador
Español interactivo (Adams, 1998)
Herramientas para la enseñanza de la pronunciación asistida por ordenador
The Rythm of French (Renié, 1998)
Tipología de actividades
¨ Escucha y repetición¨ Grabación y comparación¨ Explicación explícita de los movimientos
articulatorios para pronunciar el sonido¨ Distinción de dos fonemas mediante pares mínimos¨ Ayudas visuales¨ Diálogo simulado
Explicación de los movimientos articulatorios
Pronunciación y Fonética (Corsbie y Gore, 2002)
Distinción de fonemas mediante pares mínimos
The Rythm of French (Renié, 1998)
Ayudas visuales: información articulatoria
Los sonidos del español (Dispensa et al., 2001)
Ayudas visuales:Información acústica
Tell Me More Spanish (Lafford, 2004)
Diálogo simulado
DISCO (van Doremalen et al., 2014)
Enseñanza de lenguas a través de dispositivos móviles (MALL)
¤ Tipo de explicaciónn Explícitan No explícita
¤ Tipo de ejercicion Repeticiónn Discriminaciónn identificación
¤ Tipo de evaluaciónn autoevaluadon No autoevaluado
¤ Feedbackn Valoración globaln Evaluación por palabras, sonidos
Ayudas visuales: articulatoria
Pronunciation Power
Ayudas visuales: acústica
Spanish Learner
Repetición de palabras o frases
Duolingo
Discriminación de pares mínimos
English File Pronunciation- Sounds
El reconocimiento automático del habla
Corrección/evaluación de la pronunciación mediante RAH
¤ Problemas para el reconocimiento de habla no nativan Los modelos acústicos se han generado a partir de un
entrenamiento con habla nativan Los sistemas están entrenados para identificar palabras, no
para evaluar la calidad de pronunciaciónn Aumento del WER (word error rate), PER (phone error rate)
¤ Necesidad de corpus de entrenamienton Delimitar qué es un error de pronunciaciónn Obtener datos de errores más frecuentes y contextos de
apariciónn Reentrenar al sistema de RAH con habla no nativa
RAH adaptado para la evaluación del habla no nativa
http://www1.se.cuhk.edu.hk/~hccl/languagelearning/index_background.htm
Diseño de un corpus
¨ Corpus para RAH¤ Objetivos¤ Representatividad¤ Aplicación¤ Niveles de etiquetado¤ Transcripción¤ Otros: metadatos, etc.
Objetivos
¨ Analizar un fenómeno específico: p.e. La pronunciación de las vocales nasales del francés
¨ Analizar todos los fenómenos posibles relacionados con los errores de pronunciación¤ segmental: sonidos específicos y coarticulación de
sonidos¤ Suprasegmental: prosódicos (acento, ritmo, entonación,
estructura silábica, etc.)
¨ Obtener datos para entrenar un sistema de RAH
Representatividad
¨ Corpus longitudinal / corpus transversal¨ Niveles de lengua de los estudiantes¨ Sexo: hombres / mujeres¨ Número de sujetos¨ Procedencia lingüística de los sujetos
¤ Todos de la misma L1 (¿dialecto?)¤ Diferentes L1s
¨ Estilo del habla (tarea)¤ Espontánea (conversación)¤ No espontánea (lectura, repetición)¤ Semiespontánea (presentación oral preparada con anterioridad)
Aplicaciones
¨ Análisis del proceso de adquisición del componente fónico (o sintáctico) de una L2
¨ Entrenamiento de un sistema de reconocimiento automático de habla
¨ Detección automática de errores¨ Otro tipo de tecnologías: identificación automática
de la lengua mediante el acento extranjero, biométrica (identificación del hablante), etc.
Niveles de etiquetado
¨ Transcripción ortográfica¨ Transcripción fonológica canónica¨ Transcripción fonológica real¨ Transcripción fonética amplia¨ Transcripción fonética estrecha (fina)¨ Etiquetado prosódico¨ Vocalizaciones¨ Etiquetado de errores de pronunciación¨ Etiquetado de fenómenos extralingüísticos
Niveles de etiquetado
Transcripción y etiquetado mediante Praat
Transcripción
¨ Es importante disminuir la variabilidad en la transcripción del corpus:¤ Decidir qué criterios de transcripción se utilizarán entre
todos los anotadores¤ Cómo se transcribirán las vocalizaciones:
n Interjeccionesn Risasn Pausas llenas
¤ Utilizar estándares internacionales de etiquetadon XMLn CHILDES
Procesamiento
¨ La transcripción debe estar alineada con la señal¨ Posibilidad de obtener una transcripción fonológica
automática si se cuenta con la ortográfica: EasyAlign
¨ Cálculo de frecuencia de errores, contexto. Establecer una tipología¤ Errores por substitución de un fono¤ Errores por inserción de un fono¤ Errores por elisión de un fono
Generación del texto enriquecido con etiquetas XML
Incorporación de los resultados en el sistema – conocimiento lingüístico
¨ Añadir un peso / penalty a errores específicos según la L1 del hablante
¨ Crear reglas para desarrollar automáticamente variantes de pronunciación
¨ Incorporar nuevas unidades no nativas al reconocedor
¨ Utilizar información lingüística para definir los umbrales de aceptación
Generación automática de variantes de pronunciación
Generación de variantes de pronunciación de la palabra “playa” por un hablante de lengua japonesa, a partir de un algoritmo basado en reglas
Algoritmos para determinar la distancia fonética¨ Algoritmos que calculan la distancia de la realización
con el modelo acústico nativo del fono-meta: GOP (Goodness of Pronunciation)¤ Witt & Young (2000)
¨ Algoritmos que establecen un diferente peso según la distancia lingüística (weighted phone confidence wPC)¤ Van Doremalen et al. (2013)
¨ Algoritmos basados en árboles de decisión para clasificar las producciones correctas o incorrectas¤ Goronzy (2002)
Referencias
¨ Adams, C. R. (1998). Review of Español Interactivo 1.01. CALICO Software Reviews 11/98.¨ Corsbie, C. y Gore, J. (2002). Review of Pronunciación y Fonética. CALICO Software Reviews 4/02.¨ Dispensa, M., Waite, L., Siebert, D., Wickelhaus, L., Piñeros, C. E., y Moon, J. (2001). Fonética: Los
sonidos del español. University of Iowa.¨ Goronzy, S. (2002). Robust Adaptation to Non-Native Accents in Automatic Speech Recognition. Berlin:
Springer.¨ Llisterri, J. (2007). La enseñanza de la pronunciación asistida por ordenador. En Actas del XXIV
Congreso Internacional de AESLA. Aprendizaje de lenguas, uso del lenguaje y modelación cognitiva: perspectivas aplicadas entre disciplinas. Madrid: Universidad Nacional de Educación a Distancia –AESLA, pp. 91-120.
¨ Renié, D. (1998). Analyse de The Rythm of French. ALSIC, Apprentissage des Langues et Systémesd’Information et Communication, 1(2), 171-177.
¨ van Doremalen, J., Cucchiarini, C., & Strik, H. (2013). Automatic pronunciation error detection in non-native speech: the case of vowel errors in Dutch. The Journal of the Acoustical Society of America, 134(2), 1336–1347. doi:10.1121/1.4813304
¨ Van Doremalen, J., Boves, L., Colpaert, J., Cucchiarini, C. y Strik, H. (2014). Evaluating automaticspeech recognition-enabled language learning systems: a case study. Computer Assisted LanguageLearning, (enviado).
¨ Witt, S., and Young, S. (2000). “Phone-level pronunciation scoring and assessment for interactivelanguage learning,” Speech Communication, 30, 95–108
Muchas gracias