estimación de ruido acústico mediante filtros de partículas para reconocimiento robusto de voz...

Estimación de Ruido Acústico

PROYECTO FIN DE MÁSTERPROYECTO FIN DE MÁSTER

Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de VozI v á n L ó p e z E s p e j o

� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano

� Modelado del proceso de ruido

SUMARIOSUMARIO

� Modelado del proceso de ruido� Relación entre estados y observaciones� Filtro SIR aplicado

� Test y Resultados� Conclusiones� Trabajo Futuro

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano

� Modelado del proceso de ruido

1. INTRODUCCIÓN Y MOTIVACIÓN1. INTRODUCCIÓN Y MOTIVACIÓN

� Modelado del proceso de ruido� Relación entre estados y observaciones� Filtro SIR aplicado

� Test y Resultados� Conclusiones� Trabajo Futuro

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Acto de hablar: Usualmente en entornosacústicos ruidosos� Alta capacidad de reconocimiento en el ser humano� Necesidad de adaptación de los sistemas ASR

1. INTRODUCCIÓN1. INTRODUCCIÓN Y MOTIVACIÓNY MOTIVACIÓN

� Necesidad de adaptación de los sistemas ASR

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Acto de hablar: Usualmente en entornosacústicos ruidosos� Alta capacidad de reconocimiento en el ser humano� Necesidad de adaptación de los sistemas ASR

1. INTRODUCCIÓN1. INTRODUCCIÓN Y MOTIVACIÓNY MOTIVACIÓN

� Necesidad de adaptación de los sistemas ASR

� Algunas técnicas para mejorar el matching:� Adaptación de los modelos� Descomposición de HMMs� Realce de las características de voz

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

1. INTRODUCCIÓN1. INTRODUCCIÓN Y MOTIVACIÓNY MOTIVACIÓN

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Motivaciones� Mejora del rendimiento de un sistema ASR� Ventajas de la metodología de realce� Aplicaciones:

1. INTRODUCCIÓN1. INTRODUCCIÓN Y MOTIVACIÓNY MOTIVACIÓN

� Aplicaciones:� Búsqueda de información� Ejecución de transacciones� Control de sistemas (entornos industriales)� …

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano

� Modelado del proceso de ruido

2. FUNDAMENTOS TEÓRICOS DEL 2. FUNDAMENTOS TEÓRICOS DEL SISTEMASISTEMA

� Modelado del proceso de ruido� Relación entre estados y observaciones� Filtro SIR aplicado

� Test y Resultados� Conclusiones� Trabajo Futuro

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Seguimiento: Estimación de la secuencia deestados de un sistema a partir de susobservaciones

� Modelo compuesto de dos procesos

2. FUNDAMENTOS TEÓRICOS DEL 2. FUNDAMENTOS TEÓRICOS DEL SISTEMASISTEMA

� Modelo compuesto de dos procesos� Proceso de estados� Proceso observado

� Solución MMSE

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Justificación del filtro de partículas� Evaluación compleja:� Solución: modelado markoviano

2. FUNDAMENTOS TEÓRICOS DEL 2. FUNDAMENTOS TEÓRICOS DEL SISTEMASISTEMA

� Aproximación numérica: (muestreo y remuestreo deimportancia + integración de Monte Carlo)

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano

� Modelado del proceso de ruido

3.3. DISEÑO DEL FILTRO BAYESIANODISEÑO DEL FILTRO BAYESIANO

� Modelado del proceso de ruido� Relación entre estados y observaciones� Filtro SIR aplicado

� Test y Resultados� Conclusiones� Trabajo Futuro

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Seguimiento de ruido en el domino log Mel�Ruido (estado del sistema)�Voz limpia (ruido que contamina la observación)�Voz ruidosa (observación)

3.3. DISEÑO DEL FILTRO BAYESIANODISEÑO DEL FILTRO BAYESIANO

�Voz ruidosa (observación)

� Definición del espacio de estados dinámico� Proceso de ruido,� Proceso observado,

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano

3.13.1 Modelado del proceso de ruidoModelado del proceso de ruido

� Relación entre estados y observaciones� Filtro SIR aplicado

� Test y Resultados� Conclusiones� Trabajo Futuro

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Codificación de la previsibilidad del ruido:proceso AR en el dominio log Mel

3.13.1 Modelado del proceso de ruidoModelado del proceso de ruido

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Definición implícita de una distribucióngaussiana para el ruido:

3.13.1 Modelado del proceso de ruidoModelado del proceso de ruido

� Selección de orden unidad para el modelo AR� Distribución a priori modelada como unagaussiana:

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano

� Modelado del proceso de ruido

3.23.2 Relación entre estados y observacionesRelación entre estados y observaciones

� Modelado del proceso de ruido

� Filtro SIR aplicado

� Test y Resultados� Conclusiones� Trabajo Futuro

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Se parte de la aproximación:

� ¿Cuál es la relación entre las observaciones yel ruido?

3.23.2 Relación entre estados y observacionesRelación entre estados y observaciones

el ruido?

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� ¿Cuál es la relación entre las observaciones yel ruido?

3.23.2 Relación entre estados y observacionesRelación entre estados y observaciones

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� ¿Cuál es la relación entre las observaciones yel ruido?

3.23.2 Relación entre estados y observacionesRelación entre estados y observaciones

� Distribución para la voz limpia:

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Imponemos� Se aplica la ley fundamental de

transformación de probabilidades

3.23.2 Relación entre estados y observacionesRelación entre estados y observaciones

� De esta forma,

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano

� Modelado del proceso de ruido

3.33.3 Filtro SIR aplicadoFiltro SIR aplicado

� Modelado del proceso de ruido� Relación entre estados y observaciones

� Test y Resultados� Conclusiones� Trabajo Futuro

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

1. Generación de N partículas

2. Cálculo de pesos normalizados

3.33.3 Filtro SIR aplicadoFiltro SIR aplicado

2. Cálculo de pesos normalizados

3. Remuestreo sobre las partículas

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Existencia de problemas en la práctica� Si no se cumple para ningún j � DROPOUT

� SOLUCIÓN:

3.33.3 Filtro SIR aplicadoFiltro SIR aplicado

� Evolución independiente de la observación � Pérdida dela trayectoria de seguimiento

� SOLUCIÓN: Procedimiento de reinicialización delfiltro

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Existencia de problemas en la práctica� Modos de reinicialización

� Generación de nuevas hipótesis sobre ladistribución a priori de ruido

3.33.3 Filtro SIR aplicadoFiltro SIR aplicado

distribución a priori de ruido� Inferir partículas de ruido a partir de muestrear

un GMM

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Existencia de problemas en la práctica� Pobre modelado de ruido � Subestimación

de hipótesis� SOLUCIÓN: Se incentiva una futura

3.33.3 Filtro SIR aplicadoFiltro SIR aplicado

� SOLUCIÓN: Se incentiva una futurareinicialización si

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Existencia de problemas en la práctica� Mitigación de dropouts � TEST DE

ACEPTACIÓN RÁPIDA

3.33.3 Filtro SIR aplicadoFiltro SIR aplicado

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Modos de inicialización� Uso de las l primeras tramas� Empleo de la distribución a priori de ruido

3.33.3 Filtro SIR aplicadoFiltro SIR aplicado

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano

� Modelado del proceso de ruido

4.4. TEST Y RESULTADOSTEST Y RESULTADOS

� Modelado del proceso de ruido� Relación entre estados y observaciones� Filtro SIR aplicado

� Test y Resultados� Conclusiones� Trabajo Futuro

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Uso de la base de datos Aurora-2� Empleo del conjunto de test A:

� 1001 grabaciones con secuencias de dígitos� Ruidos: metro, multitud conversando, coche y sala deexposiciones

4.4. TEST Y RESULTADOSTEST Y RESULTADOS

exposiciones� SNRs: -5dB, 0dB, 5dB, 10dB, 15dB, 20dB y caso limpio

� Las estimaciones de ruido son usadas en unaetapa de VTS para la compensación de lascaracterísticas de voz ruidosa

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Ajuste de parámetros� Estudio del MSE

4.4. TEST Y RESULTADOSTEST Y RESULTADOS

� Más bien basado en la observación, razonamiento ybibliografía

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Test de reconocimiento del habla� Aparente independencia del número de partículas

4.4. TEST Y RESULTADOSTEST Y RESULTADOS

120,00

Acc. vs. SNR

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

0,00

20,00

40,00

60,00

80,00

100,00

-5 0 5 10 15 20 Limpio

Acc

. (%

)

SNR (dB)

Base-Line

FP (300)

Interpolación

� Test de reconocimiento del habla� Aparente independencia del número de partículas

4.4. TEST Y RESULTADOSTEST Y RESULTADOS

Acc. vs. Técnica empleada

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

0

10

20

30

40

50

60

70

80

90

Base-Line FP (300) Interpolación

Acc

. (%

)

Técnica

� Test de reconocimiento del habla� Aparente independencia del número de partículas

4.4. TEST Y RESULTADOSTEST Y RESULTADOS

� WAcc = 1 - WER

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano

� Modelado del proceso de ruido

5.5. CONCLUSIONESCONCLUSIONES

� Modelado del proceso de ruido� Relación entre estados y observaciones� Filtro SIR aplicado

� Test y Resultados� Conclusiones� Trabajo Futuro

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Verificación experimental de la utilidad de unatécnica de realce

� Preferible, por el momento, uso de ruidoestimado mediante interpolación espectral:

5.5. CONCLUSIONESCONCLUSIONES

estimado mediante interpolación espectral:� Mayor rendimiento del sistema ASR� Menor coste computacional

� Necesidad de mejorar la calidad de lasestimaciones resultantes del filtro de partículas

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Introducción y Motivación� Fundamentos Teóricos del Sistema� Diseño del Filtro Bayesiano

� Modelado del proceso de ruido

6.6. TRABAJO FUTUROTRABAJO FUTURO

� Modelado del proceso de ruido� Relación entre estados y observaciones� Filtro SIR aplicado

� Test y Resultados� Conclusiones� Trabajo Futuro

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

� Solventar usuales pérdidas del seguimiento� Nuevo modelo de ruido a priori� Inclusión del término de fase relativa (FAT

innecesario)

6.6. TRABAJO FUTUROTRABAJO FUTURO

innecesario)� Optimización de la implementación� Experimentación con otros conjuntos de test� Actualización del modelo AR de ruido y de

la distribución a priori� Uso de un detector de actividad de voz

� Experimentar con un filtro RPF

PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de Voz

�GRACIAS