1. análisis localizado en el dominio...
Post on 14-May-2020
4 Views
Preview:
TRANSCRIPT
TIC en Redes MóvilesTIC en Redes Móviles
ANÁLISIS LOCALIZADOANÁLISIS LOCALIZADO
1. Análisis Localizado en el Dominio Temporal
Energía Localizada.Autocorrelación Localizada.
2. Análisis Localizado en el Dominio Frecuencial
Transformada de Fourier Localizada3. Predicción Lineal. Análisis LPC
TIC en Redes MóvilesTIC en Redes Móviles
ANÁLISIS LOCALIZADOANÁLISIS LOCALIZADOIntroducción
• Estacionariedad de la señal de voz
[ ]( ) ( )nm
Q T x m w n m∞
=−∞
= −∑0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7
- 0 . 2
- 0 . 1 5
- 0 . 1
- 0 . 0 5
0
0 . 0 5
0 . 1
0 . 1 5
T i e m p o ( s )0 . 0 1 2 0 . 0 1 4 0 . 0 1 6 0 . 0 1 8 0 . 0 2 0 . 0 2 2 0 . 0 2 4 0 . 0 2 6 0 . 0 2 8 0 . 0 3
- 0 . 0 6
- 0 . 0 4
- 0 . 0 2
0
0 . 0 2
0 . 0 4
0 . 0 6
Ventana
TransformaciónAspecto a Evaluar
TIC en Redes MóvilesTIC en Redes Móviles
ANÁLISIS LOCALIZADO EN EL DOMINIO ANÁLISIS LOCALIZADO EN EL DOMINIO TEMPORALTEMPORAL
• Energía Localizada ( )2( ) ( )nm
E x m w n m∞
=−∞
= −∑
( )2·( )x n 2 ( )x n nE
( )h n
2( ) ( )h n w n=
0 100 200 300 400 500 6000
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
7950 8000 8050 8100 8150 8200 8250 8300 8350 8400
-10
0
10
20
30
40
TIC en Redes MóvilesTIC en Redes Móviles
ANÁLISIS LOCALIZADO EN EL DOMINIO ANÁLISIS LOCALIZADO EN EL DOMINIO TEMPORALTEMPORAL
• Autocorrelación Localizada
Aplicaciones:Estimación de PitchPredicción Lineal
( ) ( ) ( ) ( ) ( )nm
R k x m w n m x m k w n m k∞
=−∞
= − − − −∑( )x n ( )nR k( )kh n
( ) ( ) ( )kh n w n w n k= −
⊗
kz−
Diferente para cada k
TIC en Redes MóvilesTIC en Redes Móviles
ANÁLISIS LOCALIZADO EN EL DOMINIO ANÁLISIS LOCALIZADO EN EL DOMINIO FRECUENCIALFRECUENCIAL
• Transformada de Fourier Localizada
( ) ( ) ( )j j mn
mX e x m w n m eω ω
∞−
=−∞
= −∑
⊗
1( )Nh n−
( )x n
⊗0j ne ω−
⊗
0 ( )h n
1( )h n1j ne ω−
1Nj ne ω −−
0( )jnX e ω
1( )jnX e ω
1( )NjnX e ω −
TIC en Redes MóvilesTIC en Redes Móviles
ANÁLISIS LPCANÁLISIS LPC• Representación de las características
espectrales de forma precisa y eficiente
• Pocos parámetros, Cálculos Sencillos
• Predicción Lineal
• Error de Predicción1
ˆ( ) ( )p
ii
s n a s n i=
= − −∑ˆ( ) ( ) ( )e n s n s n= −
( )P z
( )s n ⊕
ˆ( )s n( )e n
1( )
pi
ii
P z a z−=
= −∑1
( ) 1p
ii
iA z a z−
=
= +∑( )A z
TIC en Redes MóvilesTIC en Redes Móviles
Cálculo de los CoeficientesCálculo de los Coeficientes
1
ˆ( ) ( )p
ii
s n a s n i=
= − −∑ ˆ( ) ( ) ( )e n s n s n= −
2
2
1( ) ( ) ( )
p
ii
E e n E s n a s n i=
⎧ ⎫⎡ ⎤⎪ ⎪= + −⎨ ⎬⎢ ⎥⎣ ⎦⎪ ⎪⎩ ⎭
∑
Criterio de Mínimo Error Cuadrático Medio
2
1
1
( )2 ( ) ( ) ( )
( ) ( ) ( ) ( ) 0
p
iik
p
ii
E e nE s n a s n i s n k
a
E s n s n k s n k a s n i
∂
∂ =
=
⎧ ⎫⎡ ⎤= + − − =⎨ ⎬⎢ ⎥
⎣ ⎦⎩ ⎭⎧ ⎫
= − + − − =⎨ ⎬⎩ ⎭
∑
∑ 1, 2,...,k P=
1 1
( ) ( ) ( ) ( ) ( ) ( ) 1,...,p p
i s i si i
E s n s n k a E s n i s n k R k a R i k k P= =
− = − − − ⇔ = − − =∑ ∑
TIC en Redes MóvilesTIC en Redes Móviles
Cálculo de los CoeficientesCálculo de los CoeficientesEcuaciones de Yule-Walker
1
2 1
(0) (1) ( 1) (1)(1) (0) ( 2) (2)
( 1) ( 2) (0) ( )
s s s s
s s s ss s s s
ps s s s
aR R R N RaR R R N R
R a B a R B
aR p R p R R p
−
− ⎡ ⎤⎡ ⎤ ⎡ ⎤⎢ ⎥⎢ ⎥ ⎢ ⎥− ⎢ ⎥⎢ ⎥ ⎢ ⎥= − ⇔ = − ⇒ = −⎢ ⎥⎢ ⎥ ⎢ ⎥⎢ ⎥⎢ ⎥ ⎢ ⎥− − ⎢ ⎥⎣ ⎦ ⎣ ⎦⎣ ⎦
K
K
MM M M M
K
Matriz de Autocorrelación (Toeplitz)Dos Métodos de Estimación:
a) Método de la AutocorrelaciónSe obtiene una matriz toeplitz
Resolución mediante algoritmo de Levinson-Durbin
b) Método de la CovarianzaSe obtiene una matriz NO toeplitz
Resolución mediante descomposión factorial (Cholesky)
TIC en Redes MóvilesTIC en Redes Móviles
Algoritmo de Algoritmo de LevinsonLevinson--DurbinDurbinINICIO
(0) (0)E R=
1( 1)
( 1)1
1 ( ) ( )i
ii ji
jK R i a R i j
E
−−
−=
⎧ ⎫= + −⎨ ⎬
⎩ ⎭∑
( )ij ia K= −
i:1... p
j:1... i-1( ) ( 1) ( 1)i i ij j i i ja a K a− −
−= −
j
( )( ) 2 ( 1)1i iiE K E −= −
i
INICIO
TIC en Redes MóvilesTIC en Redes Móviles
Coeficientes PARCORCoeficientes PARCORPara pasar de un predictor de orden i a uno de orden
i+1 hay que recalcular los coeficientes del predictor
Los coeficientes de correlación parcial (PARCOR) permiten obtener los coef. de orden i a partir de los de orden i-1
En ocasiones, puede resultar más conveniente trabajar con los PARCOR.
Pasamos de Estructuras transversales aEstructuras en Celosía (Lattice)
( ) ( 1) ( 1)i i ij j i i ja a K a− −
−= −
TIC en Redes MóvilesTIC en Redes Móviles
Coeficientes PARCORCoeficientes PARCOR
1z− 1z−⊕
⊕
⊕
⊕( )s n0 ( )e n
0 ( )b n
1K−1K−
2K−2K−
1( )e n 2 ( )e n
1z−1( )b n 2 ( )b n
( )ib n Error Backward de Orden i( )ie n Error Forward de Orden i
( ) ( )
1 1
2 21 1
( ) ( 1)
( ) ( 1)
i i
i n
i i
n n
e n b nK
e n b n
− −
− −
−=
−
∑
∑ ∑
Coeficientes de reflexión del modelo de concatenación de
tubos
TIC en Redes MóvilesTIC en Redes Móviles
Análisis LPCAnálisis LPCSalvo en los sonidos nasales, el modelo de
producción es AR (todo polos)
1
( )1
Pi
ii
GH zzα −
=
=− ∑( )H z
( )e n ( )s n
( )A z( )e n ˆ( )e n
( )H z( )s n
( )( )GH z
A z=
TIC en Redes MóvilesTIC en Redes Móviles
Análisis LPCAnálisis LPC
Residuo Para un Segmento Sonoro
TIC en Redes MóvilesTIC en Redes Móviles
Análisis LPCAnálisis LPC
Residuo Para un Segmento Sordo
TIC en Redes MóvilesTIC en Redes Móviles
Análisis LPCAnálisis LPC
Envolvente Espectro
TIC en Redes MóvilesTIC en Redes Móviles
REPRESENTACIONES DE LA REPRESENTACIONES DE LA SEÑAL DE VOZSEÑAL DE VOZ
1. Análisis HomomórficoCepstrumCepstrum de la señal de voz
2. Modelo de degradación Ambiental3. Representaciones Perceptuales
MFCC: Mel-Frequency Cepstrum CoefficientsPLP: Perceptual Linear PredictionTransformación Bilineal
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoUna transformación homomórfica:
convierte una convolución en suma
( )[ ] [ ]x n D x n=[ ] [ ] [ ]x n e n h n= ∗
ˆˆ ˆ[ ] [ ] [ ]x n e n h n= +
Un Sistema homomórfico estará compuesto por
D[ ] L[ ] D-1[ ]* + + + + *
[ ]x n [ ]x n ˆ[ ]y n [ ]y n
CepstrumCepstrum
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoSistema de AnálisisSistema de Análisis
D[ ]
*
[ ]* [ ]e n h n
Z[ ]x
[ ] [ ]E z H z
ln+
ln( [ ]) ln( [ ])E z H z+
Z-1[ ]+
ˆ[ ] [ ]e n h n+
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoSistema de SíntesisSistema de Síntesis
D-1[ ]
Z[ ]+
ln( [ ]) ln( [ ])E z H z+
x
[ ] [ ]E z H z
e( )+
ˆ[ ] [ ]e n h n+ [ ]* [ ]e n h n
Z-1[ ]*
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoCEPSTRUMCEPSTRUMSPECTRUMSPECTRUM
CepstrumCepstrum complejocomplejo
1[ ] ln[ ( )]2
j j nx n X e e dπ
π
ω ω ωπ −
= ∫pero
ln[ ( )] ln| ( )| arg[ ( )]j j jX e X e j X eω ω ω= +
1[ ] ln| ( )| arg[ ( )]2 2
j j n j j njx n X e e d X e e dπ π
π π
ω ω ω ωω ωπ π− −
= +∫ ∫Si x[n] es real el Si x[n] es real el cepstrumcepstrum complejo es realcomplejo es real
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórfico
CepstrumCepstrum realreal
1[ ] ln| ( )|2
j j nc n X e e dπ
π
ω ω ωπ −
= ∫Cepstrum real es la parte par del cepstrum complejo
ˆ ˆ[ ] [ ][ ]2
x n x nc n + −=
Variable independiente n Quefrency tiempo
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoCepstrum de la señal de voz
Excitación Filtro h[n]e[n]*h[n]e[n]
Excitación e[n]: secuencia periódica de pulsosruido blanco
Filtro:Función de transferencia racional ARMA
TIC en Redes MóvilesTIC en Redes Móviles
Cepstrum de un sistema ARMA (polo-ceros)
1(1 ) (1 )1 1[ ]
1(1 ) (1 )1 1
M Mi oDAz a z u zk kk kH zN Ni o
b z v zk kk k
−− −∏ ∏= ==
−− −∏ ∏= =
Análisis Análisis HomomórficoHomomórfico
1
1
ln[ ( )] ln[ ] ln[ ] ln(1 )1
ln(1 ) ln(1 ) ln(1 )1 1 1
DMiH z A z a zkk
M N No i ou z b z v zk k kk k k
−
−
= + + − +∑=
− − − − −∑ ∑ ∑= = =
Tomando logaritmos
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoUtilizando el desarrollo en serie de Taylor
ln(1 )1
nxxnn
∞− =− ∑
=
Por ejemplo, el término asociado a los polos internos
1ln(1 )11 1
nNN bii k nb z zk nkk n
−⎛ ⎞∞ ⎜ ⎟ −− =− ∑∑ ∑ ⎜ ⎟== = ⎝ ⎠
Secuencia sobre la que calculamosla transformada Z
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoEl término lleva información del origen de tiempos y normalmente no se tiene en cuenta en el cálculo.
ln[ ]Dz
ln[| |] 0
[ ] 01 1
01 1
A j nn nN Mb ai ik kh n nn nk kn nM Nu vo ok k n
n nk k
σ⎧⎪ + =⎪⎪⎪= − >∑ ∑⎨
= =⎪⎪ − −⎪ − <∑ ∑⎪
= =⎩
00 0
si Asi A
σ πσ= <= >
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoPropiedades
1. Si el filtro no tiene polos y ceros fuera del circulo unidad (sistema de fase mínima)
2. En sistemas de fase mínima el cepstrumcomplejo está determinado de forma unívoca por su cepstrum real
3. El cepstrum es una secuencia infinita pero decae como 1/n concentrado en el origen
[ ] 0 0h n para n= <
0 0[ ] [ ] 0
2 [ ] 0
nh n c n n
c n n
<⎧⎪= =⎨⎪ >⎩
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoEn el caso de un filtro AR (todo-polos)
( )
11
GH zP ka zkk
=−− ∑
=Ganancia y coeficientes se calculan utilizando Predicción Lineal
0 0ln[ ] 0
1 ˆˆ [ ] 0[ ]1
1[ ]
nG n
n ka h k a n ph n n n knkn k h k a n pn knk n p
<⎧⎪ =⎪
−⎪ ⎛ ⎞⎪ + < ≤∑ ⎜ ⎟= −⎨ ⎝ ⎠=⎪−⎪ ⎛ ⎞ >∑⎪ ⎜ ⎟ −⎝ ⎠= −⎪⎩
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoCepstrum de una señal periódica (enventanada)
1[ ] [ ]
0
Me n n kNk
kα δ
−= −∑
=Su transformada Z
1[ ] (1 )
0 1
MM kN NE z z a zk kk k
α− − −= = −∑ ∏= =
Su cepstrum
[ ] ( ) 01
maM ke n n mN mmkδ= − >∑
=
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoCaso límite: tren infinito de impulsos unidad
Propiedades:
1. Es distinta de cero solo en múltiplos enteros de N, siendo cero en el origen
2. Decae con el factor 1/m con el tiempo
[ ] ( )0
e n n kNk
δ∞
= −∑=
1[ ] ( )1
e n n mNmmδ
∞= −∑
=
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoCepstrum localizado de la señal de voz:
Cálculo a través de la Transformada de Fourier LocalizadaSea x[n] la secuencia enventanada
1 2 /[ ] [ ] 00
1 2 /1ˆ ˆ[ ] ln [ ] [ ]0
N j kn NX k x n e k Nn
N j kn Nx n X k e x n rNp N k r
π
π
− −= ≤ <∑=
− ∞= = +∑ ∑
= =−∞
Para reducir el aliasing N grande
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórfico
Pitch
Filtro
Cepstrum localizado voz hombre
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoCepstrum localizado voz mujer
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoSeparación excitación-filtro por filtrado homomórfico
ExcitaciónFiltro
Filtering Liftering: filtrado homomórfico
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórfico
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoSegmento de voz sordo
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoAplicación del filtrado homomórfico a la deconvolución ciega
Señal de voz con distorsión convolutiva desconocida
h[n]s[n] x[n]=s[n]*h[n]
Suposición: filtro h[n] invariante en el tiempoˆˆ ˆ[ ] [ ] [ ]x n s n h n= +
Tomando el valor medio
( )
En el domino cepstral
( ) ( ) ( )ˆ ˆˆ ˆ ˆ[ ] [ ] [ ] [ ] [ ]E x n E s n E h n E s n h n= + = +
Sustrayendo la media( ) ( )ˆ ˆ ˆ ˆ[ ] [ ] [ ] [ ]x n E x n s n E s n− = −
Desaparece el filtrado, pero.....
TIC en Redes MóvilesTIC en Redes Móviles
Análisis Análisis HomomórficoHomomórficoAplicación del filtrado homomórfico a la deconvolución ciega.... quitamos también la media del cepstrum de la señal de voz
que está relacionado con la densidad espectral de potencia promedio a largo término de la señal de voz:
- Comportamiento pasobajo influenciado en gran medida por el pulso glotal
( )[ ]E s n
En el análisis localizado, influencia de la ventana. Se requieren ventanas de longitud mucho mayor que la longitud de la respuesta impulsional a ecualizar.
Ejemplo
TIC en Redes MóvilesTIC en Redes Móviles
Modelo de Degradación AmbientalModelo de Degradación AmbientalEn el habitáculo de un vehículo:
Ruido aditivo proveniente de diversas fuentesRuido multicamino: distorsión convolucional
TIC en Redes MóvilesTIC en Redes Móviles
Modelo de Degradación AmbientalModelo de Degradación AmbientalOriginal
Filtrada
TIC en Redes MóvilesTIC en Redes Móviles
Modelo de Degradación AmbientalModelo de Degradación Ambiental
TIC en Redes MóvilesTIC en Redes Móviles
Modelo de Degradación AmbientalModelo de Degradación Ambiental
Señaldegradada
TIC en Redes MóvilesTIC en Redes Móviles
Modelo de Degradación AmbientalModelo de Degradación AmbientalLa señal de voz en general puede venir degradada por distorsiones aditivas y convolutivas:
Ruido aditivo de fuentes independientesDistorsión de canal
h[n] +
r[n]
s[n] x[n]
x[n]=s[n]*h[n]+r[n]
( )
2 2 2 2( ) ( ) ( ) ( )
2 ( ) ( ) ( ) cos ( )
j j j jX e S e H e R e
j j jS e H e R e
ω ω ω ω
ω ω ω θ ω
= +
+
Valor medio cero
TIC en Redes MóvilesTIC en Redes Móviles
Modelo de Degradación AmbientalModelo de Degradación Ambiental2 2 2 2
( ) ( ) ( ) ( )j j j jX e S e H e R eω ω ω ω≈ +
Tomando logaritmos2 2 2
ln ( ) ln ( ) ln ( )
2( )
ln 1 2 2( ) ( )
j j jX e S e H e
jR e
j jS e H e
ω ω ω
ω
ω ω
≈ + +
⎛ ⎞⎜ ⎟⎜ ⎟+⎜ ⎟⎜ ⎟⎝ ⎠
TIC en Redes MóvilesTIC en Redes Móviles
2 2 2ln ( ) ln ( ) ln ( )
2 2 2ln 1 exp ln ( ) ln ( ) ln ( )
j j jX e S e H e
j j jR e S e H e
ω ω ω
ω ω ω
≈ + +
⎛ ⎞⎛ ⎞⎜ ⎟+ − −⎜ ⎟⎜ ⎟⎜ ⎟⎝ ⎠⎝ ⎠
Pasando al dominio cepstral
Modelo de Degradación AmbientalModelo de Degradación Ambiental
( )ˆ ˆˆ ˆ ˆ ˆ[ ] [ ] [ ] [ ] [ ] [ ]x n s n h n g r n s n h n= + + − −
Donde g(z) es una función no lineal
( )1[ ] ln(1 exp ( )g z Cepstrum Cepstrum z−⎛ ⎞= +⎜ ⎟⎝ ⎠
TIC en Redes MóvilesTIC en Redes Móviles
Representaciones Representaciones PerceptualesPerceptualesMFCC: Mel-Frequency Cepstrum Coefficients
2595log 110 700
xMel x ⎧ ⎫= +⎨ ⎬⎩ ⎭
Cepstrum real sobre una escala frecuencia no lineal:Escala perceptual MEL
TIC en Redes MóvilesTIC en Redes Móviles
TIC en Redes MóvilesTIC en Redes Móviles
Representaciones Representaciones PerceptualesPerceptuales
TIC en Redes MóvilesTIC en Redes Móviles
Representaciones Representaciones PerceptualesPerceptualesPLP: Perceptual Linear PLP: Perceptual Linear PredictionPrediction (Hermansky, 90)
Motivación: incluir propiedades perceptuales en el análisis LPC
TIC en Redes MóvilesTIC en Redes Móviles
Representaciones Representaciones PerceptualesPerceptualesTransformación bilineal
1
11
zsz
α
α
−
−
−=−
Célula pasatodo 0<α<1
Hace un mapeado en el plano complejo de la circunferenciade radio unidad sobre si misma
( )2arctan1 cos( )
senα ωωα ω
⎡ ⎤Ω= + ⎢ ⎥−⎣ ⎦
Eligiendo adecuadamente α es similar a Bark o Mel
TIC en Redes MóvilesTIC en Redes Móviles
Representaciones Representaciones PerceptualesPerceptuales
MultimodalidadMultimodalidadLecturaLectura de de labioslabios::
IntegraciónIntegración audioaudio--visualvisual
TIC en Redes MóvilesTIC en Redes Móviles
VideoInput
AudioInput
Lip Finding /Tracking
LipFeature
Extraction
Recog.Process
Prepro-cessing
VoiceFeature
Extraction
Recog.Process
Recog.Result
HMM
top related