vectores de cromas - ingeniería...
TRANSCRIPT
![Page 1: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/1.jpg)
Reconocimiento de Patrones de Repetición
Proyecto de fin de carrera:“Detección de Estribillos”
Gabriela Saráchaga Virginia Sartori
Laura Vignoli
![Page 2: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/2.jpg)
Índice
IntroducciónProcedimiento GeneralMatriz de SimilitudMétodo Principal
“Estribillo”Método Alternativo
“Resumen”Herramientas de Cálculo
MFCCVectores de Cromas
Referencias
![Page 3: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/3.jpg)
Introducción
ObjetivoGenerar una síntesis (estribillo) de una canción de forma automática
MotivaciónAumento de las bases de datos musicalesAplicaciones:
Tienda de discosDescarga de música de la webThumbnail (huella)
Base de datos a analizar: música popular
![Page 4: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/4.jpg)
Características generales del estribillo
Parte más memorable de una canciónRepeticiónAumento en la dinámica: cambia melodía, ritmo y armonía Aumento en la sonoridadIntroducción de nuevos instrumentosDuración de entre 10 y 30s aprox.
![Page 5: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/5.jpg)
Procedimiento General
Entrada: Señal de audio muestreada a 32 bit y 16 KHz en formato wav (obtenida desde un archivo mp3)
y t
![Page 6: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/6.jpg)
Matriz de Similitud (S)
Visualización de estructura de piezas musicalesComparación de características extraídasValor de S(i,j) proporcional a la similitud entre instantes i y j Valores representados en una imagen en escala de grises, con blanco correspondiendo a vectores idénticos
![Page 7: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/7.jpg)
Matriz de Similitud
Diagonal principal blanca por comparar instantes con sí mismosCuadros claros representan fragmentos homogéneos de la canciónFragmentos repetidos (estribillos) son visibles como diagonales casi blancas paralelas a la diagonal principal
![Page 8: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/8.jpg)
Métodos de Análisis de la Matriz
2 métodos:Método Principal
Detecta el estribillo, se basa en repeticiones
Método AlternativoEnfoque distinto: Busca el intervalo más parecido a la totalidad de la canción
![Page 9: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/9.jpg)
Método Principal
Se resaltan las diagonales
![Page 10: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/10.jpg)
Método Principal: problemasHueco en líneas = estribillos con distinta entonación en alguna sílaba o palabra o a la adición de instrumentos
Ej: Tracy Chapman – She’s got her ticket
estribillos 1 y 2: detalles 1 y 2:
![Page 11: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/11.jpg)
Método Principal: problemasAparición de triángulos = segmentos de canción compuestos de pequeños fragmentos iguales.
Ej. Police, Can’t stand loosing you
Estos problemas se resuelven considerando cada caso en el tratamiento de las imágenes.
![Page 12: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/12.jpg)
Método AlternativoResumen: el intervalo más similar a la totalidad de la canciónDado un segmento de largo L que comienza en k y termina en k+L, la semejanza Q del segmento con S, se calcula como la suma de sus filasentre k y k+L normalizada:
El máximo Q se corresponde con el k inicio del segmento buscado
QL k = 1
N⋅L⋅∑
i=k
kL
∑j=1
N
S i , j
![Page 13: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/13.jpg)
Herramientas de cálculo
MFCC (Coeficientes Cepstrales de Frecuencia Mel)
Usado para reconocimiento de voz, enfatiza las bajas frecuenciasSe relaciona con la forma en que percibimos los sonidos.
Vectores de CromasBasado en octavas y semitonos
![Page 14: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/14.jpg)
MFCC: Extracción de Características
Variación del Cepstrum C=IFFT(log(Densidad Espectral))MFCC=IFFT(log(Coef.Mel(Dens.Espectral)))
![Page 15: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/15.jpg)
MFCC: Coeficientes Mel
Mel : unidad de medida del pitch percibido
Banco de Filtros triangulares, centrados en la frecuencia Mel.
Medida de distancia para S: distancia coseno
![Page 16: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/16.jpg)
Vectores de Cromas: Extracción
![Page 17: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/17.jpg)
Vectores de Cromas: Cálculo de Similitud
La similitud entre los vectores y se define como:
donde varía de 0 a 1.
S i , j v ti
v tj
S i , j =1−
∣v t
i
maxcv
c t
i−
v tj
maxcv
c t
j∣
12
S i , j
![Page 18: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/18.jpg)
Ejemplo: MFCC vs Cromas
Alanis Morisette – Head over feet MFCC Cromas
![Page 19: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/19.jpg)
Ejemplo: MFCC vs Cromas
Alanis Morisette – Head over feet
MFCC Cromas Realest 1: 34-58 33-57 35-60est 2: 79-100 78-98 77-101est 3: 186-207 181-208 185-208est 4: 210-231 210-231 209-232
![Page 20: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/20.jpg)
Ejemplo: Método Alternativo
Ana Belén – Sólo le pido a Dios
est 1:est 2:resumen (cromas):
![Page 21: Vectores de Cromas - Ingeniería Eléctricaiie.fing.edu.uy/investigacion/grupos/gmm/audio/seminario/seminario… · Tienda de discos Descarga de música de la web Thumbnail (huella)](https://reader035.vdocuments.co/reader035/viewer/2022070709/5ebf4e1d94ab034267003148/html5/thumbnails/21.jpg)
ReferenciasMFCC
Auditory Toolbok Michael Slaney“Discovering Structure and Repetition in Musical Audio” D.Van Dteeland, B.De Baets, H.De Meyer, M.Leman, J.P. Martens, L.Clarisse, M.Lesaffre“Visualizing Music and Audio using Self-Similarity” Jonathan Foote
Vectores de Chromas“A chorus-section detecting method for musical audio signal” Masataka Goto
Resumen“Automatic Music Summarization via Similarity Analysis” Matthew Cooper and Jonathan Foote