transformaciones espectrales en tiempo real para c l a m hernán ordiales
DESCRIPTION
TRANSCRIPT
![Page 1: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/1.jpg)
“Transformaciones espectrales en tiempo real para CLAM”
web: http://h.ordia.com.ar
Hernán Ordiales
email: [email protected]
x
![Page 2: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/2.jpg)
Resumen de trabajo
Ordenar y mejorar algunas partes de código existente (clases)
Red de pitch-discretization en el NE y prototipo Armonizador con modelo SMS y prototipo Red de voz disfónica Efecto SMS Morph en el NE Mejora del algoritmo del armonizador de voces Trabajo sobre el algoritmo de time-stretch en el
NE Frecuencia fundamental a nota MIDI en el NE y
red de Audio2MIDI
![Page 3: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/3.jpg)
Google Summer of Code
Programa organizado por Google Sponsorea la realización de proyectos open-
source Orientado a estudiantes Se realiza desde el 2005 900 estudiantes ; 1500 mentores ; 130
organizaciones ; 90 paises
Google es una marca registrada de Google Inc (Mountain View, CA 94043, USA)
![Page 4: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/4.jpg)
CLAM - ¿Qué es?
Biblioteca de software para la investigación y desarrollo sobre audio y música
Ofrece un modelo conceptual y herramientas para el análisis, la síntesis y el procesamiento de señales de audio
Premio ACM: Mejor software multimedia open-source en el 2006
![Page 5: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/5.jpg)
CLAM - Características
Dos modos diferentes de trabajo:FrameworkPrototipado rápido de aplicaciones
Software Libre (Licenciado bajo GPL) Escrito en C++ orientado a objetos Multiplataforma (Linux, Mac, Windows)
![Page 6: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/6.jpg)
CLAM – Aplicaciones principales
NetworkEditor Annotator SMSTools Voice2MIDI
![Page 7: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/7.jpg)
NetworkEditor - Características
Programación visual Similar a PureData,
MaxMSP, Reaktor Redes en tiempo
real u offline Diferentes backends
VST Jack LADSPA Portaudio Figura 1: NetworkEditor
![Page 8: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/8.jpg)
CLAM – NetworkEditor
Componentes -> Processings (“cajitas”)•Ports (flujo de datos)•Controls (datos de control)
Modelos de análisis/sintesis STFT Sinusoides + residuo (SMS) etc
Visualización en tiempo real
![Page 9: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/9.jpg)
Prototipos
Prototyper: Corre los prototipos a partir de redes del NetworkEditor (archivos XML)
Widgets QT propios (asociados a los processings del NetworkEditor)
Figura 2: Esquema prototyper
![Page 10: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/10.jpg)
Modelo sinusoides + residuo
Modelo de análisis/síntesis para procesamiento espectral orientado a aplicaciones musicales y de audio
Se puede ver como una generalización de la STFT y los modelos sinusoidales
También es conocido como SMS (Spectral Modeling Synthesis) y como HILN en el contexto de MPEG4
![Page 11: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/11.jpg)
Esta modelado como la suma de un conjunto de sinusoides (los “sobretonos” estables armónicos o no, las componentes determinísticas del sonido) más el residuo de ruido (modelado como un proceso estocástico) como dos componentes separadas
Figura 3: Esquema modelo SMS
Modelo sinusoides + residuo
![Page 12: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/12.jpg)
SMS Análisis
Entrada de audio
Picos sinusoidales
Espectro del residuo
Fundamental
Figura 4: SMS Analysis Core
![Page 13: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/13.jpg)
Ejemplo: Red de voz disfónica
Ejemplo sencillo e intuitivo de uso de modelos SMS
Idea: Aplicarle una ganancia al residuo y volver a sintetizar
Figura 5: Red de hoarseness
![Page 14: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/14.jpg)
Morph
A partir de dos fuentes de sonido se crea un sonido con propiedades híbridas
Basado en interpolación (de picos y del espectro del residuo) y un balance de la fundamental (dependiente del factor de interpolación)
Figura 6: Red de Morph
![Page 15: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/15.jpg)
Armonizador
Generalmente utilizado para armonizar voces Dado un sonido de entrada se obtienen salidas
automáticamente relacionadas armónicamente, por ej. un 3ra mayor o menor, una 5ta, una 6ta o cualquier intervalo musical que se desee
Basado en varios SMS pitch-shiftings (uno por c/voz)
Intervalos según escala temperada:
![Page 16: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/16.jpg)
Armonizador
Cantidad de voces configurable Parámetros (por c/voz)
Ganancia Pitch Delay Detunning (pequeña desafinación para dar
realismo) Opción de ignorar el residuo en el
procesamiento (agrega mucha carga y no mejora demasiado los resultados)
![Page 17: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/17.jpg)
Armonizador
Figura 7: Red del armonizador
![Page 18: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/18.jpg)
Figura 7: Prototipo del armonizador
Armonizador - Prototipo
![Page 19: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/19.jpg)
Fundamental (Hz) a nota MIDI
Figura 8: Frecuencia fundamental a MIDI
![Page 20: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/20.jpg)
Organización del trabajo
Repositorio centralizado de código (svn) Testfarm (sistema online)
Compilación multiplataforma Tests de unidad, back2back, etc
Metodologias ágiles Reorganización constante de objetivos Milestones (mapa de camino)
Comunicación E-mail: Lista de desarrollo y correo privado Canales de chat (irc en freenode) Blogs
![Page 21: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/21.jpg)
Lo que sigue
Mejorar el soporte MIDI en el NetworkEditor Mejorar algoritmos de tiempo real (NE) Nuevos widgets Nuevas redes Utilizar CLAM para y en otros desarrollos
![Page 22: Transformaciones Espectrales En Tiempo Real Para C L A M HernáN Ordiales](https://reader033.vdocuments.co/reader033/viewer/2022051817/5479d925b379594e2b8b4885/html5/thumbnails/22.jpg)
Fin de la presentación
Muchas gracias!