la deconstrucción del sonido con factorsynth · duración del sonido de entrada § tiempo de...
TRANSCRIPT
LadeconstruccióndelsonidoconFactorsynthJuanJoséBurredInves5gadorydesarrolladorentecnologíamusical,ParísEncuentrosAVLAB,MedialabPrado,Madrid21deOctubre,2017
Deconstruirparareconstruir
§ PremisadeFactorsynth:aplicarestaideaalámbitosonoro
Dibujo de Dan Christie
¿Quéesunelementosonoro?§ Muchosposiblesnivelesdeabstracción§ Nivelmuybajo:
§ Ejemplo:loselementossonmuestrasdigitalesdelsonido (muestreo,conversiónanalógico-digital)
Fuente: Wikipedia
¿Quéesunelementosonoro?§ Nivelbajo:
§ Ejemplo:loselementossonfrecuencias(oscilacionesbásicas) (espectrograma,análisisdeFourier)
tiempo
frecuencia
¿Quéesunelementosonoro?§ Nivelmuyalto:
§ Ejemplo:loselementossoninstrumentosmusicales(separacióndefuentes–sourcesepara*on)
Elparadigmaanálisis/resíntesis§ Analizar(descomponer)unsonidoparamanipularsuselementosyconellossinte5zar(recomponer)unnuevosonido
§ Ejemplo:soWwaredeedicióndeaudio,algunossinte5zadores
§ Habitualmente,lossistemasdeanálisis/resíntesisfuncionanenelnivelbajodeabstracción
Ejemplo: AudioSculpt (IRCAM)
Contexto:nivelintermedio
Abstracciónbaja§ Muestras§ Frecuencias
Abstracciónalta§ Instrumentos§ Voces§ Seccionesdelaorquesta
Abstracciónmedia§ Notas§ Impulsos§ Ataques,transientes
§ Formantes,resonanciasFactorsynth
¿Cómodescomponeraunnivelmediooalto?
§ Aquíentrantécnicasdemachinelearning,reconocimientodepatrones,mineríadedatos,separacióndefuentes...
§ Unadelastécnicasmáspotentesymásusadasentodosesoscamposeslafactorizacióndematrices
§ Apesardesuampliousoenelámbitocien_ficoyacadémico,lafactorizacióndematricesesprác5camentedesconocidaenlacreación
§ Factorsynthpretendeponereste5podetécnicasalalcancedeunpúblicomásampliodecompositoresycreadoressonoros
Factorización§ Operacióncontrariaalamul5plicación:descomposiciónenfactores
§ 100=20x5§ 100=25x4§ 100=5x2x10§ 100=3x33.3333...
§ Siemprehayunnúmeroinfinitodesoluciones
§ Elmétododefactorizaciónaelegirdependerádelascaracterís5casquequeramosquetenganlosfactores§ Ejemplo:lafactorizaciónennúmerosprimoseslabasedelacriptograga
§ Factorización=deconstrucciónen“bloqueselementales”
Factorizacióndematrices§ Unamatrizesuna“tabladenúmeros”§ Lamul5plicacióndematricesNOeslamul5plicaciónunoaunodesuselementos§ También,infinitassolucionesparalafactorización.Además,losfactorespuedentenertamañosdis5ntos
x=k = 2
x=k = 1
x=k = 6
x=k = 3
Non-nega5veMatrixFactoriza5on(NMF)
§ Métodoqueimponequetodosloselementosseannulosoposi5vos
§ Estasimplecondiciónhacequelosfactoresobtenidosseanfácilmenteinterpretables:esuna“descomposiciónenpartes”
§ D.Lee(BellLabs)yS.Seung(MIT),1999
D. Lee and S. Seung, “Learning the parts of objects by non-negative matrix factorization”, Nature, 1999
NMFaplicadaalsonido§ Unespectrogramaesunamatriz,luegopodemosaplicarfactorizaciónaverquépasa...
x=
BASES(espectrales) ACTIVACIONES(temporales)
8empo
frecue
ncia
Interpretaciónporcapas
Interpretaciónporcapas
x
Interpretaciónporcapas
x
Interpretaciónporcapas
x
Interpretaciónporcapas
x
componentes
Ejemplo:factorizacióndeunacampana
RepresentacióngráficaenFactorsynth
IdeaclavedeFactorsynth
Diagonal: componentes originales (presentes en el sonido de entrada)
Fuera de la diagonal: componentes nuevos (no presentes en el sonido de entrada)
Ejemplosdeusosenobras“ArtaudOverdrive”,deEmanuelePalumbo
§ Paraconjuntoyelectrónica§ EstrenadaenJuniode2016enelIRCAM,CentroPompidou
Sound1
Sound2
Factorsynth
(cross-synthesis)
separatecross-components
downmix
Spat
Ejemplosdeusosenobras“L’AuradellaDistanza”,deEmanuelePalumbo
§ Paraconjuntoyelectrónica§ EstrenadaenEnerode2017enelConservatorioSuperiordeParís(CNSMDP)
§ Descomposicióndegrabacionesdeviolín§ Usode2categoríasdecomponentes:armónicosyruidos(frotamiento)
Ejemplosdeusosenobras“EachMirrorInfectsItself”,deMaurizioAzzan
§ Paraconjuntoyelectrónica§ EstrenadaenJuliode2017enelFes5valLeDôme,Montbazon§ Síntesiscruzadaentreac5vacionestemporalesyelementosespectralesdediferentessonidos
§ Sonidosdebase:grabacionesdetécnicasextendidasdeviolín(collegnofrotado,jeté,mul5fónicos,cuerdaspreparadas...)
Notassobrelaimplementación§ Versiónactual(0.4)paraMax7(Mac)
§ DisponiblecomofreewareCrea5veCommonsen:jjburred.com
§ Laspartescentralesdelcálculo(factorización,resíntesis)lasllevaacaboelobjetoexternofactorsynth~
§ Tiempodefactorización:25%deladuracióndelsonidodeentrada
§ Tiempoderesíntesis:prác5camenteinstantáneo
§ Existeunaversiónsininterfazgráfica(líneadecomandos)
Desarrollosprevistos
§ Tratamientodesonidosen5emporeal
§ Salidamul5canalparaespacialización
§ ControlporMIDI/OSC
§ VersiónautónomaparaiOS
§ Versiónplug-inparaAbletonLive
