estudio y grabaciÓn de audio en 8d

64
Andrea Arroyo Cruz ESTUDIO Y GRABACIÓN DE AUDIO EN 8D Grado en Ingeniería de Sistemas Audiovisuales Ignasi Esquerra Sisco Vallverdú Alumna : Director :

Upload: others

Post on 01-Jul-2022

4 views

Category:

Documents


1 download

TRANSCRIPT

Page 1: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Andrea Arroyo Cruz

ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Grado en Ingeniería de Sistemas Audiovisuales

Ignasi Esquerra Sisco Vallverdú

Alumna :

Director :

Page 2: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

� RESUMEN

Últimamente, ha estado en boca de muchos la aparición de una serie de videos bajo el título de audio en 8D. El efecto sorprendió a muchos, pero pocos saben realmente qué es.

El audio en 8D no es más que una mejora del ya conocido audio en 3D, solo que este nos permite, con la ayuda de unos simples auriculares, escuchar sonidos situados en cualquier posición a nuestro alrededor. Es decir, se trata de un tipo de audio posicional, que es simplemente la derivación del sistema holofónico de los años 70 y 80.

La holofonía consistía en una técnica especial de grabación que imitaba la manera en la que nuestro sistema auditivo percibía los sonidos, consiguiendo así sonidos hiperrealistas. Pero esto va más allá, ya que el audio en 8D actual no necesita ninguna técnica especial de grabación, y, es más, se puede hacer con cualquier señal de audio y solamente con la ayuda de un ordenador.

Con todo lo que el audio 8D nos ofrece, es interesante investigar cómo podríamos aprovecharlo al compaginarlo con vídeo y crear así un buen material audiovisual. Al final, la parte visual tiene un gran peso en cuestión de efecto, y solo agrandaría la sensación que nos transmite el audio posicional. A lo largo del documento se irán analizando los diferentes métodos y entornos de trabajo que existen para conseguir el audio en 8D, además de realizar diferentes pruebas en todos para ver mejor las ventajas y desventajas de cada uno de los entornos.

Página � de �1 64

Page 3: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

ABSTRACT

Lately, many people have talk about the appearance of a series of videos under the title of 8D audio. Even though the effect surprised many, few knew what it really is.

The 8D audio is only an improvement of the already known audio in 3D, but this allows us, with the help of our headphones, to listen to sounds located in any position around us. It is a type of positional audio, which is simply the derivation of the holophonic system of the 70s and 80s.

The holophony consisted of a special recording technique that imitated the way in which our auditory system perceived sounds, achieving these hyperrealistic sounds. But this goes further, since the current 8D audio does not need any special recording technique, and what's more, it can be done with any audio signal and with the simple help of a computer.

Knowing all that the 8D audio offers us, it is interesting to investigate how we could take advantage of it when combining it with video and being able to create a good audiovisual material. In the end, the visual part has a great weight in matter of effect, and it would only enlarge the sensation that the positional audio transmits to us. Throughout the document, we will analyze the different methods and work environments that exist to get the 8D audio, in addition to performing different tests in all of them to be able to see the advantages and disadvantages of each of the environments.

Página � de �2 64

Page 4: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

AGRADECIMIENTOS

En primer lugar, quiero agradecerle a Jaime Altozano la idea de este trabajo, ya que nació a raíz de uno de sus videos de Youtube y ha supuesto una gran ayuda y soporte con el resto de ellos.

Después, agradecerles a mis tutores, Sisco Vallverdú e Ignasi Esquerra, su implicación en el proyecto, y que hayan querido y podido ayudarme en todo lo necesario a lo largo del mismo. Sin su seguimiento y ayuda constante semana a semana no sé si el proyecto hubiese salido adelante o si hubiera llegado a tan buen puerto.

Por último, agradecerle a dos de mis compañeros su ayuda en distintos ámbitos. Por un lado a Alba Marín, ya que me ha acompañado en todas las jornadas de grabación y ha ejercido de todo lo que le he pedido: actriz, ayuda de cámara, etc, aportando además sus ideas y originalidad. Y también a Alex Bru, que ha sido clave para la parte de programación del trabajo, y ha sido partícipe de casi todas las horas que han conllevado esta larga tarea. En general, gracias a ambos por vuestro tiempo y dedicación.

Página � de �3 64

Page 5: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

ÍNDICE

Listado Figuras 6 Listado Abreviaturas 7 1. INTRODUCCIÓN 8 1.1 Motivación 8 1.2 Estado del arte 9 1.3 Objetivos 9 2. AUDIO ESTÉREO, BINAURAL, 3D Y 8D 10 2.1 Historia 10 2.2 Audio Estéreo vs binaural vs 8D 18 3. ENTORNO DE TRABAJO 20 3.1 Entorno virtual Unity y Resonance Audio 20 3.2 Mezclador Reaper y Ambeo Orbit 26 3.3 HTML5, Javascript y Resonance Audio 28 4. PROTOTIPO FINAL 33 4.1 Pruebas 33 4.1.1 Entorno virtual Unity y Resonance Audio 33 4.1.2 Mezclador Reaper y Ambeo Orbit 39 4.1.3 HTML5, Javascript y Resonance Audio 45 4.2 Desarrollo del código HTML5 48 4.2.1 Código y realización del video 49 4.2.2 Código y realización del audio 53 5. RECURSOS 60 5.2 Cronograma de trabajo 60 5.1 Presupuesto 61 6. CONCLUSIONES Y PROPUESTAS DE MEJORA 62 7. BIBLIOGRAFÍA 63

Página � de �5 64

Page 6: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Listado Figuras

Figura 1 - Modelo de cabeza para grabación holofónica 11 Figura 2 - Representación de la posición de una fuente de sonido respecto al SAH 12 Figura 3 - Partes de la oreja del SAH 14 Figura 4 - Gif de cómo interactúa una fuente de sonido con el SAH 15 Figura 5 - Ejemplo Dolby Digital Surround con 5 fuentes de sonido 16 Figura 6 - Diferencia de grabación y reproducción entre el audio mono y estéreo 18 Figura 7 - Símbolos de Unity y Resonance Audio 20 Figura 8 - Representación de cómo llega el audio al SAH 21 Figura 9 - Representación espacial del sonido directo y las reflexiones 22 Figura 10 - Configuración de materiales en Unity 25 Figura 11 - Símbolos de Reaper y Ambeo 26 Figura 12 - Control de la posición del audio con Ambeo Orbit 26 Figura 13 - Ejemplo de pista ‘pajaro.wav’ 27 Figura 14 - Símbolos de HTML5, Javascript y Resonance Audio 28 Figura 15 - Lista de materiales de la documentación de Resonance Audio 30 Figura 16 - Escenario de la prueba de reverberación de Unity 33 Figura 17 - Configuración del ‘AudioClip’ en Unity 35 Figura 18 - Representación de la reproducción del audio 8D con Resonance Audio 37 Figura 19 - Escenario de Unity con dos fuentes de sonido y un oyente 38 Figura 20 - Extensión de Ambeo Orbit en Reaper 40 Figura 21 - Escenas de ejemplo (1) 42 Figura 22 - Escenas de ejemplo (2) 43 Figura 23 - Símbolo de Node.js 45 Figura 24 - Extensión Live Server en Virtual Studio Code 46 Figura 25 - Video ejemplo de Youtube 48 Figura 26 - Archivos dentro de la carpeta ‘Demo’ 49 Figura 27 - Visión general del estado inicial de la web 50 Figura 28 - Cámara ‘Nikon KeyMission 360 4K’ 52 Figura 29 - Situación y ejes del video 53 Figura 30 - Consola del navegador 54 Figura 31 - Ejes respecto a la fuente de sonido 55 Figura 32 - Esquema de los cuadrantes y límites de cada uno de ellos 56 Figura 33 - Cronograma de trabajo 60

Página � de �6 64

Page 7: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Listado Abreviaturas

HRIR Head Related Impulse ResponseRespuesta de Impulso Relacionada con la Cabeza

HRTF Head Related Transfer Function Función de Transferencia Relacionada con la Cabeza

ILD Interaural Level DifferenceDiferencia de Nivel Interaural

ITD Interaural Time DifferenceDiferencia Temporal Interaural

PRTF Pinna Related Transfer FunctionFunción de transferencia relacionada con el pabellón auricular

SAH Human Auditory System Sistema Auditivo Humano

VR Virtual RealityRealidad Virtual

Página � de �7 64

Page 8: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

1. INTRODUCCIÓN

Últimamente se han viralizado una serie de videos asegurando estar caracterizados por el audio en 8 dimensiones, denominándose ‘8D’, pero, ¿qué es esto realmente?

El audio en 8D no es más que una mejora del ya conocido audio en 3D, solo que este nos permite, con la ayuda de unos simples auriculares, escuchar sonidos situados en cualquier posición a nuestro alrededor. A la derecha, a la izquierda, arriba, abajo, más cerca, más lejos… las opciones son infinitas y escuchadas de una manera hiperrealista, ya que prácticamente se perciben los sonidos como si estuvieran ‘fuera de tus auriculares’.

Este efecto se consigue modificando cada pista de audio dependiendo de la respuesta de tu sistema auditivo en referencia a su posición, es decir, según la ‘head-related transfer function’. A continuación se profundizará sobre esta función, por qué es tan importante, pero sobre tofo, cómo crear audio en distintos entornos en base a ella.

1.1 Motivación

Como se ha mencionado anteriormente, los últimos meses se han viralizado una serie de videos en los que convertían canciones ya producidas y bastante conocidas a su versión en 8 dimensiones. Esto significaba que existía alguna técnica para convertir cualquier sonido en tridimensional, además de dar la posibilidad de producir una pieza audiovisual desde cero con el objetivo de ser en 8D.

Si esto fuese así, a mi parecer sería el futuro del sonido, ya que es su versión más realista con solo la necesidad de unos auriculares. Y hay que tener en cuenta que hoy en día la mayoría de personas consumimos contenido audiovisual en nuestros dispositivos portátiles como móviles, tablets u ordenadores, donde la mayoría de veces utilizamos auriculares, por lo que es un campo que merece la pena explorar.

Página � de �8 64

Page 9: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

1.2 Estado del arte

Este efecto de audio posicional ya existía durante los años 70 y 80, grupos de rock como Pink Floyd lanzaron discos conceptuales en los que se jugaba con nuevas técnicas de grabación. Para demostrar la particularidad de este sonido ahí está la típica experiencia de la barbería en el que el receptor puede sentir cómo el sonido va moviéndose de izquierda a derecha como si se tratase de verdad de un corte de pelo. Pero, en realidad, su base se encuentra en los llamados sonidos holofónicos, una técnica de espacialización sonora creada por Hugo Zuccarelli en los años ochenta, es decir, los audios binaurales. [1][2]

Estos audios hiperrealistas se obtienen gracias al método que se utiliza en la fase de grabación, a través de unos micrófonos que imitan la técnica conocida como 'grabación de cabeza de maniquí’, un método que emplea un micrófono en cada oído de la cabeza de una figura, para desarrollar el efecto de sonido tridimensional. Es decir, un equipo de grabación cuya configuración imite nuestro sistema de percepción auditiva.

Hoy en día no se necesita este tipo de método de grabación para poder conseguir el efecto, ya que existen diversidad de programas para generarlo a partir de cualquier audio.

1.3 Objetivos

El principal objetivo es la investigación de los distintos entornos para generar dichos audios, además de la creación de distintas piezas audiovisuales adaptadas a sus ventajas e inconvenientes en cada uno de ellos.

Y al ser un audio tan realista, sería interesante poder trasladarlo a un entorno más interactivo como el video en 360 grados, y estaría bien descubrir si esto es posible y cómo hacerlo como objetivo final.

Página � de �9 64

Page 10: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

2. AUDIO ESTÉREO, BINAURAL, 3D Y 8D

2.1 Historia

Como ya se ha mencionado brevemente en el apartado anterior, el audio en 8D ya existía hace décadas, donde empleaban este efecto en producción musical, aunque no se referían a él con la denominación actual.

Este formato de audio posicional 3D, nació basado en el sistema de grabación holofónica desarrollado en los años 80 por el argentino Hugo Zuccarelli, con el objetivo de crear los denominados sonidos binaurales. [3]

“El sonido binaural es aquel que, siendo grabado mediante el uso de dos micrófonos en una cabeza artificial, intenta crear para el oyente una sensación de sonido 3D similar a la de estar físicamente

en la habitación o el lugar donde se producen los sonidos. Se diferencia del estéreo en que reproduce el sonido en un rango de izquierda a derecha y en profundidad debido a las bocinas traseras al oyente de retardo del surround, ya que en estéreo se tienen las dos dimensiones del plano paralelo al piso a la altura de los oídos, y en el sistema binaural se trata de obtener un

sonido en las 3 dimensiones con la dimensión agregada de la altura.” [4]

La holofonía era un sistema alternativo a las grabaciones de sonido mediante la que el usuario podía disfrutar de una experiencia totalmente novedosa. Todo a través de unos micrófonos que imitan la técnica conocida como 'grabación de cabeza de maniquí'. Este método, que emplea un micrófono en cada oído de una cabeza de una figura, para desarrollar el efecto de sonido tridimensional. Es decir, un equipo de grabación que cuya configuración imite nuestro sistema de percepción auditiva.

En primer lugar, el argentino utilizaba a Ringo, una cabeza de maniquí equipada con dos tímpanos sintéticos, que fue bautizado con el nombre de Ringo por su parecido con el boxeador argentino Óscar Ringo Bonavena.

Página � de �10 64

Page 11: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Figura 1 - Modelo de cabeza para grabación holofónica

Así los micrófonos lograban registrar el sonido que ha pasado por las orejas y por el cráneo. Es decir, la diferencia principal es introducir en la grabación la función de transferencia del sonido a través del cráneo (‘head related transfer function’), actuando este como una caja de resonancia.

“Función de transferencia relacionada con la cabeza (HRTF) en inglés llamada "Head-related transfer function". Es una respuesta que caracteriza cómo un oído recibe un sonido desde un punto

en el espacio. A medida que el sonido golpea al oyente, el tamaño y la forma de la cabeza, las orejas, el canal auditivo, la densidad de la cabeza, el tamaño y la forma de las cavidades nasales y

orales, transforman el sonido y afectan la forma en que se percibe, aumentando algunas frecuencias y atenuando otras. En términos generales, la HRTF aumenta las frecuencias de 2 a 5

kHz con una resonancia primaria de +17 dB a 2,700 Hz. Pero la curva de respuesta es más compleja que un solo golpe, afecta a un amplio espectro de frecuencias y varía significativamente

de una persona a otra.” [5]

La HRTF describe cómo se filtra una entrada de onda de sonido determinada (parametrizada como la frecuencia y la ubicación de la fuente) por las propiedades de difracción y reflexión que sufre el sonido en nuestra cabeza, torso y pinna (oreja) antes de llegar al final del canal auditivo para percibir la posición de la fuente.

Página � de �11 64

Page 12: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

La posición de la fuente viene dada por el ángulo azimut u horizontal y la elevación o ángulo vertical.

El azimut es el ángulo que forma un cuerpo celeste y el Norte, medido en sentido de rotación de las agujas de un reloj alrededor del horizonte del observador. Determina la dirección de un cuerpo celeste. Por ejemplo, un cuerpo celeste que se halla al Norte tiene un azimut de 0º, uno al Este 90º, uno al Sur 180º y al Oeste 270º.

Figura 2 - Representación de la posición de una fuente de sonido respecto al SAH

La HRTF altera el espectro y el tiempo de llegada de la señal, provocando que algunas frecuencias reflecten en dichas partes y creen un nuevo frente de ondas. Al sumar estos frentes de ondas, pueden darse atenuaciones (si han llegado en contrafase) o aumentos de amplitud (si han llegado en fase), dependiendo de la frecuencia y procedencia del sonido. Estos aumentos y atenuaciones son indispensables para su localización, siendo únicos para cada persona, lo que determina una función HRTF individualizada, es decir, única para cada persona.

Página � de �12 64

Page 13: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Para entender la HRTF, primero hay que saber que una función de transferencia se define como la relación compleja del espectro de la señal de salida y el espectro de la señal de entrada en función de la frecuencia. [6] La función de transferencia H(s) de cualquier sistema lineal invariable en el tiempo a la frecuencia f es:

H(s)=Y(f) / X(f)

Siendo Y la salida y X la entrada. La HRTF es una función muy compleja, pudiéndose hallar mediante la transformada de Fourier de HRIR (Head-related impulse response). El HRIR es un impulso que se mide justo al final del canal auditivo. Se compara el impulso original con el que se ha registrado dentro del canal auditivo. Al aplicar la transformada de Fourier, conseguimos el HRTF del individuo, no obstante, el impulso debe de repetirse en varios planos para conseguir un HRTF realista.

Ahora que ya tenemos la posición horizontal necesitamos saber la elevación de la fuente. La principal forma de reconocer la elevación de una fuente sonora es a través de la ‘pinna’, localización por tanto monoaural . 1

La función de transferencia de la ‘pinna’ (PRTF), permite esta localización de forma similar a la HRTF. Las reflexiones que tiene el sonido en los pliegues y cavidades de la ‘pinna’ son los responsables de este suceso. Además, al igual que la HRTF, la PRTF es única para cada persona, considerado el factor mas irregular en la fisionomía humana para la localización del sonido.

1. adj. Dicho de un sistema de grabación y reproducción sonora: Realizado a través de un solo 1

canal.Página � de �13 64

Page 14: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Figura 3 - Partes de la oreja del SAH

Por último, la holofonía también nos permitía aprovechar la diferencia en la intensidad del audio que llegaba a cada oido, además del tiempo que tardaba en llegar a cada uno de ellos. La diferencia de tiempo entre la llegada de la onda de sonido a nuestros oídos izquierdo y derecho nos ayuda a determinar la ubicación horizontal de los sonidos de baja frecuencia. Esta diferencia de tiempo interaural (ITD) depende de la posición horizontal de la fuente de sonido con respecto a usted. 2

Cuanto más lejos esté una fuente a la izquierda o derecha de la cabeza, mayor será la diferencia de tiempo.

Pero los seres humanos no pueden usar las diferencias de tiempo interaurales para localizar sonidos de frecuencias más altas. En su lugar, determinamos su ubicación horizontal utilizando las diferencias de nivel interaural, (ILD). Estas son diferencias en el volumen y la distribución de frecuencia entre nuestros oídos derecho e izquierdo, causados por la sombra acústica de la cabeza humana.

Descripción de las diferencias entre la recepción del sonido (especialmente el tiempo y la 2

intensidad) por cada oídoPágina � de �14 64

Page 15: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Figura 4 - Gif de cómo interactúa una fuente de sonido con el SAH

Tras el éxito de su sistema de grabación holofónico, Zuccarelli trabajó con Pink Floyd en la grabación del disco ‘The Final Cut’. Posteriormente también trabajaría con otros artistas como Stevie Wonder, Lionel Richie o Michael Jackson, entre otros. [7]

En el caso de Michael Jackson, le ayudó en la producción de su disco ‘Bad’, donde pasaron horas y horas grabando numerosos sonidos, que posteriormente no se utilizaron. Cuando dicho disco salió a la luz, el equipo de Michael le ofreció a Zuccarelli 100 mil dólares por los derechos universales de la holofonía, a lo que él se negó. Además, afirmó que esa negativa trajo sus consecuencias, refiriéndose a que su distanciamiento de la industria discográfica fue debido al hecho de negarse a venderla. Finalmente, tras vender los primeros dos millones de discos, quitaron los efectos de la mezcla, excepto una motocicleta grabada con Ringo.

A pesar de haber recibido el reconocimiento de la industria cinematográfica y de la música, este sistema de grabación nunca llegaría a imponerse debido a la popularidad del Dolby Surround.

Página � de �15 64

Page 16: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

“Dolby Surround es la contraparte para codificación de la decodificación Dolby Pro Logic, pero las primeras implementaciones caseras del decodificador Dolby Surround fueron llamadas Dolby

Surround lo cual dio lugar a confusión. Los decodificadores Dolby Surround y Dolby Pro Logic son similares en principio, debido a que los 2 usan tecnología "Matrix" para extraer canales

adicionales de sonido codificado en Estéreo.” [8]

Dolby Surround es el primer sistema de sonido envolvente de cine en casa. La técnica, introducida en 1982, codifica cuatro canales de sonido estéreo en 2 canales. El sonido envolvente es una técnica cuyo objetivo consiste en enriquecer la calidad de la reproducción sonora de una fuente de audio con canales adicionales provenientes de altavoces que envuelven al oyente (canales envolventes), a diferencia del que se obtiene por medio de canales en pantalla (canal central, canal izquierdo y canal derecho), los cuales se encuentran solo al frente del oyente.

Obviamente esta técnica se ha ido desarrollando, introduciendo así más canales, es decir, más altavoces. Aquí podemos ver un ejemplo de Dolby Surround de 5 canales:

Figura 5 - Ejemplo Dolby Digital Surround con 5 fuentes de sonido

Página � de �16 64

Page 17: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

El sonido envolvente se caracteriza por tener una posición particular con respecto al oyente, también conocida como ‘punto dulce’, en la cual los efectos del audio funcionan de manera óptima y además se presenta una perspectiva fija del campo sonoro a la persona que se encuentra en dicha ubicación. Dejando el sonido envolvente aparte y siguiendo con la holofonía, en la actualidad, con la patente (Holofonics) perdida en el sumidero de la historia, se utilizan sistemas similares en el sector de los videojuegos. Incluso grupos masivos como Radiohead han usado técnicas similares para incorporar determinados instrumentos en algunas de sus canciones. Zuccarelli lo intentó por todos los medios, pero jamás pudo llegar al mercado.

No obstante, los ejemplos de grabaciones binaurales triunfan en Internet. Como la conocida peluquería virtual, cuyo nombre es ‘Virtual Barber Shop’ o ‘Starkey Cetera Barbershop’. El archivo es una buena muestra para explicar cómo funciona este sonido, pero se queda corto a la hora de mostrar las posibilidades.

En este ejemplo, que hay que hay que escuchar en lugar de ver para mayor efecto, ya que no hay imagen que lo acompañe, tenemos la sensación de que estamos en una barbería cortándonos el pelo. Encontrándonos sonidos hiperrealistas como alguien entrando por la puerta al local a nuestras espaldas o el barbero utilizando las tijeras justo encima de nuestras orejas.

Página � de �17 64

Page 18: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

2.2 Audio Estéreo vs binaural vs 8D

Para poder entender la increíble mejora que supone el 8D, estaría bien analizar y comparar los diferentes tipos de audio que encontramos hoy en día, empezando por la simple señal ‘mono’ y acabando con esta.

Una señal monofónica es una señal grabada con un solo micrófono. Al escuchar la grabación con dos altavoces o auriculares, la señal se duplica y oímos lo mismo por la izquierda que por la derecha. Obviamente con esta señal no experimentamos ningún movimiento en el sonido a través de auriculares o altavoces, ya que al escuchar lo mismo por ambos canales el efecto disminuye.

En cambio, si en vez de con un micrófono grabásemos con dos, obtendríamos el audio estéreo o estereofónico. Por lo tanto, la principal diferencia de los dos anteriores es la manera en la que se obtiene la señal, además de los efectos que esto implica.

Figura 6 - Diferencia de grabación y reproducción entre el audio mono y estéreo

Página � de �18 64

Page 19: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

El sonido estéreo es un método de grabación y reproducción que crea una ilusión de dirección y perspectiva audible por primera vez, ya que imita la audición natural de los seres humanos. Aunque cabe destacar que todos los sonidos producidos naturalmente son en mono, es durante el proceso de mezcla en estudio, masterización o sonido en vivo donde se crea el estéreo.

Como ya hemos visto, este tipo de audios se obtienen y se reproducen en dos canales (disposición 2.0), y aunque el sonido estéreo pueda tener dos canales monaurales independientes, habitualmente la señal en un canal está relacionada con la señal del otro canal. Por ejemplo, si se grabara exactamente la misma señal en ambos canales, entonces se escucharía como un sonido central fantasma cuando fuese reproducido en altavoces. Es decir, el sonido parece provenir del punto medio entre los dos altavoces.

A pesar de darnos sensación de movimiento y posición del sonido, el audio estéreo se queda corto en cuanto al direccionamiento del mismo, y aquí por lo tanto es donde entra el audio binaural del que hemos hablado al principio.

De todas maneras, la forma de obtener esta señal es bastante complicada y específica, ya que se necesitan unos micrófonos especiales (grabación holofónica), lo cual hace que este efecto no estuviese al alcance de todo el mundo. Aquí reside la diferencia y mejoría importante del audio en 8D, en la manera de obtenerlo. Para generar audio en 8D no necesitamos ningún equipo especial. Es más, no necesitaríamos ni dos canales como en el estéreo, ya que podemos convertir cualquier señal de audio en una con un gran efecto de posición y direccionamiento. Es decir, podemos situar un sonido en el espacio con un par de ‘clicks’.

Obviamente, tanto con el audio binaural (grabación holofónica) como con el 8D obtendríamos el mismo efecto, el cual se aleja mucho del sonido estereofónico. Pero, como se ha mencionado justo antes, podemos obtener el audio 8D con la mitad de trabajo y recursos, siempre y cuando se sepan la manera de poder conseguirlo.

Hay distintos métodos para poder lograr este efecto, y dependiendo de cuál sea tu objetivo o tipo de proyecto, será mejor uno u otro. Por ello, a continuación, como proyecto final, vamos a analizar los diferentes entornos de trabajo y las ventajas e inconvenientes de cada uno de ellos para el desarrollo de cualquier proyecto audiovisual.

Página � de �19 64

Page 20: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

3. ENTORNO DE TRABAJO

Tras una profunda investigación acerca de las posibilidades del audio 8D, estudiaremos y analizaremos tres entornos totalmente distintos con los que podemos generarlo. Entre estos se encuentran: - Unity - Reaper - Código realizado en HTML5

3.1 Entorno virtual Unity y Resonance Audio

Figura 7 - Símbolos de Unity y Resonance Audio

El primer entorno que he utilizado es Unity, en su última versión de 2018.

“Unity es un motor de videojuego multiplataforma creado por Unity Technologies. Unity está disponible como plataforma de desarrollo para Microsoft Windows, OS X, Linux." [9]

Este programa apoya tanto el desarrollo de la tecnología 2D como el de la 3D con prestaciones y funcionalidades para necesidades específicas en los diversos géneros, además de ser el programa líder en Realidad Virtual.

Página � de �20 64

Page 21: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Para acompañar a Unity hace falta incluir Resonance Audio de Google. [10] Este último es el SDK de Google para sonido posicional que hicieron en código abierto en marzo y que ahora se encuentra totalmente integrado con Unity, ofreciendo así la oportunidad a los desarrolladores de crear experiencias que rendericen múltiples fuentes de sonido 3D con un comportamiento más real. 3

Para entender cómo funciona Resonance Audio hay que tener en cuenta unos conceptos fundamentales. Tiene en cuenta las ya anteriormente mencionadas ITD, ILD y HRTF. Todo esto se hace para simular la manera que tienen las ondas de sonido de interactuar con nuestras orejas.

Por esto también tienen en cuenta otros elementos como los efectos espectrales. Si bien las diferencias de tiempo (ITD) y nivel (ILD) nos ayudan a ubicar un sonido horizontalmente, otras interacciones de ondas de sonido nos ayudan a determinar la elevación de un sonido. Los sonidos provenientes de diferentes direcciones rebotan desde el interior de nuestros oídos externos de diferentes maneras. Los humanos usan estos cambios en la frecuencia, o efectos espectrales, para determinar la ubicación vertical de una fuente de sonido. [11]

Figura 8 - Representación de cómo llega el audio al SAH

Renderización (del inglés rendering) es un anglicismo usado en jerga informática para referirse al 3

proceso de generar una imagen visible e inteligible para el ser humano, a partir de información digital.

Página � de �21 64

Page 22: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Además de simular las interacciones de ondas de sonido con nuestros oídos, Resonance Audio simula las interacciones de ondas de sonido con su entorno. En el mundo real, a medida que las ondas sonoras viajan por el aire, rebotan en todas las superficies de nuestro entorno. Esto crea una mezcla compleja de reflexiones.

Resonance Audio separa esta mezcla de ondas de sonido en los siguientes tres componentes: sonido directo, reflexiones tempranas y reverberación tardía.

La primera ola que golpea nuestros oídos es un sonido directo que viaja directamente desde la fuente hacia nosotros. A medida que aumenta la distancia de una fuente de sonido hacia nosotros, su energía disminuye. Es por eso que los sonidos más alejados de nosotros tienen un volumen más bajo que los sonidos más cercanos a nosotros. Las primeras ondas reflejadas que llegan a nuestros oídos se conocen como reflexiones tempranas. Estas reflexiones nos dan una impresión del tamaño y la forma de la habitación en la que estamos ubicados. Resonance Audio espacializa las reflexiones tempranas en tiempo real y renderiza las fuentes de sonido para cada reflexión.

Figura 9 - Representación espacial del sonido directo y las reflexiones

Página � de �22 64

Page 23: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Con el tiempo, la densidad de los reflejos que llegan a nuestros oídos aumenta cada vez más hasta que las ondas de sonido individuales son indistinguibles. Este fenómeno se llama reverberación tardía. Resonance Audio tiene un potente motor de reverberación incorporado que puede igualar el sonido de las salas reales. Si cambia el tamaño de la habitación o los materiales de la superficie de sus paredes, el motor de reverberación reacciona en tiempo real y ajusta las ondas de sonido para adaptarse a las nuevas condiciones.

Para agregar más realismo, Resonance Audio también puede simular cómo las ondas de sonido reales que viajan entre una fuente y el oyente son bloqueadas por objetos entre ellas. Simula estos efectos de oclusión ambiental al tratar los componentes de alta y baja frecuencia de manera diferente. Las frecuencias altas están bloqueadas más que las bajas, imitando lo que sucede en el mundo real.

Por último, tiene en cuenta el patrón de directividad de una fuente de sonido, el cual está estrechamente relacionado con la oclusión. Un patrón o forma de directividad representa la forma en que el sonido emana de una fuente en diferentes direcciones. Escuchamos el sonido de una fuente de manera diferente dependiendo de su patrón de directividad y nuestra ubicación en relación con la fuente.

Una situación de ejemplo puede ser caminar en círculo alrededor de alguien que toca una guitarra. La guitarra suena mucho más fuerte desde el frente, donde se encuentran las cuerdas y el agujero de sonido. Cuando estás detrás de la guitarra, el cuerpo de la guitarra y el interprete ocluyen el sonido proveniente de las cuerdas.

Se puede usar Resonance Audio para cambiar el patrón de directividad de una fuente e imitar las formas naturales, no uniformes, en que las fuentes reales emiten sonido. Hay dos parámetros de directividad que se pueden configurar:

- Alfa: representa la forma del patrón. - Nitidez: representa el ancho del patrón.

Página � de �23 64

Page 24: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Dejando Resonance Audio de lado y siguiendo con Unity, este último se basa en un entorno virtual en 3D donde se incluyen una fuente de sonido y una cámara, que es donde se sitúa el oyente. Para poder ponerlo en marcha tras importar la extensión el primer paso es cambiar la configuración del audio de Unity a ‘Resonance’.

En esta versión solo nos permite mover la cámara de arriba a abajo y de izquierda a derecha, por ello hay que hacer unos cambios en el script para poder moverlo en todas direcciones.

Aplicamos las siguientes modificaciones al script ‘DemoPlayerControler.cs’.

float movementX = Input.GetAxis("Horizontal"); float movementY = Input.GetAxis("Vertical"); Vector3 movementDirection = new Vector3(movementX, movementY, 0.0f); movementDirection = mainCamera.transform.localRotation * movementDirection; characterController.Move(movementSpeed * movementDirection);

Con estos cambios ya podemos generar cualquier fuente de audio 8D y movernos por el espacio con total libertad de movimiento, aunque es verdad que en este entorno lo único que podemos mover es la cámara, es decir nuestra posición como oyentes. Las fuentes permanecen estáticas en la posición que hayamos asignado.

Página � de �24 64

Page 25: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Por otra parte, al ser un entorno virtual, nos deja modificar el espacio según, por ejemplo, el material de las paredes. Esto es útil por si queremos diferenciar cómo percibimos el sonido dependiendo del lugar que nos encontremos.

Dentro del elemento ‘CubeRoom’, en ‘ResonanceAudioRoom’ nos encontramos con el menú de propiedades de la sala:

Figura 10 - Configuración de materiales en Unity

Página � de �25 64

Page 26: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

3.2 Mezclador Reaper y Ambeo Orbit

Figura 11 - Símbolos de Reaper y Ambeo

“Reaper es una estación de trabajo de audio digital y un software de secuenciador MIDI creado por Cockos.” [12]

A este programa podemos importarle un plugin creado por Sennheiser llamada Ambeo Orbit, solo hace falta descargarla gratuitamente y ya estará lista para usar en el menú de efectos disponibles para cada pista.

Dispone de un centro de mandos donde podemos alterar tanto la posición con una ruleta como la altura de la fuente con otro mando.

Figura 12 - Control de la posición del audio con Ambeo Orbit

Página � de �26 64

Page 27: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

“El AMBEO Orbit es un complemento gratuito de Sennheiser, diseñado para facilitar la mezcla de contenido binaural inmersivo.” [13]

Además ofrece la posibilidad de grabar los movimientos que vas creando al escuchar la pista y lo guarda debajo de esta, y así puedes modificarla todas las veces que quieras. Solo hace falta cambiar ‘Track automation mode’ al modo ‘Touch’ y al activar el efecto (en el panel en ‘Fx’) crea una nueva línea para la elevación y otra para la posición horizontal.

En el siguiente ejemplo con la pista ‘pajaro.wav’, con el efecto activado y en modo ‘Touch’, vemos la primera linea como la pista original, la segunda la posición horizontal y por último la elevación. Cada punto representa un movimiento que hemos hecho a lo largo de la pista, y estos pueden moverse o crearse nuevos puntos para generar nueva información de movimiento.

Obviamente, hay que hacer los movimientos por separado, es decir, primero generas la elevación y después el movimiento horizontal o viceversa. Esto supone un inconveniente inicial, ya que dificulta el movimiento, no como en el entorno anterior, que podías generarlo hacia dónde quisieses de una sola vez. Al tener que realizarlo por separado podríamos no conseguir el efecto deseado, aunque el poder modificar los puntos de movimiento ayuda en esta tarea.

Figura 13 - Ejemplo de pista ‘pajaro.wav’

Página � de �27 64

Page 28: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

3.3 HTML5, Javascript y Resonance Audio

Figura 14 - Símbolos de HTML5, Javascript y Resonance Audio

Claramente Unity ofrece muchas facilidades a efecto visual, si lo que buscas es trabajar en un entorno virtual como en la creación de videojuegos, pero presenta muchas trabas que analizaremos posteriormente. Por ello podemos utilizar también las librerías de Resonance Audio de Google pero ahora mediante un código HTML5.

Para poder crear cualquier fuente de sonido mediante el HTML5 nos basaremos en un código de ejemplo. En este código no solo podemos movernos nosotros como oyentes, sino generar un código que nos permita mover todas las fuentes de sonido que situemos en el espacio, y aplicarle a cada paso que demos de nuevo el efecto binaural. Para ello relaciona la pulsación de varias teclas del ordenador con el movimiento de las fuentes o del oyente, lo que lo convierte en un entorno mucho más interactivo. [14]

En este ejemplo crea fuentes que se mueven de distinta forma en el espacio por lo que el efecto que consigue es distinto. A continuación analizaremos los puntos más importantes del código para cualquier otro ejemplo que queramos desarrollar.

Página � de �28 64

Page 29: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

<script src=“https://cdn.jsdelivr.net/npm/resonance-audio/build/resonance-audio.min.js"> </script> <script> var laughX = 0.0; var laughY = 0.0; var laughZ = 0.0;

var x = 0.0; var y = 0.0; var z = 0.0;

Primero importar el código desde las fuentes de Resonance Audio, el cual es un archivo JavaScript. Después hay que crear las posiciones de las fuentes de sonido (‘laughX’, ‘laughY’, ‘laughZ’), que en este caso es un sonido de risa, y del oyente (‘x’, ‘y’, ‘z’), las cuales empiezan en el origen.

let audioContext = new AudioContext(); let resonanceAudioScene = new ResonanceAudio(audioContext); resonanceAudioScene.output.connect(audioContext.destination);

Después, para poder crear las fuentes (‘audio object’), crea un contexto para que el navegador pueda renderizar el sonido y se lo atribuye a Resonance Audio.

Página � de �29 64

Page 30: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

A continuación define la sala en la que se encuentran las fuentes. Este paso es opcional, por lo que no lo analizaremos a fondo, pero básicamente, declara tanto el tamaño de la sala como los materiales de los que esta formada. Para poder hacerlo se definen las 6 direcciones de la sala (las 4 paredes, el suelo y el techo) y se les atribuye a cada una su material. La lista de estos está explicada en la documentación de Resonance Audio.

Figura 15 - Lista de materiales de la documentación de Resonance Audio

Ahora miraremos la manera de crear la fuente. En el ejemplo crea tres aunque de la misma manera, así que solo nos basta entender una de ellas.

Página � de �30 64

Page 31: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

/// ----------------- Laugh audio let audioElement = document.createElement('audio'); audioElement.src = 'laugh.wav'; audioElement.loop = true; let audioElementSource = audioContext.createMediaElementSource(audioElement); let source = resonanceAudioScene.createSource(); audioElementSource.connect(source.input); source.setPosition(laughX, laughY, laughZ); source.setMaxDistance(3);

Primero crea el objeto en el navegador, para lo cual hace falta mirar la documentación, ya que hay que codificar las fuentes de audio de cierta manera. Añade localmente el archivo de audio, en este caso ‘laugh.wav’ y lo pone en ‘loop’ para que no pare de reproducirse. Por último establece su posición inicial y establece que la máxima distancia audible de dicha fuente sea 3 metros. Es decir, si se aleja más de esa distancia del oyente no se escuchará nada.

Para reproducir el audio, siempre es igual, pero en este ejemplo hace que una fuente se mueva de manera aleatoria por la escena, por lo que el código cambiaría.

audioElement.play();

setInterval(()=>{ source3.setPosition(x + Math.random() * 2 - 1 ,y + Math.random() * 2 - 1,1); audioElement3.play(); },4000);

Página � de �31 64

Page 32: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

El primer ‘audioElement’ es el sonido de la risa que ya habíamos creado. Pero después, habiendo creado otra fuente anteriormente con el mismo método, en este caso la fuente ‘audioElement3’, hace que cada 4 segundos (4000 ms) esta cambie aleatoriamente su posición. Concretamente, aumenta o disminuye cada valor de las 3 coordenadas en +1 o -1.

Por último, hay que establecer los controles de las posiciones de las fuentes y del oyente según las teclas que elijamos.

resonanceAudioScene.setListenerPosition(x,y,z); window.addEventListener("keyup", function(event) {

if (event.which == 37){ source.setPosition(laughX -= 0.10, laughY, laughZ); }

if (event.which == 39){ source.setPosition(laughX += 0.10, laughY, laughZ); }

if (event.which == 32){ laughX = 0; laughY = 0; laughZ = 0; source.setPosition(laughX, laughY, laughZ); }

Como ejemplo, establece que el movimiento en el eje x de la fuente de sonido de ‘laugh.wav’ se controle mediante las flechas derecha e izquierda (tecla 37 y 39), además hace que si se presiona la tecla de la barra espaciadora (tecla 32), la fuente vuelva al origen.

Página � de �32 64

Page 33: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

4. PROTOTIPO FINAL

Para poder analizar las ventajas y desventajas de los entornos, desarrollaremos tres distintos prototipos a modo de prueba en cada uno de ellos.

4.1 Pruebas 4.1.1 Entorno virtual Unity y Resonance Audio

Para empezar encontramos un escenario de prueba con este entorno en la documentación de Resonance Audio. En ella encontramos tres diferentes espacios, en los que se diferencian una catedral, una cueva y el campo abierto o aire libre. Se sitúa la fuente de sonido fuera y sirve, sobre todo, para escuchar la diferencia del efecto en cuanto a los materiales elegidos al crear cada una de las salas. La asignación de materiales en las diferentes superficies es flexible, lo que hace que podamos colocar más de uno en cada una de ellas.

Figura 16 - Escenario de la prueba de reverberación de Unity

Página � de �33 64

Page 34: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Y además de los materiales, también se pueden configurar variables como la reflectividad y la reverberación de las paredes, lo cual es un proceso extenso y complicado, pero tiene una gran utilidad para hacerlo lo más realista posible dentro de un entorno de VR.

Dejando el anterior escenario de lado, la primera tarea para empezar a manejar Unity es simplemente cargar el escenario de prueba implementado con el Resonance Audio de Google que viene en la documentación del mismo, el cual está formado por una única fuente de sonido y una cámara, la cual sería el oyente, nosotros.

Para poder ponerlo en marcha hay que cargar la escena de prueba en la carpeta de ‘Escenas’, y si queremos cambiar el audio que viene por defecto por otra canción de nuestra elección, simplemente tenemos que guardar el archivo en la carpeta de ‘Scripts’ y arrastrar el archivo a la configuración de nuestra fuente de sonido, ‘Cube’.

Para hacer pruebas con la escena, simplemente hay que pulsar el ‘play’ y empezar a interactuar con ella. Hay diferentes formas de movernos por la escena, ya que disponemos del modo de visualización ‘Scene’ o ‘Game’. Después de probarlo varias veces, pudimos observar que es mucho más fácil utilizar el apartado ‘Scene’, ya que nos permite una visión más general y mayor libertad de movimiento.

Página � de �34 64

Page 35: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Figura 17 - Configuración del ‘AudioClip’ en Unity

Después de esta pequeña puesta en marcha, teníamos que poder ver cómo se comportaba el programa con más de una fuente. Para ello nos planteamos una escena con dos fuentes de sonido situando la cámara en medio de ambas. Así veríamos mucho más claro el efecto, ya que si en un principio una fuente se sitúa a la derecha y la otra a la izquierda de nuestra posición, que sería la central, al girarnos esto tendría que intercambiarse claramente.

Antes de crear más elementos, conviene entender cuáles son los distintos componentes que se pueden utilizar en Unity, los podemos encontrar en la documentación.

Página � de �35 64

Page 36: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Nombre Componente Descripción

ResonanceAudioListener

• Mejora las funciones de AudioListener de Unity mediante la introducción de parámetros opcionales adicionales, como las máscaras de oclusión de ganancia global y fuente.

• Incluye un grabador de campo de sonido Ambisonic que permite crear fuentes de audio espacial en la escena.

• Requiere un AudioListener de Unity en el mismo objeto.

ResonanceAudioSource

• Mejora las funciones de AudioSource de Unity mediante la introducción de parámetros opcionales adicionales, como patrones de directividad, oclusión y calidad de representación.

• Requiere un Unity AudioSource en el mismo objeto.

ResonanceAudioSoundfield• Representa el audio espacial completo de 360° mediante

la codificación de ondas de sonido en una esfera virtual alrededor de un oyente.

ResonanceAudioRoom

• Simula los efectos de sala para un espacio en particular introduciendo reflexiones tempranas y reverberación tardía.

• Los efectos de sala correspondientes se activan siempre que el AudioListener esté dentro de los límites especificados del modelo de sala.

ResonanceAudioReverbProbe • Ofrece una opción avanzada para un modelado más fino de espacios y efectos de reverberación más matizados.

Página � de �36 64

Page 37: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

‘ResonanceAudioReverbProbe’ es donde se configuran todas las variables respecto a la reverberación y reflectividad, lo cual supone una configuración más extensa y complicada y que ahora mismo no nos interesa. ‘ResonanceAudioSoundfield’, ’ResonanceAudioRoom’ y ‘ResonanceAudioListener’ son los mismos que en el escenario de prueba, es decir, no hay que cambiar nada respecto a estos componentes.

Figura 18 - Representación de la reproducción del audio 8D con Resonance Audio

Para crear otra fuente de sonido, el único componente que interesaba era ‘ResonanceAudioSource’. Encontramos problemas al intentar copiar y pegar la fuente de ejemplo ‘Cube’, aunque en teoría esto debería funcionar correctamente ya que al hacer esto también replicas todas las características de la fuente. Por lo hubo que optar por crear una fuente de sonido nueva y copiar toda la configuración de ‘Cube’ manualmente.

Hubo que insertar los scripts al ‘Cube2’ mediante la opción ‘Add Component’ en la propia información del mismo. Además, para poner una pista de audio diferente en cada componente, nos sirve con dejar el sonido por defecto en una de las dos y cambiarlo en la otra.

Con esto conseguimos el siguiente escenario:

Página � de �37 64

Page 38: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Figura 19 - Escenario de Unity con dos fuentes de sonido y un oyente

Vemos que funciona correctamente ya que se consigue el efecto perfecto, pero tras hacer pruebas con este entorno se pueden observar partes positivas y negativas del mismo.

En este caso, se trabaja con un entorno visual real, es decir, un video ya sea tradicional o 360, por lo que el apoyo de poder visualizar virtualmente el escenario no me es de gran ayuda. Si lo que buscas es utilizar el audio 8D en videojuegos, VR o cualquier entorno 3D virtual, sería la opción perfecta, ya que es muy fácil de usar y permite esa interactividad que se busca en este tipo de entornos. Además es muy personalizable y se puede conseguir un sonido muy realista con toda la configuración de la sala: los materiales, reflectividad, reverberación, etc.

Además para poder usar el audio generado por Unity, tendría que poder grabarlo y exportarlo a medida que voy interactuandp con el escenario, lo cual, aunque seguramente exista dicha posibilidad, es demasiado costoso y difícil de sincronizar con nuestro video real. Están demasiado separados los dos entornos, el virtual de Unity y el real de la pieza audiovisual, como para poder compaginarlos y sincronizarlos correctamente.

A pesar de que las librerías de Resonance Audio son perfectas para el audio 8D, Unity no es el mejor entorno de trabajo en el que apoyarlas.

Página � de �38 64

Page 39: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

� 4.1.2 Mezclador Reaper y Ambeo Orbit

A continuación, alejándonos de Resonance Audio, pasamos a hacer pruebas en el siguiente entorno: Reaper. Y como finalidad, para poder hacer las pruebas correctamente, el objetivo fue la realización un pequeño video, de no más de 2-3 minutos de duración, en el que, se acompañaría a las imágenes con el audio en 8D.

Los clips serían cortos, en los que existiese alguna fuente de sonido en movimiento para poder notar el efecto. El audio se conseguiría en librerías libres de derechos, como la página web ‘Free Sound’, la cual dispone de infinidad de audios clasificados por categorías y totalmente gratuitos, ya que solo hace falta crearte un usuario para ello.

“Freesound.org es un repositorio colaborativo de muestras de audio con licencia CC y una organización sin fines de lucro, con más de 400,000 sonidos y efectos, y 8 millones de usuarios

registrados.” [15]

Un ejemplo de clip sería un video donde una persona girase a nuestro al rededor con un móvil en la mano, tras un gesto de darle al ‘play’, simulando que la canción que esté reproduciendo gire también.

Para esto generaríamos el audio en 8D con Reaper, tras haber importado AMBEO Orbit, intentando sincronizarlo con el vídeo, el cual lo editaremos en Adobe Premiere. Primero hay que importar el audio a Reaper y aplicar el efecto de ‘AMBEO ORBIT’ encendiendo el botón de ‘FX’ en el propio clip. Existen 3 tipos de efectos, hemos utilizado el ‘VST3’ ya que es el que no me ha dado ningún problema, aunque no se observan diferencias entre ellos.

Página � de �39 64

Page 40: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Figura 20 - Extensión de Ambeo Orbit en Reaper

Como he comentado en el análisis del entorno, cuando capturemos el movimiento tendremos que hacerlo en 2 partes, primero con la ruleta controlamos lo que se sitúa a nuestro al rededor, es decir izquierda-derecha y delante-detrás. Después con el otro mando situamos la fuente arriba o abajo de nuestra cabeza. Ambas configuraciones se guardan al exportar el audio. El movimiento que hagamos no es definitivo ya que como ya sabemos se nos permite cambiar el movimiento realizado, porque cada uno de los cambios se representa con un punto de movimiento en el clip y puede ser alterado además de poder crear nuevos puntos. Este nuevo audio que creamos lo podemos exportar como un archivo con extensión ‘wav’ y utilizarlo como un clip de audio más en Premiere.

“Adobe Premiere Pro es un software de edición de vídeo desarrollado por Adobe y publicado como parte de Adobe Creative Cloud. Está orientado a la edición de vídeos profesionales, mientras que

su derivado, Adobe Premiere Elements, apunta al mercado de consumidores. Lanzado en 2003, luego de una reescritura de código, Adobe Premiere Pro es el sucesor de Adobe Premiere,

originalmente lanzado en 1991.” [16]

Página � de �40 64

Page 41: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

El primer intento de video que realicé estaba formado por clips cortos grabados con el propio móvil en formato vertical, donde no había nada planeado. Fui al centro de Barcelona y al Museo de Arte Contemporáneo de Barcelona (MACBA), e iba grabando según me encontraba las cosas, clips dinámicos y muy improvisados. Por esto también me parecía interesante que se notase que estaba grabado con el móvil, y a causa de esto elegí el formato vertical. Además quería que fuese un video obtenido con el móvil y con el objetivo de reproducirse en el mismo.

El método de grabación, como se ha mencionado, era con mi móvil, el iPhone 8, el cual graba videos en 4k [17]. El audio de los videos los eliminaba en post-producción o los utilizaba como ruido de fondo para que no quedase muy vacío e irreal. Los archivos que obtenía no eran compatibles con Premiere, así que tenía que usar un conversor online para poder utilizarlos, lo cual disminuía la calidad de los mismos.

A su vez encontré varios problemas durante el camino que dificultaron la buena realización del video final. Básicamente fueron dos:

1. Problema de Sincronización: Al trabajar con sonidos de librería libre de derechos, había clips en los que la sincronización era casi imposible. Sobre todo si eran sonidos no continuos, como lo serían el ruido del caudal de un río. Por ejemplo, había una escena en la que aparecía una persona y caminaba mientras se alejaba. El efecto sonoro que se buscaba era que se notase que la persona estaba delante nuestro y distanciándose cada vez más. Pero para el sonido de los pasos es prácticamente imposible encontrar un sonido predefinido y que coincidan en ritmo, ya que es algo muy variante y nada continuo, es muy aleatorio. Claramente, esto no sería un problema si en vez de utilizar audios ya existentes creásemos y grabásemos los nuestros propios según nuestras escenas, pero como este no era el ejemplo no servía.

2. Problema duración clips: La mayoría de las escenas eran de corta duración, pero si el movimiento era muy rápido o, sobre todo, si no había mucho margen de tiempo, era difícil distinguir el efecto.

Página � de �41 64

Page 42: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

A causa de estos problemas, hubo que replantearse toda la realización del video. En este caso el planteamiento era distinto, ya que al haber visto por qué algunas escenas no funcionaban, era buena idea hacer una pequeña planificación sobre sonidos que sí funcionarían: que fuesen continuos, fácilmente sincronizables y lo suficientemente largos como para poder jugar con el efecto. También reutilizando clips grabados para el ejemplo anterior, ya que algunos que sí servían.

Como el plan era conseguir plasmar distintos efectos, acabamos jugando con diferentes escenas para crear esa sensación. En vez de analizar el video entero, veremos los puntos más importantes y los frames que los acompañan.

En primer lugar, es necesario poder plasmar la diferencia del efecto si la fuente de sonido estaba a nuestra derecha o izquierda. Es cuando el efecto del audio 8D es más notorio, además se puede jugar mucho con él: situando dos fuentes a la vez a cada lado, haciendo que la fuente se mueva de derecha a izquierda, etc.

Por ejemplo, en una de las escenas del video, se reproduce el mismo sonido (el tintineo de unas campanas) hacia todas las direcciones para que se note la diferencia. En los siguientes frames podemos observar dichos efectos:

Figura 21 - Escenas de ejemplo (1)

Página � de �42 64

Page 43: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Además, en la primera escena de la figura anterior, también aparece otro efecto distinto, el de la fuente de sonido girando a nuestro al rededor. Se puede observar con estos ejemplos, que al pasar de izquierda a derecha bruscamente, en Reaper se genera un ruido, así que los cambios de posición no pueden ser muy rápidos.

Otros efectos que se podían plasmar eran la diferencia de estar delante y detrás, y arriba y abajo. Para esto están los siguientes clips, donde el sonido de los pájaros cambia si la cámara mira al frente o hacia arriba y en el concierto, ya que en la intro del vídeo el cantante da la sensación de que estuviese a nuestra espalda, y cuando ya se ve la imagen se sitúa delante.

Figura 22 - Escenas de ejemplo (2)

Estos últimos efectos son menos notorios y cuesta apreciarlos a veces, sobre todo dependiendo del sonido que utilicemos, cosa que en los otros entornos no pasaba.

Página � de �43 64

Page 44: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

En conclusión, este entorno es claramente el más fácil de manejar, ya que no requiere conocimientos de modelado 3D ni de programación, pero obtener estas facilidades hace dejar muchas de las ventajas que el audio 8D ofrece.

En primer lugar, no hay opción de elegir la sala en la que nuestros audios se encontrarían: la dimensión, materiales, etc… lo que aporta mucha realismo al audio. Además de no poder configurar muchos elementos como la reverberación o la reflectividad. Es completamente estático, es decir, no permite interactividad como en los otros entornos, aunque si lo que buscas es hacer una pieza audiovisual como un corto o videoclip sería suficiente.

Otras ventajas podrían ser la compatibilidad con Adobe Premiere, ya que es una de las mayores plataformas de edición de video. Pero a su vez el utilizar dos entornos distintos de trabajo dificulta la sincronización de audio y video, ya que es un trabajo totalmente manual.

Página � de �44 64

Page 45: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

4.1.3 HTML5, Javascript y Resonance Audio

El último entorno en el que haremos pruebas será Visual Studio Code, para poder realizar el código HTML5 y javascript y así poner en marcha las librerías de Resonance Audio.

“Visual Studio Code es un editor de código fuente desarrollado por Microsoft para Windows , Linux y macOS. Incluye soporte para la depuración, control integrado de Git, resaltado de sintaxis,

finalización inteligente de código, fragmentos y refactorización de código. También es personalizable, por lo que los usuarios pueden cambiar el tema del editor, los atajos de teclado y

las preferencias. Es gratuito y de código abierto, aunque la descarga oficial está bajo software propietario.” [18]

Primero intentamos el código de prueba que se ha mencionado anteriormente para poder poner el entorno en marcha. El primer paso fue instalar Visual Studio Code y un compilador de javascript para Mac, que es el ordenador con el que he estado trabajando, que dispone de terminal propio. Para conseguir el compilador, hizo falta descargar Node.js.

“Node.js es un entorno en tiempo de ejecución multiplataforma, de código abierto, para la capa del servidor (pero no limitándose a ello) basado en el lenguaje de programación ECMAScript,

asíncrono, con I/O de datos en una arquitectura orientada a eventos y basado en el motor V8 de Google.“ [19]

Figura 23 - Símbolo de Node.js

Página � de �45 64

Page 46: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Tras la instalación de su versión 10.16.0 LTS, hace falta cambiar la ubicación de Node.js dentro de nuestro usuario e instalar el ‘live-server’, para que se vaya actualizando la página web cada vez que hagamos cambios en los códigos.

npm install -g live-server

Aunque el propio Virtual Studio Code permite instalar un ‘live-server’, simplemente descargándonos una extensión en el mismo programa, que añade un botón ‘Go Live’ para probar los códigos y que se vayan actualizando.

Figura 24 - Extensión Live Server en Virtual Studio Code

Página � de �46 64

Page 47: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

En la documentación aparecen las dos maneras de poder importar en tus códigos html5 las librerías de Resonance Audio. En el ejemplo las coge directamente de internet, pero en este caso hemos optado por instalarlas e importarlas desde nuestro directorio.

npm install resonance-audio

Además de las librerías anteriores, también hace falta tener en el mismo directorio los archivos de audio pertinentes.

Al probarlo, observamos que al utilizar el navegador Safari de Apple, el código no funcionaba. Pero al abrirlo en otro navegador como Google Chrome, funcionaba perfectamente. Eso sí, encontramos otro problema con una linea del código, donde se reproducía el archivo de audio. A veces al arrancar la página en el servidor no se escuchaba nada, pero bastaba con comentar y descomentar dicha linea y funcionaba perfectamente.

Página � de �47 64

Page 48: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

4.2 Desarrollo del código HTML5

El principal motivo para usar HTML5 es que ofrece la posibilidad de utilizar videos 360, por lo que me permitiría llegar al objetivo final, que es poder realizar un video de dicho tipo con audio 8D. El formato de video que se plantea viene inspirado por un video de la plataforma YouTube.

En este último, vemos un video 360 tipo vlog, en el que la fuente de sonido es una chica que hace un tour al rededor de una vivienda. Cuando giras el ángulo de visión del video, la procedencia de su voz cambia, además de cuando ella misma se mueve. En mi caso, planeo realizar un video estático, es decir, ni la cámara ni las fuentes de audio se mueven, solo cambiará la procedencia del sonido cuando el espectador cambie su visión en el video 360.

Figura 25 - Video ejemplo de Youtube

Este video en concreto se controla con las cuatro flechas de la esquina izquierda superior, y solo se puede mover el ángulo de visión del video hacia uno de los lados, es decir,

Página � de �48 64

Page 49: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Para poder conseguir este objetivo, hay que empezar por desarrollar un código HTML5 para reproducir un video de prueba, en el que solo se encuentre una fuente de sonido 8D y averiguar la manera en la que el espectador interactúa con dicho video, ya que de la misma manera tendrá que cambiar el sonido. Por ejemplo, si la visión del video cambia con las teclas de las cuatro flechas del teclado, habrá que programar que la fuente se mueva con las mismas teclas. En resumen, hay que poder compaginar el código del reproductor del video 360 con el de ejemplo para utilizar las librerías de Resonance Audio.

4.2.1 Código y realización del video

Para empezar, necesitamos el código de algún reproductor 360 en HTML5. Después de probar diferentes opciones de código, encontramos una que funciona perfectamente y es la que más se ajusta a nuestro sistema. Se encuentra en un repositorio de GitHub, y basta con descargarse la carpeta ‘Demo’ para que este funcione. Dentro de la carpeta se encuentran todos los archivos HTML5 y Javascript necesarios, pero hace falta descargarse el video de prueba del repositorio, o utilizar cualquier otro video, y ponerlo en el mismo directorio que el resto de los archivos. [20]

Figura 26 - Archivos dentro de la carpeta ‘Demo’

Página � de �49 64

Page 50: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Este reproductor en cuestión, dispone de un botón de ‘Play’ y ‘Pause’, además de otras opciones que no tendremos en cuenta. El ángulo de visión del video se cambia mediante el ratón o ‘trackpad’, y puede moverse al mismo tiempo hacia cualquier dirección, no como en el ejemplo del video de Youtube. Además dispone de información de la posición del ratón dentro del video en cualquier momento, ‘General mouse movement’, la cual se genera en el fichero ‘coords.js’, del que nos serviremos para hacer el seguimiento del movimiento del video para cambiar la ubicación de la fuente.

Figura 27 - Visión general del estado inicial de la web

Como el video puede moverse en todas direcciones y es bastante complicado, vamos a dividir el movimiento de la fuente en las 3 direcciones (x,y,z), empezando por capturar el del eje x, el resto no los alteraremos.

Página � de �50 64

Page 51: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Como se ha mencionado, utilizaremos el archivo ‘coords.js’ para capturar dicho movimiento, ‘Horizontal movement in video’, que podremos verlo por pantalla ya que lo añadiremos en el archivo general ‘index.html’ con el siguiente código:

<div> <p>Horizontal movement in video:</p> <span id="x_movement">0</span> <span id="y_movement">0</span> <p>Mouse down bool</p> <span id="mouse_down">0</span> </div>

Para poder capturarlo, necesitamos guardar el número de pixeles que se mueve el ratón desde el momento en el que se hace ‘click’ dentro del video hasta que se suelta en cualquier lugar de la pantalla. Esta distancia será la que le tengamos que pasar a la fuente de audio para que se actualice su posición. Utilizaremos dos funciones ‘onmousedown’ (cuando se hace presiona el botón) y ‘onmouseup’ (cuando se levanta el botón).

screen.onmousedown = function() { mousedownID = 1; mouse_down.innerText = `${mousedownID}`; //console.log("Mouse Down =", mousepos); mouseposAnt = Object.assign({},mousepos); }

El ‘mousedownId’ nos ayudaba a saber si estaba capturando bien el cambio de presionar o no el botón. Además, para guardar la posición del ratón en ese momento, el inicial (‘mouseposAnt’), necesitábamos crear un objeto para asignarle dicha posición.

Página � de �51 64

Page 52: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

document.onmouseup = function() { mousedownID = -1; mouse_down.innerText = `${mousedownID}`; //console.log("Mouse Up =", mousepos); a = mousepos.x - mouseposAnt.x; b = mousepos.y - mouseposAnt.y; difference = { x: a, y: b, }; console.log(difference);

Después, trasladábamos esa posición junto a la siguiente que guardábamos, la final (la ‘mousepos’ actual, que va actualizándose en todo momento). La diferencia de las variables se hace fuera porque nos daba error al ponerlo todo junto. Y el logaritmo final también era una manera de comprobar si estaban entrando bien los datos en las variables, ya que a veces la resta nos daba 0.

Una vez teniendo esto, ya podemos pasar a la generación del audio. Durante todo el proceso he estado utilizando el video de prueba, pero podría crear uno de cero e insertarlo en lugar de este, simplemente guardándolo en el mismo directorio. La cámara de la que dispongo es la ‘Nikon KeyMission 360 4K’, que es una cámara de acción resistente al agua, golpes, etc, ademas de grabar en 360. [21]

Figura 28 - Cámara ‘Nikon KeyMission 360 4K’

Página � de �52 64

Page 53: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

4.2.2 Código y realización del audio

Para empezar a insertar el audio 8D en el video 360, empezamos creando una fuente de sonido con las librerías de Resonance Audio como se ha explicado en el apartado del análisis de entornos. En este caso, todo el procedimiento está escrito en el archivo ‘coords.js’, menos la importación de las librerías, que se realiza en el ‘index.html’, por lo que todo el código que comentaremos se hace desde ‘coords.js’.

Para saber cómo modificar la posición del audio respecto al cambio de ángulo de visión del video, primero hay que entender perfectamente los ejes de coordenadas de cada variable y su comportamiento respecto a cómo se mueve en la pantalla.

Empezando con el video 360, que este se encuentra en la esquina superior izquierda de la pantalla.

Figura 29 - Situación y ejes del video

Página � de �53 64

Eje x

Eje y

Page 54: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

La información de posición del video va cambiando según estos dos ejes, x e y, cuyo valor es positivo en las direcciones que están marcadas en la imagen, por lo que en el eje x ir a la izquierda y en el eje y ir hacia arriba significa un valor negativo. Como se ha mencionado en el apartado anterior, el valor ‘difference’ define el número de pixeles que se mueve el video en cuanto al eje x. Este valor será negativo si el video gira a la derecha y positivo si el video gira a la izquierda. Podemos ir viendo este valor en la consola del navegador, lo que nos servirá para hacer pruebas posteriormente.

Figura 30 - Consola del navegador

Como observamos en la figura, el valor x hace referencia a ‘difference’. Esto lo conseguimos con el siguiente comando:

console.log(difference);

Página � de �54 64

Page 55: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

En cuanto a la fuente de sonido, esta se mueve de forma diferente. Para empezar, sus ejes x e y son diferentes.

Figura 31 - Ejes respecto a la fuente de sonido

El origen respecto al eje de la fuente de sonido se encuentra en medio de la pantalla, donde inicialmente colocamos la fuente de sonido en en punto (0, 1.5, 0), ya que queremos que este a muestra altura, en frente, pero un poco alejado. Teniendo en cuenta que el valor posicional de la fuente (‘laughX’, ‘laughY’, laughZ’) se da en metros, por lo que los valores oscilaran en un factor decimal, y la distancia máxima audible es de 3 metros.

Para poder probar el movimiento de la fuente intentamos encontrar una relación lógica entre los valores del video y de la posición de la fuente, ya que no sabemos exactamente cómo se relacionan entre sí. Si solo tenemos en cuenta el giro en x del video, tenemos que alterar tanto ‘laughX’ como ‘laughY’. Para facilitar el proceso, tendremos en cuenta que estas dos variables se mueven la misma distancia, es decir, el valor será igual.

Página � de �55 64

Eje x

Eje z

Eje y

Page 56: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Y utilizando el teorema de Pitágoras, sabemos que:

H2 = C1 2 + C2 2

Y si tenemos en cuenta de que los dos catetos son iguales (C1 y C2 iguales), la hipotenusa será el doble. Por lo que la distancia que se mueve la fuente la tendremos que dividir entre dos. Además de tener en cuenta el cambio de magnitud, porque una vuelta entera al video son 2000 pixeles más o menos, por lo que se mueve en valores de centenas. Por esto, el cambio de variable al final será de:

val = difference.x/2000;

Donde ‘val’ es el valor que tendremos que sumarle o restarle a la posición de la fuente, según el sentido en el que nos estemos moviendo.

Aquí es donde son útiles los valores que salen en la consola del navegador. Para el movimiento de la fuente tenemos que diferenciar cuatro cuadrantes distintos en el video 360, ya que en cada uno de ellos la fuente deberá moverse en diferentes sentidos, tanto la variable ‘laughX’ como ‘laughY’. Haciendo pruebas, vimos que cada cuadrante cambiaba más o menos cada 500 pixeles, por lo que los cuadrantes se acotan en los siguientes valores:

Figura 32 - Esquema de los cuadrantes y límites de cada uno de ellos

Página � de �56 64

1

43

2

0; 2000; -2000

-500; 1500

1000; -1000

500; -1500

Page 57: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

Cada uno de los cuadrantes se define por dos rangos diferentes, ya que dependiendo del sentido del movimiento los valores serán positivos o negativos. Para que estos valores siempre oscilen entre -2000 y 2000 tenemos que reiniciarlos cuando superen estos limites.

cuadrante += difference.x; if (cuadrante >= 2000) { cuadrante -= 2000; } else if (cuadrante <= -2000) { cuadrante += 2000; }

El valor ‘cuadrante’ es un sumatorio de los movimientos en el eje x del video, que nos ayudará a saber en qué cuadrante nos encontramos en todo momento.

Ahora que tenemos los limites de cada cuadrante y el valor del movimiento del vídeo en todo momento con ‘difference.x’, solo hace falta establecer hacia que sentido (positivo o negativo) se mueven ‘laughX’ y ‘laughY’ en cada uno de ellos.

El orden del código es del primer al cuarto cuadrante especificados en la Figura 32, y hay que tener en cuenta que, en cada uno de ellos, primero se establece el valor del cambio de posición de la fuente cuando el video se mueve hacia la derecha, es decir, que el valor de movimiento de píxeles ‘difference.x’ es negativo.

Página � de �57 64

Page 58: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

if (-500 < cuadrante < 0 || 1500 < cuadrante < 2000) { if (difference.x <= 0) { source.setPosition(laughX -= val, laughY += val, laughZ); } else { source.setPosition(laughX -= val, laughY += val, laughZ); } } else if (-2000 < cuadrante < -1500 || 0 < cuadrante < 500) { if (difference.x <= 0) { source.setPosition(laughX -= val, laughY -= val, laughZ); } else { source.setPosition(laughX -= val, laughY -= val, laughZ); } } else if (-1500 < cuadrante < -1000 || 500 < cuadrante < 1000) { if (difference.x <= 0) { source.setPosition(laughX += val, laughY -= val, laughZ); } else { source.setPosition(laughX += val, laughY -= val, laughZ); } else if (-1000 < cuadrante < -500 || 1000 < cuadrante < 1500){ if (difference.x <= 0) { source.setPosition(laughX += val, laughY += val, laughZ); } else { source.setPosition(laughX += val, laughY += val, laughZ); } }

Este código funciona, pero el movimiento de la fuente no es todo lo realista que podría llegar a ser. Además, la relación de ambos tipos de variable (el video dado en pixeles y la fuente de sonido en metros) no está bien definida, por lo que da varios problemas al hacer pruebas.

Además hemos encontrado dificultades para poner en marcha el código en el navegador Safari de Apple, ya que había una linea de codigo que no funcionaba:

Página � de �58 64

Page 59: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

audioElement.play();

Es el fragmento de código encargado de reproducir el audio 8D. Esto se solucionaba simplemente con elegir otro navegador. La intención era que el audio se activara al mismo tiempo que se iniciaba el video, dándole al botón de ‘Play’ de la página web, pero por estos problemas no hemos podido hacerlo así.

Página � de �59 64

Page 60: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

5. RECURSOS

Para poder calcular el presupuesto del proyecto, hay que analizar primero las horas empleadas para la realización de cada tarea.

5.2 Cronograma de trabajo

El cronograma de trabajo analiza esto último y te da una visión general de qué trabajos han sido más costosos y en qué has empleado el tiempo a lo largo del proyecto.

Figura 33 - Cronograma de trabajo

Página � de �60 64

Page 61: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

5.1 Presupuesto

El trabajo que conlleva este proyecto se divide en tres grandes sectores: la programación web, edición de video y audio y grabación de video y audio.

En cuanto a la programación (Ingeniero Senior), los programas utilizados son gratuitos, por lo que solo habría que tener en cuenta las horas de trabajo. Más o menos, han sido dos meses de trabajo en cuanto a esta tarea (ocho semanas aproximadamente).

Por otro lado, en la edición de audio y video, no todos los entornos son gratuitos. El programa Unity tiene una suscripción básica anual de 300 dólares (270 euros aproximadamente) y el Adobe Premiere una suscripción anual especial para estudiantes de 235,95 euros. También habría que tener en cuenta las horas de trabajo de montador de video, que serían unas tres semanas de trabajo a una media de 10€/h, y de modelador 3D, que serían otras 2 semanas a 13€/h.

Por último, el material de grabación, que consta de la cámara ‘Nikon KeyMission 360 4K’ tiene un precio de 425 euros. Además, si quieres grabar tu propio audio, hay que tener en cuenta que necesitas un estudio de grabación al menos un día (10h). Pondré como ejemplo los estudios Artspace en Barcelona, con un precio de 35€/h.

€/h Dedicación Total

Ingeniero Junior 12 20h/semana 3840 €

Ingeniero Senior 25 10 h/semana 2000 €

Montador 10 10h/semana 300 €

Modelador 3D 13 10h/semana 260 €

Estudio Grabación 35 10h 350 €

Programas - - 505,95 €

Material grabación - - 425 €

Total: 7680,95 €

Página � de �61 64

Page 62: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

6. CONCLUSIONES Y PROPUESTAS DE MEJORA

En conclusión, el audio en 8D ofrece un amplio abanico de posibilidades, dependiendo del objetivo y temática del trabajo. Está claro que el efecto de audio posicional que buscábamos se consigue en todos los entornos, pero hay que pensar bien la finalidad del trabajo antes de utilizar alguno de ellos.

El entorno más fácil de utilizar sería Reaper, pero también el que ofrece menos posibilidades de configuración, por lo que es el menos personalizable y realista. Pero si lo que buscas es hacer una pieza audiovisual tipo cortometraje, videoclip, etc, es idóneo, ya que es muy intuitivo, no hace falta saber de programación ni modelado y es totalmente compatible con Adobe Premiere.

Pero finalmente y sin ninguna duda, la mejor opción sería utilizar Resonance Audio, ya que puedes emplearlo en multitud de plataformas. Aunque a lo largo de este proyecto se hayan analizado dos de ellas, aún hay muchas más que sería interesante probar, por lo que es un buen plan de futuro para el proyecto.

La principal diferencia entre Unity y HTML5 para compaginarlo con Resonance Audio, es sobre todo el entorno, si tu preferencia es trabajar en un entorno virtual (realización de videojuegos o VR) o uno real (cualquier video, pero en especial el 360). Aunque sea inestable, esta primera versión de código permite ver el potencial del entorno para proyectos futuros. Optimizándola mediante la realización de pequeños cambios en el algoritmo de movimiento de la fuente, como en la traducción de las variables a la hora de calcular las distancias, se conseguirá su perfecto funcionamiento.

Página � de �62 64

Page 63: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

7. BIBLIOGRAFÍA

[1] Qué es el audio 8D, la última moda sonora del «todo está inventado» que produce «orgasmos sonoros». (2019). https://www.abc.es/tecnologia/electronica/sonido/abci-audio-ultima-moda-sonora-todo-esta-inventado-produce-orgasmos-sonoros-201810081257_noticia.html

[2] Pérez, D. (2019). El inventor olvidado que pudo cambiar la historia de la música con la holofonía. https://www.elconfidencial.com/tecnologia/2014-01-15/el-inventor-olvidado-que-pudo-cambiar-la-historia-de-la-musica-con-la-holofonia_76168/

[3] Justo, D. (2019). La magia tras el 'audio 8D': la última moda que triunfa en Internet. https://cadenaser.com/ser/2018/10/09/ciencia/1539061725_553101.html

[4] Colaboradores de Wikipedia. (2019, 26 marzo). Escucha binaural - Wikipedia, la enciclopedia libre. https://es.wikipedia.org/wiki/Escucha_binaural

[5] Colaboradores de Wikipedia. (2019, 18 abril). Función de transferencia relacionada con la c a b e z a - Wi k i p e d i a , l a e n c i c l o p e d i a l i b r e . h t t p s : / / e s . w i k i p e d i a . o rg / w i k i /Funci%C3%B3n_de_transferencia_relacionada_con_la_cabeza

[6] ¿Cómo ubicamos los sonidos en el espacio? HRTF y otros indicios. (2019). https://www.hispasonic.com/tutoriales/sonidos-espacio-hrtf-otros-indicios/43298

[7] V. (2019). Hugo Zuccarelli: Grabar al rey. https://michaeljacksonmyobsession.blogspot.com/2011/06/hugo-zuccarelli-grabar-al-rey.html

[8] Colaboradores de Wikipedia. (2019, 26 marzo). Dolby Surround - Wikipedia, la enciclopedia libre. https://es.wikipedia.org/wiki/Dolby_Surround

[9] Colaboradores de Wikipedia. (2019, 24 mayo). Motor gráfico multiplataforma para videojuegos. https://es.wikipedia.org/wiki/Unity_(motor_de_juego)

[10] Unity añade la librería Resonance y una API para RA multiplataforma. (2019). https://www.realovirtual.com/noticias/5164/unity-anade-libreria-resonance-api-ra-multiplataforma

Página � de �63 64

Page 64: ESTUDIO Y GRABACIÓN DE AUDIO EN 8D

�[11] Resonance Audio -. (2019) https://resonance-audio.github.io/resonance-audio/

[12] Wikipedia contributors. (2019, 6 junio). REAPER - Wikipedia. https://en.wikipedia.org/wiki/REAPER

[13] AMBEO Downloads. (2019) https://en-us.sennheiser.com/ambeo-blueprints-downloads

[14] GameFromScratch.com, C. (2019). Hands On with Google Resonance Audio. Retrieved from https://www.gamefromscratch.com/post/2018/03/15/Hands-On-with-Google-Resonance-Audio.aspx

[15] Wikipedia contributors. (2019, 6 junio). collaborative database of audio snippets, samples, recordings, bleeps. https://en.wikipedia.org/wiki/Freesound

[16] Colaboradores de Wikipedia. (2019, 28 mayo). Programa de edición de vídeo. https://es.wikipedia.org/wiki/Adobe_Premiere_Pro

[17] iPhone 8 - Especificaciones técnicas. (2019) https://www.apple.com/es/iphone-8/specs/

[18] Colaboradores de Wikipedia. (2019, 5 junio). editor de código fuente desarrollado por Microsoft. https://es.wikipedia.org/wiki/Visual_Studio_Code

[19] Colaboradores de Wikipedia. (2019, 3 mayo). Es un entorno de ejecución para JavaScript. https://es.wikipedia.org/wiki/Node.js

[20] gbentaieb/simple-360-player. (2019) https://github.com/gbentaieb/simple-360-player

[21] Amazon (2019) https://www.amazon.es/Nikon-KeyMission-360-Resistencia-comunicaciones/dp/B01LZ54ULN

[22] Pàgina inicial de UPCommons. (2019) https://upcommons.upc.edu

[23] Real Academia Española. (2019) http://www.rae.es

Página � de �64 64