sonido en interfaces basadas en bocetos
TRANSCRIPT
SONIDO EN INTERFACES BASADAS EN BOCETOS
JUAN MANUEL MORENO BELTRAN
Universidad de Los Andes
Facultad de Ingeniería
Departamento de Ingeniería de Sistemas y Computación
Grupo de Investigación IMAGINE
Bogotá, Colombia
Enero 2013
1
SONIDO EN INTERFACES BASADAS EN BOCETOS
JUAN MANUEL MORENO BELTRAN
Tesis para optar por el grado de:
Maestría en Ingeniería de Sistemas y Computación
Profesor asesor:
Pablo Alejandro Figueroa Forero, PhD.
Universidad de Los Andes
Facultad de Ingeniería
Departamento de Ingeniería de Sistemas y Computación
Grupo de Investigación IMAGINE
Bogotá, Colombia
Enero 2013
2
Gracias familia, profe Pablo, amigos,
por disponer para mí su apoyo, tiempo y paciencia.
3
TABLA DE CONTENIDO
I. RESUMEN...........................................................................................................6II. TABLA DE ILUSTRACIONES........................................................................ 7III. INTRODUCCION........................................................................................... 9IV. OBJETIVOS...................................................................................................... 10
4.1 Objetivo General....................................................................................104.2 Objetivos Específicos.............................................................................. 10
V. MARCO TEORICO...........................................................................................115. 1 Interfaces Basadas en Bocetos............................................................... 11
5.1.1 Basados en gestos..................................................................... 125.1.2 Reconstrucción........................................................................ 125.1.3 Deformación............................................................................135.1.4 Generación de volúmenes a partir de sombras........................13
5.2 Sonorización de Contenidos...................................................................145.3 Metáfora de papel y lápiz....................................................................... 155.4 Estado del arte....................................................................................... 18
VI. PROPUESTA DE SOLUCION........................................................................277.1 Clasificación............................................................................................27
7.1.1 Ambiental o de fondo.............................................................. 287.1.2 Foley......................................................................................... 287.1.3 Voz.......................................................................................... 28
7.2 Fidelidad.................................................................................................297.3 Sincronización....................................................................................... 307.4 Requerimientos de la plataforma........................................................... 317.5 Proceso de definición y creación de sonido............................................32
7.5.1 Definición de sonidos y eventos.....................................................337.5.2 Creación de sonidos.......................................................................33
VII. DISEÑO........................................................................................................... 348.1 Definición de vocabulario.......................................................................348.2 Diseño en cuanto a clasificación............................................................ 358.3 Diseño en cuanto a eventos.................................................................... 368.4 Creación de guión sonoro.......................................................................378.5 Diseño de generación de sonido............................................................ 398.6 Diseño de artefactos................................................................................43
VIII. IMPLEMENTACION....................................................................................489.1 Implementación de clasificación.............................................................499.2 Implementación de composición de guión sonoro.................................529.3 Implementación de generación de sonidos.............................................539.4 Implementación de generación de escena con sonidos.......................... 55
IX. USO Y EVALUACION.................................................................................... 6010.1 Uso........................................................................................................60
4
10.2 Limitaciones en recursos...................................................................... 6310.3 Evaluación de contenidos..................................................................... 65
10.3.1 Objetivos................................................................................6510.3 2 Medidas..................................................................................6510.3.3 Público para evaluación.........................................................6610.3.4 Preparación para evaluación................................................. 6610.3.5 Método de evaluación............................................................67
X. TRABAJO FUTURO.........................................................................................73XI. CONCLUSIONES............................................................................................74REFERENCIAS...................................................................................................... 76ANEXOS..................................................................................................................80
5
I. RESUMEN
Este documento presenta la descripción, diseño e implementación de una propuesta
de crear sonidos para interfaces basadas en bocetos. El documento comienza con un
marco teórico acerca del entorno y problemática de agregar sonido en contenidos
digitales y acerca del escenario de interfaces basadas en bocetos para producción de
estos contenidos. Después se describe y explica una propuesta de agregar sonidos a
estas interfaces para producir contenidos con sonido. También se describe el diseño e
implementación en computador para esta alternativa y cómo se obtienen contenidos
digitales con sonidos. Finalmente se realiza un análisis de resultados obtenidos de
aplicación de esta propuesta y trabajo futuro.
6
II. TABLA DE ILUSTRACIONES
Ilustración 1 - Símbolos y nuevos contenidos...................................................................... 11Ilustración 2 - Contenido basado en gestos......................................................................... 12Ilustración 3 - Contenido a partir de reconstrucción............................................................. 12Ilustración 4 - Contenido a partir de deformación................................................................13Ilustración 5 - Contenido a partir de sombras.....................................................................13Ilustración 6 - Secuencia de imágenes para agregar sonido.................................................... 14Ilustración 7 - Boceto hecho por un niño de 5 años..............................................................16Ilustración 8 - Ejemplos de bocetos...................................................................................17Ilustración 9 - Proyecto Birds on Paper............................................................................. 18Ilustración 10 - Esfero FLY............................................................................................19Ilustración 11 - Arquitectura dispositivo ubicación para invidentes ETA.................................20Ilustración 12 – Quinetófono........................................................................................... 22Ilustración 13 – Phono-Cinéma-Théâtre...........................................................................22Ilustración 14 – Vitaphone............................................................................................. 23Ilustración 15 - "Steamboat Willie"................................................................................ 25Ilustración 16 - Escena simulación interactiva....................................................................26Ilustración 17 - Escena vibraciones de contacto...................................................................26Ilustración 18 - Objetos y tipos de sonido.......................................................................... 29Ilustración 19 - Propuesta de solución en cuanto a fidelidad..................................................30Ilustración 20 - Propuesta de solución en cuanto a sincronización..........................................31Ilustración 21 - Proceso de definición de sonidos y eventos.....................................................33Ilustración 22 - Proceso de creación de sonidos................................................................... 33Ilustración 23 - Esquema de un Bar Sheet.........................................................................39Ilustración 23 - Modelo de propagación............................................................................ 42Ilustración 25 - Modelo conceptual de composición............................................................. 43Ilustración 26 - Modelo de proceso de composición..............................................................45Ilustración 27 - Modelo conceptual de generación................................................................46Ilustración 28 - Modelo de proceso de generación................................................................ 47Ilustración 29 - Interfaz de prototipado de contenidos a partir de bocetos.................................48Ilustración 30 – Ejemplos de bocetos................................................................................ 50Ilustración 31 – Objeto Speaker.......................................................................................56Ilustración 32 – Interfaz web de prototipado......................................................................61Ilustración 33 – Boceto y opción de reconocimiento de símbolos............................................. 62Ilustración 34 – Reconocimiento de símbolos......................................................................62Ilustración 35 – Consolidado pregunta No. 1.....................................................................70Ilustración 36 – Consolidado pregunta No. 2.....................................................................70Ilustración 37 – Consolidado pregunta No. 3.....................................................................71Ilustración 38 – Consolidado pregunta No. 4.....................................................................71
7
INDICE DE TABLAS
Tabla 1. Inventario de sonidos......................................................................................... 35Tabla 2. Relación sonidos con tipos y eventos..................................................................... 36Tabla 3. Ejemplo partitura de sonidos...............................................................................38Tabla 4. Especificaciones servidor web ............................................................................. 64Tabla 5. Bocetos y screenshots de vídeos obtenidos............................................................... 68
8
III. INTRODUCCION
El boceto o borrador es un instrumento muy valioso en dibujo, arquitectura, diseño y
en general toda área de trabajo con ilustraciones, para expresar ideas fácilmente y
sirve como punto de partida para hacer que estas ilustraciones sean atractivas o
expresivas. Además, mediante el uso del computador, con base en el trabajo de
interfaces basadas en bocetos [1], se pueden realizar bosquejos y obtener como salida
ilustraciones depuradas en forma ágil simplificando el proceso de ilustración.
Igualmente, en la producción de dibujos animados, películas o videojuegos, se hace
uso del computador para dibujar bocetos y obtener ilustraciones con el propósito
también de contar historias o hechos. En este trabajo se propone una solución para
proponer una alternativa en escuchar ilustraciones y generar nuevos contenidos dados
unos bocetos. Primero se planteará el problema acerca de agregar sonido en bocetos y
el estado del arte de esta propuesta. Después se formulará una solución a este
problema. Se describirá la implementación hecha de esta solución para interfaces
basadas en bocetos. Finalmente se describirá la evaluación a este trabajo dado un
proceso de pruebas y obtención de resultados.
9
IV. OBJETIVOS
4.1 Objetivo General
• Proponer una solución conceptual y computacional para crear y agregar
contenido de audio en bocetos sobre contenido digital con base en el trabajo
de interfaces basadas en bocetos siguiendo la metáfora de papel y lápiz.
4.2 Objetivos Específicos
• Crear una escena con contenidos visuales en 3D que incluya los sonidos
asociados a cada contenido en espacio y tiempo.
• Implementar una solución para agregar sonidos en forma computacional.
• Demostrar que los contenidos sonoros obtenidos tienen un nivel alto de
calidad y expresividad al ser escuchados.
10
V. MARCO TEORICO
A continuación se describe el marco de referencia sobre el cual se desarrolla el trabajo
propuesto. Para la realización de una propuesta de agregar sonidos a bocetos, ésta se
asienta en tres contextos. Uno acerca del trabajo realizado en el área de interfaces
basadas en bocetos, otro acerca de sonorización de contenidos digitales o Multimedia,
y el último, acerca de la metáfora de papel y lápiz en estas interfaces.
5.1 Interfaces Basadas en Bocetos
Se propone como definición de interfaces basadas en bocetos: Sistemas que aprovechan la
naturalidad y rapidez del dibujo en el ser humano para generar asistida o automáticamente formas
complejas tridimensionales mediante el uso de diferentes técnicas de interpretación de dibujos [2]. Esta
definición se establece con base en el trabajo realizado en esta área y aplicada al
trabajo en reconocimiento de imágenes y creación de historias.
Ilustración 1. Dados unos símbolos y unos trazos, siguiendo la metáfora de lápiz y papel, al
trazarlos, generamos nuevos contenidos.
Dada la naturalidad y expresión de los trazos dibujados en un boceto, se pueden
describir los siguientes métodos de interpretación:
11
5.1.1. Basados en gestos
Se trata de crear nuevos contenidos a partir de símbolos predefinidos que representan
un objeto o una acción. Dado un boceto que contiene símbolos distinguibles, se
obtienen nuevos contenidos asociados mediante técnicas de reconocimiento y
procesamiento de imágenes.
`
Ilustración 2. Creación de un cubo en 3D a partir de trazos de las esquinas, conexión entre trazos y
reconocimiento de formas en estas conexiones [1]
5.1.2 Reconstrucción
Dados unos trazos de contorno, éstos se reconocen como formas sobre las cuales se
generan formas nuevas en tres dimensiones o con más nivel de detalle o
perfeccionamiento.
Ilustración 3. Creación de una forma en 3D a partir de la alteración de una forma que expresa su
contorno alterado por un desnivel [2]
12
5.1.3 Deformación
Dada una forma en 3D y unos trazos de contorno, se obtiene la misma forma con
una alteración o deformación definida por ese trazo.
Ilustración 4 . Se obtiene a partir imágenes 3D con formas definidas y de un trazo de deformación o
alteración sobre la imagen inicial una forma en 3D nueva con su deformación o alteración [2]
5.1.4 Generación de volúmenes a partir de sombras
Se crean contenidos de volumen en objetos 3D a partir de trazos de escala de grises o
de niveles diferentes de grosor de forma que estos trazos son interpretados como
cambios de volumen en una forma antes de ser procesada.
Ilustración 5 . Se crea una forma con base en tonos de gris para expresar relieves o sombras de forma
que se obtienen relieves u ocultaciones de regiones en esta forma obtenida [1]
13
5.2 Sonorización de contenidos
En este marco teórico se tiene en cuenta el contexto de sonorización con base en la
necesidad de obtener ilustraciones con más realismo e interacción. Más aún, crear o
agregar sonido para todo trabajo audiovisual, es parte integral de contar una historia
[5] y un proceso complejo dentro del proceso de postproducción en medios digitales.
Por tanto, agregar sonido es una opción en la generación de contenidos audiovisuales
que ayuda a lograr ese realismo e interacción deseados, y es aplicada a los procesos de
producción de cine, dibujos animados, educación y videojuegos.
… Z ... ¡miau! ¡scratch! ¡yawn! ¡bounce!
Ilustración 6. Secuencia de imágenes de movimiento. Se desea agregar sonido a esta secuencia [4].
Así mismo, se toma como referencia el trabajo de sonorización en medios
audiovisuales a través de la historia, tales como el cine. Igualmente se tienen en
cuenta medios posteriores al cine que han tenido un proceso de evolución tales como
la televisión y los videojuegos, ya nombrados.
El proceso de agregar sonido se remonta desde comienzos del siglo XX, época en que
comenzó la sonorización del cine después del auge del cine mudo. Este proceso ha
seguido una evolución a partir de la necesidad de poder escuchar escenas en trabajos
audiovisuales, una evolución en la cual éste ha sido perfeccionado hasta obtener en el
presente contenidos audiovisuales con sonido real e interactivo [6].
14
En esta sonorización no solo se espera que se proporcione un aspecto real o inmersivo
a la ocurrencia de escenas, sino también que ésta posea unas cualidades de fidelidad y
de oportunidad. Esto significa que al escuchar un sonido, se espera que sea escuchado
claramente sin que se afecte su calidad y sus atributos sonoros como intensidad,
frecuencia u otros, y además se escuche fielmente al momento en la escena donde
tienen lugar, ya sea en forma constante como sonidos de ambiente, o motivados por
eventos.
Teniendo en cuenta el proceso de sonorización aplicado a contenidos digitales en
general, no solamente a películas, se espera que los sonidos con sus características
bien definidas sean un complemento para el éxito de un trabajo digital en particular.
Tal es el caso de los simuladores de conducción y tránsitos en los cuales unos sonidos
implementados adecuadamente ayudan a obtener una experiencia más agradable y
real en las simulaciones [7].
En contenidos audiovisuales, especialmente en cine, durante el proceso de
sonorización los sonidos de escenas son tratados en forma organizada siendo
agrupados en tipos o categorías diversas. Los sonidos en un contenido audiovisual
pueden ser sonidos fondo, música, efectos sonoros, voz, etc. Con base en una
organización o agrupamiento de sonidos para un contenido audiovisual, se espera que
los sonidos dados sean expresados y procesados en forma ordenada y precisa, y
proporcionen un nivel notable de expresividad en escenas.
5.3 Metáfora de papel y lápiz
Para este marco teórico se tiene en cuenta el proceso de ‘sketching’, como un nuevo
proceso de comprensión y comunicación de ideas mediante la metáfora de papel y
lápiz [8]. De acuerdo con esto, se concibe un proceso de creación de ideas en bocetos
y transformación en nuevos contenidos visuales.
15
El propósito de esta metáfora es concebir el contar historias o expresar ideas en forma
visual mediante el papel y el lápiz describiendo objetos que realizan acciones en una
escena o situación dada. Esta metáfora es aplicada principalmente en procesos de
educación y aprendizaje en escuelas, y se dirige principalmente también hacia un
público infantil [9] En estos procesos se realizan con los niños ejercicios de
composición de ideas a partir de ilustraciones dado un tema, o en forma libre como se
muestra en la ilustración 7.
Ilustración 7 - Boceto hecho por un niño de 5 años [9]
La aplicación de esta metáfora es, a través del conocimiento de interfaces basadas en
bocetos, contar una historia o expresar una situación en forma de actores definidos
que realizan acciones en particular. Ejemplos son: Una persona caminando, una
pelota rebotando, etc.
16
Se desea agregar sonido a partir de bocetos desde la idea de expresar simplemente
actores y acciones. No se tienen en cuenta diálogos o cambios de acciones entre los
actores. Así mismo, se desea agregar sonidos en bocetos de historias en espacios
abiertos sin tener en cuenta artefactos o elementos de espacio que puedan afectar
estas interacciones como dimensiones de espacio, o elementos que delimitan espacios
de escena.
Ilustración 8. Ejemplos de bocetos para contar historias y agregarles sonidos. Tomado de
http://papelylapiz.virtual.uniandes.edu.co/pyl/www/cgi-bin/choose-saved-image.pl
17
5.4 Estado del arte
A partir de la idea de crear contenidos a partir de bocetos, el trabajo de interfaces
basadas en bocetos es una forma nueva de interacción y creación que faculta el crear
contenidos más intuitivamente. Como se describió anteriormente, este trabajo se
centra en la metáfora de papel y lápiz para expresar ideas mediante un proceso de
dibujo y reconocimiento de imágenes en forma de símbolos gráficos, y generación de
contenidos.
En cuanto a sonido en bocetos, el trabajo previo con base en soluciones que aplican la
metáfora de papel y lápiz se ha encaminado hacia la interacción. Se han desarrollado
trabajos enfocados hacia la generación de música como composición de armonías a
partir de trazos, como el proyecto Birds on Paper [10] en el cual, dados unos trazos
sobre una hoja de papel y unos sensores sobre los trazos, al tocar estos trazos, son
reconocidos por los sensores produciendo notas musicales. En el sector educativo es
destacado el proyecto del esfero FLY [11] que permite a partir de trazos realizados
con el esfero reconocer puntos y producir sonidos pregrabados. Esto con el fin de
guiar el proceso de aprendizaje a través de la escritura.
Ilustración 9. Proyecto Birds on Paper [10]
18
Ilustración 10. Esfero FLY [11]
También se describe el trabajo de creación de sonido y música mediante interfaces
interactivas como el Reactable [12] el cual, aunque no es una herramienta para
sonorización a partir de dibujos, ayuda a alcanzar cierta expresividad a partir de
objetos y sonidos alterando sus características como intensidad, volumen, frecuencia.
Así mismo, para el área de ayuda a personas con discapacidad se encuentra el
dispositivo ETA [13] el cual es un dispositivo que ayuda a ubicar a una persona
invidente en un espacio dado de forma que de acuerdo a características de este
espacio genera un sonido dado.
19
Ilustración 11. Arquitectura dispositivo ubicación para invidentes ETA [13]
Sin embargo, en general, no se ha explorado intensamente la idea de crear contenidos
o contar historias con sonidos con base en la metáfora de papel y lápiz.
Para explorar más el trabajo realizado en agregación de sonido, se observa el proceso
de sonorización en trabajos audiovisuales desde comienzos del siglo XX Se presta
atención especial al proceso de cine por su carácter artístico en la historia universal, y
por proponer la innovación de agregar sonido en su tiempo. Ciertamente en la etapa
de cine mudo, los cineastas de la época exploraron también recursos más allá de la
fotografía y de la pintura para expresarse. Los aportes de los cineastas ingleses y
franceses, los proyectos de los hermanos Lumiere, de Charles Pathé [14], impulsaron
significativamente el cine como una forma de expresión.
A pesar del éxito del cine mudo, para los cineastas y espectadores en general hubo la
sensación de querer percibir algo más en las escenas. De hecho, había sonido en cine
mudo, pero en forma de acompañamiento musical; y en general para todo
espectáculo dirigido a muchas personas siempre hubo sonido para suavizar el espectro
producido por el cine visual [6]. Se formuló el problema de cómo hacer que una
20
película se escuche. Más aún, agregar sonido de forma que se dé atención a unas
finalidades de ese sonido que son: clasificación: definir tipos de sonidos entre
música de fondo, ambiente, voz, o efectos de sonido; fidelidad: hacer que ese sonido
se escuche clara y fidedignamente; sincronizacion: hacer que ese sonido, al
momento de escucharse, coincida con la escena con precisión [15].
En busca de sonorizar cine se ha dado un proceso de búsqueda complejo y costoso en
cuanto a cubrir estas finalidades e inventar y fabricar artefactos. Se crearon muchas
soluciones. Entre ellas el Quinetófono [16] el cual fue el primer ejercicio de
acercamiento de combinación de proyección visual y sonido, trabajado en 1895 por
Edward Muybridge y Thomas Alva Edison el cual combina el Quinetospocio, primer
invento de reproducción de sucesión de fotogramas, con el trabajo de grabación de
sonido de Edison. No tuvo éxito comercial o innovador a raíz del éxito general del
cine mudo y las proyecciones importantes cinematográficas de la época. También
entre ellas, Phono-Cinéma-Théâtre [17] desarrollado por Clément-Maurice
Gratioulet y Henri Lioret franceses, con el objetivo de proyectar cortometrajes de
teatro, ópera y baile sobre una base sonora.
21
Ilustración 12. Quinetófono. Tomado de http://thefilmographer.blogspot.com/2012/06/sound-
vision.html
Ilustración 13. Phono-Cinéma-Théâtre. Tomado de
http://thefilmographer.blogspot.com/2012/06/sound-vision.html
22
Pero tal vez, la innovación más importante en cuanto a cubrir las finalidades del
sonido, o aproximarse a este fin, ha sido a través de proyecto Vitaphone [18], la
innovación más moderna en cine a comienzos del siglo XX, creado por Laboratorios
Bell y adquirido por Warner. Mediante un mecanismo de grabar sonidos en un vinilo
siguiendo la secuencia visual, se probó exitosamente en la película ‘The Jazz Singer’.
Fue un éxito aunque requirió ser mejorado en sincronización, ya que implicaba
reproducir el acetato manualmente para que los sonidos coincidieran con las escenas.
Así mismo, el sonido tampoco se escuchaba con la nitidez deseada. Pco después se
dieron a conocer los proyectos Cue Sheets [19], PhonoFilm [20] entre otros. A nivel
de proceso de agregar sonido, se agregó dentro del staff de producción al artista Foley,
nombre dado al encargado de reproducir los efectos de sonido en las películas.
Ilustración 14. Anuncio Vitaphone por Warner, e implementación del Vitaphone. Tomado de
http://heathenmedia.co.uk/prayer/page/5/
23
El proceso de sonorización ha evolucionado hasta en la actualidad, como el sistema
Dolby Digital [21] aplicado a las películas de 35mm y televisión de alta definición
para contenidos en teatros y recintos pequeños de observación e interacción del
espectador en pos de lograr máxima fidelidad.
En cuanto a expresividad, comunicar o representar ideas o emociones con sonido, se
resalta también la evolución del sonido como parte de la atmósfera alrededor de
escenas. Se tienen en cuentas características de sonido como rol [22], cualidades del
sonido fisico como frecuencia o amplitud para producir efectos sonoros.
Se presta también atención especial al proceso de dibujos animados por su carácter
lúdico y forma de expresión acompañando escenas y gestos con la música o
complementando con efectos de sonido inusuales, es un apoyo útil en la búsqueda de
agregar sonido en bocetos a nivel de metodología. Se observa detenidamente el
proceso de sonorización de cortos animados de Walt Disney prestigiosos en el
presente todavía por su calidad de expresión a nivel visual y de escucha. En los
trabajos de Disney se creó una solución a cómo hacer que las escenas se escuchen. Se
consiguió mediante un método conjunto entre el director de animación y el director
musical: El método “3-12”. [23]. Este consiste en definir sobre un borrador de una
canción o pieza musical para una escena, una secuencia de cuadros y un compás (Por
defecto son tres compases, por 12 cuadros por medio segundo). Dada esta
información, los directores definen cuánta acción o movimiento hay en esos cuadros,
y cuánto sonido o cuánta música puede agregarse.
Los resultados exitosos del trabajo de los estudios Disney en cuanto a sonorización
pueden apreciarse en el primer cortometraje animado del ratón Mickey, “Steamboat
Wille”. El staff de producción mediante una implementación realizada con base en
PhonoFilm de Lee DeForest, llamada Cinephone, sobre una cortina musical y un
cover de la canción “Turkey In The Straw” y el esquema descrito de combinación de
24
acción con sonido, agrega los sonidos de los diferentes artefactos de las escenas como
el barco, los animales, etc.
Ilustración 15. Screenshots del cortometraje “Steamboat Willie”. Sobre una base musical y un
esquema de sincronización se agregan los sonidos de las escenas. Tomado de
http://disney.wikia.com/wiki/Steamboat_Willie
Se observa también el proceso de creación de anime o dibujos animados de Japón en
los años 70 y 80, en el cual se desea lograr una expresividad importante en contenidos
implícitos como emociones. Esto se logra a través de la acentuación de efectos de
sonido y generación de sonidos abstractos para describir emociones con intensidad.
También en composición de música para agregar más expresividad a las escenas.
En el presente, en cuanto a sonorización de escenas dentro del contexto de
computación visual, también se han desarrollado técnicas de sonorización de
ocurrencias o eventos en escenas en particular; pero siempre dentro de una aplicación
de este proceso para interacción. En el trabajo de sonidos para animación y
simulación interactiva [24] se implementan algoritmos de modelos de interacción
basados en la física para producir sonidos de contacto entre objetos de una escena.
25
Mientras que la Universidad de Cornell [25] propone una alternativa de vibraciones
de contacto para superficies multiplataforma.
Ilustración 16. Ejemplo escena proyecto simulación interactiva. Se producen sonidos al rodar la
pelota sobre el wok y la superficie [24]
Ilustración 17. Ejemplo vibraciones de contacto. En esta escena un conejo rebota sobre la mesa
moviendo los platos y haciendo que estos movimientos generen vibraciones [25]
26
VI. PROPUESTA DE SOLUCION
Se propone una solución a cómo agregar sonido y cómo hacer que ese sonido en el
contexto de contar historias proporcione la expresividad a esas historias. Esta solución
está dirigida al entorno de interfaces basadas en bocetos, creando a partir del dibujo y
reconocimiento de símbolos nuevos contenidos visuales más depurados siguiendo la
metáfora de papel y lápiz. En este sentido, se plantea como objetivo agregar sonido en
bocetos en forma computacional eficaz y buscando alcanzar un nivel alto de
expresividad. Para esta solución se toma como referencia el proceso evolutivo de
sonorización de contenidos audiovisuales y se define la propuesta a través de las
características que debe tener el sonido en estos contenidos como son: clasificación,
fidelidad, sincronización.
A continuación se definen las bases para la propuesta de solución, siendo la base
principal de esta propuesta la que define la clasificación de los sonidos.
7.1 Clasificación
Para agregar cualquier contenido sonoro a una escena teniendo en cuenta
periodicidad, momentos o interacciones, es deseable organizar los sonidos,
clasificarlos y encontrar una clasificación formal o universal de sonidos. A través del
tiempo se ha dado un proceso evolutivo de sonorización de forma que el sonido en
audiovisuales puede clasificarse de formas diversas de acuerdo a factores como origen,
cualidades técnicas del sonido, incidencia sobre la película o factores seleccionados
por cada responsable de sonidos de acuerdo a su experiencia. Para este trabajo en
particular se propone como punto de partida una clasificación simple inicial tentativa
con base en el trabajo previo y prestando atención a qué sonidos hay en una escena
en general.
27
En una escena en general hay sonidos de fondo o de ambiente, y también sonidos de
acuerdo a eventos que ocurren ya sea por contacto entre elementos de la escena o
generados espontáneamente por algunos de esos elementos. De acuerdo con esto se
propone una clasificación simple donde los tipos de sonidos son:
7.1.1 Ambiental o de fondo
Es el sonido de fondo que se reproduce en forma constante sin cambios durante la
escena. Ejemplo de sonidos ambientales son: el mar, el tráfico, el viento, o también la
música de fondo. A su vez, el sonido de fondo también puede ser un conjunto de
sonidos como el viento sobre las hojas de los árboles con el canto de los pájaros en un
bosque.
7.1.2 Foley
Es el sonido generado por un elemento de la escena dado un evento que ocurre al
interactuar dentro de esta escena o con otro elemento incluido en ésta. Ejemplos de
esto son: pasos al caminar, un objeto redondo cayendo al piso o chocando con otro.
Se nombra así por Jack Foley [26], conocido por ser el precursor de los efectos
sonoros en las películas desde la aparición del cine sonoro. Así mismo, en la historia
del cine se ha llamado así a los efectos de sonido.
7.1.3 Voz
Es el sonido generado por personajes de la escena a través de su parte de articulación
de sonido o de otros elementos que lo caracterizan. No necesariamente es la voz
humana o una conversación usando la voz. Ejemplos son: El maullido de un gato, el
ruido de un grillo, cantar, un señor hablando por radio, etc.
28
Mediante esta clasificación, dada una escena, qué sonidos hay y de qué tipos son, se
puede comenzar a definir un proceso de sonorización computacional por tipos de
sonidos cubriendo todos los que desean agregarse a la escena. De este modo, esta
clasificación desde el comienzo simplifica el proceso de sonorización.
Artifact: S001Type: AmbientContents: BeachDelay: 10''
Artifact: S002Type: FoleyContents: ShoesDelay: 1''
Artifact: S003Type: VoiceContents: BirdDelay: 2''
Ilustración 18. Objetos y tipos de sonido Tomados de:
http://beachgallery.blogspot.com/2012/09/beach-sunset.html
http://www.evergreendancecenter.com/sched.html
http://www.creationoutreach.com/id123.html.
7.2 Fidelidad
Dentro del contexto de generación de escena a partir de bocetos se desea crear
escenas en 3D con interacción donde la interacción o participación de un observador
en ésta es dada por la posición de una cámara. Para sonorización, como parte de esta
interacción se desea reproducir sonido de forma que este se escuche con una
intensidad y volumen definidos dada la posición de la cámara, y a su vez puedan
escucharse simultáneamente en caso de manejar varios objetos cada uno con sonido
diferente. Para alcanzar un nivel importante de fidelidad se propone definir la
29
reproducción de este sonido siguiendo conceptos básicos de difusión y renderización
de sonido en espacios 3D [27].
Ilustración 19. En esta solución Se propone que el sonido se reproduzca con fidelidad de acuerdo a la
posición 3D de un oyente.
7.3 Sincronización
Para alcanzar un nivel alto de sincronización, se propone reproducir sonido siguiendo
pautas de oportunidad y periodicidad. En agregar sonido, hay que solucionar
problemas como: ¿Cómo hacer para que este sonido coincida con el evento que hace
que ocurra y en el momento exacto? ¿Cómo hacer que un sonido se escuche varias
veces cuando el evento es periódico? Para este trabajo se propone diseñar un marco
de tiempo muy simple con base en las siguientes características:
Duración del sonido: Es decir cuánto dura ese sonido dentro de la escena
Duración de la escena: Tiempo de duración de la escena.
Momento de inicio del evento: En qué momento exacto dado un objeto o un evento se
reproduce un sonido asociado.
30
Unidad de tiempo: Es decir, al definir una escena y cuánto dura ésta, cómo contar o
medir unidades de tiempo.
El alcance de este proceso se encamina hacia creación de escenas a partir de bocetos
para sonidos que se escuchan constantemente y para eventos que tienen periodicidad
lineal, u ocurren en un momento fijo de tiempo durante la escena. Este alcance no se
encamina a eventos de periodicidad no lineal.
Ilustración 20. Sincronización de sonidos con escenas. En esta propuesta se sigue un esquema
semejante al de esta ilustración. Tomado de
http://www.davidbordwell.net/blog/2007/04/20/but-what-kind-of-art/
7.4 Requerimientos de la plataforma
Dado que esta propuesta se creará como un complemento a la solución de
prototipado de contenidos a partir de bocetos, y teniendo en cuenta los objetivos y
alcances de esta propuesta de sonorización, y que se concentra en agregar sonidos a
31
elementos de una escena básica de actores y movimientos, se definen su
requerimientos de la siguiente forma:
Ayudar a asociar símbolos a sonidos:
El usuario de la plataforma como persona que agrega sonidos a contenidos requiere
que los contenidos creados se escuchen de forma que cada objeto esté relacionado
con un sonido en particular.
Crear sonidos con características de fidelidad, periodicidad y oportunidad de acuerdo a los elementos
de la escena:
El usuario de la plataforma como persona que agrega sonidos a contenidos requiere
que los sonidos que agregue sean procesados de forma que reúnan características de
fidelidad y precisión al momento de agregarse a la escena.
Agregar los sonidos a la escena final:
El usuario de la plataforma como persona que agrega sonidos requiere que al generar
una escena, ésta pueda verse y escucharse, de forma que al obtenerse una escena, se
escuchen los sonidos obtenidos de acuerdo al boceto claramente y estos sonidos
coincidan con la escena y los eventos que ocurran alrededor de ella con precisión,
calidad y un nivel alto de expresividad.
7.5 Proceso de definición y creación de sonido
A continuación se escribe el proceso general de definición y creación de sonido sobre
una escena en el proceso de prototipado de contenidos dados unos bocetos.
Este proceso se divide en dos etapas así:
32
7.5.1 Definición de sonidos y eventos
En esta etapa se prepara el entorno de reconocimiento de símbolos y agregación de
sonidos. Se realiza un proceso de definición de símbolos como en el de
reconocimiento de objetos a partir de símbolos dibujados. Pero además, se define un
inventario con los sonidos que pueden asociarse a escenas, y los eventos que pueden
ocurrir en éstas. Así mismo se define la asociación entre los objetos y sus eventos en
las escenas, y para los objetos y los eventos su asociación con los sonidos. Este proceso
se muestra en la ilustración 21
Ilustración 21. Proceso de definición de sonidos y eventos
7.5.2 Creación de sonidos
En esta etapa se crea la escena con sus objetos y sus acciones agregando sus sonidos
asociados, de acuerdo a una escena dibujada con sus símbolos y sus acciones. En este
proceso, se reconocen los símbolos dibujados, y adicional, de acuerdo a los símbolos y
sus acciones, se agregan los sonidos asociados ya en el proceso de definición de
sonidos y eventos, para finalmente crear la escena con los nuevos contenidos y con los
sonidos para que sean escuchados. Este proceso se muestra en la ilustración 22
Ilustración 22. Proceso de creación de sonido
33
VII. DISEÑO
Al sonorizar una escena en un boceto o una historia, se formula la pregunta: ¿qué se
escuchará?. Pero además, ¿cómo clasificar o agrupar los sonidos que se escucharán?,
¿qué tratamiento se dará a estos tipos de sonido?, ¿cuánto sonido hay en una escena?
Por ejemplo, en una escena en una ciudad no se reproduce igual el bullicio del tráfico
al sonido de los pasos al caminar por el andén, o al de hablar, o al sonido de la
música, o en una hora de poca gente en la ciudad o de hora pico. De hecho, en una
escena así encontramos formas de sonido diferentes como ambiente, efectos, voz,
música, sonidos de contacto, etc. Para el diseño de esta solución pueden tenerse en
cuenta los siguientes elementos:
8.1 Definición de vocabulario
Para el escenario de aplicación de sonorización sobre interfaces basadas en bocetos y
uso de símbolos siguiendo la metáfora de papel y lápiz, esta sonorización comienza
por la definición de los símbolos y cómo se desea escuchar estos símbolos. En estas
interfaces se define un conjunto de símbolos que forman parte de un vocabulario
definido por los artistas para crear escenas y que serán mapeados a contenidos nuevos
más detallados (assets). Para cada símbolo se definirá si se escuchará, qué tipo de
sonido es de acuerdo a su rol en la escena y al momento de dibujarlo por parte del
bocetador decidir qué sonido se le asociará. Por ejemplo a un símbolo que representa
una pelota se definirá que escuchará la pelota en la escena, será de tipo Foley ya que
se escucha al momento de hacer contacto con otro elemento, en el caso de rebotar, y
al dibujarlo se asociará el sonido de la pelota rebotando contra el suelo, o un símbolo
que representa el mar se asocia al sonido de las olas del mar que es de tipo fondo.
34
Para este escenario de interfaces basadas en bocetos se realizará la sonorización sobre
grabaciones ya realizadas; pero se propone durante la sonorización realizar
automáticamente procesos de edición de acuerdo al resultado deseado de escena
como mezclas, creación de ciclos, edición de volumen o frecuencia de acuerdo a las
acciones o a la posición del observador. No se crearán sonidos nuevos durante el
proceso.
Así como en la interfaz basada en bocetos se define un vocabulario de símbolos con
assets [2], también se define un vocabulario de sonidos en donde se incluyen los
sonidos que hacen parte de escenas o historias. Esto es requerido antes de asociar
símbolos a sonidos. Para cada sonido se define una referencia de sonido como puede
ser un nombre, y un contenido digital o asset de sonido que es un archivo de sonido
digital que se escucha en un computador -un archivo de extensión .mp3, .ogg etc.
ID Nombre Archivo
1 mar Sea.mp3
2 rebotar Bounce.mp3Tabla 1. Ejemplo inventario de sonidos para escenas
8.2 Diseño en cuanto a clasificación
Después de definir un vocabulario de sonidos, ya pueden asociarse los símbolos a los
sonidos de acuerdo a cómo se escucharán en la escena. Al definir un símbolo a
mapear, también de define qué sonido tiene en el vocabulario de sonidos y qué tipo de
sonido es. También se tienen en cuenta características del sonido en esa escena. Por
ejemplo para la pelota se asocia el sonido rebotar, es de tipo Foley y ocurre cada vez
que ocurre el evento la pelota hace contacto con el suelo; para el mar se asocia el
sonido del mar, es de tipo fondo, comienza en un tiempo dado en la escena. Esta
asociación cubre las necesidades de sonido en contenidos como son clasificación y
sincronización.
35
Símbolo Sonido Tipo Evento/Acción
Ocurrencia Otros
pelota rebotar Foley rebotar Ocurre cuando la pelota toca el suelo
Ocurre desde el comienzo de la escena
mar mar Fondo ninguno Ocurre continuamente durante la escena
Comienza a los 2''
Tabla 2. Ejemplo inventario de sonidos y relación con tipos de sonido y eventos durante escenas
Con base en el proceso de sonorización de cortos animados se define para la escena a
nivel global qué contenido y/ó acción hay y cuánto sonido hay en ese momento. Para
esto a nivel detallado se realiza el proceso descrito anteriormente de encontrar y
asociar sonidos.
Esta organización también permite cubrir el asunto de sincronización del sonido de
forma que dado un sonido, qué tipo es y cómo es su ocurrencia, tiene un lugar y una
participación en la escena bien definidos y en forma independiente como algo que
ocurre dentro de cualquier escena dada donde aparezca ese objeto.
8.3 Diseño en cuanto a eventos
En la tabla anterior se ilustra para cada símbolo qué sonido tiene asociado, qué tipo
de sonido es y cómo es su ocurrencia. Dentro del contexto de interfaces basadas en
bocetos y el objetivo de contar historias, los objetos o actores no son estáticos
estrictamente. También tienen movimiento y acciones asociadas. En este contexto las
acciones son definidas mediante símbolos que representan palabras y trayectorias.
36
Para este contexto se definen acciones como símbolos de palabras. Estas son escritas
siguiendo la metáfora de lápiz y papel, escritas manualmente y de acuerdo al contexto
de interfaces, dentro de un recuadro para ser reconocidas como palabras. En este caso
una palabra representa una acción y a su vez es asociada con un evento y a su vez
también se asocia a un sonido de evento o sonido Foley el cual corresponde a sonidos
de efecto lanzados por una acción o evento en particular.
Para este trabajo, la asociación de eventos ocurre uno a uno. Es decir, a una acción
corresponde un solo evento. Si es dado el caso que un persona realiza cosas como
muchos eventos simultáneos, se definen tantas acciones como eventos haya.
Para este trabajo los conceptos de acción y evento pueden manejarse de forma
paralela, o equivalente. Una acción es algo que se lleva a cabo en una escena que
puede motivar a producir un evento, o un suceso imprevisto. También una acción
puede ocurrir motivada por un evento. O pueden ser semejantes acción o evento
como un suceso que ocurre. En cualquier caso, siempre una acción de asociará a un
evento, y este a su vez se asociará a un sonido Foley.
De esta forma, dado un actor u objeto, y una acción asociada, se obtendrá un sonido
que ocurrirá para ese evento y que se reproducirá de acuerdo a qué acción se desea
que ocurra dada una palabra en un boceto.
8.4 Creación de guión sonoro
En el proceso de bocetación sobre interfaces, así como se compone una escena o
script con los símbolos y se obtiene una composición de escena con los símbolos, el
37
objetivo al implementar es crear un guión de sonidos con los símbolos semejante a
una partitura o score de música, donde se agregan sonidos en momentos dados de
tiempo. Este guión de sonidos será interpretado por la interfaz y se agregará a la
composición visual para obtener la escena final con sus sonidos.
Después de definir el vocabulario de sonidos y el de símbolos con sonidos asociados se
realiza un proceso de lectura del script de la escena. En este proceso, al leer los
símbolos definidos en el script de escena, para cada símbolo se verifica que exista en el
vocabulario de símbolos y sonidos. Si es así se leen sus propiedades de sonido y con
base en ellas se compone el guión para este sonido semejante a un Bar Sheet [23]
especificando qué sonido se escuchará, qué propiedades tiene y en qué momento
durante la escena. Al terminar para todos los símbolos se ha obtenido el guión sonoro
con todos los sonidos y sus propiedades.
Por ejemplo para el caso de una escena rebotando en una playa cada segundo, dado
que la playa es un objeto de escena asociado con el mar y el mar tiene un sonido, éste
se escuchará desde el comienzo de la escena constantemente; y dado que la pelota
tiene un evento asociado que es rebotar que ocurre cada segundo, y el rebotar tiene
un sonido de rebotar asociado, durante la escena se reproducirá rebotar con un
intervalo de un segundo. Esta secuencia de sonidos se puede mostrar en la tabla 3.
0' 1' 2'
Sonido: Mar
Sonido: Rebotar Sonido: Rebotar Sonido: Rebotar
Tabla 3. Ejemplo guión de sonidos para la escena de la pelota rebotando en una playa
38
Ilustración 23. Esquema de un Bar Sheet usado en los estudios Disney para sonorización [23]
8.5 Diseño de generación de sonido
Después de terminar el proceso de composición de guión sonoro, se realiza el proceso
de creación de la escena con sus sonidos. Para el contexto de interfaces basadas en
bocetos se usa el mismo proceso de generación de escena a partir de una composición
o script para agregar los assets y sus propiedades como ubicación, orientación,
trayectoria. Este proceso se complementa con el de agregar sonidos en el cual dados
los assets ilustrados en la escena, se agregan su sonido respectivo y sus propiedades.
39
El proceso de creación de sonidos debe cubrir el asunto de claridad o fidelidad. Para
el contexto de interfaces basadas en bocetos, al generarse una escena en 3D se agrega
una cámara que sigue la escena en punto de la escena. Dada una posición de una
cámara, se espera que en el punto de la cámara donde se verá la escena los sonidos se
escuchen a lo menos con el volumen dado en esa posición como si fuera en el mundo
real. El proceso sigue un fujo o pipeline de creación de sonido interactivo [27] que
comprende los pasos de selección de fuente de sonido y propagación de este sonido
dada la fuente y el espacio donde se escucha.
Para obtener una generación de sonido real primeramente se asocia el sonido que
desea escucharse al objeto, lo cual ya se ha realizado en el diseño de clasificación.
Después se asocia a este objeto una posición en la escena; realizado ya en el proceso
de reconocimiento de imágenes en bocetación en donde dado un objeto, es
reconocido el objeto o asset asociado y en qué ubicación del boceto ha sido dibujado.
Como parte del proceso de propagación es requerido definir los artefactos de espacio
en el cual se reproducirá el sonido. Sin embargo, para este trabajo de sonorización de
bocetos dados unos actores y unas acciones, al ser un proceso de bocetación para un
espacio abierto, se omite el proceso de definición de artefactos como paredes, o
dimensiones del espacio. Así mismo, es requerido definir las características de
propagación como medio de propagación, distancia de la fuente de sonido, etc. Para
este trabajo de sonorización de bocetos se define un modelo básico de propagación
que cubre las siguientes características:
40
Volumen: Intensidad de la fuente que produce el sonido.
Distancia de referencia: Distancia desde la fuente de sonido hasta el punto en el cual el
sonido tiene intensidad mínima, o es inaudible.
Modelo de distancia: Definición de espacio de propagación de sonido y de volumen. Este
puede ser lineal o exponencial. De acuerdo a este modelo se da un cambio de
volumen de sonido en el espacio dado.
Angulo de cono: Angulo formado desde la fuente de sonido formado por esta fuente
hacia el exterior dependiendo cómo se propaga el sonido. A menor ángulo, el sonido
se propaga en un arco menor.
También como parte de este proceso de propagación se requiere definir
características del receptor de sonido en una ubicación dentro de un espacio. Al
diseñar un proceso básico de propagación, es suficiente con definir las características
básicas de propagación, y definiendo como receptor de sonido la cámara que sigue la
acción de la escena en una posición dada, de forma que dada esta posición, la
recepción del sonido variará de acuerdo a sus características de propagación.
Para este trabajo seomite el proceso de diseño e imple,emtación de asuntos o
cualidades de sonido como eco, reverberación o asuntos relacionados con
permanenecia de sonido en el espacio después de reproducirse por parte de la fuente.
41
Ilustración 24. Modelo de propagación. Se manejan los conceptos de ángulo de cono, modelo de propagación, distancia de
atenuación y distancia de referencia. El propósito es manejar variables de sonido de acuerdo a un medio, una fuerte de sonido estática o
en movimiento, y un receptor o escuchador que también puede estar estático o en movimiento. Dibujo de motorista tomado de
http://www.shutterstock.com/pic-83125825/stock-vector-cute-girl-riding-a-scooter-monochrome.html
Al finalizar el proceso de generación se espera obtener una escena con los objetos
depurados, sus sonidos reproduciéndose durante la escena y una cámara que sigue la
escena de forma que los sonidos se escuchan de acuerdo a la perspectiva dada por la
cámara.
42
8.6 Diseño de artefactos
Se sigue la metáfora de musicalización de dibujos animados [23] donde los actores o
entidades principales son un director de animación y un director de orquesta. En esta
metáfora el director de animación se encarga de crear toda la acción o movimientos
durante la escena, trabajando en forma paralela con el director musical o de orquesta
el cual se ocupa de agregar tanto sonido o música para esa escena.
De acuerdo con esta metáfora, y de acuerdo al modelo creado para prototipado de
historias a partir de bocetos, se propone un modelo conceptual para reconocimiento
de sonidos dados los símbolos y de composición de guión sonoro de la siguiente
forma:
Ilustración 25. Modelo conceptual de composición
43
Se consideran los siguientes elementos:
Director (SoundDirector): Se ocupa de realizar el proceso general de composición a partir
de los símbolos. Este conoce el vocabulario, el script de composición de la escena
obtenido en el proceso de reconocimiento de imágenes, y generará la composición del
guión sonoro para la escena final.
Usuario de composición o script (SoundScriptReader): Es aplicado por el Director y se ocupa
de leer los símbolos de la composición visual con sus características y asociar estos
símbolos a los sonidos.
Compositor de sonido (SoundComposer): Es aplicado por el Director y realiza el proceso de
crear los nuevos sonidos de acuerdo a las composiciones.
El proceso de composición y generación de sonido sigue el fujo de proceso que se
muestra a continuación:
44
Ilustración 26. Modelo de proceso de composición
En este fujo, al proceso de reconocimiento de cada símbolo e inclusión en script de
escena, se agrega un proceso de búsqueda de sonido asociado a este símbolo que es de
cualquier tipo de acuerdo a su clasificación, y se agrega al guión sonoro para
posteriormente ser renderizado en la generación. De acuerdo al tipo de objeto en el
vocabulario se obtiene el sonido directamente del objeto si es sonido de fondo o de
voz, y se obtiene dadas las acciones y eventos relacionadas con el objeto el sonido
Foley respectivo. Al finalizar el reconocimiento de símbolos y al obtener el script de
escena se ha obtenido también el guión sonoro con sus sonidos asociados.
45
guión
guión
Para el proceso de generación de escena y sonido en escena se define a continuación
el modelo conceptual. En este modelo se definen las entidades que hacen parte de la
actividad de generación de escena agregando el sonido ya creado en el guión sonoro y
generado para formar parte de la escena definitiva
Ilustración 27. Modelo conceptual de generación de sonido en la escena final
Se describen los siguientes elementos:
Escena: Contiene las características de escena en cuanto a modelado y renderización.
Dentro de estas características se encuentran las requeridas para el proceso de
propagación como modelo de distancia, velocidad Doppler, etc.
Objeto: Contiene las características de un objeto de escena como símbolo, posición etc.
46
Sonido: Contiene las características de sonido asociado. Posición de acuerdo a escucha,
volumen, etc.
Se define el proceso de generación de escena como se muestra a continuación:
Ilustración 28. Modelo de proceso de generación
Al igual que en el proceso de reconocimiento de objetos, se agrega un fujo de proceso
de agregar sonido. Este recibe como entrada el guión sonoro obtenido en el proceso
anterior. Y basta con encontrar en el guión sonoro creado el sonido asociado al
objeto, para finalmente generar la escena incluyendo tanto contenidos visuales como
sonoros.
47
VIII. IMPLEMENTACION
Para sonorización de bocetos sobre interfaces se implementa la solución cubriendo los
pasos de implementación del vocabulario, composición del guión sonoro y
renderización o grabación de sonidos sobre la escena visual creada.
Al ser una solución realizada sobre el prototipado de contenidos a partir de bocetos,
se hace uso de esta solución mediante la interfaz de Interfaces Basadas en Bocetos
para animación dirigida a personas no expertas en dibujo y bocetación, en la cual se
dispone de una librería de símbolos disponibles para dibujarlos y crear historias.
Ilustración 29. Interfaz de prototipado de contenidos a partir de bocetos
48
Como comienzo de esta implementación se propone mediante lenguaje XML definir
e implementar el vocabulario de sonidos y la asociación de símbolos a sonidos. Se
propone como vocabulario de sonidos un n-arbol de la siguiente forma:
<sound>
<name=””>
<value=””>
</sound>
donde la etiqueta sonido tiene dos atributos name nombre y value nombre del archivo
pregrabado de sonido.
9.1 Implementación de clasificación
Se propone implementar por la vía de lenguaje XML el sonido en cuanto a qué tipo
de sonido es y en qué momento ocurre.
La solución de prototipado de contenidos mantiene la misma funcionalidad de carga
y almacenamiento de bocetos que un usuario espera sean convertidos a nuevos
contenidos. Para esta implementación, las escenas obtenidas a partir de los bocetos,
contendrán sonidos asociados a los símbolos dibujados en estos bocetos.
49
Ilustración 30. Ejemplos de bocetos que contienen símbolos.
Al comenzar la implementación de esta solución, después de haber definido en la fase
de diseño el vocabulario de sonidos, se formula la pregunta: ¿de acuerdo a este
vocabulario qué tipo de sonido es un sonido? ¿en qué momento se escuchará?. De
acuerdo a los tipos de sonido se puede implementar como se describe a continuación.
Ambiente o fondo: Al ser un sonido que ocurre constantemente dado un objeto que
representa un ambiente, se puede asociar directamente al objeto a través de un
atributo “type”
Foley: Al ser un sonido que ocurre dado un evento o una secuencia de eventos que
ocurre durante la escena, se asocia a través de la definición de eventos de la siguiente
forma:
50
Se propone para los eventos un formato de la siguiente forma:
<event name=””>
<sound name=””>
<event
donde todo evento es una etiqueta con atributos nombre nombre del evento y sound
nombre del sonido en el vocabulario de sonidos.
Se propone para los objetos de la escena un formato de vocabulario extendido del
vocabulario para interfaces basadas en bocetos de la siguiente forma:
<object type=”” sound=”” framestart=”” delay=””>
<object>
<actions>
<action name=””>
<events>
<event name=”” framestart=””
delay=””>
donde el objeto de escena tiene asociado un sonido directamente como ocurre en los
casos de objetos de escena con sonido de fondo. A su vez para los objetos con eventos
asociados el evento es una etiqueta a con atributos nombre nombre del evento en el
vocabulario del evento.
Para manejo de ocurrencias de los eventos se usa el atributo “delay” que indica en
qué momento de la escena se reproducirá. Si tiene el atributo “framestart” significa
51
que el evento es periódico y se reproduce en esa trama en la escena y se reproduce
cada cuanto según el atributo “delay”.
Para construcción de escenas se mantiene la forma de medir duración de una escena
como tramas o frames. Se eligió usar como unidad frames o tramas en la animación
por precisión y fidelidad hacia la metodología de sonorización de cortos animados.
Un segundo de escena equivale a 24 tramas o frames.
Es posible también para sonidos de tipo Foley definir sonidos directamente desde el
objeto siempre que este objeto tenga una animación por defecto que ocurra durante
la escena sin cambios durante el tiempo que transcurre ésta.
9.2 Implementación de composición de guión sonoro
El proceso de composición es implementado en una aplicación standalone en C++
que recibe dos parámetros de entrada: Uno el script generado por la aplicación que
reconoce los símbolos y crea el script de escena. El otro es el vocabulario de escena
con los símbolos, los eventos y los sonidos. Esta aplicación utiliza las librerías
TinyXML para lectura y escritura de contenido XML. En composición visual la
composición también se escribe en lenguaje XML con C++ y TinyXML [28].
El proceso recorre el árbol XML de script con los símbolos. Para cada símbolo
recorre el árbol de vocabulario de objeto o símbolos. Si un objeto está en los dos
árboles verifica qué tipo de objeto es, si tiene eventos, si son periódicos y qué sonido y
tipo de sonido tienen verificando en el vocabulario los árboles de eventos y de sonidos.
De acuerdo al caso escribe un trozo del guión sonoro de acuerdo al sonido en
lenguaje XML. Al terminar de leer los archivos genera un n-arbol en un archivo
XML de la forma:
52
<score>
<actor asset="Ardilla"><sound
value="/home/jm.moreno743/SoundFilm/bounce.wav.mp3" />
</actor>
<scene asset="Arbol">
<sound
value="/home/jm.moreno743/SoundFilm/forest.wav.mp3" />
<point x="-32" y="0" z="0" />
</scene>
<scene asset="Mar">
<sound
value="/home/jm.moreno743/SoundFilm/sea.wav.mp3" />
<point x="29" y="0" z="0" />
</scene>
</score>
que representa una guión de escena para sonidos donde las etiquetas actor y scene
representan los sonidos o instrumentos de este guión y cada uno tiene un sonido
asociado. Al final de este proceso para la creación de escena ya se han obtenido dos
composiciones. Una visual y una de audio, siguiendo el concepto de cuánta acción
hay en una escena y cuánto sonido se escucha en esa escena.
9.3 Implementación de generación de sonidos
Se propone para creación de escena con sonidos mediante la aplicación de
composición de guión sonoro, crear o editar los archivos de sonido que irán
acompañando el contenido visual de la escena. Esto con el fin de alcanzar un nivel de
53
rendimiento óptimo en el proceso general de creación de escena a partir de los
símbolos de forma que al momento de generar o renderizar la escena, el proceso de
composición de este guión se encargue de realizar un subproceso de edición de los
sonidos y preservar los valores de los sonidos de calidad al escuchar como son
volumen, frecuencia o periodicidad. Este subproceso al terminar pasa los sonidos
depurados al proceso de creación de escena. Al momento de crear esa escena, el
proceso de creación o renderización se encarga del proceso de renderización en un
escenario 3D y de preservar los valores de fidelidad y realismo en la escena.
El proceso durante el recorrido de los n-árboles de vocabulario y script de escena
recibe como información de entrada el archivo de sonido y sus atributos en la
estructura -volumen, frecuencia y periodicidad. Dada esta información crea nuevos
archivos de sonido editados y éstos son referenciados en el guión sonoro de forma que
al crear la escena sean los archivos usados para ésta.
Para edición grabación de sonidos se usan las librerías de sonido de software libre
FFMpeg [29] y SoundExchange (SoX) [30] por su robustez y su uso en procesos
lanzados por línea de comandos, batch, background, sin requerir interfaz gráfica. De
hecho estas librerías son la base de aplicaciones famosas para edición de audio
profesional como Audacity [31]. A continuación se muestra como ejemplo de uso de
estas librerías el código de implementación para concatenación de sonidos para
eventos periódicos que usa SoX, y el código para convertir sonidos de un formato a
otro que permita ser agregado a la escena final posteriormente
sprintf(text, "./sox-14.3.0/src/sox tmp*.wav
tmpgarage.wav");
sprintf(text, "./ffmpeg -y -i tmpgarage.wav -ab 128k
-ar 44100 %s.mp3", soundValue.c_str()); // el parametro
'-y' fuerza el sobreescribir
54
9.4 Implementación de generación de escena con sonidos
Para la obtención del resultado con animación y sonido se usan la aplicación de
modelado Blender [32] y el lenguaje de script Python [33] para la realización de
tareas de Blender sin necesidad de interacción por parte de un usuario de la interfaz
Blender.
Para composición visual originalmente se usó el motor OGRE3D [34] por ser escrito
en C++ y por su biblioteca de contenidos o assets. Finalmente en composición visual
y de sonido se optó por Blender por su portabilidad y simplicidad en creación de
contenidos e importación de modelos, e importante por su robustez en creación y
agregación de contenidos sonoros y por su aplicación para este trabajo.
La implementación de la generación se realiza como una extensión de la
funcionalidad de generación de escena a partir de un boceto y reconocimiento de
símbolos en forma visual. En ésta dado un símbolo en el archivo de script XML, se
agrega un modelo en 3D de un objeto o caracter animado producido previamente a
una escena producida en la herramienta de modelado, en este caso Blender, su
posición y su trayectoria en caso de reconocimiento de símbolos de trayectorias. Al
recorrer todo el árbol XML de script y cargar los modelos, renderiza los modelos y
sus características para obtener una imagen o un vídeo.
Para este trabajo con Blender y Python, para la composición de animación con audio
se lee la composición de audio en el archivo de guión sonoro XML después del script
y se agregan los sonidos a la escena. En Blender como complemento a las propiedades
de escena, se usa el objeto Speaker el cual reúne las características básicas de un
sonido en una escena que se necesitan para este proceso de agregación de sonidos.
55
Ilustración 31. Objeto Speaker con sus propiedades en la interfaz de Blender
El proceso de composición en consta de los siguientes pasos:
• Limpieza o ‘reset’ de toda información en caso que ya se haya usado la
herramienta de modelado previamente y se dé el caso de cargar un modelo de
una sesión anterior.
• Construcción de colección de información de assets a partir del archivo de script
XML.
• Para cada asset en la colección carga un modelo 3D asociado en la escena.
• Para cada asset en la colección carga uno o varios artefactos de manejo de
sonido en la herramienta de modelado y asocia a éste las siguientes
propiedades: Archivo de sonido, volumen, distancia de referencia. Para el caso
del objeto Speaker de Blender se asocia la propiedad atenuación.
• Si entre los símbolos hay una cámara, carga una cámara de escena con sus
características de posición y orientación.
56
• Renderiza la escena.
Para el contexto de sonorización se espera que a través de la herramienta de
modelado se realice el proceso de grabación como se realiza en la industria de cine y
audiovisuales en forma manual como un proceso individual que ha evolucionado en
el tiempo y es complemento del proceso de creación visual. Se espera también que sea
complementario al proceso ya realizado de generación de sonidos anteriormente
donde se han cubierto las necesidades de clasificación y sincronización, y cubra las
cualidades de fidelidad.
Es requerido que los sonidos que se graben cumplan con las características propuestas
y deifnidas a continuación:
Claridad: Un sonido se escucha en forma clara sin alteraciones o interrupciones.
Inmersión: En una escena 3D dada una posición el sonido se escucha lo más real de
acuerdo a la posición.
Concurrencia: Varios sonidos se escuchan simultáneamente sin interrumpirse siguiendo
las demás características.
En generación de contenidos Multimedia todo elemento que compone una escena es
aplicado como objeto de escena. Esto aplica para todo tipo de contenido visual o
sonoro. Así que los sonidos pregrabados son agregados a la escena como objetos
interactuando en la escena. Estos objetos constan de características fuente de sonido-
en este caso el archivo de sonido, e instacia de tiempo donde serán escuchados. Para
este contexto esta instancia se expresa como trama. Es posible indicar para cada
sonido cuántos objetos agregar para tramas diferentes. Sin embargo no es requerido
57
dado que para dada sonido se maneja un solo objeto que corresponde a un sonido
que ya se ha editado con las repeticiones requeridas.
Para el caso particular de uso de Blender, se aplica como recursos la clase Speaker que
contiene la información requerida del sonido que desea agregarse, y los lienzos
Timeline y lienzo de interacción no lineal aplicado a creación de videojuegos de
forma que a través de las características de un objeto agregándolo sobre los lienzos, el
sonido se agrega en la secuencia de la escena asignándolo a un canal dado en la lista
de canales para cada objeto.
En general para la herramienta de modelado que se use, se espera hacer uso de
sonidos paralelamente de forma que varios sonidos pueden escucharse claramente y
concurrentemente. También que puedan manipularse los recursos de la herramienta
en forma computacional sin intervención de un usuario cuando abre una sesión en la
interfaz de usuario de la herramienta. Así la sonorización después de la composición
se realiza automáticamente ingresando como entrada solo la información de los
símbolos y los sonidos en los archivos XML.
Para que un sonido cumpla con la característica de inmersión es necesario que el
objeto de sonido sea agregado siguiendo el proceso de modelado, propagación y
renderizado así como se hace con los modelos 3D o caracteres animados. El sonido se
agrega a la escena en el espacio 3D de forma que la fuente generación de ese sonido
ocupe el mismo espacio del objeto visual asociado durante el tiempo que dura la
escena; y el objeto sonoro se desplazará a través del espacio al mismo tiempo que el
objeto visual en caso que este realice movimientos de desplazamiento. Esta asociación
se realiza en Blender mediante un proceso de emparentamiento de forma que al
emparentar el sonido con el objeto, el sonido se ubicará y se escuchará donde quede
el objeto visual. El proceso de emparentamiento es un recurso muy útil ya que maneja
también posiciones dinámicas. Si el objeto visual se mueve, el sonido se escuchará en
los puntos donde se mueva ese objeto visual.
58
Blender para esta implementación proporciona para el objeto de sonido la
información y los recursos requeridos para realizar este proceso. Para un objeto de
sonido Blender define los atributos volumen, atenuación, distancia de referencia y
ángulos de los conos. De acuerdo a la escena y sus elementos se modelan para estos
atributos los siguientes valores:
Modelo de distancia: Exponencial fijo -Exponent clamped
Volumen: 100%
Atenuación: 3
Distancia de referencia: 5
Angulo de cono: 360
de forma de en el punto donde se escuche un sonido se modela el realismo requerido
para que dada una posición el sonido se escuche en esa posición con el volumen y la
profundidad requeridos en esa posición. Estos atributos también son manipulables
mediante el lenguaje Python en forma computacional sin intervención de usuario de
Blender. No se manejan atributos de sonido como frecuencia, eco o reverberación.
A partir de un dibujo de símbolos en la interfaz realizando el proceso siguiendo los
pasos y usando las herramientas, al final de éste se espera haber realizado un proceso
conjunto de creación de contenido visual y sonoro en un escenario 3D, se espera
obtener un vídeo en 3D de la historia compuesta que pueda escucharse con sus
sonidos y puedan escucharse éstos siguiendo las directivas de claridad, fidelidad y
sincronización, con características definidas de acuerdo a la escena, y que sea
interactivo de forma que desde una posición dada por una cámara pueda verse lo que
ocurre alrededor, y pueda escucharse con variaciones en las características de sonido
alrededor también. Se espera también este vídeo poder exportarlo como un archivo
de vídeo que pueda verse y escucharse en un reproductor digital, o en un modelo
exportable a otros trabajos audiovisuales.
59
IX. USO Y EVALUACION
Para este trabajo, con el objetivo de demostrar el sentido y el aporte del producto final
al trabajo en contenidos digitales y en el contexto de interfaces basadas en bocetos, se
describe el uso de la interfaz agregando sonidos a partir de los símbolos utilizados,
para posteriormente realizar una evaluación de los contenidos obtenidos con sonido.
10.1 Uso
Por ser una solución sobre la solución de prototipado de contenidos a partir de
bocetos, esta aplicación de sonidos se usa desde una interfaz web que contiene la
librería de símbolos y las opciones de subir un boceto, o cargar un boceto que se ha
subido anteriormente como se muestra en la Ilustración 30.
Se sigue el mismo proceso de carga de un boceto para mostrar el boceto sobre el cual
desea generarse la escena con nuevos contenidos y al momento pedir a la aplicación
de bocetos que reconozca los símbolos asociados.
Después de realizar el reconocimiento, muestra los símbolos reconocidos de acuerdo a
la librería de símbolos. En bocetos las acciones se dibujan como palabras de acciones
en inglés dentro de un marco cerrado. Ejemplos: [WALK], [JUMP], estas palabras
son también reconocidas y se procesarán como eventos que tienen sonidos de eventos
asociados (Foley).
Al mostrar los símbolos, para cada símbolo se muestra una opción de elegir un sonido
para el contenido asociado al símbolo. Para cada símbolo se muestran sonidos
asociados que concuerdan con el carácter del símbolo. No hay mezclas de símbolos.
Esto con el fin de dar la opción de sonorizar la escena a gusto del usuario sin romper
el objetivo de alcanzar un nivel alto de expresividad. Y después se muestra una opción
60
de generar sonido. Al hacer uso de esta opción realiza el proceso de búsqueda de
sonidos dados los símbolos y las palabras de acciones, y el de composición y
generación de sonidos a partir del boceto y los sonidos encontrados.
Ilustración 32. Interfaz web de prototipado
61
Ilustración 33. Boceto y opción de reconocimiento de símbolos
Ilustración 34. Reconocimiento de símbolos con opción de seleccionar sonidos asociados a esos
símbolos.
62
Después aparece la opción de generar vídeo de escena. Al aplicar esta opción, la
aplicación produce un vídeo de escena que puede verse en la página o descargarse
como un archivo de vídeo para ser reproducido en el computador localmente. Al
reproducir, puede apreciarse a escena con los nuevos contenidos visuales, los sonidos
asociados, y pueden escucharse en forma real e inmersiva de acuerdo a la posición de
cámara del observador.
Para ilustración de nuevos contenidos, se implementó esta interfaz web como base en
la metáfora de generación de tarjetas animadas, de forma que al dibujar un boceto, se
obtiene una tarjeta animada con un escenario de espacio abierto y personajes
realizando movimientos de acuerdo a las acciones ilustradas en el boceto.
Los nuevos contenidos son importados de la librería de contenidos de la compañía
Creative Commons [35], usados en el cortometraje animado “Big Buck Bunny” [36]
creado con Blender. Los artefactos creados y utilizados para la producción de esta
película están disponibles para todos bajo licencia Creative Commons Atributions 3.0
[37] el cual permite descargar y hacer uso libremente de estos artefactos para
proyectos nuevos en Blender. Se utilizaron los artefactos de los personajes que hacen
parte de la película.
10.2 Limitaciones en recursos
Por ser una aplicación que se utiliza a través de una interfaz web, el proceso se realiza
en un equipo servidor Web. Para este trabajo se utilizó un servidor con las
características siguientes:
63
Plataforma Ubuntu 11.10
Disco 47GB
Memoria 4GB
Procesador Intel(R) Xeon(R) X5690 3.47GHz
Software Servidor Web: Apache2, compilador g++, Blender 2.63, FFMpeg, SoXTabla 4. Especificaciones servidor web
Sobre estas características, pueden crearse productos animados en 3D y realizar
procesos de creación y edición de sonido en forma ágil y eficiente. Sin embargo, al
usar los artefactos de la película Big Buck Bunny, por su tamaño en disco -están en el
rango entre 2MB y 20MB-, y teniendo en cuenta que se desean generar escenas con
estética y realismo, es requerido definir propiedades de escena como texturas,
materiales, luces, etc., y así mismo, hacer uso de los objetos asociados a los artefactos
como son también armazones, materiales y texturas. Y aunque el servidor es ágil, el
proceso de renderizado puede tomar mucho tiempo a razón de un rango de 10 y 20
segundos para generar una trama o frame de escena. Teniendo en cuenta que en
Blender una segundo de escena ocupa mínimo 24 tramas por segundo para obtener
una calidad buena de escena minimizando recursos, puede darse el caso de tardar 1
hora y fracción para generar una escena de 7 segundos.
Para este trabajo no se usan recursos como clustering, o “Blender Render Farms” [38]
que son varios equipos integrados para generar contenidos en forma paralela.
Esta es una limitación en general para la solución de prototipado aplicada a tarjetas
animadas, con o sin sonido. Para este trabajo por tanto no se considera evaluar la
solución de agregar sonidos con variables de tiempos.
64
10.3 Evaluación de contenidos
10.3.1 Objetivos
Alineando con los objetivos de este trabajo y con base en el marco de referencia
descrito anteriormente y el alcance del trabajo, se proponen los siguientes objetivos de
evaluación así:
• Obtener información y retroalimentación acerca de la calidad del sonido
generado en las escenas en cuanto a fidelidad y sincronización.
• Obtener información y retroalimentación acerca de la expresividad de escenas
en cuanto realismo
• Obtener información acerca de qué tanto el sonido contribuye a la
comunicación de lo que desea contarse en una historia.
Por el carácter de la evaluación, el público al cual está dirigido y el método a utilizar,
no se tendrán en cuenta elementos como usabilidad, o rendimiento.
10.3 2 Directivas
Es posible establecer medidas cuantitativas y cualitativas a partir de calidad de sonido
y expresividad. En este sentido, se propone un enfoque de resultados cuantitativos de
la solución al problema de agregar sonidos por medio de las siguientes directivas:
Calidad del sonido: Es la definición de niveles en el cual se describe qué tal se escucha un
sonido en una escena.
65
Realismo del sonido: Es la definición de una escala que describe qué tal real o no se
escucha el sonido de acuerdo al boceto, la escena y la posición del observador u
oyente.
Expresividad: Es la definición de formas de describir si es o no expresivo el sonido
creado en la escena y si crea en verdad una atmósfera sonora correcta al contemplar
esta escena.
La idea es mediante estas directivas canalizar la experiencia de usuario como persona
que ha dibujado un boceto y busca una experiencia de sonido adecuada para la
historia de desea contar en su boceto [39].
10.3.3 Público para evaluación
Para la obtención de resultados y retroalimentación, por ser una solución sobre el
trabajo de prototipado de contenidos a partir de bocetos, se elige el público para
evaluación con base en el mismo grupo de personas para la interfaz basada en
bocetos. En este caso el público es un grupo de estudiantes de la Facultad de
Ingeniería de la Universidad de Los Andes. Algunos de los estudiantes ya han
realizado pruebas de la interfaz dibujando bocetos a partir de símbolos [9].
10.3.4 Preparación para evaluación
Para la evaluación se realiza el ejercicio de generar una tarjeta animada en la interfaz
realizando el proceso ya aplicado de dibujo de un boceto, reconocimiento de
imágenes y generación de un vídeo animado. Este ejercicio se realiza en tres
escenarios dada la posición de una cámara en la escena así:
66
• Primero se crea un vídeo de una escena inicial a partir de un boceto con uno o
varios símbolos iniciales y sin cámara. En este caso se crea una cámara por
defecto en la escena con una vista panorámica general por defecto de la
escena.
• Después se crea otro vídeo de la escena a partir del mismo boceto pero esta
vez agregando un símbolo de cámara con una posición dentro del boceto.
• Después se crea otro vídeo de una escena con nuevos símbolos. Se agregan los
sonidos ya sea usando la solución o realizando edición como un proceso
externo.
La idea de generar contenidos como parte de la preparación es obtener los resultados
obtenidos del uso de la interfaz dinámicamente ya que debido a las limitaciones de
uso por demora en la generación, y por el conocimiento de la interfaz por parte del
público al cual se dirige la evaluación, es más oportuno así realizar la evaluación y
obtener retroalimentación.
10.3.5 Método de evaluación
Para la evaluación se sigue un método sencillo y breve para mostrar los resultados del
proceso de agregar sonido y obtener retroalimentación, dado en los siguientes pasos:
• Se convoca a la persona para que se tome un tiempo para realizar la
evaluación. Se describen los objetivos de la prueba y los pasos que seguirá.
• Se describe muy brevemente la aplicación de prototipado de contenidos a
partir de bocetos y el complemento de sonidos con bocetos. Se muestra la
página y una descripción del proceso de agregar sonidos.
67
• Se muestran a la persona los bocetos utilizados para la evaluación de los
contenidos, y se muestran screenshots de los vídeos obtenidos. Para cada vídeo
la sonorización es diferente de acuerdo a la posición del observador y los
símbolos utilizados.
Tabla 5. Bocetos y screenshots vídeo obtenidos
68
• Para cada vídeo se hace una demostración del vídeo dos veces. Una con
sonido y otra en silencio.
• Después de ver un vídeo con y sin sonido, se pide que de respuesta para cada
vídeo observado y escuchado a las siguientes preguntas:
¿Qué tal se escucha la escena de ese vídeo con sonido? Se pide que dé respuesta de acuerdo a la
siguiente escala de medir calidad de sonido:
1: Muy distorsionado 2: Distorsionado 3: Aceptable 4: Buen sonido 5: Muy buen sonido
¿Es real el sonido en ese vídeo de acuerdo a la escena en 3D? Se pide que dé respuesta de acuerdo a la
siguiente calificación de realismo del sonido en la escena:
a. No real b. Real
¿El sonido en el vídeo ayuda a resaltar a los personajes en la historia que desea contarse? -también de
acuerdo a la siguiente calificación:
a. No b. Sí
¿Entre el vídeo sin sonido y el mismo con sonido, cuál ayuda a deducir o apreciar mejor la historia? Se
pide que elija entre una de las dos escenas.
a. Sin sonido b. Con sonido
¿Cómo se puede hacer para que la escena tenga una calidad mejor en cuanto a sonido?
• Se da gracias a la persona por participar en la evaluación y se registran los
resultados obtenidos.
A continuación se muestran los consolidados de las preguntas de la evaluación por
parte de algunos usuarios que vieron vídeos y respondieron a las preguntas:
69
Ilustración 35. Consolidado pregunta No. 1
Ilustración 36. Consolidado pregunta No. 2
70
Ilustración 37. Consolidado pregunta No. 3
Ilustración 38. Consolidado pregunta No. 4
71
Revisando los resultados, hay una evidencia importante de generación de sonido de
calidad de acuerdo a las características de las escenas, así como también un nivel alto
alcanzado en cuanto a realismo y expresividad. Es importante acotar que durante las
pruebas, aunque se produce sonido de calidad, las características visuales de las
imágenes son muy infuyentes en la evaluación de este realismo y expresividad;
acotación que también es complementada en las observaciones por parte de las
personas que realizaron la evaluación en cuanto a mejorar los contenidos para dar
más realismo todavía a las escenas.
Acerca de cuál escena ayuda a deducir o apreciar mejor la historia entre la de con
sonido y la de sin sonido, es constante y evidente la necesidad de saber o descubrir e
un dibujo reconocido y transformado en nuevos contenidos, cómo se escucha, qué
sonidos hay alrededor, cómo puede contemplarse con los sentidos aparte del sentido
visual.
72
X. TRABAJO FUTURO
En este trabajo se define un proceso de sonorización sobre una clasificación inicial de
sonidos donde cada sonido es de un tipo exclusivamente. Sin embargo puede ocurrir
que por ejemplo el sonido del canto de un pájaro en un bosque pueda ser de tipo
fondo, o voz, e incluso Foley si canta dados unos eventos. Por tanto, como propuesta
inicial hacia trabajo futuro se espera realizar un estudio y comprensión más extenso
acerca de los sonidos, formas diferentes de sonido en audiovisuales y una clasificación
más elaborada de sonidos para ser tenidos en cuenta en la composición de guión
sonoro y en la compilación de sonidos en la escena final.
Se espera a futuro también extender el trabajo a composición de sonidos nuevos
durante la escena. También dada una escena y los eventos que ocurren, componer
guiones sonoros produciendo una atmósfera musical o teatral manipulando los
sonidos y sus características, como es el caso de los dibujos animados. Así mismo se
espera avanzar en cuanto a sincronización en aplicación de periodicidades no lineales.
En cuanto al proceso de generación y reproducción de sonido, se espera a futuro
perfeccionar el proceso de propagación teniendo en cuenta artefactos y objetos que
formen parte de un espacio y de alguna forma puedan afectar la reproducción o
propagación del sonido dados unos objetos y unas ubicaciones que conforman fuentes
de sonidos. En cuanto a generación se espera también tener en cuenta atributos del
sonido como frecuencia, eco o reverberación e implementarlos de forma que al final
del proceso se obtenga sonido en escenas finales para más espacios o circunstancias
asociadas a una escena.
73
XI. CONCLUSIONES
Con base en una necesidad importante de sonorización a lo largo de la historia y de la
industria de producción de contenidos digitales, se ha presentado un trabajo de
sonorización de bocetos, el cual es de un interés importante por ser innovador. Esto es
importante ya que el proceso de sonorización no es sencillo, mas aún, es complejo,
dispendioso, costoso en tiempo y recursos.
En el trabajo realizado de bocetación y de interfaces, no se ha explorado la cuestión
de agregar sonido y la sonorización, la cual es una actividad que se realiza por aparte,
sin tener una idea inicial al momento de ilustrar acerca de qué desea escucharse en
una historia.
Este trabajo provee la solución al problema de sonorización aplicando recursos
computacionales para uso de información visual en forma eficiente y simple, de
manera que ayuda significativamente al soporte del proceso de crear contenidos y
para este contexto, al de contar historias.
También es un trabajo innovador a partir del contexto de industria ya que la solución
propuesta puede ser aplicada a más contextos como son los de videojuegos,
preproducción de cine y televisión. En el marco digital, fuera de trabajos realizados
par producción de música, este es un trabajo nuevo que envuelve además de música,
efectos de sonido, y no se ha realizado todavía.
Se espera también que dé por supuesto una contribución importante a las industrias
de cine, animación y videojuegos al explorar herramientas nuevas y sea un recurso de
trabajo muy útil para artistas o creadores de contenidos que desean plasmar ideas y
ver resultados en ellas en forma simple, práctica e inmediata durante el desarrollo
creativo y la preproducción de contenidos.
74
En este trabajo además se exploran herramientas nuevas, que al ser aplicadas en esta
industria, demuestran un recurso de trabajo muy eficaz par artistas directores de
contenidos y editores, que desean plasmar y ver resultados de sus ideas en forma
simple, práctica, e inmediata, mientras ocurre el proceso de preproducción de
contenidos. También a nivel industrial este trabajo demuestra una eficacia importante
para plasmar ideas optimizando recursos. Aunque el trabajo con las herramientas
seleccionadas ha sido positivo y generoso en resultados, se espera estar explorando
constantemente más alternativas en cuanto a herramientas para composición y
generación de escena especialmente en cuando a agregar sonido y hacer uso de las
características de esos sonidos para lograr escenas de más nivel.
En cuanto a expresividad, es una ayuda valiosa par profundizar en escuchar
contenidos y saber cómo se escucha algo que un artista, y una persona con
conocimientos de arte y creación de contenidos desea expresar y cómo desea
expresarlo. No ahonda todavía en una generación de sonidos como ondas o
vibraciones de sonido nuevas; pero sí proporciona un soporte, para complementar
sus ideas en bocetos, en contenidos que se desean más que verse en un trabajo de
bocetación final.
75
REFERENCIAS
[1] M Cook, A. Agah (2009, Jul.). A survey of sketch-based 3D modeling techniques.
Interacting with Computers. Volume 21 Issue 3, pp (201-211).
[2] A. Conde (2012). Diseño e implementación de una plataforma para prototipado
de historias 3d usando bocetos. Bogotá - Colombia. Disponible en
http://biblioteca.uniandes.edu.co/
[3] L. Olsen, P. Faramarz, F. Samavati, M. Costa Sousa, J. A. Jorge (2009). Sketch-
based modeling: A survey. Computers & Graphics 33 pp (85-103).
[4] L. Lemay, C. Perkins, Teach yourself Java 1.1. in 21 days 2nd. Edition. Prentice
Hall, 1997
[5] R. Viers, The Sound Effects Bible: How to Create and Record Hollywood Style
Sound Effects. Michael Wiese Productions, 2008.
[6] L. Jullier. El sonido en cine. Editorial Paidós, 2007.
[7] D. Rodríguez, Modelo para micro-simulación de tráfico vehicular y peatonal
usando CUDA. Bogotá, Colombia. Disponible en http://biblioteca.uniandes.edu.co/
[8] T. Sezgin (2001), Sketch Based Interfaces: Early Processing for Sketch
Understanding. Proceedings of PUI-2001.
[9] D. Wilches, A. Conde, P. Figueroa, P. Faramazr (2012, Oct.). Sketch-Based
Interface for Animation for Non-Experts. CLEI 2012 (Séptimo Congreso
Colombiano de Computación Medellin - Colombia) 2012.
76
[10] Chen-Wei Chiang, Shu-Chuan Chiu, A. A. G. Dharma, K. Tomimatsu (2012,
Feb.). Birds on paper: an alternative interface to compose music by utilizing sketch
drawing and mobile device. Proceedings of the Sixth International Conference on
Tangible, Embedded and Embodied Interaction 2012.
[11] C. Lee, J. Jordan, T. F. Stahovich, J. Herold (2008, Oct.). Newton's Pen: A pen-
based tutoring system for statics. Pergamon Press Inc. 2012.
[12] S. Jordà (2010, Apr.). The reactable: tangible and tabletop music performance.
CHI '10 Extended Abstracts on Human Factors in Computing Systems 2010.
[13] A. Fusiello, A. Panuccio, V. Murino, F. Fontana, D. Rocchesso (2002, Sep.) A
Cross-Modal Electronic Travel Aid Device. Proceedings of the 4th International
Symposium on Mobile Human-Computer Interaction 2002.
[14] G. Sadoul, Histoire du Cinéma Mondial-des Origines. Flammmarion Editeur,
Paris, 1949.
[15] M. Ulano. The Movies are Born a Child of the Phonograph. Disponible:
http://www.filmsound.org/ulano/talkies2.htm/
[16] R Rogoff (1976). Edison's Dream: A Brief History of the Kinetophone. Cinema
Journal Vol. 15, No. 2, American Film History, pp (58-68).
[17] Martin Barnier, En route vers le parlant, Histoire d’une évolution technologique,
économique et esthétique du cinéma (1926-1934). Éd. Céfal, Liege - Belgiqué, 2002,
pp 255.
77
[18] D. Gomery (1976). The "Warner-Vitaphone Peril". The American Film Industry
Reacts to the Innovation of Sound. Journal of the University Film Association, Vol.
28, No. 1, pp (11-19).
[19] G. Anderson, Music for Silent Films: 1894-1929. A Guide. Library of Congress,
Washington D.C., 1988.
[20] Dr. Lee DeForest (1923). The Phonofilm. Transactions of the Society of Motion
Picture Engineers; May 1923; 7:(16A) pp (61-77).
[21] V. Sobchack (2005). When the Ear Dreams: Dolby Digital and the Imagination
of Sound. Film Quarterly, Vol. 58, Issue 4, pp (2-15).
[22] T. Holman, Sound for Film and Television, Focal Press, 1997.
[23] F. Thomas, O. Johnston, The Illusion Of Life. “The Disney Sounds”. Walt
Disney Productions, 1981, pp (285-303).
[24] Kees van den Doel, Paul G. Kry, Dinesh K. Pai (2001, Aug.). FoleyAutomatic:
physically-based sound effects for interactive simulation and animation. Proceedings
of the 28th annual conference on Computer graphics and interactive techniques
2001.
[25] Changxi Zheng, D. L. James (2011, Aug.). Toward high-quality modal contact
sound. SIGGRAPH 2011 papers 2001.
[26] V. T. Ament, The Foley Grail: The Art Of Performing Sound For Film And
Animation, Games. Focal Press, 2009.
[27] D. Manocha, P. Calamia, Ming C. Lin, L. Savioja, N. Tsingos (2009, Aug.).
Interactive Sound Rendering. SIGGRAPH 2009 Courses 2009.
78
[28] Tinyxml. Disponible: http://sourceforge.net/projects/tinyxml.
[29] FFMpeg. Disponible: http://ffmpeg.org/
[30] SoX - Sound eXchange. Disponible: http://sox.sourceforge.net/q
[31] Audacity. Disponible: http://audacity.sourceforge.net/
[32] Blender. Disponible: http://www.blender.org/
[33] Python. Disponible: http://www.python.org/
[34] OGRE3D. Disponible: http://www.ogre3d.org/
[35] Creative Commons. Disponible: http://creativecommons.org/
[36] “Big Buck Bunny”. Disponible: http://www.bigbuckbunny.org/
[37] Creative Commons Attribution 3.0. Disponible:
http://creativecommons.org/licenses/by/3.0/
[38] Blender render farms -foro-. Disponible:
http://blenderartists.org/forum/showthread.php?86521-How-do-you-set-up-a-
render-farm
[39] J. Sauro, J. R. Lewis, “Quantifying the user experience”. Morgan Kaufmann,
2012.
79
ANEXOS
ANEXO I. EVALUACION SOLUCION
80
Usuario Videos Q1 Q2 Q3 Observaciones
Usuario No. 1 V1 4 a aV2 4 a aV3 4 b b
Usuario No. 2 V1 3 a a Buscar otro sonido de ardilla.V2 4 a aV3 4 b a
Usuario No. 3 V1 4 b aV2 5 b aV3 4 a a
Usuario No. 4 V1 4 a a Mejorar sonido ardilla.V2 4 a aV3 4 a a
Usuario No. 5 V1 4 a aV2 4 b aV3 4 a a
Usuario No. 6 V1 4 a aV2 4 a aV3 4 a a
Usuario No. 7 V1 5 a aV2 4 a aV3 4 a a
Usuario No. 8 V1 3 a aV2 4 a aV3 3 b b
Usuario No. 9 V1 4 a aV2 4 a aV3 3 a b
Usuario No. 10 V1 4 a a En el primer video seria chévere que se visualizara el mar.V2 5 a aV3 4 a a
Usuario No. 11 V1 4 a aV2 4 a aV3 4 a a
Usuario No. 12 V1 4 a aV2 4 a aV3 3 b b
Usuario No. 13 V1 3 b bV2 4 a aV3 4 a b
Usuario No. 14 V1 4 a aV2 5 a aV3 4 a a
Usuario No. 15 V1 4 a aV2 4 a aV3 4 a a
Usuario No. 16 V1 4 a aV2 5 a aV3 3 a b
Usuario No. 17 V1 5 a aV2 5 b aV3 4 b a
Usuario No. 18 V1 5 a aV2 5 a aV3 5 a a
Mejorar la parte gráfica. Hacer vídeos más largos. Agregar más elementos sonoros a los ambientes.
Que el pajaro sea un sonido mas simple o mas acorde con el mundo real.
El pajarito deberia estar mas sincronizado en sus movimientos con su sonido, la chinchilla se escucha muy lejos.
El sonido del mar no es acorde al fondo de la imagen, sin embargo suena bien.