iluminaciÓn basada en la imagen objetivo: 1-introducciÓn simular la iluminación de...

Javier Marco y Diego Gutiérrez

Objetivo:Simular la Iluminación de un escenario real, para renderizar objetos CGI

Responde a la necesidad de:Integrar objetos CGI en una escena de imagen real sin que se apreciendiferencias de iluminación entre los objetos reales y los CGI

Método de ataque del problema:Capturar las propiedades de iluminación de la escena real, e iluminar conestas propiedades los objetos CGI

1-INTRODUCCIÓN1.1 Iluminación Clásica1.2 Iluminación Basada en la Imagen1.3 Procesos

2-CAPTURANDO LA LUZ2.1 Fotografía Omnidireccional2.2 Problema: luces muy brillantes

3-MAPEADO IMÁGENES OMNI.3.1 Esfera Ideal3.2 Mapa Angular3.3 Latitud – Longitud3.4 Mapa Cúbico

4-RENDER DE ILUMINACIÓN GLOBAL4.1 Introducción4.2 Sampleado eficiente4.3 Constelación de luces4.4 Emisión por importancia4.5 Sombras e interacciones

5-SIGRAPH 98 RNL5.1 Vídeo5.2 Cómo se hizo

6-IBL EN TIEMPO REAL6.1 Mapeo de Entorno6.2 Ambiento-Oclusión

7-IBL EN OBJETOS REALES

8-HAGALOUSTEDMISMO

JAVIER MARCO RUBIO

Técnicas Avanzadas de Informática gráfica

Programa de Doctorado Informática y Sistemas2006

ILUMINACIÓN BASADA EN LA IMAGEN



Forma clásica de iluminar:Distribuyendo en el escenario virtual 3D emisores de luz que imiten las fuentes de luz de la escena real

Todos los objetos de la escena real también “difunden” luz (rebotan), aportando iluminación a los objetos CGI. ¿cómo simulamos con luces estándar estos rebotes?, ¿serían fieles?

¿cómo simulamos la luz aportada por el cielo en la escenas exteriores?


1- INTRODUCCIÓN



Iluminación basada en la ImagenIluminación ambiental: La luz que llega a un objeto, es el resultado las aportaciones de luz de las fuentes y de todos y cada uno de los demás objetos de la escena, desde el más grande, al más pequeño (el polvo es un difusor de luz)

Como sustituto de la escena, usaremos una imagen (HDRI), que mapearemos sobre una esfera o cubo, en cuyo interior colocaremos los objetos CGI.

La imagen HDRI es una captura de luz que llega al mismo punto de la escena real en el que queremos colocar los objetos CGI

1- INTRODUCCIÓN



Los objetos CGI se renderizan tomando como fuente de iluminación, los valores RGB de los píxeles de la imagen HDRI mapeada en la bóveda de la escena (superficie emisiva).

Iluminación basada en la Imagen

Izquierda: Escena GCI iluminada con luces puntuales clásicas.Abajo: dos imágenes con renderde iluminación global mediante dos imágenes HDRI distintas, simulan iluminación exterior en dos momentos distintos del día

1- INTRODUCCIÓN



IBL – ProcesosLa técnica de Iluminación basada en la Imagen consta de dos procesos independientes:

1-Fotografía Omnidireccional: El proceso de captura de la luz que llega a un punto de la escena real desde TODAS las direcciones. (Light Probe Image, o imagen mapa de entorno HDRI)

2-Render de Iluminación Global: renderizar los objetos CGI, simulando cómo viaja la luz desde la bóveda con la imagen HDRI, y sus interacciones con los objetos CGI

1- INTRODUCCIÓN

Paul Debevec: The Campanile



Fotografía omnidireccionalUna fotografía es la captura de la luz en un punto determinado, y de un ángulo visual limitado.

Necesitamos capturar la luz que llega desde todas las direcciones.

Además, una imagen de cámara digital, no puede representar todos lo valores de iluminación que llegan al CCD de la cámara. La luz directa del sol es miles de veces mayor que la que llega de una zona en sombra. En la foto se produce “recorte” en los valores de iluminación. Necesitamos poder representar exactamente todos los valores de iluminación sin recortes.

HDRI: Imagen de alto rango, los valores RGB son valores numéricos de alta precisión para representar todos los valores de luz.

2- CAPTURANDO LA LUZ



Fotografía omnidireccional : Fotografiar una bola espejo

En una foto de una esfera espejo perfecta se ven todo el entorno que rodea a la esfera.

Se toman varias fotos con apertura de diafragma fijo, variando en cada foto el tiempo de exposición, consiguiendo una serie de fotos con diversas exposiciones de luz de la misma esfera.

Con la serie de fotos, se construye una imagen HDRI que representa fielmente las propiedades de luz de la escena




Ventajas:Fácil, rápido y barato

Desventajas:Problema de foco: la cámara ha de estar lejos de la esfera, para no verse demasiado en el reflejo. Se usan altos valores de distancia focal. Problemas de enfoque y e profundidad de campo

Puntos ciegos: la cámara se ve reflejada. Bajo la esfera (la base que sustenta la esfera. La parte de entorno apuesta al lado de la cámara, se refleja en la esfera en un área muy estrecha (el borde) (se puede solucionar con dos fotos tomadas a 90º

Calibración de la esfera: La esfera no refleja la luz al 100%. Se puede calibrar midiendo en una foto la luz de una superficie, y la luz de esa misma superficie refleja en la esfera.





Desventajas (II):Defectos de superficie de la esfera deforman su reflectividad

Reflexión polarizada: Por efecto Fresnel, los bordes de la esfera reflejan la luz polarizada. Si la fuente de luz es tiene polarización (como la del cielo), puede fotografiarse más luminosa o más oscura que la original

Resolución la imagen: No es buen método si se desean imágenes HDRI de mucha resolución.





Reconstrucción del entorno omnidireccional a partir de “pegar” varias fotografías (panoramas Quicktime VR)

Fotografía omnidireccional : Composición de fotografías




Ventajas: a partir de imágenes de alta resolución se consigue un HDRI de muy alta resolución

Desventajas:

Hay que capturar la parte superior e inferior del entorno. Hay que usar trípodes de rotación especiales para la cámara para evitar efectos de paralaje.

Fotografía omnidireccional : Composición de fotografías


Hay que montar un panorama para cada serie de fotos con el mismo tiempo de exposición, pero las fotos deben “pegarse” exactamente igual en cada panorama. (programas como Realviz Stitcher los permiten)



Algunas permiten 180º de entorno con una sola foto. Con 2 imágenes tenemos todo el entorno.

Ventajas: se pueden tener imágenes de alta resolución

Desventajas:

Vignetting: disminición de la intensidad radial. La zona central de la imagen es mas luminosa que en los bordes (hasta un 50% de diferencia). Se puede calibrar y retocar la foto en postproducción.

Fotografía omnidireccional : Lentes de ojo de pez




Fotografía omnidireccional : Lentes de ojo de pez


Paul Debevec, realizando una fotografía ojo de pez para la animación Capanile



Camaras panorámicas con sensores CCD muy estrechos en anchura, y muy altos. Mediante una lente ojo de pez, se capturan 180º verticales.

Un motor de precisión, gira el CCD 360 grados capturando todo el entorno

Fotografía omnidireccional : Cámaras de Recorrido Panorámico




Ventajas:

Imágenes de mucha resolución. Sensores CCD de pocos pixeles, pero de muy alto rendimientoMediante varias vueltas, se pueden capturar la variación de tiempos de exposición, devolviendo directamente la imagen HDRI

Desventajas:

Tiempo necesario para el proceso de toma fotográfica (más de un minuto por vuelta)

Fotografía omnidireccional : Cámaras de Recorrido Panorámico




Problema: Entornos con fuentes de luz muy brillantes

En general, con tiempos de exposición muy pequeños (1/4000 seg.), y diafragmas muy cerrados, se pueden capturar todas la propiedades de luz sin problemas de saturación, en iluminaciones interiores con fuentes de luz puntuales.

Las fuentes de luz interiores pueden ser viarios cientosde veces más potentes que la reflectividad de los materiales,pero solo representa el 1% de la escena.

En exteriores, la luz del sol es mucho más potente y concentrada




1ª Aproximación al problema:

Utilización de filtros de densidad neutra

En la toma de secuencias de imágenes, no solo variar el tiempo de exposición, si no también la apertura de diafragma. (cámara controlada por ordenador para realizar estas variaciones)

Problemas:

Diferentes efectos de Vinetting con diferentes aperturas de diafragma

La variación de tiempo de exposición conlleva una variación geométrica en la exposición de la foro, pero la variación de la apertura produce variaciones de exposición mas inesperadas.

Hay que calibrar





2ª aproximación al problema:

Calcular la intensidad de la luz por otro método ( esfera difusa)

Aceptamos que la imagen HDRI no nos aporta información de la luz directa del sol.

Usamos esfera espejo que capture fielmente la luz del cielo y las nubes.

Usamos esfera difusa gris con reflectividad conocida fotografiada en la misma iluminación.

Resultado: dos imágenes HDRI corregidas según reflectividades

Esfera espejo reflectancia100% (Pclipped)

Esfera difusa reflectancia100 (blanco perfecto) (Dreal)





2ª Aproximación al problema (II)

Se renderiza una esfera CGI blanca total usando el HDRI de la esfera metálica (Pclipped). El resultado tiene carencia de luz solar (DClipped)

Si restamos Dreal menos Dclipped, conocemos la luz del sol que nos perdemos

Con esta información podemos crear en la escena CGI una fuentes de luz en la misma dirección e intensidad radiante, que el sol de la escena real, aportando la luz que no aporta el HDRI Pclipped.

2- CAPTURANDO LA LUZProblema: Entornos con fuentes de luz muy brillantes



2ª Aproximación al problema (III)

Podemos comprobar la fiabilidad del metodocomparando el HRDI de la esfera difusa real Dreal, con el nuevo render usando este método

La diferencia debe ser casi negra

2- CAPTURANDO LA LUZProblema: Entornos con fuentes de luz muy brillantes



La información fotográfica se almacena en una imagen 2D, para luego ser “mapeada” en el entorno 3D donde se renderizarán los objetos 3D.

Es necesario tener método adecuados de almacenar las imágenes, y la formula que nos pase:

(u,v) -> D=(Dx,Dy,Dz)(píxeles de la imagen HDRI a el espacio 3D de la escena)

Métodos:

1-Esfera ideal

2-Mapa Angular

3-Latitud-longitud

4-Mapa Cúbico

3- MAPEO DE IMÁGENES OMNIDIRECCIONALES



3.1 – Esfera ideal

La imagen HDRI cuadrada contiene la información en un circulo en el dominio u [0,1] , v [0,1].

Dado un punto de la escena 3D (Dx,Dy,Dz), sacamos el píxel del HDRI que le corresponde por la formula:

Corresponde a los HDRI elaborados de fotos ortogonales a esferas espejo, y se mapeasobre esfera 3D (la imagen HDRI se refleja horizontalmente, ya que proviene del reflejo de espejo)




Este método tiene la propiedad de igualdad de áreas: áreas iguales de la imagen, se mapean en áreas iguales del espacio 3D. Sirve para calcular iluminaciones medias de la imagen HDRI

Sin embargo, la parte trasera de la escena, queda muy deformada en la imagen HDRI(bordes de la esfera), siendo poco apta para usar como imagen de fondo en la escena CGI

3.1 – Esfera ideal




Igualmente el HDRI cuadrado almacena la información en un circulo u [0,1] , v [0,1]

Aspecto similar al de esfera perfecta, pero mapea en más área la parte trasera del entorno real, no deformando tanto esta área, siendo buena en fondos de escenario virtual.

Comercialmente es muy usada

3.2 – Mapa Angular




La imagen se almacena en dominio rectangular: u [0,2] , v [0,1]

Es el tipo de mapeado de habitual en cartografía.

La zona central tiene buena resolución, y se va perdiendo hacia arriba y abajo.

Permite rotal el escenario en el eje Y, rotando así el ambiente de iluminación, simplemente trasladando la imagen en horizontal

3.3 – Mapeo Latitud - Longitud




Mapeo rectangular de la forma u [0,3], v [0,4]. En este caso tenemos seis formulas de mapeo diferentes para las 6 caras del cubo 3D sobre el que se mapeará:

Es la proyección equivalente a desplegar un cubo en 2D.

Las esquinas del cubo almacenan más área de la imagen que los centros de las caras, aunque esta deformación es más limitada que en los métodos de mapa angular y latitud-longitud

Aunque se requieren seis formulas para el calculo del mapeo, son operaciones de menor complejidad computacional.

3.4 – Mapeo Cúbico




3.4 – Mapeo Cúbico




Es el segundo punto de la iluminación basada en la imagen.

Una vez capturada la luz en la HDRI, renderizaremos la CGI con esta información

Render Basado en Raytracing: para cada píxel de la imagen a renderizar, determinamos la luz RGB que le llega lanzando un rayo desde la cámara C hasta que choca con una superficie de la escena en un punto P. Se calcula la luz de P como una función de sus propiedades de reflectancia y la luz incidente en P.

Como la escena CGI esta inmersa en una bóveda sobre la que se mapea el HDRI, los rayos siempre chocan con una superficie 3D

Introducción

4- RENDER DE ILUMINACIÓN GLOBAL



Casos:

El rayo R choca con la superficie con en entorno HDRI. El píxel a calcular tendrá los mismo valores RGB que el píxel HDRI con el que ha chocado el rayo.

El rayo R choca en P con una superficie de los objetos CGI con propiedad especular (espejo). Se refleja un rayo según vector normal de la superficie, R’. Si, R’ choca con la superficie emisiva (entorno HDRI), el valor de luz L’ en ese punto de la superficie HDRI, será la luz que incide en P (objeto CGI). Si R’ choca con otra superficie especular, se rebotan rayos de forma recursiva (se limitan el numero de rebotes).

Con L’, y las propiedades especulares de la superficie del objeto incidente, se calcula la luz que rebota en el objeto CGI, y que llega por tanto a pantalla

Introducción4- RENDER DE ILUMINACIÓN GLOBAL



El rayo R choca en P con una superficie difusa. En teoría, habría que emitir rayos de rebote en TODAS las direcciones. El total de luzindecente se denomina su IRRANDIANCIA E. La contribución de cada rayo R’ (que llega a la superficie aportando luz), es sopesada con el coseno del ángulo de incidencia de la luz .Todas las contribuciones de luz se integran sopesadamente:

Por motivos computacionales, un numero limitado K de rayos serán los lanzados desde P, y por tanto, la Irradiancia en ese punto será:

Casos:Introducción




Problemas de exactitud:

A mayor K (numero de rayos lanzados aleatoriamente desde P), mas exacta la iluminación de la escena CGI.

Esta exactitud es función de la varianza de la iluminación de la imagen de entorno HDRI.

Por ejemplo, un HDRI de entorno, muy oscuro salvo una fuente de luz muy puntual y potente, precisaráun alto K, para que alguno de los rayos lanzados llegue “por casualidad” a algún píxel del HDRI de alto valor emisivo de luz, y contribuya al valor de luz en el punto P.

Y aunque así fuera, si un punto vecino de la superficie no tiene esa superficie, se calculará la luz en ese punto mucho más oscura que la del anterior. Se produce en estos casos imágenes “punteadas”:

4.2 Sampleando la incidencia de luz eficientemente4- RENDER DE ILUMINACIÓN GLOBAL

Paul Debevec: The Parthenon

Los puntos luminosos corresponde con píxeles de la imagen en los que algún rayo lanzado ha llegado a coincidir con la zona de Sol del HDRI, dando aporte de iluminación. Mientras el resto de puntos no han tenido de rayo incidente en el sol, por tanto su iluminación corresponde solo al cielo.



Aproximaciones para evitar los problemas planteados (sin aumentar K a un valor prohibitivo)

1-Identificar previamente las fuentes de luz:


Paul Debevec: Fiat Flux.HDRI panorámico, y la correspondiente identificación de fuentes de luz

Si conocemos las posiciones de las fuentes de luz, lanzaremos los rayos rebote desde las superficies de incidencia, directamente hacia las fuentes de luz.

Pero no podemos olvidarnos de las aportaciones de las zonas más oscuras.

Característica general de las imágenes de entorno HDRI: grandes áreas de baja intensidad de luz, y pequeñas áreas con mucha intensidad de luz.



Aproximación:

Identificar las fuentes de luz en la imagen de entorno HDRI y SUSTITUIRLAS por fuentes de luz clásicas en la escena 3D.

Render con solo la luz Sol Render con Iluminación Global (luz del cielo y nubes)

Resultado conjunto

4.2 Sampleando la incidencia de luz eficientemente

De esta forma, por render de iluminación global se renderizan los objetos CGI, a lo que se sumará la aportación de luz de las fuentes clásicas de luz.




4.2 Sampleando la incidencia de luz eficientementePaul Debevec: The Parthenon





Paul Debevec: The Parthenon



A partir de la aproximación anterior, podemos tomar la postura radical de sustituir todo el HDRI, por un conjunto de fuentes de luz clásica, con intensidades tales, que iluminen igual que lo haría render de iluminación global, pero con menor coste computacional.

Aproximación: se divide la superficie HDRI en regiones de aportación de luz semejante. Por cada región se crea una fuente de luz (luz de área para las regiones grandes, luz puntual para las pequeñas), que emite energía lumínica equivalente a la de la región HDRI, y se coloca en su misma posición.

4.3 Convirtiendo la imagen HDRI en una constelación de luces4- RENDER DE ILUMINACIÓN GLOBAL

A partir del HDRI de una cocina, se obtienen constelaciones de luces clásicas, con más o menos detalle



La eficiencia del método depende mucho del algoritmo utilizado para la separación del HDRI

-algoritmo de división por mediana

-algoritmo de kolling-Keller

-algoritmo de Ostromoukhov et al. (teselesación de Penrose)

División por mediana Teselesación de Penrose

4.3 Convirtiendo la imagen HDRI en una constelación de luces4- RENDER DE ILUMINACIÓN GLOBAL



En el algoritmo clásico de render de iluminación global, se emiten rayos de rebote en direcciones aleatorias.

Creemos una función de probabilidad, en la que la direcciones de rebote más probables, sean aquella que llevan a fuentes de luz.

Aproximación computacional:

Se crean funciones de distribución acumulativa de luz de la imagen de entorno HDRI:

Ejemplo 1D:

4 rayos aleatorios se lanzan (eje vertical), hasta coincidir con la grafica de la distribución acumulativa. Donde se ve que tres de los cuatro rayos, coindicen con posiciones de emisores de luz.

4.4 Emisión de rayos por importancia4- RENDER DE ILUMINACIÓN GLOBAL



4.5 Sombras e interacciones de luz de los CGI sobre en entorno virtual de imagen realHasta ahora: Cómo aporta luz en entorno virtual, sobre los objetos CGI

Falta: Como los CGI, modifican la luz sobre en entorno virtual (sombras y rebotes de luz)

En general interesa resolver las sombras sobre el suelo. A no ser que los CGI estén muy cerca de otros objetos o paredes, no aportarán ninguna interacción mas.


Paul Debevec: Fiat Lux



1-Construimos un suelo 3D blanco perfecto que coincida con el suelo del entorno real, y lo renderizamos con la iluminación real.

2-El resultado se divide por la imagen HDRI del entorno. Dando la imagen de reflectancia del suelo.

3-se mapea esta imagen sobre el suelo 3D y se renderiza la escena con los objetos CGI (que no proyectarán sombra sobre el suelo)

4.5 Sombras e interacciones de luz de los CGI sobre en entorno virtual de imagen real4- RENDER DE ILUMINACIÓN GLOBAL



5-RENDERING WITH NATURAL LIGHT

Presentación de la Iluminación basada en la imagen en Sigraph 98

Paul Debevec: RNL



2-Modelado del CGI: primitivas de esferas. Material: cristal, metal y plástico

3-mapeado del HDRI sobre una superficie cúbica que rodea al CGI, y se Establece su superficie como emisiva.

4-animación de cámara y render de la escena

5.1 Cómo se hizo:

1-Adquisición del entorno HDRI con bola metalizada, y secuencia de fotos variando tiempo de exposición. Se tomaron en dos puntos de vista de 90º




Postproducción de los frames render:

El resultado del render también son imágenes HDRI. Han de ser convertidos para mostrar en pantalla.

1ª aproximación: recortar valores por encima y debajo de un determinado valor. Da resultados poco realistas:

2ª Operadores de desenfoque que nos aportan efectos similares a los efectos ópticos de las cámaras (Blooming)

Valores iluminación Tras aplicar desenfoque. (Efecto Bloom)

5-RENDERING WITH NATURAL LIGHT5.1 Cómo se hizo:




5.1 Cómo se hizo:Postproducción de los frames render:

Vigneting: Oscurecer la imagen en los bordes añade naturalidad a la imagen:

Máscara de vignetting Fotograma bruto Fotograma con mascara aplicada

Aparecen detalles en las ramas del fondo no apreciables en el fotograma original.



6- Iluminación Basada en la Imagen en tiempo Real

6.1 Mapeo de entorno:La imagen omnidireccional se mapea directamente sobre la superficie del objeto a iluminar.Análogamente a un objeto espejo perfecto, al que se le mapea el entorno directamente para simular loque reflejan, los objetos de superficie difusa reflejan también el entorno (pasado por filtros de

convolución de desenfoque).

Pero mediante esta técnica no se tienen en cuenta interacciones entre objetos CGI, y sombras

Material especular Material difuso



6.2-Ambient oclusion

Tomando la suposición de una imagen de entorno poco compleja

Se calcula en render de iluminación global, con un solo rayo de rebote.

Esta técnica se usa en conjunción con la técnica anterior (que es la que da la aportación de color en las superficies de los objetos)

Primer paso: Se usa este algoritmo simple de iluminación basada en la imagen con un entorno de iluminación homogéneamente blanco y las superficies de los objetos difusas neutrales. El resultado es un “mapa de oclusión”




El mapa de oclusión se multiplica por una imagen con los colores de superficie difusa reales de los objetos CGI:

Imagen con objetos mapeados con entorno difuso

Resultado del producto

Demo Ejecutable para ATI9700



http://www.ati.com/developer/demos/R9700.html

http://www.ati.com/developer/demos/R9700.html


7- Iluminación Basada en la Imagen en Objetos reales¿Podemos razonar a la inversa?

Colocar objetos o personal reales en un entorno CGI sintetico, e iluminar el objeto o personal real con la misma iluminación que la iluminación CGI.

Propiedad: Una foto del objeto con una fuente de luz, mas otra foto del objeto con otra fuente de luz, es una foto del objeto como si le iluminasen las dos luces.

Podemos además variar la iluminación de una foto, cómo si variase la intensidad y color de la luz con la que se tomó, consiguiendo cualquier variación de iluminación:

+=



Si realizamos una colección de fotos, con fuente de luz en todas la posiciones posibles:

7- Iluminación Basada en la Imagen en Objetos reales



8- Hagalo usted mismo:

Realviz Stitcher:http://stitcher.realviz.com/products/ST/index.phpElaboración de panoramas a partir de varias fotografías

HDRShop:http://gl.ict.usc.edu/HDRShop/Software para la elaboración de mapas HDRIPosee además pluggins para conversión de imágenes HDRI en constelaciones de luces, compatible con los más importantes programas 3D del mercado.

Dosch Design:http://www.dosch3d.com/products/hdri/?PHPSESSID=48abd487106f2b24c667813aed550940

Posee una extensa colección de mapas HDRI a la venta


http://stitcher.realviz.com/products/ST/index.php

http://www.dosch3d.com/products/hdri/?PHPSESSID=48abd487106f2b24c667813aed550940

iluminaciÓn basada en la imagen objetivo: 1-introducciÓn simular la iluminación de...

Documents