Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Titulo

Shape analysis:Reconstruccion de rostros a partir de una imagen

de intensidades

Mario Alberto Miramontes Lopez

Asesor: Dr. Mario Castelan

Co-asesor: Dr. Humberto Madrid

Centro de investigaciones y estudios avanzados del IPNUniversidad Autonoma de Coahuila

13 de Octubre de 2009

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Contenido

Conceptos Preliminares

Ecuaciones Fundamentales en el problema de Shape FromShading

Formulacion Matematica

Funcional a minimizar

Resultados

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Conceptos Preliminares

Shape From Shading

Shape From Shading

Obtencion de la estructura tridimensional de un objeto apartir del uso de las propiedades de su imagen digital.

Problema inverso.

Problema mal planteado: existe una infinidad de solucionesvalidas para la Ecuacion de Irradiancia de la imagen.

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Conceptos Preliminares

Por que inverso?

Diagrama del problema del SFS

Figure: El problema del SFS

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Conceptos Preliminares

Definicion del mal planteamiento

Mal Planteamiento

Se dice en la literatura matematica que un problema es malplanteado si a cambios pequenos en los datos:

La solucion no existe.

La solucion no es unica.

La solucion no depende continuamente de los datos.

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Conceptos Preliminares

Por que es mal planteado?

Ejemplos del mal planteamiento en SFS

Figure: Mal Planteamiento en SFS

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Conceptos Preliminares

Radiometrıa basica

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Conceptos Preliminares

Modelo de iluminacion de Phong

Definicion

Se entiende por modelo de iluminacion al calculo de la intensidaden cada punto de la escena. Segun el modelo de Phong, lailuminacion esta compuesta por 3 tipos de luz:

Luz ambiental: Proviene de todas direcciones e ilumina todaslas caras del objeto por igual.

Luz difusa: Proviene de una direccion pero se refleja en todasdirecciones.

Luz especular: Proviene de una direccion y se refleja solo enuna direccion.

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Conceptos Preliminares

Ejemplo de superficie difusa

Figure: Superficie que refleja la luz de manera difusa

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Ecuaciones fundamentales en SFS

Ecuacion de Radiancia

Ecuacion de Radiancia1.

Indica la cantidad de luz que la escena emite despues de seriluminada.

La radiancia L en un punto P de una superficie esdirectamente proporcional al coseno del angulo que se formaentre el vector de iluminacin I y las normales a la superficie n,es decir

L(P) = ρ⟨IT , n

⟩

Esta ecuacion es conocida como ”Ecuacion de Radiancia”.

1Tambien conocida como ”Mapa de Reflectancia”

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Ecuaciones fundamentales en SFS

Ecuacion de Irradiancia

Ecuacion de Irradiancia

Indica la cantidad de luz que se registra en el plano de laimagen proveniente de la radiacion de la escena.

La radiancia E en un punto p del plano de la imagen estadada por

E(p) = L(P)π

4

(d

f

)2

cos4(α)

Esta ecuacion es conocida como ”Ecuacion de Irradiancia”.

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Ecuaciones fundamentales en SFS

Asunciones necesarias

Asunciones necesarias

Simplificacin del problema

E(p) = L(P)

Se asume que todos los puntos de la superficie sondirectamente iluminados. (Evitar reflexiones secundarias).

Se asume que la fuente de iluminacion se encuentra en elinfinito.

La cantidad de luz reflejada por la escena es igual a la recibida porel plano de la imagen.

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Formulacion matematica

Planteamiento del problema

Planteamiento del problema

Sea E (x , y) ∈ Ω ⊂ <2

Z (x , y) ∈ <3

n (x , y) = 1√p2+q2+1

(p, q, 1)T , donde

p (x , y) = ∂Z/∂x , q (x , y) = ∂Z/∂y

ρ (x , y)

Entonces

L(P) = R(n,ρ,l) = ρ

K−1∑i=0

liYi (n)

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Formulacion matematica

Radiancia-Irradiancia vinculadas

Radiancia-Irradiancia vinculadas

Aproximando por armonicas esfericas de primer orden, la ecuacionde radiancia queda de la forma

R(n,ρ,l) = ρlTY(n)

con lT = (l0, l1, l2, l3)T , Y(n) = (1, nx , ny , nz)T y nx , ny , nz lascomponentes del vector n.La ecuacion de irradiancia estara dada entonces por

E (x , y) = R(n,ρ,l)

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Formulacion matematica

Datos faltantes

Datos faltantes

Cuando ρ y l estan dados la ecuacion de irradiancia puede serresuelta haciendo el uso del SFS, entonces es necesario estimarestos datos para poder resolver la ecuacion.Se definen Zref (x , y), ρref (x , y) y nref (x , y) como los datos dereferencia.Haciendo uso de estos datos se podran calcular la iluminacion, lassuperficies y el albedo que se buscan.

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Formulacion matematica

Terminos de regularizacion

Terminos de regularizacion

Como SFS se sabe que es un problema mal planteado, es necesariodefinir terminos que regularicen el problema, los cuales en nuestrocaso son de la siguiente forma

λ1g(dz)

yλ2g(dρ)

donde λ1 > 0 y λ2 > 0 son las constantes de regularizacion y g(dz)y g(dρ) son funciones de promedio de Z y ρ respectivamente.

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Funcional a minimizar

Funcional a minimizar

minl,ρ,z

∫ ∫Ω

((E − ρlTY(n)

)2+ λ1∆g(dz) + λ2∆g(dρ)

)dxdx

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Resultados

Resultados

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Resultados

Resultados 2

Shape analysis:Reconstruccion de rostros a partir de una imagen de intensidades

Resultados

Resultados 3