CamaraSensores

Proceso delFormacion de Imagenes

Leccion 02.3

Dr. Pablo Alvarado Moya

CE5201 Procesamiento y Analisis de Imagenes DigitalesArea de Ingenierıa en Computadores

Tecnologico de Costa Rica

I Semestre, 2017

P. Alvarado — TEC — 2017 Formacion de Imagenes 1 / 34

CamaraSensores

Contenido

1 CamaraEstenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

2 Sensores

P. Alvarado — TEC — 2017 Formacion de Imagenes 2 / 34

CamaraSensores

Cuatro elementos de la formacion de imagenes

z

x y

y’

x’

Fuente de energıa

Imagen/SensorObjeto Camara

P. Alvarado — TEC — 2017 Formacion de Imagenes 3 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

3. Camara

P. Alvarado — TEC — 2017 Formacion de Imagenes 4 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Sistemas coordenados

SCU: Coordenadas universales de objetos en el espacio

x′ =

x ′1x ′2x ′3

P. ej. x ′1 y x ′2 engendran plano horizontal, y x ′3 vertical.

SCC: Coordenadas de camara, fijas en plano de proyeccion

x =

x1

x2

x3

x3 alineada a eje optico, x1 eje horizontal y x2 eje vertical deimagen

P. Alvarado — TEC — 2017 Formacion de Imagenes 5 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Conversion entre sistema universal y de camaraCalibracion extrınseca

Conversion entre sistemas:

x = Rx′ + t (1)

x′ = RTx− RT t (2)

con la calibracion extrınsecaR matriz de rotacion (ortonormal ⇒ RT = R−1) yt vector de traslacion

R,t mapean puntos de SCU a puntos en SCC

t indica posicion del origen de SCU en SCC

P. Alvarado — TEC — 2017 Formacion de Imagenes 6 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Matrices de rotacionAngulos de Euler

La matriz de rotacion se obtiene como cascada de rotacionesplanares

Rx =

1 0 00 cosφ senφ0 − senφ cosφ

Ry =

cosφ 0 senφ0 1 0

− senφ 0 cosφ

Rz =

cosφ senφ 0− senφ cosφ 0

0 0 1

R = RxRyRz

P. Alvarado — TEC — 2017 Formacion de Imagenes 7 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Problemas de los angulos de Euler

Con angulos de Euler

resultado depende de orden de transformaciones

rotacion final puede cambiar abruptamente con cambios levesde parametros (gimbal lock)

Solucion: rotacion sobre un eje de rotacion n y angulo θ.

Matriz R se calcula con formula de Rodrigues1:

1Olinde Rodrigues (1795-1851) banquero y matematico francesP. Alvarado — TEC — 2017 Formacion de Imagenes 8 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Formula de Rodrigues (1)

Dado eje de rotacion n y angulo θ.

Matriz R esta dado por:

R(n, θ) = I + sen θ[n]× + (1− cos θ)[n]2×

[n]× es la forma matricial de producto cruz con:

n = (nx , ny , nz)

[n]× =

0 −nz nynz 0 −nx−ny nx 0

P. Alvarado — TEC — 2017 Formacion de Imagenes 9 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Coordenadas homogeneas

Coordenadas homogeneas se utilizan para simplificar uso detraslacion y rotacion en una sola operacion.

Coordenadas euclıdeas → coordenadas homogeneas:

x′h =

x ′1x ′2x ′31

xh =

x1

x2

x3

1

Coordenadas homogeneas → coordenadas eclidianas

xh =

x1

x2

x3

α

→ x =

x1/αx2/αx3/α

P. Alvarado — TEC — 2017 Formacion de Imagenes 10 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Transformacion en coordenadas homogeneas

xh = Mhx′h

x′h = M−1h xh

con

Mh =

r11 r12 r13 t1

r21 r22 r23 t2

r31 r32 r33 t3

0 0 0 1

P. Alvarado — TEC — 2017 Formacion de Imagenes 11 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Transformacion en coordenadas homogeneas

Conversion directa de coordenadas homogeneas universales acoordenadas euclıdeas de camara con E:

E =[R | t

]=

r11 r12 r13 t1

r21 r22 r23 t2

r31 r32 r33 t3

E: matriz de calibracion extrınseca

x = Ex′h

x′h: punto en SCU con coordenadas homogeneas

x: punto en SCC con coordinadas euclıdeas

P. Alvarado — TEC — 2017 Formacion de Imagenes 12 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Estenoscopio

Plano dePlano deImagen

PlanoFocal Objeto

SCC

f

x1x2

x3p1

p2

p3

q1

q2

q1 = fp1

p3q2 = f

p2

p3

P. Alvarado — TEC — 2017 Formacion de Imagenes 13 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Estenoscopio

En coordenadas homogeneas 2D:

qh

=

fp1

fp2

p3

= K

p1

p2

p3

=

f 0 00 f 00 0 1

p1

p2

p3

y en coordenadas euclıdeas en la imagen

q =

[q1

q2

]=

[fp1/p3

fp2/p3

]

P. Alvarado — TEC — 2017 Formacion de Imagenes 14 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Centrado del sensor

Matriz K puede incluir traslacion del origen del plano de imagen(sensor):

qh

=

fp1 + c1p3

fp2 + c2p3

p3

= K

p1

p2

p3

=

f 0 c1

0 f c2

0 0 1

p1

p2

p3

con lo que en coordenadas euclıdeas

q =

[q1

q2

]=

[fp1/p3 + c1

fp2/p3 + c2

]Ası, el punto x′ en el SCU es mapeado al punto q en el plano deimagen con:

qh

= KEx′h = K[R | t]x′h

P. Alvarado — TEC — 2017 Formacion de Imagenes 15 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Proyeccion central

Si f < 0 → proyeccion central

Modelo de proyeccion central. (Jahne 2005)

P. Alvarado — TEC — 2017 Formacion de Imagenes 16 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Distorsiones opticas

Lentes reales distorsionan proyeccion

Distorsiones usuales: radial y tangencial

Sin distorsion Barril Cojın

P. Alvarado — TEC — 2017 Formacion de Imagenes 17 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Modelo de Brown-Conrady

Hasta ahora, el modelo estenopeico

q = KEp

Modelo de correccion de distorsion de Brown-Conrady:q = KD−1(D(Ep))

Sea pd

= D(Ep) punto distorsionado con pd

= [xd , yd ]T ;rd = ‖p

d‖2

Sea pu

= [xu, yu]T = D−1(pd

)

P. Alvarado — TEC — 2017 Formacion de Imagenes 18 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Modelo de Brown-Conrady

Correccion de distorsion

xu = xd1 + k1r

2d + k2r

4d + k3r

6d

1 + k4r2d + k5r4

d + k6r6d

+ 2p1xdyd + p2(r2d + 2x2

d )

yu = yd1 + k1r

2d + k2r

4d + k3r

6d

1 + k4r2d + k5r4

d + k6r6d

+ p1(r2d + 2y2

d ) + 2p2xdyd

Otros terminos permiten modelar distorsiones de prismasdelgados, condicion de Scheimpfug), etc.

P. Alvarado — TEC — 2017 Formacion de Imagenes 19 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Modelo de lente gruesa

Lentes reales tiene rangos limitados de enfoqueEstenoscopio no modela ese fenomenoLente gruesa: Plano focal se reemplaza por dos planosprincipalesPuntos principales P1 y P2: interseccion de planos con ejeoptico

p1p2

F1 F2

sistema óptico

rayos de luz paralelos

punto focal

puntosprincipales

distancia focal anterior

distancia focal efectivadistancia focal efectiva

rayos de luz paralelos

distancia focal posterior

d'

x

F

X

P P F1 1 2 2

ffd

objetosistemaóptico imagen

Jahne 2005

P. Alvarado — TEC — 2017 Formacion de Imagenes 20 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Modelo de lente gruesa (2)

p1p2

F1 F2

sistema óptico

rayos de luz paralelos

punto focal

puntosprincipales

distancia focal anterior

distancia focal efectivadistancia focal efectiva

rayos de luz paralelos

distancia focal posterior

d'

x

F

X

P P F1 1 2 2

ffd

objetosistemaóptico imagen Jahne 2005

P. Alvarado — TEC — 2017 Formacion de Imagenes 21 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Modelo de lente gruesa (3)

Ecuacion de imagen de Newton:

dd ′ = f 2

d : distancia de objeto a su punto focald ′: distancia del plano de imagen a su punto focalf : distancia entre punto principal y su correspondiente puntofocal (distancia focal efectiva)

en Forma de Gauss

1

d ′ + f+

1

d + f=

1

f

P. Alvarado — TEC — 2017 Formacion de Imagenes 22 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Profundidad de foco y de campo

Si objeto o plano de imagen se desplazan hacia adelante oatras, imagen se difumina.

Tamano finito de pıxel ε permite un rango de enfoque

Sea numero f nf = f /2r con 2r el diametro de apertura. Eldiametro de cırculo de confusion (CoC) es entonces

ε =1

2nf

f

f + d ′∆x3

∆x3: distancia al plano enfocado de imagen.[d ′ −∆x3, d

′ + ∆x3]: profundidad de foco (radio de disco dedifuso < ε)Profundidad de campo: rango de distancias de objeto condisco difuso < ε

P. Alvarado — TEC — 2017 Formacion de Imagenes 23 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Profundidad de foco y de campo

∆x3∆x3

ε

fd’

objeto diafragma imagen

profundidad de foco

objeto diafragma imagen

profundidad de campo

discodifuso

Jahne 2005P. Alvarado — TEC — 2017 Formacion de Imagenes 24 / 34

CamaraSensores

Estenoscopio y Proyeccion CentralDistorsionProyeccion con el modelo de lente gruesaProfundidad de foco y de campo

Profundidad de foco y de campo

∆x3 = 2nf

(1 +

d ′

f

)ε = 2nf (1 + ml) ε

∆X3 ≈ 2nf

(1 + ml

m2l

)ε; para ∆X3 � d

ml =f

d=

d ′

fmagnificacion lateral

P. Alvarado — TEC — 2017 Formacion de Imagenes 25 / 34

CamaraSensores

4. Sensores

P. Alvarado — TEC — 2017 Formacion de Imagenes 26 / 34

CamaraSensores

Dos tecnologıas dominantes: CMOS y CCD

CCD

+ Calidad de imagen

+ Sensitividad de luz

+ Bajo ruido de lectura

+ Obturador globalperfecto

CMOS

+ Alta velocidad

+ Integracion en-chip

+ Bajo costo de fabricacion

+ Innovacion en CMOS

− Video: Rolling shutter

John Hess: Video: La ciencia de sensores de camaras

Video: CMOS vs CCD

P. Alvarado — TEC — 2017 Formacion de Imagenes 27 / 34

CamaraSensores

Tecnologıas

Progressive scan or interlaced

CMOS (Complementary Metal-Oxyde Semiconductor)

Video: Panasonic CMOS Image sensor

CCD (Charged Coupled Device)Video: Introduccion de Bill Hammack

Interline transferFrame transferFull frame

P. Alvarado — TEC — 2017 Formacion de Imagenes 28 / 34

CamaraSensores

Todos los mercados

P. Alvarado — TEC — 2017 Formacion de Imagenes 29 / 34

CamaraSensores

El mercado de vision industrial

P. Alvarado — TEC — 2017 Formacion de Imagenes 30 / 34

CamaraSensores

Filtros Bayer

¿Como capturar color?

P. Alvarado — TEC — 2017 Formacion de Imagenes 31 / 34

CamaraSensores

Buses comercialesCamaras industriales

Camera Link

IEEE 1394 (Firewire)

Giga Ethernet

USB 2.0 y 3.0

P. Alvarado — TEC — 2017 Formacion de Imagenes 32 / 34

CamaraSensores

Resumen

z

x y

y’

x’

Fuente de energıa

Imagen/SensorObjeto Camara

P. Alvarado — TEC — 2017 Formacion de Imagenes 33 / 34

CamaraSensores

Este documento ha sido elaborado con software libre incluyendo LATEX, Beamer, GNUPlot, GNU/Octave, XFig,Inkscape, LTI-Lib-2, GNU-Make y Subversion en GNU/Linux

Este trabajo se encuentra bajo una Licencia Creative Commons Atribucion-NoComercial-LicenciarIgual 3.0 Unpor-ted. Para ver una copia de esta Licencia, visite http://creativecommons.org/licenses/by-nc-sa/3.0/ o envıeuna carta a Creative Commons, 444 Castro Street, Suite 900, Mountain View, California, 94041, USA.

© 2005-2017 Pablo Alvarado-Moya Area de Ingenierıa en Computadores Instituto Tecnologico de Costa Rica

P. Alvarado — TEC — 2017 Formacion de Imagenes 34 / 34