Download - Classe 5 Visió
20391: Visió per ComputadorApunts de l’assignatura
Jordi Vitrià 20391: Visió per Computador 1
Classe 5
Visió Binocular
20391: Visió per ComputadorApunts de l’assignatura
Si adquirim dues imatges simultànies del món des de dos punts de vista (lleugerament) diferent, llavors les imatges són (lleugerament) diferents!
Jordi Vitrià 20391: Visió per Computador 2
Quina avantatge pot tenir el fet d’adquirir simultàniament dues imatges lleugerament diferents?
20391: Visió per ComputadorApunts de l’assignatura
El sistema visual humà té un camp visual horitzontal de 200º i vertical de 135º.
Jordi Vitrià 20391: Visió per Computador 3
Figure shows a plot of the field of view using the head as the coordinate system. The two shaded regions represent the view from the left eye and the right eye respectively. The darker shaded region represents the region of binocular overlap. The oval in the center represents the region where the ocular muscles can point the high resolution fovea region of the eyes. The region where high resolution vision can occur simply by pointing the eyes relative to the head covers a wide field of view. In terms of resolution expressed as pixels, assuming the nominal resolution of the fovea region as 1 arc minute, the region of high resolution vision is equivalent to 24 million pixels.
20391: Visió per ComputadorApunts de l’assignatura
El sistema visual humà segons R.Descartes, Tractatus de Homine, 1664.
Com pot ser que només percebem una imatge?
Jordi Vitrià 20391: Visió per Computador 4
20391: Visió per ComputadorApunts de l’assignatura
El sistema visual humà.Com pot ser que només percebem una imatge?
Jordi Vitrià 20391: Visió per Computador 5
20391: Visió per ComputadorApunts de l’assignatura
El sistema visual humà.Com pot ser que només percebem una imatge?
Jordi Vitrià 20391: Visió per Computador 6
20391: Visió per ComputadorApunts de l’assignatura
Jordi Vitrià 20391: Visió per Computador 7
20391: Visió per ComputadorApunts de l’assignatura
Jordi Vitrià 20391: Visió per Computador 8
20391: Visió per ComputadorApunts de l’assignatura
Jordi Vitrià 20391: Visió per Computador 9
20391: Visió per ComputadorApunts de l’assignatura
Visió BinocularLa determinació de la posició 3D d’un punt de l’escena a partir de la seva projecció en dues imatges presenta dues problemàtiques:
• El problema de la reconstrucció , o a partir de les projeccions determinar la seva situació a
Jordi Vitrià 20391: Visió per Computador 10
les projeccions determinar la seva situació a l’escena.
• Paràmetres de les càmares.• Calibració.
• El problema de la correspondència , o determinar automàticament les parelles de projeccions de cada punt visible.
• Semblança i no identitat.• Oclusions.
20391: Visió per ComputadorApunts de l’assignatura
Visió Binocular: Variables (model simple – vergència simètrica).
P(x,y,z) ó (xl,yl,zl) ó (xr,yr,zr)
α α
Jordi Vitrià 20391: Visió per Computador 11
OlOr
XlXr
f f
Zl
Yl
Zr
Yr
d
Z
(X,Y,Z)
Pl(x’l,y’l)
Pl(x’r,y’r)
20391: Visió per ComputadorApunts de l’assignatura
Visió Binocular: Variables (model simple –vergència simètrica).
−+
−=
z
y
fd
x
z
y
x )sin(2
)cos(0)sin(
010
)sin(0)cos(
1
1
1α
αα
αα
+−
−=
z
y
fd
x
z
y
x )sin(2
)cos(0)sin(
010
)sin(0)cos(
2
2
2α
αα
αα
Jordi Vitrià 20391: Visió per Computador 12
)(
)(
'
'
i
ii
i
ii
zf
fyy
zf
fxx
−=
−=
20391: Visió per ComputadorApunts de l’assignatura
Visió Binocular: Variables (model simple –vergència simètrica).
Hi ha 10 equacions i 9 incògnites, lo qual restringeix el conjunt de solucions: la línia epipolar.
PP
pp
L R
Jordi Vitrià 20391: Visió per Computador 13
Pla Epipolar: definit per Or , Ol i P
OOrr
pprrppll
OOll
Línies epipolars: Projecció a r de la línia
que passa per P i pl
eell
Epipols
eerr
20391: Visió per ComputadorApunts de l’assignatura
Visió Binocular: Variables (model simple –eixos òptics paral·lels).
PP
Jordi Vitrià 20391: Visió per Computador 14
OOll OOrr
dd
ZZ
x’x’ll x’x’rr
ff
20391: Visió per ComputadorApunts de l’assignatura
Visió Binocular: Variables (model simple –eixos òptics paral·lels).
Com que α és zero, llavors la profunditat (f-z) és
)( '' xx
fdzf
−=− d
fZ ≈
Jordi Vitrià 20391: Visió per Computador 15
La profunditat és inversament proporcional a la
diferència en coordenades x, que s’anomena disparitat .
)( ''
lr xxzf
−=−
dxfZ ≈
20391: Visió per ComputadorApunts de l’assignatura
Vista Esquerra Vista Dreta
Jordi Vitrià 20391: Visió per Computador 16
Vista Esquerra Vista Dreta
Disparitat
20391: Visió per ComputadorApunts de l’assignatura
La distància entre l’observador i un objecte està directament (inversament proporcional) relacionada amb la disparitat!
Jordi Vitrià 20391: Visió per Computador 17
20391: Visió per ComputadorApunts de l’assignatura
Precisió en el càlcul de Z
Z2
Dos punts de vista
∂Z1
Z1
Ol Or
• Precisió (Resolució) vs. Separació entre càmares (d)– Error en z ∝ 1/d– PROS de separar-les més,
• Millor estimació de la profunditat
– CONTRES
Jordi Vitrià 20391: Visió per Computador 18
∂Z2>∂Z1
– CONTRES• menor FOV (Field of View) comú• Correspondència més difícil degut a
oclusions
• Precisió (Resolució) vs. Profunditat– Disparitat (>0) ∝ 1/Profunditat– Error Profunditat ∝ Profunditat2
– Com més a prop del punt, més precisió. )(Z
2
dxfd
Z ∂=∂
dx
dfZ =
20391: Visió per ComputadorApunts de l’assignatura
FOVEstèreo amb Eixos Paral·lels. – Línia de Base curta
• Camp visual (FOV) comú gran.• Errors de profunditat grans.
Geometria i error
Jordi Vitrià 20391: Visió per Computador 19
Esquerra Dreta
• Errors de profunditat grans.
– Línia de Base llarga• Camp visual (FOV) comú petit.• Errors de profunditat petits.• Oclusions!
20391: Visió per ComputadorApunts de l’assignatura
Estèreo amb Eixos Paral·lels. – Línia de Base curta
• Camp visual (FOV) comú gran.• Errors de profunditat grans.
FOV
Geometria i error
Jordi Vitrià 20391: Visió per Computador 20
• Errors de profunditat grans.
– Línia de Base llarga• Camp visual (FOV) comú petit.• Errors de profunditat petits.• Oclusions!
Esquerrra Dreta
20391: Visió per ComputadorApunts de l’assignatura
Estèreo amb càmares convergents. • Els dos eixos òptics convergeixen al Punt de Fixació .
– Angle de convergència θ– El FOV comú creix.
• Propietats de la disparitat– Usem l’angle en lloc de la distància.– Disparitat zero al punt d fixació.
• I a l’horòpter!
FOV
θθθθ
Punt de Fixació
Geometria i error
Jordi Vitrià 20391: Visió per Computador 21
• I a l’horòpter!
– La disparitat augmenta en relació a la distància al punt de fixació.
• >0 : més enllà de l’horòpter• <0 : abans de l’horòpter
• Precisió vs. Profunditat– Error ∝ Profunditat2
– Com més a prop el punt, millor
Esquerra Dreta
20391: Visió per ComputadorApunts de l’assignatura
Estèreo amb càmares convergents. • Els dos eixos òptics convergeixen al Punt de Fixació .
– Angle de convergència θ– El FOV comú creix.
• Propietats de la disparitat– Usem l’angle en lloc de la distància.– Disparitat zero al punt de fixació.
• I a l’horòpter!
Punt de
Fixació
Horòpter
Geometria i error
Jordi Vitrià 20391: Visió per Computador 22
• I a l’horòpter!
– La disparitat augmenta en relació a la distància al punt de fixació.
• >0 : més enllà de l’horòpter• <0 : abans de l’horòpter
• Precisió vs. Profunditat– Error ∝ Profunditat2
– Com més a prop el punt, millor
Esquerra Dreta
ααααl ααααr
ααααr = ααααl
dα α α α = 0
20391: Visió per ComputadorApunts de l’assignatura
Estèreo amb càmares convergents. • Els dos eixos òptics convergeixen al Punt de Fixació .
– Angle de convergència θ– El FOV comú creix.
• Propietats de la disparitat– Usem l’angle en lloc de la distància.– Disparitat zero al punt d fixació.
• I a l’horòpter!
Punt de Fixació
Horòpter
Geometria i error
Jordi Vitrià 20391: Visió per Computador 23
• I a l’horòpter!
– La disparitat augmenta en relació a la distància al punt de fixació.
• >0 : més enllà de l’horòpter• <0 : abans de l’horòpter
• Precisió vs. Profunditat– Error ∝ Profunditat2
– Com més a prop el punt, millor
Esquerra Dreta
ααααl ααααr
ααααr > ααααl
dα α α α > 0
20391: Visió per ComputadorApunts de l’assignatura
Estèreo amb càmares convergents. • Els dos eixos òptics convergeixen al Punt de Fixació .
– Angle de convergència θ– El FOV comú creix.
• Propietats de la disparitat– Usem l’angle en lloc de la distància.– Disparitat zero al punt d fixació.
• I a l’horòpter!
Punt de Fixació
Horòpter
Geometria i error
Jordi Vitrià 20391: Visió per Computador 24
• I a l’horòpter!
– La disparitat augmenta en relació a la distància al punt de fixació.
• >0 : més enllà de l’horòpter• <0 : abans de l’horòpter
• Precisió vs. Profunditat– Error ∝ Profunditat2
– Com més a prop el punt, millor
Esquerra Dreta
ααααL
ααααr
ααααr < ααααl
dα α α α < 0
20391: Visió per ComputadorApunts de l’assignatura
Estèreo amb càmares convergents. • Els dos eixos òptics convergeixen al Punt de Fixació .
– Angle de convergència θ– El FOV comú creix.
• Propietats de la disparitat– Usem l’angle en lloc de la distància.– Disparitat zero al punt d fixació.
• I a l’horòpter!
Punt de Fixació
Geometria i error
Jordi Vitrià 20391: Visió per Computador 25
• I a l’horòpter!
– La disparitat augmenta en relació a la distància al punt de fixació.
• >0 : més enllà de l’horòpter• <0 : abans de l’horòpter
• Precisió vs. Profunditat– Error ∝ Profunditat2
– Com més a prop el punt, millor
Esquerra Dreta
ααααl ααααr
∆(∆(∆(∆(dα) ?α) ?α) ?α) ?
20391: Visió per ComputadorApunts de l’assignatura
Estèreo amb càmares convergents. • Els dos eixos òptics convergeixen al Punt de Fixació .
– Angle de convergència θ– El FOV comú creix.
• Propietats de la disparitat– Usem l’angle en lloc de la distància.– Disparitat zero al punt d fixació.
• I a l’horòpter!
Punt de Fixació
Horòpter
Geometria i error
Jordi Vitrià 20391: Visió per Computador 26
• I a l’horòpter!
– La disparitat augmenta en relació a la distància al punt de fixació.
• >0 : més enllà de l’horòpter• <0 : abans de l’horòpter
• Precisió vs. Profunditat– Error ∝ Profunditat2
– Com més a prop el punt, millor
Esq Dreta
ααααl ααααr
∆(∆(∆(∆(dα) ?α) ?α) ?α) ?
20391: Visió per ComputadorApunts de l’assignatura
El problema de la recerca de la correspondència .
Jordi Vitrià 20391: Visió per Computador 27
20391: Visió per ComputadorApunts de l’assignatura
El problema de la recerca de la correspondència .
Jordi Vitrià 20391: Visió per Computador 28
A vegades funciona... I a vegades no...
20391: Visió per ComputadorApunts de l’assignatura
Ocult per la imatge R Ocult per la imatge L
El problema de la recerca de la correspondència .
Jordi Vitrià 20391: Visió per Computador 29
L R
20391: Visió per ComputadorApunts de l’assignatura
El problema de la recerca de la correspondència .
Jordi Vitrià 20391: Visió per Computador 30
==??
ff gg
20391: Visió per ComputadorApunts de l’assignatura
El problema de la recerca de la correspondència (dins de la línia epipolar!).
• Mètodes basats en l’àrea (finestres lliscants).• Criteris de semblança.• Algorisme robust.
Jordi Vitrià 20391: Visió per Computador 31
• Mètodes basats en la correspondència de punts característics (contorns, cantonades, etc).
• És més ràpid.• És més robust.• No és dens.
20391: Visió per ComputadorApunts de l’assignatura
El problema de la recerca de la correspondència: Mètodes basats en la correspondència de punts característics
Imatge Esquerra
Cantonada Línea
Jordi Vitrià 20391: Visió per Computador 32
Estructura
20391: Visió per ComputadorApunts de l’assignatura
El problema de la recerca de la correspondència: Mètodes basats en la correspondència de punts característicsImatge dreta
Cantonada Línia
Jordi Vitrià 20391: Visió per Computador 33
Estructura
20391: Visió per ComputadorApunts de l’assignatura
El problema de la recerca de la correspondència (dins de la línia epipolar).
Equacions
Disparitat
∑ ∑ ++++++=−= −=
W
Wk
W
Wlllrlll ldyykdxxIlykxIdydxc )),(),,((),( ψ
)},({maxarg),( dydxcydxd ==d
Jordi Vitrià 20391: Visió per Computador 34
Disparitat
Cross-Correlation
Sum of Square Difference (SSD)
Sum of Absolute Difference(SAD)(té avantatges computacionals)
)},({maxarg),( dydxcydxdR∈
==d
d
uvvu =Ψ ),(
2)(),( vuvu −−=Ψ
||),( vuvu −−=Ψ
20391: Visió per ComputadorApunts de l’assignatura
El problema de la recerca de la correspondència (dins de la línia epipolar).
La mida de la finestra és important!Els mètodes no respondran igual!
Jordi Vitrià 20391: Visió per Computador 35
20391: Visió per ComputadorApunts de l’assignatura
El problema de la recerca de la correspondència (dins de la línia epipolar).
Algorisme per comparar finestres.Sigui una finestra quadrada de nxn pixels. Sigui min=9 i
max = 19.
Jordi Vitrià 20391: Visió per Computador 36
max = 19.
1. n ← np
2. Calculem c(dx,dy) pels punts candidats.
3. Si c(dx,dy) té un únic mínim tal que c(dx,dy)<T1,
llavorts ja hem trobat el punt corresponent.
4. Si min{c(dx,dy) }>T2, llavors no hi ha
correspondència.
5. En els altres casos, si hem arribat a max, no hi ha punt
corresponent. Si n<max, llavors n ← n+2 i anem a (2).
20391: Visió per ComputadorApunts de l’assignatura
Jordi Vitrià 20391: Visió per Computador 37
20391: Visió per ComputadorApunts de l’assignatura
Jordi Vitrià 20391: Visió per Computador 38
20391: Visió per ComputadorApunts de l’assignatura
Jordi Vitrià 20391: Visió per Computador 39
20391: Visió per ComputadorApunts de l’assignatura
Jordi Vitrià 20391: Visió per Computador 40
20391: Visió per ComputadorApunts de l’assignatura
Algorisme de Malik&Jones per visió binocular.
El Problema de la correspondència:
(a) Quines son les característiques a comparar?(b) Com les comparem?(c) Han de ser especials o compatibles amb d'altres
Jordi Vitrià 20391: Visió per Computador 41
(c) Han de ser especials o compatibles amb d'altresprocessos visuals (textura, moviment)?
Pixels → contorns → àrees → respostes de bancs de filtres.
20391: Visió per ComputadorApunts de l’assignatura
Algorisme de Malik&Jones per visió binocular.
El conjunt de respostes d'un banc de ltres en un punt caracteritza una regió de la imatge amb un conjunt de valors al punt. (Aproximacio de Taylor: ...)
Jordi Vitrià 20391: Visió per Computador 42
20391: Visió per ComputadorApunts de l’assignatura
Algorisme de Malik&Jones per visió binocular.
Els filtres son wxw amb w = {3; 5; 7; 10; 14; 20; 28}Es pot demostrar que amb aquest conjunt de filtres
podem reconstrïr una imatge força bé.
Jordi Vitrià 20391: Visió per Computador 43
20391: Visió per ComputadorApunts de l’assignatura
Algorisme de Malik&Jones per visió binocular.
Com comparem les respostes?
Jordi Vitrià 20391: Visió per Computador 44
20391: Visió per ComputadorApunts de l’assignatura
Algorisme de Malik&Jones per visió binocular.
Norma més robusta:
∑ ∂+∂+⊗−⊗=k
rklkm yyxxIAyxIAe ),(),(
Jordi Vitrià 20391: Visió per Computador 45