capitolul - pub.rocampus.pub.ro/lab7/bionescu/index_files/gcc/items_modul... · 2018. 1. 6. ·...
TRANSCRIPT
Capitolul 1Modulul 3: Calibrarea geometri a amerei
2CAPITOLUL 1. MODULUL 3: CALIBRAREA GEOMETRIC� ACAMEREI
Cuprins1 Modulul 3: Calibrarea geometri a amerei 11.1 Introdu ere model geometri al amerei . . . . . . . . . . . . . 31.1.1 Proie µia de perspe tiv . . . . . . . . . . . . . . . . . 41.1.2 Proie µia a�n . . . . . . . . . . . . . . . . . . . . . . . 71.2 Parametrii intrinse i ³i extrinse i . . . . . . . . . . . . . . . . 81.2.1 Sisteme de oordonate . . . . . . . . . . . . . . . . . . 81.2.2 Transformarea sistemului de oordonate . . . . . . . . 111.2.3 Parametrii geometri i ai amerei . . . . . . . . . . . . . 181.3 Calibrarea geometri a amerei . . . . . . . . . . . . . . . . . 241.3.1 Estimarea parametrilor din perspe tiva metodei elormai mi i p trate . . . . . . . . . . . . . . . . . . . . . 251.3.2 O abordare liniar a problemei alibr rii amerei . . . 351.3.3 Calibrarea amerei luând în al ul distorsiunile radiale 381.3.4 Exemplu pra ti de metod de alibrare . . . . . . . . 431.1 Introdu ere model geometri al amereiModul de formare al unei imagini opti e într-un dispozitiv spe i� de ap-tare a informaµiei vizuale, ³i ai i ne referim atât la dispozitivele arti� ialeele troni e ("imaging devi es") ât ³i la ele biologi e (o hiul uman), estebazat pe aptarea ³i fo alizarea razelor de lumin . Astfel, imaginea opti per eput nu este alt eva de ât o proie µie a lumii în onjur toare, in�nit spaµial ³i spe tral, pe o suprafaµ limitat . Suprafaµa de proie µie poate di-feri de la dispozitiv la dispozitiv. De exemplu, o amer foto va proie talumina pe �e are unitate spaµial a unui plan (formând eea e numim pixelisau "pi ture elements"), retina uman este mai aproape de o form sferi , amerele foto panorami e foloses o suprafaµ de proie µie ilindri , ³i a³amai departe. S opul a estui apitol este a ela de a adu e în dis uµie proble-mati a model rii geometri e a modului de formare al unei imagini. În a estsens vom porni expunerea de la un model simpli at ³i anume el al "pinhole
4 CUPRINS amera", model are st la baza evoluµiei tuturor dispozitivelor de aptarea tuale. Informaµiile prezentate în a est apitol urm res modul de expunereal a estora din [1℄.1.1.1 Proie µia de perspe tiv Un model simplu al geometriei imaginii e ofer totu³i o serie de avantajedin perspe tiva modelului matemati aso iat, este el al "pinhole amera".În iuda ipotezelor restrânse, a est model se dovede³te a � o aproximarea eptabil în multe dintre apli aµiile spe i� e.Modelul poate � des ris astfel: având la dispoziµie o utie în his , folosimun a pentru a perfora un ori� iu mi în entrul uneia dintre suprafeµelea esteia, iar pe suprafaµa opus în interior poziµion m o pla translu id 1.Da într-o amer întune at poziµionam în faµa ori� iului utiei o surs delumin , vom observa faptul pe pla a translu id se va proie ta o imaginer sturnat . Pro esul este ilustrat în Figura 1.1 ³i poarta numele de proie µiede perspe tiv .imagine virtuală
plan imagine
Figura 1.1: Modelul "pinhole amera" (surs imagine Wikipedia).Da ori� iul este redus la un pun t ( az ipoteti ), atun i �e are pun tdin planul imaginii va � generat de o singur raz de lumin . Cum ori� iulare în realitate o dimensiune �nit , dar totu³i foarte redus , �e are pun t dinplanul imaginii va � în realitate obµinut prin proie µia unui on de raze. Mai1translu id se refer la un material parµial transparent, e poate � str b tut de unfas i ul de lumin pe are îl împr ³tie parµial, astfel în ât, privind orpul sau mediul res-pe tiv nu pot � distinse ontururile sau detaliile obie telor a�ate de partea opus (de�niµieDi tionarul Expli ativ al Limbii Române).
1.1. INTRODUCERE MODEL GEOMETRIC AL CAMEREI 5mult, imaginea reat este r sturant , astfel uneori este mai onvenabil s �e onsiderat o imagine virtual , e este aso iat unui plan e se a� în faµaori� iului, la o distanµ egal u ea faµ de planul imaginii real. Imagineavirtual este astfel e hivalent imaginii reale (vezi Figura 1.1).Ox
d dd
obiect A
obiect B
obiect A
obiect B
plan imagine
Ox
plan imagine
linia Alinia B
linia A
linia B
x
x
xx
x
x
x
xx
linia C
¥
Figura 1.2: Exemple de aberaµii opti e spe i� e proie µiei de perspe tiv .Proie µia de perspe tiv , datorit ipotezelor simpli� ate, ondu e la oserie de aberaµii opti e. Una dintre ele mai semni� ative dintre a esteaeste faptul dimensiunea aparent a obie telor depinde de distanµ . Deexemplu, în Figura 1.2 (imaginea de sus) se observ faptul dou obie tede dimensiuni diferite (obie tul B este aproximativ de dou ori mai marede ât obie tul A), dar a�ate la distanµe diferite, sunt proie tate în planulimaginii la dimensiuni similare. Alt efe t nedorit este a ela liniile paraleleproie tate în planul imaginii par s se interse teze (vezi imaginea de jos
6 CUPRINSdin Figura 1.2). De asemenea, linia C a�at într-un plan paralel u planulimaginii e tre e prin O nu poate avea proie µie.Pentru a determina e uaµiile e realizeaz orespondenµa între oordona-tele pun telor �zi e la nivelul obie telor din s en ³i proie tiile a estora înplanul imagini se va lua în onsiderare sistemul de oordonate de�nit de a-mer . Fie (O, i, j,k) sistemul de oordonate ata³at ori� iului O, unde i, j ³ik reprezint versorii bazei2 iar Π reprezint planul imaginii ales astfel în âts �e perpendi ular pe axa de�nit de k3 e se a� la o distanµ f de O.De notat faptul planul Π poart în general denumirea de retin iar liniaperpendi ular pe Π e tre e prin ori� iul O poart denumirea de ax opti .Pun tul A în are a easta interse teaz planul Π poart numele de entrulimaginii. A esta joa un rol important în pro esul de alibrare putând �ales drept origine a sistemului de oordonate al imaginii. Notaµiile de maisus sunt ilustrate în Figura 1.3.
plan imagine P
Ox
ii
k
j
Axx
f
P(x,y,z)
P’(x’,y’,z’)
x
x
Figura 1.3: Modelul geometri al proie µiei de perspe tiv .Da not m u P un pun t din s ena real de oordonate (x, y, z) ³i P ′proie µia a estuia în planul imaginii Π, de oordonate (x′, y′, z′), datorit oliniarit µii pun telor P , O ³i P ′ putem dedu e faptul −−→OP ′ = λ · −→OP ,unde λ este o onstant oare are. Astfel, putem dedu e mai departe relaµiadintre proie µiile pe �e are ax a �ind x′ = λ · x, y′ = λ · y ³i respe tiv2ve tori ortogonali de amplitudine unitar e de�nes de regul un sistem de oordo-nate, a de exemplu sistemul Cartezian.3pe par ursul întregii lu r ri, în azul în are nu este spe i� at expli it prin intermediulunei s geµi (exemplu −−−−→
vector), ve torii vor � reprezentaµi u litere îngro³ate (exemplu k).
1.1. INTRODUCERE MODEL GEOMETRIC AL CAMEREI 7z′ = λ · z. Cu alte uvinte, raporturile între oordonate sunt onstante:
λ =x′
x=
y′
y=
z′
z(1.1)Ad ugând faptul z′ = f , obµinem urm toarele relaµii pentru x′ ³i y′:
x′ = f · xz, y′ = f · y
z(1.2)A este e uaµii onstituie proie µia de perspe tiv a oordonatelor pun tului
P din s ena real în planul imaginii.1.1.2 Proie µia a�n O alt aproximare a geometriei imaginii o onstituie modelele de proie µiea�n . Pentru a easta, pe lâng planul imaginii,Π, vom onsidera un al doileaplan Π0, paralel u Π, are se a� în faµa entrului O la distanµa z0 (un num rpozitiv). Pro esul este ilustrat în Figura 1.4.
plan imagine P
Ox
ii
k
j
Ax
f
P
P’
x
x
plan paralel P
Ax
x
Q
Q’x
-z0
0Figura 1.4: Modelul geometri al proie µiei a�ne.Astfel, da relu m e uaµia 1.2, atun i a easta devine:x′ = −f · x
z0, y′ = −f · y
z0(1.3)unde minusul provine de la faptul planul Π0 se a� în faµa originii siste-mului de referinµ ata³at ori� iului O, pe axa negativ . Notând u m = f
z0
8 CUPRINSfa torul de ampli� are al sistemului (o valoare pozitiv ), atun i putem re-s rie:x′ = −m · x, y′ = −m · y (1.4)A est parametru este important pentru a realiza orespondenµa între dimen-siunile reale ale obie telor din s en ³i dimensiunea obie telor obµinut dinproie µia a estora în planul imagine. A est lu ru reiese din urm torul expe-riment. Da pe lâng pun tele P ³i P ′ onsider m pun tul Q în planul Π0³i imaginea a estuia Q′ în planul imagine Π, ve torii −→PQ ³i respe tiv −−→
P ′Q′�ind paraleli, se poate dedu e faptul |−−→P ′Q′| = m · |−→PQ|, unde operatorul|.| desemneaz norma unui ve tor. Cu alte uvinte, dimensiunea segmentuluiPQ este ampli� at în modul u m în planul imaginii.Da parametrul m este osiderat onstant, atun i avem de-a fa e u unmodel de perspe tiv slab ("weak perspe tive"), situaµie e orespunde înrealitate azului în are adân imea s enei este mi în omparaµie u distanµafaµ de amer . Da prin normalizarea oordonatelor imagini obµinem m =−1, atun i modelul obµinut poart numele de proie µie ortogra� ³i în a est az x′ = x ³i y′ = y. A est lu ru semni� faptul toate razele de lumin eproie teaz pun tele din planul Π0 în planul imagine Π sunt paralele u axaversorului k. Imaginea obµinut p streaz dimensiunile obie telor iniµiale.Evident a est model este nerealisti , dar totu³i î³i g se³te apli aµie înanumite situaµii.1.2 Parametrii intrinse i ³i extrinse iPentru a putea analiza me anismul de proie µie al �gurilor geometri e dins ena real în planul imaginii este nevoie de de�nirea unui anumit formalismmatemati . În ele e urmeaz vom introdu e o serie de noµiuni de geome-trie Eu lidiana analiti e sunt ne esare pentru a putea des rie pro esul demodelare geometri a amerelor [1℄.1.2.1 Sisteme de oordonateDa dispunem de un anumit pun t O din spaµiu ³i onsider m trei ve toriunitate, i, j ³i k e sunt �e are perpendi ulari unul pe el lalt, atun i putemde�ni un sistem ortonormal de oordonate (F ) a �ind vadruplul (O, i, j,k).În a est az este evident faptul pun tul O reprezint originea sistemuluiiar ve torii i, j ³i k reprezint ve torii baz sau versori (vezi Se µiunea 1.1.1).Pentru de�nirea sistemelor de oordonate vom folosi prin ipiul mâiniidrepte, astfel ve torii i, j ³i k vor � onsideraµi a � ata³aµi degetelor
1.2. PARAMETRII INTRINSECI �I EXTRINSECI 9mâinii drepte în ipostaza în are degetul mare indi în sus, degetul ar t torarat în faµ iar degetul din mijlo indi în stânga. Pro esul este ilustrat înFigura 1.5. A east onvenµie ondu e la urm toarele identit µi:i× j = k, j× k = i, k× i = j (1.5)unde × denot produsul ve torial.j
ii
k
O
xP( )x,y,z
x
y
z
Figura 1.5: Prin ipiul mâinii drepte în de�nirea sistemelor de oordonate.Este bine ³tiut faptul un pun t arbitrar P va � reprezentat în a estsistem de oordonate prin proie µiile ve torului −→OP pe ele trei axe, notatede regul u x, y ³i z. A estea sunt de�nite astfel:x =
−→OP · i, y =
−→OP · j, x =
−→OP · k (1.6)unde · reprezint de a east dat produsul s alar. A este e uaµii ondu las rierea ve torului −→OP a sum de proie µii, astfel:
−→OP = x · i+ y · j+ z · k (1.7)Sub form matri eal , se poate spune pun tul P este de�nit în sistemul
(F ) de ve torul de oordonate:P =
xyz
∈ R3 (1.8)Folosind a ela³i raµionament, se pot de�ni oordonatele ori rui ve tor libern în fun µie de lungimea proie µiilor a estuia pe ele trei axe.
10 CUPRINSMai departe, vrem s vedem um se de�ne³te un plan în sistemul de oordonate (F ). Pentru a easta onsider m urm torul s enariu: �e un planΠ, un pun t O din afara planului, un pun t arbitrar P onµinut de a esta ³iun ve tor unitate n perpendi ular pe Π (vezi Figura 1.6). Ve torul −−→OH esteperpendi ular pe Π ³i oliniar u n. Astfel, pun tele P din planul Π vor � ara terizate de −−→
HP · n = 0 (�ind perpendi ulare). Dar ve torul −−→HP poate� s ris a diferenµa dintre −→OP ³i −−→OH eea e ondu e la −→OP ·n−−−→
OH ·n = 0.Da lu m a referinµ sistemul de oordonate (F ) de�nit anterior în are x,y ³i z reprezint oordonatele pun tului P iar u a, b ³i c not m oordonateleve torului n, atun i obµinem urm toarea e uaµie:
a · x+ b · y + c · z − d = 0 (1.9)unde d =−→OP · n reprezint distanµa de la originea O la planul Π ³i esteindependent de alegerea lui P .
Ox
n
plan P
H
P
x
x
Figura 1.6: E uaµia unui plan într-un sistem de oordonate.Matri eal a est lu ru poate � s ris a un produs de doi ve tori:[a b c −d
]·
xyz1
= 0 (1.10)sau mai pe s urt:
ΠT ·P = 0 (1.11)
1.2. PARAMETRII INTRINSECI �I EXTRINSECI 11unde Π =
abc−d
, P =
xyz1
iar T reprezint transpusa unei matri e.E uaµia 1.11 reprezint e uaµia planului Π în sistemul de oordonate (F )unde (x, y, z, 1) reprezint oordonatele omogene ale pun tului P iar similar
(a, b, c,−d) reprezint oordonatele omogene ale planului Π. Se observ fap-tul reprezentarea în oordonate omogene impli ad ugarea unei a patravalori. Avantajul a estei notaµii va � ilustrat on ret în se µiunile urm toare.Coordonatele omogene pot � folosite la des rierea unor �guri geometri emai omplexe de ât un simplu pun t sau plan. S lu m exemplul unei sfereS de raz r, entrat în originea sistemului. Este bine unos ut faptul o ondiµie ne esar ³i su� ient a un pun t P de oordonate x, y ³i z s aparµin lui S o reprezint e uaµia x2 + y2 + z2 − r2 = 0. E uaµia e des riea east sfer în oordonate omogene se poate s rie a �ind:
[x y z 1
]·
1 0 0 00 1 0 00 0 1 00 0 0 −r2
·
xyz1
= 0 (1.12)Da generaliz m problema la o suprafaµ p trati , de�nit a lo ulgeometri al pun telor P al ror oordonate satisfa o e uaµie de tipul:
a · x2 + b · y2 + c · z2 + 2 · f · y · z + 2 · g · z · x+ 2 · h · x · y ++2 · p · x+ 2 · q · y + 2 · r · z + d = 0 (1.13)unde a, b, c, f , g, h, p, q, r ³i d sunt s alari, atun i e uaµia a esteia în oordonate omgene poate � s ris a �ind:
PT ·Q ·P (1.14)unde P =
xyz1
iar Q =
a h g ph b f qg f c rp q r d
este o matri e e de�ne³te supra-faµa. Se observ faptul a easta este de dimensiune 4× 4 ³i este simetri .1.2.2 Transformarea sistemului de oordonateÎn ele e urmeaz vom presupune existenµa mai multor sisteme de referinµ .În a east ipotez vrem s studiem problema tre erii de la un sistem de
12 CUPRINS oordonate la altul. Pentru a easta, vom de�ni urm toarea onvenµie denotaµie: �e (F ) un sistem de oordonate de�nit de vadruplul (O, i, j,k) (Oeste originea sistemului iar i, j ³i k sunt versorii bazei) ³i P un pun t dinspaµiu. Prin notaµia FP se va înµelege reprezentarea lui P în sistemul (F ) (seobserv faptul sistemul apare a supers ript în partea stâng ), ³i anume:FP =
−→OP (vezi e uaµia 1.7, unde x, y ³i z reprezint proie µiile pe �e aredintre axe).S onsider m în ontinuare dou sisteme de oordonate, (A) = (OA, iA,
jA, kA) ³i respe tiv (B) = (OB, iB, jB, kB) ³i pun tul P din spaµiu. Vrems reprezent m BP în sistemul (A) ³i anume în fun µie de AP .Translaµia. Pentru a easta s onsider m urm toarea ipotez simpli� at : ele dou sisteme au axele paralele, ³i anume iA = iB, jA = jB ³i kA = kBdar OA 6= OB. A east on�guraµie este ilustrat în Figura 1.7 ³i poart numele de translaµie pur .O
ii
k
j
xA
Oii
k
j
xB
A
A
A
B
B
B
xPFigura 1.7: Translaµia sistemului de oordonate.În a est az se observ faptul :−−−→OBP =
−−→OAP +
−−−−→OBOA (1.15)³i mai departe folosind notaµia de mai sus obµinem:
BP =A P +B OA (1.16) u alte uvinte, P reprezentat în sistemul de oordonate (B) se s rie a �indsuma dintre oordonatele lui P reprezentat în sistemul (A) ³i oordonatele entrului OA reprezentat în sistemul (B), rezultat de altfel intuitiv.
1.2. PARAMETRII INTRINSECI �I EXTRINSECI 13Rotaµia. Da revenim asupra ipotezei de axe paralele, ³i de a east dat onsider m originile elor dou sisteme a �ind omune, ³i anume OA =OB = 0, atun i obµinem o rotaµie pur . A east situaµie este ilustrat înFigura 1.8.
O
ii
k
j
x
A
A
A
xP
iiB
kB
jB
Figura 1.8: Rotaµia sistemului de oordonate.În a est az e uaµia 1.16 devine −→OP =B P =A P , eea e ondu e laurm toarea identitate:
Bx · iB +B y · jB +B z · kB =A x · iA +A y · jA +A z · kA (1.17)unde Bx, By ³i Bz reprezint proie µiile pun tului P în sistemul (B) (similaravem proie µiile în sistemul (A)). Da reprezent m e uaµia obµinut subform matri eal , obµinem:[iB jB kB
]·
BxByBz
=
[iA jA kA
]·
AxAyAz
(1.18)Da înmulµim de o parte ³i de alta în stânga u ve torul [ iB jB kB
]Tobµinem urm toarea e uaµie:
BxByBz
=
iB · iA iB · jA iB · kA
jB · iA jB · jA jB · kA
kB · iA kB · jA kB · kA
·
AxAyAz
(1.19)sau pres urtat:
BP =BA R ·A P (1.20)unde B
AR de�ne³te matri ea rotaµiei sistemului de oordonate (A) astfel în âts se suprapun peste sistemul (B).
14 CUPRINSDin modul de de�nire al lui BAR, se poate obseva faptul �e are oloan orespunde de fapt reprezent rii ve torilor iA, jA ³i respe tiv kA în sistemulde oordonate (B), în timp e �e are linie orespunde reprezent rii ve torilor
iB, jB ³i respe tiv kB în sistemul (A). Astfel putem res rie:BAR =
[BiA
BjABkA
]=
AiBT
AjBT
AkBT
(1.21)de unde reiese mai departe faptul A
BR =BA RT ³i anume: rotaµia sistemului
(B) astfel în ât s se suprapun peste (A) este transpusa rotaµiei sistemului(A) peste (B). De asemenea, se poate vedea faptul B
BR reprezint matri eaidentitate.De notat este faptul un set de matri e de rotaµie împreun u produsulmatri eal formeaz un grup, deoare e:• produsul a dou matri e de rotaµie este de asemenea o matri e de ro-taµie;• produsul a dou matri e de rotaµie este aso iativ, astfel (R ·R′) ·R′′ =R · (R′ · R′′) unde R, R′ ³i R′′ sunt matri e de rotaµie;
• matri ea unitate Id este element neutru deoare e R · Id = Id · R = R;• ori e matri e de rotaµie R admite o invers R−1 = RT astfel în âtR · R−1 = R−1 · R = Id;Totu³i grupul format nu are proprietatea de omutativitate, astfel în ge-neral R · R′ 6= R′ ·R.S onsideram în ontinuare un az parti ular de rotaµie, ³i anume rotaµiaîn jurul unei singure axe. Da kA = kB = k putem nota u θ unghiul aretrebuie apli at lui iA pentru a se suprapune peste iB (se va onsidera o rotatieîn sens invers a elor de easorni ). Datorit ortogonalit µii axelor, unghiul θva � identi ³i pentru jA ³i respe tiv jB. De reµinut faptul ve torul k esteastfel perpendi ular atât pe planul format de iA ³i jA ât ³i pe planul formatde iB ³i jB. Pro esul este ilustrat în Figura 1.9.Matri ea rotaµiei în a est az poate � determinat simplu pe baza ob-servaµiei anterioare onform reia �e are oloan a matri ei A
BR reprezint proie µiile ve torilor iA, jA ³i k în sistemul de oordonate (B). Astfel, iA estede�nit de proie µiile [ c −s 0]T , jA de [ s c 0
]T iar k de [ 0 0 1]T .Se observ în Figura 1.9 faptul c = cos(θ) ³i s = sin(θ), eea e ondu e
1.2. PARAMETRII INTRINSECI �I EXTRINSECI 15
iiA
jiA
iiB
jiB
q
qc
-s
s
ck
Figura 1.9: Rotatia axelor in plan.la matri ea de rotaµie:BAR =
cos(θ) sin(θ) 0−sin(θ) cos(θ) 0
0 0 1
(1.22)Considerând ve torul k în dire µia axei opti e a amerei (vezi Figura 1.3),matri ea [
cos(θ) sin(θ)−sin(θ) cos(θ)
] reprezint de fapt rotaµia oordonatelor ima-ginii u un unghi θ în sensul invers a elor de easorni .Transformarea rigid . Revenind la azul general iniµial al elor dou sis-teme de oordonate (A) ³i (B), de origini OA 6= OB ³i ale ror axe de oordonate nu sunt neap rat paralele (iA 6= iB, jA 6= jB, kA 6= kB), punândlaolalt e uaµiile determinate anterior, obµinem eea e se nume³te e uaµiageneral a unei transform ri rigide, ³i anume:BP =B
A R ·A P +B OA (1.23)Cu alte uvinte, reprezentarea oordonatelor pun tului P în sistemul de o-ordonate (B) în fun µie de oordonatele din sistemul (A) se fa e în modul
16 CUPRINSurm tor: oordonatele lui P în sistemul (B) sunt obµinute prin rotaµia oor-donatelor din (A) pe baza unei matri e de rotaµie BAR e reprezint rotaµiaaxelor de oordonate ale sistemului (A) astfel în ât s devin paralele u eleale sistemului (B) la are se adaug o translaµie e orespunde translat riioriginii OA în originea sistemului (B). Transformarea general este prezen-tat în Figura 1.10. Transformarea se nume³te rigid deoare e nu deformeaz distanµele dintre pun te, astfel distanµa Eu lidian a dou pun te din spa-µiu al ulat în sistemul (A) este egal distanµei dintre a estea obµinut însistemul (B). De asemenea, a easta p streaz ³i unghiurile dintre drepte.
O
ii
k
j
xA
O
ii
k
j
xB
A
A
A B
B
B
xPFigura 1.10: Transformarea rigid general a sistemului de oordonate.În ele mai multe azuri ³i în spe ial în dispozitivele de prelu rare digital a imaginilor, este mult mai avantajos a a este e uaµii s �e reprezentate subform matri eal (imaginile sunt modelate matri eal). Astfel, e uaµia uneitransform ri rigide poate � exprimat matri eal pe baza oordonatelor omo-gene (vezi e uaµia 1.11). Pentru a de�ni o transformare rigid în oordonateomogene, ne vom folosi de o proprietate a produsului matri eal are permitereprezentarea a estuia pe baza produselor la nivel de blo uri.Astfel, da avem dou matri e A ³i B de dimensiuni m× n ³i respe tivn× p ³i le reprezent m sub forma unor blo uri de valori dup um urmeaz :
A =
[A1,1 A1,2
A2,1 A2,2
], B =
[B1,1 B1,2
B2,1 B2,2
] (1.24)unde Ai,j ³i Bk,l, u i, j, k, l ∈ {1, 2} reprezint sub-matri e de dimensiunimi × nj ³i respe tiv nk × pl ( u alte uvinte num rul de oloane al sub-matri elor A1,1 ³i A2,1 este egal u num rul de linii al sub-matri elor B1,1 ³iB1,2; ³i similar pentru oloanele lui A1,2, A2,2 u liniile lui B2,1, B2,2), atun i
1.2. PARAMETRII INTRINSECI �I EXTRINSECI 17produsul matri eal al lui A u B poate � s ris a:A · B =
[A1,1 · B1,1 + A1,2 · B2,1 A1,1 · B1,2 + A1,2 · B2,2
A2,1 · B1,1 + A2,2 · B2,1 A2,1 · B1,2 + A2,2 · B2,2
] (1.25)adi , a sum de produse ale blo urilor. Se poate observa A · B este omatri e de dimensiune m× p, unde m =∑
i mi ³i p =∑
l pl.S onsider m exemplul urm tor, �e:A =
a1,1 a1,2 a1,3a2,1 a2,2 a2,3a3,1 a3,2 a3,3
, B =
b1,1 b1,2b2,1 b2,2b3,1 b3,2
Este evident A · B se poate s rie a �ind:
A · B =
a1,1 · b1,1 + a1,2 · b2,1 + a1,3 · b3,1 a1,1 · b1,2 + a1,2 · b2,2 + a1,3 · b3,2a2,1 · b1,1 + a2,2 · b2,1 + a2,3 · b3,1 a2,1 · b1,2 + a2,2 · b2,2 + a2,3 · b3,2a3,1 · b1,1 + a3,2 · b2,1 + a3,3 · b3,1 a3,1 · b1,2 + a3,2 · b2,2 + a3,3 · b3,2
³i mai departe produsele pot � grupate pe blo uri astfel:
A · B =
[a1,1 a1,2 a1,3a2,1 a2,2 a2,3
]·
b1,1b2,1b3,1
[a1,1 a1,2 a1,3a2,1 a2,2 a2,3
]·
b1,2b2,2b3,2
[a3,1 a3,2 a3,3
]·
b1,1b2,1b3,1
[
a3,1 a3,2 a3,3]·
b1,2b2,2b3,2
Cu alte uvinte sub-matri ele onsiderate sunt urm toarele:
A · B =
a1,1 a1,2 a1,3a2,1 a2,2 a2,3a3,1 a3,2 a3,3
·
b1,1 b1,2b2,1 b2,2b3,1 b3,2
Folosindu-ne de a east proprietate, putem res rie e uaµia 1.23 sub form matri eal : [
BP1
]=
[BAR
BOA
0T 1
]·[
AP1
] (1.26)unde BP reprezint oordonatele pun tului P în sistemul (B), ³i anume ve -torul [ Bx By Bz]T (dimensiune 3×1), 1 este s alar (dimensiune 1×1), BARreprezint matri ea rotaµiei sistemului (A) astfel în ât s devin paralel usistemul (B) (dimensiune 3×3), 0T =
[0 0 0
]T (dimensiune 3×1), BOAreprezint oordonatele entrului OA în sistemul (B) ³i anume [ tx ty tz]T
18 CUPRINS(au sens de translaµie, dimensiune 3×1) iar AP reprezint oordonatele pun -tului P în sistemul (A), [ Ax Ay Az]T (dimensiune 3× 1).Se observ faptul matri ele folosite sunt de fapt reprezent ri în oordo-nate omogene iar matri ea e de�ne³te s himbarea sistemului de oordonatedevine o matri e 4× 4 ((3 + 1)× (3 + 1)).Avantajul a estei reprezent ri este imediat ³i anume faptul ori e trans-formare rigida poate � s ris dire t a produs matri eal f r a � nevoie deînsumarea unor matri e, um era azul e uaµiei 1.23. A est lu ru are avantajedin pun t de vedere al implement rii hardware.Am v zut faptul o transformare rigid permite reprezentarea oor-donatelor dintr-un sistem artezian în altul. A est lu ru poate � v zut ³idintr-o alt perspe tiv . Da avem un sistem de oordonate (F ), a east transformare poate � folosit ³i pentru a reprezenta oordonatele unui pun t
P relativ la oordonatele altui pun t P ′ în adrul a eluia³i sistem de oordo-nate. A est lu ru poate � s ris a:[
FP ′
1
]=
[R t
0T 1
]·[
FP1
] (1.27)unde R este o matri e de rotaµie iar ve torul t ∈ R3.Da înlo uim matri ea R u o matri e A arbitrar de a elea³i dimen-siuni, e uaµia 1.27 î³i p streaz sensul de reprezentare a oordonatelor relativla pun te diferite dar nu mai garanteaz onservarea distanµelor dintre a es-tea, eea e înseamn noua reprezentare a oordonatelor nu este neap ratuna într-un sistem ortonormal. Matri ea [A t
0T 1
] poart numele de trans-formare a�n . Da valorile a esteia sunt l sate a � alese omplet arbitraratun i spunem avem de-a fa e u o transformare proie tiv .1.2.3 Parametrii geometri i ai amereiObservam în se µiunile anterioare faptul e uaµia 1.2 realizeaz leg turadintre oordonatele (x, y, z) ale unui pun t P din s ena real ³i proie µiaa estuia în planul imaginii (vezi Figura 1.3). În realitate, a east e uaµieeste valabil doar da distanµele sunt m surate în sistemul de referinµ al amerei iar oordonatele imaginii obµinute au a origine pun tul în are axaopti interse teaz planul imaginii (retina amerei), notat u A în Figura1.3. În pra ti leg tura dintre lumea real ³i sistemul de oordonate al amerei este guvernat de mai mulµi parametri �zi i ai dispozitivelor, pre um
1.2. PARAMETRII INTRINSECI �I EXTRINSECI 19distanµa fo al a lentilelor, dimensiunea pixelilor4, poziµia entrului imaginii ât ³i poziµia ³i orientarea amerei.Relativ la pro esul de alibrare geometri a amerei, se identi� dou ategorii de astfel de parametri:• pe de-o parte sunt eea e numim parametrii intrinse i ai amerei,³i anume parametrii e fa leg tura dintre sistemul de oordonate al amerei ³i un sistem ideal, normalizat, e este onsiderat se a� ladistanµ unitar de a esta dintâi,• pe de alt parte avem parametrii extrinse i ai amerei e fa leg turadintre sistemul de oordonate al amerei ³i sistemul de oordonate allumii reale spe i� ând poziµia ³i orientarea a estuia în spaµiu.În ele e urmeaz , pentru simpli� area prezent rii, vom neglija efe tul len-tilelor opti e u are sunt e hipate de regul amerele ³i impli it aberaµiileopti e e sunt introduse de a estea, urmând a ulterior s revenim la a esteaîn Se µiunea 1.3.3.Parametrii intrinse i ai amereiDup um am menµionat anterior, este posibil s aso iem planului imaginiiunei amere, un plan imagine normalizat, paralel u a esta dar are se a� la distanµ unitar de originea sistemului amerei (ori� iul O). Pro esul esteilustrat în Figura 1.11.Vom ata³a a estui plan un sistem de oordonate propriu al rui entru sea� în pun tul C, ³i anume pun tul în are axa opti a amerei interse teaz planul normalizat al imaginii. Not m u p proie µia în a est plan a unui pun t
P din s ena real , de oordonate (x, y, z). Coordonatele omogene ale lui p,[u v 1
]T pot � determinate folosind e uaµia de proie µie 1.2, astfel:u =
x
z, v =
y
z(1.28)unde în a est az distanµa f este unitar . Matri eal, a est lu ru poate � s ris a:
p =1
z·[Id 0
]·[P
1
] (1.29)4în general imaginile digitale sunt reprezentate sub form matri eal , un element almatri ei purtând denumirea de pixel ("pi ture element"). Pixelii orespund înregistr riiradiaµiei luminoase pentru o anumit regiune spaµial a s enei, ideal ât mai apropiat deun pun t. În realitate, pixelii au diverse forme geometri e, pot � p trati i, dreptunghiulari,³i a³a mai departe.
20 CUPRINS
plan imagine
Ox
xz
y
p
x
f
P(x,y,z)x
C^
u
v^
^
x x
^
C
u
vx
xC0
p
plan normalizat
1
sistem de axe cameră
Figura 1.11: Tre erea de la sistemul de oordonate al amerei la un sistemnormalizat.unde Id este matri ea unitate de dimensiune 3 × 3, 0 =[0 0 0
]T iar Preprezint ve torul de oordonate al pun tului P , [ x y z]T .S ne fo aliz m a um atenµia asupra planului imaginii (retina amerei).A esta se a� la o distanµ f de entrul sistemului amerei în dire µia axeiopti e. Not m u p =
[u v 1
]T ve torul de oordonate al proie µieipun tului P din lumea real în a est plan (vezi Figura 1.11). Semni� aµiaa estuia este de pixel al imaginii astfel formate. Luând în al ul onstrânge-rile �zi e, ³i anume faptul în realitate pixelii nu sunt pun te i mai degrab au form dreptunghiular , în e uaµia 1.2 vom mai onsidera doi fa tori des al suplimentari k ³i l astfel în ât un pixel va avea dimensiunea 1k× 1
l.Astfel, putem s rie:
u = α · xz, v = β · y
z(1.30)unde α = k · f ³i β = l · f sunt parametri de s al .A east e uaµie este valabil totu³i doar da sistemul de referinµ on-siderat în planul imaginii are originea în pun tul C0, ³i anume pun tul deinterse µie al axei opti e u planul imaginii (vezi Figura 1.11). Fiind vorba deo imagine, sistemul de oordonate ata³at a estuia î³i are de regul originea�e în olµul din stânga jos sau uneori din stânga sus, oordonatele imaginiiavând sensul de indi i ai liniilor ³i oloanelor pixelilor din a easta. Astfel,sistemul de oordonate ata³at imaginii este translatat u originea în pun tul
C (vezi Figura 1.11) iar e uaµia 1.30 devine:u = α · x
z+ u0, v = β · y
z+ v0 (1.31)
1.2. PARAMETRII INTRINSECI �I EXTRINSECI 21unde u0 ³i v0 reprezint translaµia lui C faµ de pun tul C0.Totu³i în realitate sistemul de referinµ ata³at amerei poate � în linatdatorit erorilor de fabri aµie, astfel unghiul dintre axele a estuia, de�nitede versorii jv ³i iu, este θ 6= 900 (dar de regul de o valoare foarte apropiat ).A est lu ru este ilustrat în Figura 1.12 unde j′v ³i i′u = iu reprezint versoriinoilor axe în linate iar v′ ³i u′ sunt noile proie µii ale pun tului p pe a esteaxe. De remar at faptul datorit faptului noul sistem nu este unulortogonal, proie µia u′ pe axa i′u este diferit de u pe axa iu.
x
C0 iu
jv jv ’
px
u
v
v ‘
u ‘
q
j
x x
x
x
Figura 1.12: Tre erea de la sistemul de axe real în linat u unghiul θ lasistemul ideal ortogonal.Pentru simpli� area al ulelor vom porni de la proie µiile u, v de�nite dee uaµia 1.30, ³i astfel de la azul în are originea sistemului de oordonate alimaginii se a� în pun tul C0 de pe axa opti (vezi Figura 1.11).Pentru a fa e lagatura între oordonatele reale v′ ³i u′ din azul sistemuluide axe în linat ³i oordonatele din azul ideal ând axele sunt ortogonale (v³i u) pornim de la expresia ve torului −−→C0p ³i anume:−−→C0p = u′ · iu + v′ · j′v (1.32)Da înmulµim la stânga ³i la dreapta u versorii iu ³i respe tiv j′v obµinemurm torul sistem de e uaµii:
−−→C0p · iu = u′ · iu · iu + v′ · j′v · iu (1.33)−−→C0p · j′v = u′ · iu · j′v + v′ · j′v · j′v (1.34)
22 CUPRINSLuând în al ul faptul −−→C0p · iu nu este alt eva de ât proie µia lui −−→C0p peaxa iu egal u u, iar j′v · iu este de fapt cos(θ), prima e uaµie devine:
u = u′ + v′ · cos(θ) (1.35)În a doua e uaµie, −−→C0p · j′v se poate s rie a �ind:−−→C0p · j′v = |−−→C0p| · cos(θ − ϕ) (1.36)unde |−−→C0p| =
√u2 + v2.Dezvoltând termenii ³i onsiderând faptul cos(ϕ) =
u√u2 + v2
iarsin(ϕ) =
v√u2 + v2
obµinem:−−→C0p · j′v = u · cos(θ) + v · sin(θ) (1.37)iar e uaµia a doua devine:
u · cos(θ) + v · sin(θ) = u′ · cos(θ) + v′ (1.38)Din e uaµiile 1.35 ³i 1.38 obµinem urm toarele relaµii pentru proie µiile v′ ³irespe tiv u′:u′ = u− v · ctan(θ), v′ =
v
sin(θ)(1.39)Tinând ont de e uaµia 1.30 ³i de translaµia entrului sistemului de oor-donate al imaginii din pun tul C0 în pun tul C (vezi Figura 1.11), obµineme uaµiile proie µiei pun tului P în sistemul de oordonate ata³at planuluiimaginii e iau în al ul parametrii intrinse i ai amerei:
u′ = α · xz− α · ctan(θ) · y
z+ u0, v′ =
β
sin(θ)· yz+ v0 (1.40)Înlo uind în e uaµia 1.41 oordonatele pun tului din planul normalizat,a�at la distanµ unitate de entrul O (vezi Figura 1.11), obµinem relaµiadintre planul �zi al imaginii ³i a esta din urm :
u′ = α · u− α · ctan(θ) · v + u0, v′ =β
sin(θ)· v + v0 (1.41)iar tre ând la oordonate omogene putem s rie:
p = K · p (1.42)
1.2. PARAMETRII INTRINSECI �I EXTRINSECI 23undeK =
α −α · ctan(θ) u0
0 β
sin(θ)v0
0 0 1
, p =
[u′ v′ 1
]T iar p =[u v 1
]T .Da revenim ³i exprim m proie µiile u′ ³i v′ în fun µie de oordonatelepun tului P , (x, y, z), din sistemul de oordonate al amerei, atun i putems rie în oordonate omogene:p =
1
z·[K 0
]·P (1.43)unde 0 =
[0 0 0
]T iar P =[x y z 1
]T .A east e uaµie reprezint leg tura dintre oordonatele din sistemul a-merei (x, y, z) ³i oordonatele din planul imaginii (u′, v′) fun µie de parametriiintrinse i ai amerei, ³i anume: α, β, θ, u0 ³i v0.Parametrii extrinse i ai amereiS presupunem a um sistemul de oordonate al amerei, notat (C), estediferit de sistemul de oordonate aso iat lumii în onjur toare, notat în on-tinuare (W ). În a est az, dorim s fa em legatur dintre oordonatele unuipun t CP în (C) ³i reprezentarea a estuia în sistemul (W ), WP . A easta estedat de e uaµia 1.23:CP =C
W R ·W P +C OW (1.44)unde CWR reprezint matri ea de rotaµie a sistemului (W ) astfel în ât s de-vin paralel u sistemul (C), iar COW reprezint proie µia originii sistemului
(W ) relativ la originea sistemului (C) (vezi Se tiunea 1.2.2). Conform e u-aµiei 1.26 a easta poate � exprimat matri eal în oordonate omogene a�ind:CP =
[R t
0T 1
]·W P (1.45)unde CP =
[x y z 1
]T , R =CW R reprezinta matri ea unei rotaµii (di-mensiune 3 × 3), t =C OW reprezint o translaµie (dimensiune 3 × 1), 0T =[
0 0 0] ³i WP =
[Wx W y W z 1
]T reprezint oordonatele pun tuluiP în sistemul (W ).Luând în al ul e uaµia 1.43 e permite exprimarea oordonatelor pun -tului p din planul imaginii în fun µie de oordonatele pun tului CP din planul amerei (C), obµinem leg tura dintre a esta dintâi ³i sistemul de oordonateal lumii reale (W ), astfel:
p =1
z·[K 0
]·[
R t
0T 1
]·W P (1.46)
24 CUPRINSunde p =[u′ v′ 1
]T ; eea e ondu e mai departe la e uaµia:p =
1
z·K ·
[R t
]·W P (1.47)Se observ faptul tre erea de la oordonatele omogene ale lui P în sistemul
(W ) la oordonatele lui p din sistemul imaginii se fa e pe baza unei matri eM = K ·
[R t
] de dimensiune 3×4. Da not m u mTi , i = 1, ..., 3 liniilematri ei M atun i:
u′
v′
1
=
1
z·
mT1
mT2
mT3
·W P (1.48)de unde reiese faptul z = mT
3 ·W P ³i mai departe e uaµia 1.47 se poates rie simpli� at:u′ =
mT1 ·W P
mT3 ·W P
, v′ =mT
2 ·W P
mT3 ·W P
(1.49)De notat este faptul matri ea M depinde de 11 parametri: ei 5 para-metri intrinse i (α, β, θ, u0 ³i v0, vezi Se µiunea anterioar ) la are se adaug 6 parametri noi, ³i anume: 3 unghiuri e de�nes matri ea de rotaµie R ³i 3translaµii e de�nes ve torul de translaµie t, parametri e poart denumireade parametri extrinse i.Matri ea M poate � s ris expli it sub forma urm toare:[
α · r1T − α · ctan(θ) · r2T + u0 · r3T α · tx − α · ctan(θ) · ty + u0 · tzβ
sin(θ) · r2T + v0 · r3T βsin(θ) · ty + v0 · tz
rT
3tz
] (1.50)unde R =[r1
T r2T r3
T]T ³i t =
[tx ty tz
]T . Matri ea M de�ne³teastfel ve torul entrului de oordonate al amerei, O, în sistemul de oordo-nate (W ) al lumii reale.1.3 Calibrarea geometri a amereiPro esul de alibrare geometri a amerei onst la baza în estimarea pa-rametrilor intrinse i ³i respe tiv extrinse i ai a esteia (vezi Se µiunea 1.2.3).Astfel, se urm re³te realizarea unei orespondenµe dire te între oordonatelepun telor din lumea real , de�nite de sistemul de oordonate (W , iW, jW,kW), ³i orespondenµa a estora în planul imagine reprezentat în sistemul amerei (C, iC, jC, kC). Pro esul este ilustrat în Figura 1.13.Pentru a easta se foloses de regul imagini de alibrare în are sunt mar- ate o serie de pun te heie pentru are se onsider poziµia a estora este
1.3. CALIBRAREA GEOMETRIC� A CAMEREI 25kW
(W)
jW
iiW
OW
P
P’
kC
iiC
jC
((C)
OC
Figura 1.13: Calibrarea geometri a amerei, (dreapta) imaginea de ali-brare, (W ) ³i (C) reprezint sistemele de oordonate ale lumii ³i respe tiv al amerei.�x ³i unos ut "a priori" în sistemul de oordonate al lumii (W ). În a est ontext, pro esul de alibrare poate � v zut din perspe tiva unei probleme deoptimizare ³i anume minimizarea dis repanµei dintre poziµiile pun telor heieobservate în lumea real ³i poziµia teoreti a a a estora obµinut pe baza pro-ie µiei de perspe tiv , optimizare e este guvernat în fun µie de parametriiintrinse i ³i extrinse i ai amerei.Odat e amera este alibrat geometri , se poate aso ia în ori e pun tal imaginii observate din (W ) o raz bine de�nit e one teaz a est pun t³i entrul opti al amerei. Pe baza a estei orespondenµe se pot realizam sur tori 3D pre ise folosind doar imaginea proie tat în planul amerei.A east problem de optimizare poate � rezolvat folosind atât abord riliniare ât ³i neliniare [1℄.1.3.1 Estimarea parametrilor din perspe tiva metodei elor mai mi i p trateDup um am menµionat anterior, alibrarea geometri a amerei se redu ela problema estim rii parametrilor intrinse i ³i extrinse i ai a esteia. În a est ontext, problema de optimizare este enunµat a �ind determinarea para-metrilor intrinse i ³i extrinse i ai amerei e minimizeaz abaterea p trati medie dintre oordonatele observate ³i ele prezise.
26 CUPRINSAbordare liniar S onsider m pentru în eput un sistem liniar u p e uatii ³i q ne unos ute,de�nit astfel:
u11 · x1 + u12 · x2 + ... + u1q · xq = y1u21 · x1 + u22 · x2 + ... + u2q · xq = y2... ...up1 · x1 + up2 · x2 + ...+ upq · xq = yp
(1.51)Notând U =
u11 u12 ... u1q
u21 u22 ... u2q
... ... ... ...up1 up2 ... upq
, x =
[x1 x2 ... xq
]T ³i respe tivy =
[y1 y2 ... yp
]T , atun i sistemul se poate s rie matri eal a �ind:U · x = y (1.52)Este bine unos ut faptul în general da p < q atun i sistemul ad-mite mai multe soluµii e formeaz un sub-spaµiu ve torial al lui Rq, (q − p)dimensional. Da p = q atun i sistemul este uni determinat admiµând osingur soluµie. Da p > q atun i a esta nu admite ni i o soluµie. Totu³ia east a�rmaµie este valabil doar da rangul lui U (num rul maxim delinii sau oloane independente) este maximal, ³i anume egal u min{p, q}.Da rangul lui U este mai mi de ât min{p, q} atun i existenµa unei soluµiidepinde de valorile lui y.În ontinuare vom onsidera azul în are sistemul are mai multe on-strângeri de ât ne unos ute, p > q iar U are rangul maximal q. Cum îna est az nu exist o soluµie exa t , ne vom limita în a determina o aproxi-mare a a esteia ³i anume ve torul x e minimizeaza eroarea p trati :
E =
p∑
i=1
(ui1 · x1 + ... + uiq · xq − yi)2 = |U · x− y|2 (1.53)unde |.| reprezint norma unui ve tor.Notând u e = U · x − y, atun i E = eT · e. Soluµia x e minimizeaz valoarea lui E este obµinuta din anularea derivatelor parµiale relative la ne- unos utele xi, u i = 1, ..., q, astfel:
∂E
∂xi
= 2 · ∂eT
∂xi
· e (1.54)
1.3. CALIBRAREA GEOMETRIC� A CAMEREI 27Da not m oloanele matri ei U u cj =[u1j u2j ... upj
]T u j =1, ..., q, atun i U =
[c1 c2 ... cq
] iar derivata lui e devine:∂e
∂xi
=∂
∂xi
[c1 c2 ... cq
]·
x1
x2
...xq
− y
(1.55)³i mai departe:
∂
∂xi
(c1 · x1 + ...+ cq · xq − y) = ci (1.56)Anulând derivatele obµinem:ci
T · (U · x− y) = 0 (1.57) u i = 1, ..., q. Punând ap la ap toate e uaµiile putem s rie matri eal:
c1T
c2T
...cq
T
· (U · x− y) = UT · (U · x− y) = 0 (1.58)³i astfel obµinem e uaµiile aso iate metodei elor mai mi i p trate:
UT · U · x = UT · y (1.59)Da U are rangul maxim q atun i matri ea UT · U este inversabil iarsoluµia e uaµiei anterioare este:x = U † · y (1.60)unde U † = (UT · U)−1 · UT este pseudo-inversa matri ei U . Da U estep trati ³i non-singular (determinantul a esteia este diferit de 0), atun ise poate observa U † = U−1.S onsider m în ontinuare azul sistemului omogen unde y = 0, astfel:
u11 · x1 + u12 · x2 + ...+ u1q · xq = 0u21 · x1 + u22 · x2 + ...+ u2q · xq = 0... ...up1 · x1 + up2 · x2 + ...+ upq · xq = 0
(1.61)sau sub form matri eal :U · x = 0 (1.62)
28 CUPRINSÎn a est az, da x reprezint o soluµie, atun i impli it λ · x este deasemenea o soluµie pentru ori e λ 6= 0. Da p = q iar matri ea U este non-singular sistemul adminte o singur soluµie x = 0. Da p ≥ q pot existasoluµii diferite de zero da matri ea U este singular iar rangul a esteia estestri t mai mi de ât q. În a est az, pentru a minimiza eroarea p trati medie E = |U · x|2 este ne esar adoptarea unor onstrângeri suplimentaredeoare e valoarea x = 0 ondu e la minimul global al lui E. Dat �ind faptul E(λ·x) = λ2·E(x) o onstrângere avantajoas e permite evitarea situaµieimentionate anterior este |x|2 = 1.Eroarea p trati medie E poate � exprimat în fun µie de matri ea Uda s riem:E = |U · x|2 = (U · x)T · U · x = xT · UT · U · x (1.63)unde matri ea UT · U este prin de�niµie simetri ³i pozitiv semi-de�nit (pentru ∀x ∈ Cq, x∗T ·(UT ·U)·x ≥ 0, unde ∗ reprezint omplex onjugatul).Matri ea UT · U poate � diagonalizat prin reprezentarea sa în baza or-tonormat format de ve torii proprii ei, u i = 1, ..., q, aso iaµi valorilorproprii 0 ≤ λ1 ≤ λ2 ≤ ... ≤ λq. Astfel se poate s rie :
(UT · U) · ei = λi · ei (1.64)Ne putem folosi de a east observaµie pentru a reprezenta ori e ve tor x îna east baz , astfel:x = µ1 · e1 + µ2 · e2 + ...+ µq · eq (1.65)unde µi, u i = 1, ..., q, reprezint proie µiile lui x pe versorii a estei baze(adi ve torii proprii).În ontinuare vrem s evalu m urm toarea expresie: E(x)−E(e1), unde
e1 reprezint ve torul propriu e orespunde valorii proprii elei mai mi i.A easta se s rie a �ind:E(x)−E(e1) = xT · (UT · U) · x− e1
T · (UT · U) · e1 = A− B (1.66)Conform e uaµiei 1.64 ³i folosind observaµia ve torii proprii sunt ortonor-maµi, se observ imediat termenul B devine:B = λ1 · e1T · e1 = λ1 · |e1|2 = λ1 (1.67)Revenind la termenul A, a esta se poate s rie pe baza e uaµiei 1.65 a�ind:
A = xT ·q∑
i=1
µi·(UT ·U)·ei = xT ·q∑
i=1
µi·λi·ei =q∑
j=1
µj ·ejT ·q∑
i=1
µi·λi·ei (1.68)
1.3. CALIBRAREA GEOMETRIC� A CAMEREI 29³i mai departe onsiderând faptul ejT · ei = 0 pentru i 6= j ³i are valoarea1 pentru i = j, obµinem:
A =
q∑
i=1
λi · µ2i (1.69)Revenind la e uaµia 1.66 putem s rie:
E(x)−E(e1) = λ1 · µ21 + ...+ λq · µ2
q − λ1 (1.70)diferenµ e este m rginit inferior de valoarea λ1 · (µ21 + ... + µ2
q − 1) = 0( onform onstrângerii iniµiale |x|2 = 1) eea e ondu e la observaµia :E(x) ≥ E(e1) (1.71)În on luzie, ve torul x de norm unitate e minimizeaz eroarea p tra-ti medie E este exa t ve torul propriu e1 orespunz tor elei mai mi ivalori proprii λ1 a matri ei UT · U iar valoarea minim a lui E este λ1.Exemplu. Pentru a exempli� a ele de mai sus s onsider m urm toareaproblem lasi . Având un sistem de oordonate plan de�nit de (O, ix, jy)³i un set de pun te pi, u i = 1, ..., n, de proie tii (xi, yi), se dore³te s se determine e uaµia dreptei δ e aproximeaz el mai bine a este pun te.E uaµia dreptei δ o vom exprima în fun µie de distanµa faµ de origineasistemului O, notat d, ³i de normala unitar la a easta, n =
[a b
]T ,unde a ³i b reprezint proie µiile pe ele dou axe iar |n| = 1. A est lu rueste ilustrat în Figura 1.14. Vom rezolva a east problem în sensul elormai mi i p trate.Prin analogie u ele dis utate în Se µiunea 1.2.1 (vezi e uaµia 1.11), sepoate dedu e e uaµia unei drepte δ exprimat în plan este dat de:a · x+ b · y − d = 0 (1.72)Realizând leg tura u setul de pun te pi are în mod ideal ar trebui s veri� etoate a east e uaµie, putem determina eroarea p trati E a �ind o fun µiede a, b ³i d, astfel:
E(a, b, d) =n∑
i=1
(a · xi + b · yi − d)2 (1.73)În ontinuare urm rim s minimiz m pe E relativ la ei trei parametri ede�nes dreapta ³i având drept onstrângere faptul a2 + b2 = 1 (dat de|n| = 1). Anul m valoarea derivatei parµiale dup d, astfel:
∂E
∂d= −2 ·
n∑
i=1
(a · xi + b · yi − d) = 0 (1.74)
30 CUPRINS
x
y
d
d
n
p1
p2 p
ii
pn
OFigura 1.14: Determinarea dreptei e aproximeaz el mai bine un set depun te prede�nite. eea e ondu e la urm toarea valoare a lui d:d = a · x+ b · y, x =
1
n·
n∑
i=1
xi, y =1
n·
n∑
i=1
yi (1.75)unde x ³i y reprezint oordonatele medii ale elor pi pun te, (x, y) avândastfel sensul de oordonate ale entrului de mas . Înlo uind valoarea lui d îne uaµia 1.73 obµinem:E =
n∑
i=1
[a · (xi − x)2 + b · (yi − y)2] = |U · n|2 (1.76)unde matri ea U =
x1 − x y1 − y... ...
xn − x yn − y
.Astfel problema noastr se redu e la a minimiza |U ·n|2 în fun µie de n ³iavând onstrângerea |n|2 = 1. Se poate identi� a o problem de optimizareîn sensul elor mai mi i p trate pentru un sistem de e uaµii omogene a reisoluµie am demonstrat anterior este ve torul propriu e orespunde valorii
1.3. CALIBRAREA GEOMETRIC� A CAMEREI 31proprii elei mai mi i a matri ei UT · U . Determinând matri ea UT · U :[x1 − x ... xn − xy1 − y ... yn − y
]·
x1 − x y1 − y... ...
xn − x yn − y
=
n∑
i=1
(xi − x)2n∑
i=1
(xi − x) · (yi − y)
n∑
i=1
(yi − y) · (xi − x)
n∑
i=1
(yi − y)2
=
n∑
i=1
x2i − n · x2
n∑
i=1
xi · yi − n · x · yn∑
i=1
xi · yi − n · x · yn∑
i=1
y2i − n · y2
(1.77)pentru are al ul m ve torul propriu orespunz tor valorii proprii elei maimi i, obµinem valorile lui a ³i b ³i în �nal din e uaµia 1.75 valoarea lui d,problema �ind rezolvat .Abordare neliniar S generaliz m problema ³i s onsider m a um azul sistemelor de e uaµiineliniare. Fie un sistem neliniar u p e uaµii ³i q ne unos ute:
f1(x1, x2, ..., xq) = 0f2(x1, x2, ..., xq) = 0... ...fp(x1, x2, ..., xq) = 0
(1.78)unde u fi(), i = 1, ..., p am notat un set de fun µii diferenµiabile u suportRq. Matri eal sistemul poate � exprimat a �ind:
f(x) = 0 (1.79)unde x =[x1 ... xq
]T iar f = [f1 ... fp
]T . Se poate observa da fi(x1, ..., xq) = ui1 · x1 + ...+ uiq · xq − yi obµinem azul sistemelor liniare, iarda yi = 0 atun i obµinem un sistem liniar omogen.În a est az, da p < q atun i sistemul admite un set de soluµii eformeaz o sub-mulµime (q − p) dimensional a lui Rq. Da p = q vomaveam un set �nit de soluµii iar da p > q nu exist soluµii. În literatura despe ialitate nu exist o soluµie general valabil pentru determinarea tuturor
32 CUPRINSsoluµiilor în azul p = q sau are s permit determinarea minimului globalal erorii p trati e medii din metoda elor mai mi i p trate, E = |f(x)|2.Metodele existente sunt de regul iterative ³i în ear liniarizarea problemeipentru a obµine o aproximare ât mai pre is a soluµiei utate.A estea pornes de la dezvoltarea în serie Taylor a fun µiilor fi() în ve i-natatea pun tului x:fi(x + δx) ≈ fi(x) + δx1 ·
∂fi∂x1
(x) + ...+ δxq ·∂fi∂xq
(x) (1.80)unde am ignorat termenii de ordin 2 ³i superior. Folosind operatorul gradient,▽fi(x) =
[∂fi∂x1
... ∂fi∂xq
]T , putem res rie e uaµia anterioar astfel:fi(x+ δx) ≈ fi(x) +▽Tfi(x) · δx (1.81)unde δx =
[δx1 ... δxq
]T .Res riind e uaµia anterioar pentru setul de fun µii f(x), obµinem:
f1(x + δx)...
fp(x+ δx)
≈
f1(x)...
fp(x)
+
▽Tf1(x)...
▽Tfp(x)
·
δx1
...δxq
(1.82)³i mai departe:
f1(x+ δx)...
fp(x+ δx)
≈
f1(x)...
fp(x)
+
∂f1∂x1
(x) ...∂f1∂xq
(x)
...∂fp∂x1
(x) ...∂fp∂xq
(x)
·
δx1
...δxq
(1.83) eea e poate � s ris pres urtat a:
f(x+ δx) ≈ f(x) + Jf (x) · δx (1.84)unde Jf (x) este Ja obianul lui f .Metoda lui Newton pentru sisteme p trati e de e uaµii neliniare.În ontinuare s ne fo aliz m atenµia asupra azului în are p = q, az în aresistemul admite un num r �nit de soluµii. Dup um am menµionat anterior,nu exist o metod general de determinare a soluµiei, dar a easta poate �estimat iterativ pornind de la e uaµia 1.84.S presupunem x reprezint un estimat al soluµiei sistemului x. În lo s determin m dire t valoarea a estuia, vom onsidera perturbaµia δx astfel
1.3. CALIBRAREA GEOMETRIC� A CAMEREI 33în ât x ≃ x + δx. Algoritmul urm re³te s modi� e iterativ valoarea luiδx astfel în ât s ne apropiem ât mai mult de soluµia real x a sistemului.A est lu ru se tradu e prin f(x+ δx) = 0, ³i astfel:
Jf (x) · δx = −f(x) (1.85)Da Ja obianul lui f este nesingular, ³i astfel admite invers , atun i δx seobµine a soluµie a sistemului de q e uaµii u q ne unos ute rezultat. Pro esuleste repetat pân ând se atinge un anumit riteriu de onvergenµ .A east metod onverge rapid doar da estimatul se a� aproape desoluµia real având o rat de onvergenµ p trati (eroarea la iteraµia k+ 1este proporµional u p tratul erorii de la iteraµia anterioar k). Da soluµiade ple are este departe de soluµia real , agoritmul se dovede³te a � ine� ient.Metoda lui Newton pentru sisteme supra- onstrânse de e uaµii ne-liniare. În azul în are p > q se aut un minim lo al al erorii p trati emedii, E = |f(x)|2. Metoda anterioar poate � adaptat în a east situaµieobservând faptul un astfel de minim este de fapt un zero al gradientuluierorii E. Notând u F(x) gradientul lui E, astfel:F(x) =
1
2· ▽E(x) (1.86)problema se transpune în determinarea soluµiei sistemului de q e uaµii ³i qne unos ute dat de:
F(x) = 0 (1.87)Conform metodei anterioare, da not m u x un estimat al soluµiei sistemu-lui, ut m s determin m iterativ perturbaµia δx pentru are F(x+δx) = 0,³i astfel:JF(x) · δx = −F(x) (1.88)unde JF reprezint Ja obianul lui F.S exprim m e uaµia în fun µie de fun µiile fi u i = 1, ..., p. Da deta-liem operatorul gradient, F(x) se s rie a �ind:
F(x) =1
2·
∂E
∂x1
(x)
...∂E
∂xq
(x)
(1.89)
unde eroarea p trati a medie poate � exprimat a �ind E =
p∑
i=1
f 2i (x), eea
34 CUPRINS e ondu e la:F(x) =
p∑
i=1
∂fi∂x1
(x) · fi(x)
...p∑
i=1
∂fi∂xq
(x) · fi(x)
= JT
f (x) · f(x) =
F1(x)...
Fq(x)
(1.90)unde Jf(x) reprezint Ja obianul lui f . Diferenµiind pe F obµinem Ja obianula estuia a �ind:
JF(x) =
∂F1
∂x1(x) ...
∂F1
∂xq
(x)
... ... ...∂Fq
∂x1(x) ...
∂Fq
∂xq
(x)
(1.91)Pentru o mai bun lizibilitate, s al ul m separat unul dintre termeni, deexemplu ∂F1
∂x1(x). Înlo uind pe F1 u p∑
i=1
∂fi∂x1
(x) · fi(x) obµinem:∂
∂x1
[p∑
i=1
∂fi∂x1
(x) · fi(x)]=
p∑
i=1
[∂2fi∂x2
1
(x) · fi(x) +∂fi∂x1
(x) · ∂fi∂x1
(x)
] (1.92)Folosind a ela³i raµionament, obµinem Ja obianul lui F de forma urm toare:
p∑
i=1
[
∂2fi
∂x2
1
(x) · fi(x) +
[
∂fi
∂x1
(x)
]2]
...
p∑
i=1
[
∂2fi
∂x1∂xq
(x) · fi(x) +∂fi
∂x1
(x) ·∂fi
∂xq
(x)
]
... ... ...p
∑
i=1
[
∂2fi
∂xq∂x1
(x) · fi(x) +∂fi
∂xq
(x) ·∂fi
∂x1
(x)
]
...
p∑
i=1
[
∂2fi
∂x2q
(x) · fi(x) +
[
∂fi
∂xq
(x)
]2]
Da not m u Hfi(x) matri ea Hessiana a lui fi, ³i anume:Hfi(x) =
∂2fi∂x1∂x1
(x) ...∂2fi
∂x1∂xq
(x)
... ... ...∂2fi
∂xq∂x1(x) ...
∂2fi∂xq∂xq
(x)
(1.93)Ja obianul lui F poate � res ris a:JF(x) = JT
f (x) · Jf (x) +
p∑
i=1
fi(x) ·Hfi(x) (1.94)
1.3. CALIBRAREA GEOMETRIC� A CAMEREI 35iar e uaµia 1.88 devine:[JT
f (x) · Jf (x) +
p∑
i=1
fi(x) ·Hfi(x)] · δx = −JTf (x) · f(x) (1.95)Algoritmul Gauss-Newton. A east metod porne³te de asemenea de ladezvoltarea în serie Taylor a fun µiilor f (vezi e uaµia 1.80). Ca ³i în azulmetodei lui Newton, se porne³te de la un estimat al soluµiei sistemului, x³i se aut determinarea unei perturbaµii δx astfel în ât x ≃ x + δx, unde
x reprezint soluµia real a sistemului. Spre deosebire de a easta, nu vom uta s minimiz m pe f(x+δx), i vom uta iterativ pe δx e minimizeaz eroarea E(x + δx). Conform e uaµiei 1.84 se poate s rie:E(x+ δx) = |f(x + δx)|2 ≈ |f(x) + Jf (x) · δx|2 (1.96) eea e orespunde minimiz rii erorii p trati e medii în azul unui sistemliniar de e uaµii unde δx ⇔ x, −f(x) ⇔ y ³i Jf (x) ⇔ U (vezi e uatia 1.53din Se µiunea 1.3.1). Soluµia sistemului este astfel dat de:
JTf (x) · Jf (x) · δx = −JT
f (x) · f(x) (1.97)Da ompar m a east e uaµie u e uaµia 1.95, se observ metoda Gauss-Newton poate � onsiderat o aproximare a metodei lui Newton pentru aretermenul aferent matri ei Hessiane este neglijat. A est lu ru este adev ratda valorile reziduale ale fun µiilor fi sunt mi i.Algoritmul Levenberg-Marquardt. O alt variant onst în modi� areae uaµiei 1.97 în felul urm tor:[JTf (x) · Jf (x) + µ · Iq
]· δx = −JT
f (x) · f(x) (1.98)unde µ este un parametru de reglaj e poate varia de la o iteraµie la alta. Seobserv termenul aferent matri ei Hessiene este de a east dat aproximat u o matri e diagonal onstant . A est algoritm are o onvergenµ similar metodei Gauss-Newton dar este de regul mai robust putând � folosit hiarda matri ea Ja obian a lui f nu are rang maximal ³i da pseudo-inversaa esteia nu poate � al ulat .1.3.2 O abordare liniar a problemei alibr rii amereiRevenind la problema alibr rii geometri e a amerei, s presupunem avem la dispoziµie o imagine de alibrare de forma elei prezentate în Figura
36 CUPRINS1.13, în are sunt unos ute "a priori" poziµiile a n pun te de oordonateomogene Pi, u i = 1, ..., n. A este pun te sunt observate în planul imaginiiprin intermediul pun telor pi de oordonate (u′i, v
′i) (vezi e uaµia 1.47 dinSe tiunea 1.2.3). C ut m s determin m, onform observaµiilor, parametriiintrinse i ³i extrinse i ai amerei. Pro esul de alibrare se realizeaz de regulaîn dou etape distin te:
• determinarea matri ei M de dimensiune 3 × 4 a transform rii de per-spe tiv de�nit în e uaµia 1.50;• estimarea parametrilor intrinse i ( oe� ienµii de s alare α ³i β; de ala-jele u0 ³i v0; unghiul de în linare al axelor amerei θ) ³i respe tiv extrin-se i ( ele trei unghiuri ³i trei parametri de translaµie e de�nes poziµiasistemului amerei relativ la sistemul lumii, vezi Se µiunea 1.2.3).Estimarea matri ei de proie µie MNotând u mj
T (j = 1, ..., 3) liniile matri ei M , e uaµia 1.49 poate � ex-primat pentru �e are pere he de pun te {Pi; (u′i, v
′i)} (i = 1, ..., n) în felulurm tor:
(m1T − u′
i ·m3T ) · Pi = 0, (m2
T − v′i ·m3T ) · Pi = 0 (1.99)Punând ap la ap toate e uaµiile aferente elor n pun te, obµinem un sistemliniar omogen u 2 · n e uaµii e poate � s ris matri eal a:
P ·m = 0 (1.100)unde P =
P T1 0T −u′
1 · P T1
0T P T1 −v′1 · P T
1
... ... ...P Tn 0T −u′
n · P Tn
0T P Tn −v′n · P T
n
iar m =
m1
m2
m3
.Da n ≥ 6 atun i se poate determina soluµia sistemului în sensul elormai mi i p trate, minimizând eroarea |P ·m|2 ³i având onstrângerea |m| = 1(soluµia �ind dat de ve torii proprii, vezi Se µiunea 1.3.1).Estimarea parametrilor intrinse i ³i extrinse iAvând determinat matri ea M , pe baza valorilor a esteia vom determinaîn ontinuare valorile parametrilor intrinse i ³i respe tiv extrinse i. Pentrua easta, unos ând originea valorilor din M ³i folosind e uaµia 1.47 putems rie în azul general faptul :
M = ρ ·[A b
]= K ·
[R t
] (1.101)
1.3. CALIBRAREA GEOMETRIC� A CAMEREI 37unde ρ reprezint un fa tor de s alare ne unos ut e a fost introdus pentrua asigura faptul |M | = |m| = 1, A =[a1
T a2T a3
T]T (unde aj, j =
1, ..., 3, reprezint liniile matri ei) iar b este un ve tor u sens de translaµie.Se observ imediat faptul :ρ ·
a1T
a2T
a3T
=
α · r1T − α · ctan(θ) · r2T + u0 · r3Tβ
sin(θ)· r2T + v0 · r3T
r3T
(1.102)unde rj
T , u j = 1, ..., 3, reprezint liniile matri ei de rotaµie R, R =[r1
T r2T r3
T]T .În ele e urmeaz pentru a fa ilita al ulele vom tre e la reprezentareave torial , al ulele �ind reprezentate pe baza de produse s alare (·) ³i ve -toriale (×). Din pun t de vedere ve torial, liniile lui R de�nes un sistem de oordonate ortonormat, astfel |rj| = 1 iar rj · rk = 0 pentru j 6= k ³i 1 pentru
j = k.Din e uaµia 1.102 rezult imediat faptul : ρ · a1 = α · r1 − α · ctan(θ) ·r2 + u0 · r3, ρ · a2 = β
sin(θ)· r2 + v0 · r3 ³i ρ · a3 = r3, eea e ne permite s al ul m valoarea lui ρ a �ind:
ρ = ± 1
|a3|(1.103)Cal ulând valoarea lui ρ · a1 · r3 obµinem:
u0 = ρ · a1 · r3 = ρ2 · (a1 · a3) (1.104)³i în mod similar pentru ρ · a2 · r3 obµinem:v0 = ρ · a2 · r3 = ρ2 · (a2 · a3) (1.105)Mai departe al ul m produsele ve toriale ρ ·a1×r3 ³i ρ ·a2×r3 ³i obµinem:
ρ2 · (a1×a3) = −α ·r2−α · ctan(θ) ·r1, ρ2 · (a2×a3) =β
sin(θ)·r1 (1.106)unde am folosit observaµiile rj × rj = 0 ³i r1 × r3 = −r2, r2 × r3 = r1 onform onvenµiei mâinii drepte (vezi Figura 1.5). Cal ulând modulele îne uaµia anterioar , obµinem:
ρ2 · |a1 × a3| =√
α2 + α2 · ctan2(θ) =|α|
sin(θ)(1.107)
ρ2 · |a2 × a3| =|β|
sin(θ)(1.108)
38 CUPRINSunde sin(θ) este onsiderat pozitiv deoare e unghiul θ este de regul în ve- inatatea lui π/2. Mai departe onsiderând faptul semnul parametrilorde s alare α ³i β este unos ut iniµial, a esta poate � onsiderat a � pozitiv,astfel:α = ρ2 · |a1 × a3| · sin(θ) (1.109)β = ρ2 · |a2 × a3| · sin(θ) (1.110)Realizând produsul s alar dintre e uaµiile 1.106 obµinem:
ρ4 · (a1 × a3) · (a2 × a3) = −α · β · cos(θ)sin2(θ)
=
−ρ4 · |a1 × a3| · |a2 × a3| · cos(θ) (1.111)de unde rezult unghiul θ:cos(θ) = −(a1 × a3) · (a2 × a3)
|a1 × a3| · |a2 × a3|(1.112)Tot din e uaµiile 1.106 rezult faptul :
r1 =sin(θ)
β· ρ2 · (a2 × a3) =
a2 × a3
|a2 × a3|(1.113)iar r2 se obµine din r1 ³i r3 a:
r2 = r3 × r1 (1.114)unde r3 a fost obµinut iniµial a �ind r3 = ρ · a3.În a est pun t, pentru a determina omplet parametrii extrinse i maitrebuie s determin m ve torul de translaµie t. A esta este obµinut u³or dine uaµia ρ · b = K · t (vezi e uaµia 1.42) a �ind:t = ρ ·K−1 · b (1.115)1.3.3 Calibrarea amerei luând în al ul distorsiunileradialePân în a est moment al expunerii, am onsiderat faptul amera estee hipat u lentile perfe te, erorile introduse de a estea �ind neglijate. S onsider m a um una dintre ele mai fre vente perturbatii ³i anume distor-siunea radial . În a est az, gradul de distorsiune este dependent de distanµadintre axa opti ( entrul opti al imaginii) ³i pun tul din imagine onsiderat.Un exemplu este ilustrat în Figura 1.15.
1.3. CALIBRAREA GEOMETRIC� A CAMEREI 39Figura 1.15: Exemple de distorsiuni radiale, prima imagine - efe t de butoi,a doua imagine - efe t de pern ; a treia imagine prezint un az on ret dedistorsiune ³i ore µia a esteia în ultima imagine folosind [2℄.În ele e urmeaz vom onsidera faptul entrul imaginii este unos- ut "a priori", astfel în ât s putem onsidera u0 = v0 = 0. Ca ³i în azulpre edent, vom onsidera unos ute poziµiile a n pun te de oordonate omo-gene Pi, u i = 1, ..., n, e sunt observate în planul imaginii prin intermediulpun telor pi de oordonate (u′
i, v′i). E uaµia 1.47 se poate res rie µinând ontde distorsiunile radiale în felul urm tor:.
p =1
z·
1λ
0 00 1
λ0
0 0 1
·M · P (1.116)unde M este matri ea de proie µie iar λ = f(d2) este o fun µie polinomial de distanµa dintre entrul opti al imaginii (în a est az am onsiderat a esta este identi u entrul planului imaginii) ³i pixelul p, notat d.Pentru marea parte a apli aµiilor este su� ient s folosim fun µii polino-miale de grad redus, λ putând � exprimat a �ind:
λ = 1 +
q∑
p=1
kp · d2·p (1.117)unde de regul q ≤ 3 iar kp, p = 1, ..., q reprezint oe� ienµii de distorsiune(de regul de valori mi i).S exprim m în ele e urmeaz valoarea lui d2 în fun µie de oordonateledin planul imaginii, (u′, v′). Considerând faptul exprimat în oordonateleplanului normal, (u, v) (vezi Figura 1.11), d2 = u2 + v2 ³i folosindu-ne maideparte de e uaµiile 1.41 de tre ere de la planul normal la planul imaginii,putem s rie:v =
v′ · sin(θ)β
, u =u′
α+
v′ · cos(θ)β
(1.118)
40 CUPRINS³i mai departe:d2 =
u′2
α2+
v′2
β2+ 2 · u
′ · v′α · β · cos(θ) (1.119)Exprimând pe d2 în fun µie de (u′, v′) ne permite de fapt s exprim m pe λîn fun µie de oordonatele din planul imaginii. Astfel e uaµia 1.116 devineun sistem u q ( oe� ienµii de distorsiune) + 11 (parametri intrinse i ³i ex-trinse i) parametri, puterni neliniar. Cu toate este posibil rezolvareaa estuia u metodele dis utate în Se µiunea 1.3.1, este mai avantajoas oabordare în doi pa³i: eliminarea din 1.116 a parametrului λ pentru liniariza-rea problemei estim rii a 9 dintre parametrii amerei urmat de rezolvareaneliniar a restului de q + 2 parametri dup um urmeaz .Estimarea matri ei de proie µie MVom în er a astfel liniarizarea e uaµiilor pentru determinarea primilor 9 pa-rametri ai amerei. Pentru a easta ne vom folosi de observaµia de faptdistorsiunea radial s himb distanµa dintre pun te ³i entrul imaginii darnu modi� dire µia ve torului e fa e leg tura între a estea [3℄. S detalieme uaµia 1.116 astfel:
u′
v′
1
=
1
z·
1λ
0 00 1
λ0
0 0 1
·
m1T · P
m2T · P
m3T · P
(1.120)unde mi
T , i = 1, ..., 3, reprezint liniile matri ei M . S eliminam a treiadimensiune, astfel:[u′
v′
]=
1
λ · z · I2 ·[m1
T · Pm2
T · P
] (1.121)Tinând ont de faptul z = m3T · P putem s rie :
λ ·[u′
v′
]=
m1T · P
m3T · P
m2T · P
m3T · P
(1.122)³i mai departe:
v′ · (m1T · P )− u′ · (m2
T · P ) = 0 (1.123)Înlo uind a um valorile oordonatelor elor n seturi de pun te, {Pi; (u′i, v
′i)}(i = 1, ..., n) obµinem n e uaµii liniare u 8 parametri daµi de liniile m1
T ³irespe tiv m2T , astfel:
Q · n = 0 (1.124)
1.3. CALIBRAREA GEOMETRIC� A CAMEREI 41unde Q =
v′1 · P T1 −u′
1 · P T1
... ...v′n · P T
n −u′n · P T
n
³i n =
[m1
m2
].Da n ≥ 8 evident sistemul este supra- onstrâns iar soluµia a estuiapoate � aproximat în sensul elor mai mi i p trate.Estimarea parametrilor intrinse i ³i extrinse iCa ³i în azul liniar, vom s rie:ρ ·
[A b
]= M (1.125)unde ρ reprezint un fa tor de s alare ne unos ut e a fost introdus pentrua asigura faptul |M | = |m| = 1, A =
[a1
T a2T a3
T]T (unde aj,
j = 1, ..., 3, reprezint liniile matri ei) iar b =[b1 b2 b3
]T este un ve tor u sens de translaµie.Adaptând la faptul pân în a est pun t unoa³tem doar prima ³i adoua linie a matri ei M (³i anume m1T ³i m2
T ), vom res rie e uaµia doar îna est az:ρ ·
[ [a1
T
a2T
] [b1b2
] ]=
[ [α · r1T − α · ctan(θ) · r2T
β
sin(θ)· r2T
] [α · tx − α · ctan(θ) · ty
β
sin(θ)· ty
] ] (1.126)unde r1T ³i r2T sunt prima ³i a doua linie a matri ei de rotaµie R iar tx ³i tysunt primii doi oe� ienµi de translaµie (vezi e uaµia 1.50).În ele e urmeaz pentru a fa ilita al ulele vom tre e la reprezenta-rea ve torial , al ulele �ind reprezentate pe baz de produse s alare (·) ³ive toriale (×). Astfel putem s rie:ρ · a1 = α · r1 − α · ctan(θ) · r2, ρ · a2 =
β
sin(θ) · r2(1.127)Cal ulând modulul de o parte ³i de alta ³i tinand ont de observaµia ve torii
ri (i = 1, ..., 3) �ind ve torii unei rotaµii de�nes un sistem ortonormat iarunghiul θ este în ve inatatea lui π/2 obµinem:ρ · |a1| = ± α
sin(θ), ρ · |a2| = ± β
sin(θ)(1.128)³i astfel obµinem valorile lui α ³i β:
α = ±ρ · |a1| · sin(θ), β = ±ρ · |a2| · sin(θ) (1.129)
42 CUPRINS³i astfel β
α=
|a2||a1|
. Mai departe, putem obµine unghiul θ da realiz mprodusul s alar între e uaµiile 1.127 ³i ne folosim de faptul r1 · r2 = 0, eidoi ve tori �ind ortogonali, astfel:ρ2 · a1 · a2 = − α · β
sin(θ) · sin(θ) · cos(θ) = −|a1| · |a2| · cos(θ) (1.130)de unde rezult :cos(θ) = − a1 · a2
|a1| · |a2|(1.131)În ontinuare s al ul m ve torii r1 ³i r2. Din e uaµia 1.127 rezult imediatfaptul :
r2 = ρ · a2 ·sin(θ)
β= ± a2
|a2|(1.132)³i înlo uind în prima relaµie obµinem:
r1 =ρ
α· a1 ±
cos(θ)
sin(θ)· a2
|a2|= ± 1
sin(θ)·[a1
|a1|+
a2
|a2|· cos(θ)
] (1.133)În �nal, r3 se obµine a produs ve torial r3 = r1 × r2 eea e ne permite s determin m omplet matri ea de rotaµie R.Revenind la e uaµia 1.126 obµinem:ρ · b1 = α · tx − α · ctan(θ) · ty, ρ · b2 =
β
sin(θ)· ty (1.134)de unde obµinem imediat:
ty = ± b2|a2|
(1.135)³itx =
ρ
α· b1 +
cos(θ)
sin(θ)· ty = ± 1
sin(θ)
[b1|a1|
+b2|a2|
· cos(θ)] (1.136)În a est pun t, f r s folosim onstrângeri suplimentare nu putem de-termina parametrul tz ³i respe tiv pe ρ. Pentru a easta trebuie s revenimla sistemul din e uaµia 1.122. Exprimând �e are oordonat , obµinem urm -toarele e uaµii:
(m1T − λ · u′ ·m3
T ) · P = 0
(m2T − λ · v′ ·m3
T ) · P = 0 (1.137)unde valorile lui m1T ³i m2
T sunt unos ute, iar m3T este dat de e uaµia1.50, m3
T =[r3
T tz] unde r3 este de asemenea unos ut.
1.3. CALIBRAREA GEOMETRIC� A CAMEREI 43Da înlo uim în expresia lui d2 din e uaµia 1.119 pe α, β ³i cos(θ) obµi-nem:d2 =
u′2
ρ2 · |a1|2 · sin2(θ)+
v′2
ρ2 · |a2|2 · sin2(θ)+
2 · u′ · v′ · a1 · a2
ρ2 · |a1|2 · |a2|2 · sin2(θ)=
|u′ · a2 − v′ · a1|2ρ2 · |a1 × a2|2
(1.138)Înlo uind a east valoare în valoarea lui λ din sistemul de e uaµii 1.137 ³i onsiderând toate ele n pun te vom obµine un sistem de e uaµii neliniar dene unos ute: ρ, tz ³i kp (p = 1, ..., q) oe� ienµii de distorsiune. A esta poate� rezolvat folosind metodele prezentate anterior. Fiind vorba de o estimareiterativ , este ne esar stabilirea unor estimate iniµiale ale soluµiilor. În azulρ ³i tz, a e³tia pot � determinaµi iniµial în azul absenµei distorsiunilor radiale,³i anume λ = 1. Dat �ind faptul valorile kp sunt mi i, o estimare iniµial a a estora poate porni de la valoarea 0.1.3.4 Exemplu pra ti de metod de alibrareÎn ele e urmeaz vom detalia un exemplu on ret de alibrare a amerei ³ianume metoda propus în [3℄ e ofer o pre izie a m sur torilor de pân la1/4000. Pentru exempli� are vom folosi notaµiile urm toare:
• P =[xi yi zi
]T (i = 1, ..., n) reprezint oordonatele pe ele treiaxe a n pun te din lumea real (W ),• p =
[ui vi
]T reprezint oordonatele proie µiei pun telor Pi în pla-nul imaginii (sistemul (C), de regul u este omponenta pe orizontal axa �ind orietat spre dreapta iar v este omponenta pe verti al axa�ind orientat în sus),• a =
[ri ci
]T reprezint un pixel al matri ei imaginii identi� at prinnum rul liniei r ³i respe tiv num rul oloanei c (sistemul de axe folositla prelu rarea de imagini onsider axa liniilor verti al ³i orientat înjos în timp e axa oloanelor este orizontal ³i indi spre dreapta),• (u0, v0) orespund oordonatelor pun tului de interse µie al axei opti e u planul imaginii ( entrul opti ³i indi de alajul planului imaginiifaµ de a est pun t),• {dx, dy} reprezint ei doi fa tori de s al e de�nes dimensiunea real a pixelilor (l µime, în lµime),
44 CUPRINS• τ reprezint fa torul de distorsiune al ratei de aspe t al imaginii;• f reprezint distanµa fo al �ind distanµa dintre originea sistemului amerei ³i planul imaginii,• k1 reprezint oe� ientul de distorsiune radial ,• t =
[tx ty tz
]T reprezint translaµiile sistemului lumii reale (W )faµ de sistemul amerei (C),• R =
r11 r12 r13r21 r22 r23r31 r32 r33
reprezint matri ea de rotaµie e des rie rotaµiasistemului lumii (W ) faµ de sistemul amerei (C).Dup um am menµionat în se µiunile anterioare, pro esul de alibrare onst în determinarea parametrilor intrinse i ³i extrinse i ai amerei. În ele e urmeaz , vom presupune parametrii u0, v0, dx, dy ³i τ sunt unos uµipentru modelul de amer folosit, a e³tia �ind parametri onstru tivi.Leg tura dintre oordonatele reale (u, v) din planul imaginii ³i poziµiapixelului în imagine (r, c, ), poate � exprimat pe baza parametrilor intrinse i a �ind:u = τ · dx · (c− u0) (1.139)v = −dy · (r − v0) (1.140)AlgoritmAdoptând a este onsideraµii, algoritmul de alibrare poate � des ris astfel:1. pe baza elor n pere hi de pun te {Pi(xi, yi, zi);pi(ui, vi)} (de regul
n ≥ 5) de�nim urm torul sistem de e uaµii:A · µ = b (1.141)
v1 · x1 v1 · y1 −u1 · x1 −u1 · y1 v1... ... ... ... ...
vn · xn vn · yn −un · xn −un · yn vn
·
r11
tyr12
tyr21
tyr22
tytx
ty
=
u1u2u3...
u5
(1.142)
1.3. CALIBRAREA GEOMETRIC� A CAMEREI 45Folosind metode spe i� e rezolv m sistemul de e uaµii obµinând astfelvalorile ve torului µ.2. notând u U = µ21 + µ2
2 + µ23 + µ2
4 al ul m valoarea lui ty astfel:t2y =
U−√
U2−4·(µ1·µ4−µ2·µ3)2
2·(µ1·µ4−µ2·µ3)2daca (µ1 · µ4 − µ2 · µ3) 6= 0
1µ2
1+µ2
2
daca (µ21 + µ2
2) 6= 01
µ2
3+µ2
4
daca (µ23 + µ2
4) 6= 0
(1.143)De observat faptul semnul lui ty nu poate � determinat în a estpun t.3. se onsider ty pozitiv ³i se al uleaz :r11 = µ1 · ty (1.144)r12 = µ2 · ty (1.145)r21 = µ3 · ty (1.146)r22 = µ4 · ty (1.147)tx = µ5 · ty (1.148)4. pentru a determina semnul lui ty se onsider unul dintre ele n pun tea rui oordonate sunt ât mai dep rtate de entrul imaginii, �e
P (x, y, z) a el pun t. Cal ul m:ξx = r11 · x+ r12 · y + tx (1.149)ξy = r21 · x+ r22 · y + ty (1.150)Da ξx nu are a ela³i semn u u, sau da ξy nu are a ela³i semn u
v atun i se s himb semnul lui ty ³i orespunz tor se re al uleaz r11,r12, r21, r22 ³i tx.5. al ul m parametrii de rotaµie r ma³i astfel:
r13 =√1− r211 − r212 (1.151)
r23 =√1− r221 − r222 (1.152)
r31 =1− r211 − r12 · r21
r13(1.153)
r32 =1− r21 · r12 − r222
r23(1.154)
r33 =√1− r31 · r13 − r32 · r23 (1.155)
46 CUPRINSDe observat faptul în a est pun t semnul valorilor lui r23, r31 ³i r32nu poate � determinat ore t. Da r11 · r21 + r12 · r22 este o valoarepozitiv atun i se va s himba semnul lui r23. Pentru validarea elorlaltedou valori avem nevoie de valoarea lui f .6. de�nim sistemul urm tor:A′ · v = b′ (1.156)
r21 · x1 + r22 · y1 + ty v1... ...
r21 · xn + r22 · yn + ty vn
·
[f
tz
]=
(r31 · x1 + r32 · y1) · v1...
(r31 · xn + r32 · yn) · vn
(1.157)din are obµinem un estimat al lui f ³i tz. Da f < 0 atun i s himb msemnul parametrilor r13, r23, r31, r32, f ³i tz.7. al ul m modul de modi� are al oordonatelor datorit distorsiuniiradiale. Vom onsidera a easta poate � modelat u un singur pa-rametru de distorsiune k1 astfel:
u = u · (1 + k1 · d2) (1.158)v = v · (1 + k1 · d2) (1.159)unde (u, v) sunt oordonatele reale obµinute în urma distorsiunii iar deste unos ut �ind distanµa radial de la pun tul onsiderat la entrulimaginii. Se obµine astfel un sistem neliniar de n e uaµii:
vi · (1 + k1 · d2) = f · r21 · xi + r22 · yi + r23 · zi + tyr31 · xi + r32 · yi + r33 · zi + tz
(1.160) u i = 1, ..., n a rui rezolvare ondu e la estimarea valorilor lui f , tz³i k1.Exemplu numeri S onsider m urm torul exemplu numeri pra ti [5℄: avem la dispoziµie oordonatele reale a 5 pun te, Pi(xi, yi, zi) (i = 1, ..., 5) ³i respe tiv proie µiilea estora în planul imaginii, pi(ui, vi). Valorile sunt ilustrate în Tabelul 1.1.În ele e urmeaz vom folosi algoritmul propus în [3℄ pentru a determinaparametrii amerei e in lud poziµia, orientarea ³i distanµa fo al . Astfel,matri ea A este dat de:A =
0.0 0.0 0.0 2.89 0.010.0 7.5 −17.32 −12.99 1.00.0 0.0 −17.32 −8.66 0.05.0 10.0 0.0 0.0 1.0
−5.0 0.0 0.0 0.0 −1.0
(1.161)
1.3. CALIBRAREA GEOMETRIC� A CAMEREI 47Tabela 1.1: Exemplu de date de alibrare.i xi yi zi ui vi1 0.0 5.0 0.0 -0.58 0.02 10.0 7.5 0.0 1.73 1.03 10.0 5.0 0.0 1.73 0.04 5.0 10.0 0.0 0.0 1.05 5.0 0.0 0.0 0.0 -1.0³i b:
b =
−0.581.731.730.00.0
(1.162)de unde obµinem ve torul µ a �ind:µ =
−0.170.00.0
−0.20.87
(1.163)Mai departe obµinem:U = 0.07, t2y = 25 (1.164)Folosind a este valori obµinem oe� ienµii de rotaµie ³i tx:r11 = −0.87 (1.165)
r12 = 0.0 (1.166)r21 = 0.0 (1.167)
r22 = −1.0 (1.168)tx = 4.33 (1.169)Pentru estimarea valorilor ξx ³i ξy vom folosi pun tul P2(10.0, 7.5, 0.0) ³irespe tiv p2(1.73, 1.0). Astfel ξx = −4.33 ³i ξy = −2.5. Cum obµinem semne
48 CUPRINSdiferite faµ de u2 ³i v2 vom s himba semnul lui ty = −5 ³i astfel re al ul m:r11 = 0.87 (1.170)r12 = 0.0 (1.171)r21 = 0.0 (1.172)r22 = 1.0 (1.173)
tx = −4.33 (1.174)Cal ul m în ontinuare restul de parametri de rotaµie:r13 = 0.5 (1.175)r23 = 0.0 (1.176)r31 = 0.5 (1.177)r32 = 0.0 (1.178)r33 = 0.87 (1.179)Valoarea lui r11 · r21 + r12 · r22 = 0 ³i astfel l s m nes himbat semnul lui r23.Mai departe form m al doilea sistem de e uaµii unde A′ este:
A′ =
0.0 0.02.5 −1.00.0 0.05.0 −1.0
−5.0 1.0
(1.180)iar b′ este:b′ =
0.05.00.02.5
−2.5
(1.181)de unde obµinem:f = −1.0, tz = −7.5 (1.182)Cum f < 0 vom s himba semnul lui r13 = −0.5, r23 = 0.0, r31 = −0.5,
r32 = 0.0, f = 1 ³i tz = 7.5.În a est exemplu am presupus nu exist distorsiuni radiale astfel al- ulele se în heie ai i.
Bibliogra�e[1℄ David A. Forsyth, J. Pon e, "Computer Vision: A Modern Approa h",Prenti e Hall, ISBN-10: 0130851981, 2002.[2℄ R. Hartley, A. Zisserman, "Multiple View Geometry in Computer Vi-sion", 2nd Ed., Chap. 7, Cambridge University Press, ISBN: 0521540518,2004.[3℄ R.Y. Tsai, "A Versatile Camera Calibration Te hnique for High-A ura y 3D Ma hine Vision Metrology using O�-the-Shelf TV Came-ras", IEEE Journal of Roboti s and Automation, RA-3(4), pp. 323-344,1987.[4℄ D.H. Ballard, C.M. Brown, "Computer Vision", Prenti e-Hall, ISBN0-13-165316-4, 1982.[5℄ L.G. Shapiro, G. Sto kman, "Computer Vision", Prenti e-Hall, ISBN978-0130307965, 2000.[6℄ R. Szeliski, "Computer Vision: Algorithm and Appli ations", Springer,ISBN 978-1-84882-934-3, 2010.[7℄ O. Faugeras, Q.-T. Luong, T. Papadopoulo, "The Geometry of MultipleImages", MIT Press, ISBN 0-262-56204-9, 2001.
49