Universidad de Zaragoza
1Departamento de Informática e Ingeniería de Sistemas RoPeRT
Caraterísticas Visuales y Control de Movimiento
C. Sagüés, G. López-Nicolás, J.J. Guerrero, A.C. Murillo
2
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Indice
MotivaciónCaracterísticas visuales
PuntosLíneasInvariantes a escala: SIFT/SURF
Control de movimientoBasado en HomografíaBasado en Epipolos
Conclusiones
3
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Motivación
Percepción en humanosRelación/Interacción con otros : Amigos …Placer/Descanso: Cine, TV …Movimiento: Desplazarse …
Percepción en robotsMovimiento
Aplicaciones IndustrialesServicioRescate
Visión como sensor para percepciónVarias imágenes y “matching” de característicasMovimiento
• Basado en posición• Basado en imagen
4
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Características: Puntos
Puntos: Detector de Harris [Harris-88]Puntos a partir de los gradientes horizontal y vertical
R(x,y) = det (C) – k traza2 (C)
5
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Características: Puntos
Redistribución en celdasFilas m, Columnas n, Puntos por celda lUmbral para Medida de “Corner” ( R)
Imagen 1 - 483 Puntos
123 456 789 10 111213 14
1516 17
18
19
202122 232425
2627282930
31 323334353637
383940 414243 4445 4647
4849
505152 535455565758596061 626364 65667
6869
707172
7374 757677
78798081828384 858687
888990
919293 94 9596979899100101102 103104
1
1
107
108
109
110111112113114115116117
118119120
121122123124125
126
127128129130131132
133134135136
137138
139140141 142143144
145146147 1
11515115253 154155156 157
158159
160161162
163164165166167168169170171172173
174175176177 178
179180 181182183
184185
186187188189
11
192193194195196
197198199200
201 202203204205
206 207208209210211212 213214215
216217218
219220 221 2222225
226
227 228
229 230231232
233234235 236237238
239240241 242243244245
246
247242
25
251252253254255256
257258259 260261262
263264265266267 268269
270 271272273 274275276
277278279 280281
28228228
286287288289290 291292293 294295296297298299 300301
302303304305306307308
309310311312313314
315316317318
319
320321322323324
325326
327 33
330331332333
334335336337
338 339340341342343344 345346
347348349
350351352 353354355 356
357358
359360361
362363 364365366 367368369 370371372 373
374375376 377378379 380381382 383384385
386
387388
389390391
392393394 395396397 33994
401402403 404405406
407408409410411412413
414415
416417418419420421422 423424
425426 427
428429
430431
432 433434435436
437438439440
441442443 444445446447448 449450451452453 454
455456 457458 459460461462463464
465 4467
468469470
471
472 473474475476477478
479480481 48248
123 456789
1213 1516
171819
202122 232425 262728 2930
31233 343536 37
38
39
40414243
4445
464748
4950
5152
53545556 57 585960 616263 646566 676869 707172 737475 7677787980
818283848586 8788
8990 91
929394959697 9899100101
102103 104105106 107
108109 110111112
113114115 116117118
119 120121122 123124125
126127128129130131132133
134135136
137 138139140 141142143144145
146 147148149
150151152153154
15556 157158159
160161162163164
165166167
168
169170 171172
173174
175176
177178179180
181
182
183184185186187
188
189190191192193194 195196197
198199
200 201202
203204205206207208 209210211
212213214215
216217
21821220
221222223224 225226227
228 229230231 232233234 235
236237 238239
240
241242243244245
2
247248249250251252 253
254255
256 257258 259260261
262263264265266
267268269 270271272 273
274275276 277278
279280281
2
283284285 286287288289290291 292293294295296297 298
299300301
302303304305306
307308309310311312
313
314
315 316317
318
319320321
322323324 3
32632
328329330 331
332333 334335336337
338 339340341342
343344345346347348349
350
351352353 354
355356357358359360 361 362363364365 366367 368 369370371 372373374 375376377
378379380
333
384 385386387388389 390391
392393394395396 397398399400401402 403404405
406407408
409410
411 412 413
414415
416417418 419420 421422423424425426 427 428
429430
431432433
434435436437438
439440
441442443
444445446 447448449
450451452 453454 455456457458459460 461
462463464 46546467
Imagen 2 - 467 Puntos
6
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Ejemplo 1
130 Correspondencias (dos planos) - 96% buenas
7
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Ejemplo 1
130 Correspondencias (dos planos) - 96% buenas
8
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Características: LíneasLíneas + LSR [Burns-86]
0 o
1
23
4
5
67
8
0o1
23
4
5
6 7
8
9
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Ejemplo 1
Correspondencias inicio 37 14 erróneas
Correspondencias final 28
Todas buenas como líneas
1 errónea como segmento
10
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Ejemplo 2
Líneas extraídas 246 Líneas extraídas 262
1
2
3
45
6
7
8
910
111213 14
151617 18
1920
21222324
2526
27
28 2930
31323334
35
3637
3839404142 4344
45464748 4950 515253
54555657 58 59
6061
6263
646566 67 6869
70 7172
73
74 75767778 79 8081
82 83 8485 86
87
88 89
9091
92 93
94 95
969798 99
100
101 102103104
105106
107
108109
110
111112113
114115
116
117118
119
120 121122123124125126 127
128
129130131132133 134
135 136137138 139140 141142143144
145 146147148149150 151
152 153 154155 156 157158159
160161 162163164
165
166167 168169170171 172173 174
175176177178179
180181
182183
184
185186
187188 189190 191192
193194 195 196197 198
199200201202 203
204
205
206
207
208209 210
211 212213
214215
216
217218 219
220221 222 223
224225
226
227228229230
231232233
234235236237
238
239
240241242 243
244
245246
12
34
5
6789
10 1112
13
1415
1617 18
19202122 23
2425
26 272829
303132
3334 35 36
37
3839 404142 4344
45 4647 484950 51 5253
54555657
585960
61 62 6364
6566
67
68 697071
72 7374
7576
77 78
79
80 81
828384
8586 87 888990
9192
93 9495 9697
98
99
100
101
102 103104
105
106 107108109 110111
112113 114115 116117
118
119120121122
123
124125126127 128 129
130131 132
133 134
135
136137138 139140
141142143 144145146 147148 149150
151152 153 154155 156157 158159160
161162163 164165166167168169170171172
173174 175176 177178
179180181 182183
184185186 187188189 190
191192193
194195
196197 198199 200 201 202 203
204205
206
207
208 209210
211
212
213214215216
217218
219220
221222
223224 225226
227
228229230
231232 233
234235
236237
238239
240241 242243244245 246247248
249250 251252 253254255256
257258
259
260
261
262
11
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Ejemplo 2
147 Correspondencias Iniciales (20% erróneas)
1 23
456 7
8
91011
12
13
14
15161718
19
20
21222324 25
26 2728 2930
313233
343536 3738
39 4041
42
43
44
45
464748 49
50 51
52
53 5455
5657 5859
6061
62
63
6465
66
67
68 69
70
717273
74 757677 7879 8081
8283848586 87
88 8990 91 9293 949596
9798 99100101 102103 104
105106107108
109110111 112
113114
115116 117118 119
120121 122
123124
125
126
127
128
129
130
131132
133
134135
136 137
138
139140141142
143
144145
146
147
12
3
456 7
89
101112
13
1415161718
19
20
21
22 2324 2526 2728
2930
31323334 3536
37383940
41
4243
44
45
464748 49
50 51
52
53 5455
5657 585960 61
62
636465
6667
68 69
70
7172
73
7475
767778
7980
818283
848586 8788 8990 91 92
9394
959697
98 99100101102
103 104105106107
108109110111 112
113114115116 117118 119
120121 122
123 124
125
126
127128
129
130
131
132133134
135136137
138 139140
141142
143
144145
146
147
12
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Ejemplo 2
159
239
1 2
3
45
6 7
8
9
101112
13
14
151617
18
19
20
2122
2324 2526 2728 29
30
313233
34
3536
373839 4041
42
43
44
45
464748 49
50 51
52
53 5455
5657 5859
6061
62
63
6465
66
67
68 69
70
717273
74 757677 7879 80
818283
8485
86 8788 8990 91 92
93 949596
97
98 99100101 102103 104105106107
108109
110111 112
113114
115116 117118 119
120121 122
123124
125
126
127
128
129
130
131132
133
134135
136 137
138
139140
141142
143
144145
146
147
12
3
45
6 7
8
9
101112
13
14
1516
1718
19
20
21
22 2324 25
262728
2930
31323334
3536
373839
4041
4243
44
45
464748 49
50 51
52
53 5455
5657 58
5960 61
62
63
6465
66
67
68 69
70
7172
73
7475
767778
7980
818283
848586
8788 8990 91 92
9394
9596
97
98 99100101102
103 104105106107
108109
110111 112
113114115116 117118 119
120121 122
123 124
125
126
127128
129
130
131
132133134
135136
137138 139
140
141142
143
144145
146
147
12
34
5
678
9101112
131415 1617
181920
21
22
23
2425
26272829
30 31 32
3334 3536
37 3839 4041
4243444546
47484950
5152
53
54
55
56
57
5859
60
61
62
63
64
6566
6768
69
707172 73
7475
7677
78
79
80
1
23
4
5
678
9101112131415 16
171819
2021
2223
2425
262728
2930
31 32
333435
36
3738
3940
41 4243444546
47484950
5152
53
54
55
56
57
5859
60
61
62
63
64
6566
6768
69
707172 73
7475 7677
78
79
80
115 Correspondencias finales (99% buenas)
13
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Ejemplo 2
1 2
3
45
6 7
8
9
101112
13
14
151617
18
19
20
2122
2324 2526 2728 29
30
313233
34
3536
373839 4041
42
43
44
45
464748 49
50 51
52
53 5455
5657 5859
6061
62
63
6465
66
67
68 69
70
717273
74 757677 7879 80
818283
8485
86 8788 8990 91 92
93 949596
97
98 99100101 102103 104105106107
108109
110111 112
113114
115116 117118 119
120121 122
123124
125
126
127
128
129
130
131132
133
134135
136 137
138
139140
141142
143
144145
146
147
12
3
45
6 7
8
9
101112
13
14
1516
1718
19
20
21
22 2324 25
262728
2930
31323334
3536
373839
4041
4243
44
45
464748 49
50 51
52
53 5455
5657 58
5960 61
62
63
6465
66
67
68 69
70
7172
73
7475
767778
7980
818283
848586
8788 8990 91 92
9394
9596
97
98 99100101102
103 104105106107
108109
110111 112
113114115116 117118 119
120121 122
123 124
125
126
127128
129
130
131
132133134
135136
137138 139
140
141142
143
144145
146
147
1
2 3 45
6 7 8
9
10
11
1213
14 151617
18
19
20
2122232425
26
27
28
29
303132
33
34
35
3637
383940
41
424344
4546 4748 49
50 51
52
1
23 45
6 7 8
9
10
11
1213
1415 1617
18
19
20
2122232425
26
27
28
29
303132
33
34
35
3637
383940
41
424344
4546 4748 49
50
51
52
50 Correspondencias finales (99% buenas)
14
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Características: SIFT-SURF
SIFT: Scale Invariant Features Transform [Lowe-2004]SURF: Speed-up Robust Features [Bay-2006]
Máximos locales del determinante del HessianoHaar wavelet
Optimización del cálculo mediante imágenes integrales
= *
15
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Ejemplo 1
16
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Control de movimiento
Vehículos No-holónomosControl automático hacia el objetivo
Definido mediante una imagen en esa posiciónNo hay consideraciones de evitación de obstáculos
Una cámaraBasado en posición / Basado en imagenCálculo de Homografía
[Isidori
95], [Ma
99], [Tsakiris
98], [Benhimane
05], [Corke
01]
x
z
Target
Initial
φ
17
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Control de movimiento
Imagen objetivo
Imagen ActualExtracciónCaracterísticas
ExtracciónCaracterísticas
Matching Homografía LeyControl Robot
18
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Control de movimientoHomografía
Dos imágenes relacionadas mediante una homografíaHomografía viene generada por un plano de la escenaCalculo a partir de la correspondencia de puntos, líneas, SIFT, SURF.Objetivo: H = I C2
HC1
p2 p1
p
p2 = H p1
π
19
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Control de movimientoLey de Control
La homografía estárelacionada con el movimiento relativo entre las cámaras
Movimiento plano
Relación no lineal de H con el estado del sistema
[Benhimane
06], [Malis
00], [Fang
05]
20
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Control de movimiento
Linealización Entrada-Salida2 gdl → Dos elementos de la homografía son suficientes para definir el controlModelo en espacio de estado
Derivadas de las funciones de salida:
State
vector:Input
vector:
Output vector:With:
21
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Control de movimiento
Linealización Entrada-SalidaRelación lineal del control con la nueva salida
Seguimiento de las trayectorias deseadasDinámica del error exponencialmente estable
With:
22
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Control de movimiento
Linealización Entrada-SalidaTrayectorias deseadas
23
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Control de movimiento
Simulaciones
24
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Control de movimiento
Simulaciones
25
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Control de movimiento
Simulaciones (Ruido en la imagen 1 pixel)
26
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Control de movimiento
Limitaciones de la HomografíaEscena PlanaPequeña “baseline”
Alternativamente: Epipolos
CcCc
Ct
Ct
Imagen objetivo
Objetivo
ImagenActual
Actual
Movimiento plano
27
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Control de movimiento
Epipolo Actual:
Epipolo Objetivo:
28
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Control de movimiento
Linealización de Entrada-Salida
Ley de control: relación lineal del control con las nuevas salidas
[Mariottini
04]
29
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Control de movimiento
Epipolos - Ejemplo 1
30
Universidad de Zaragoza
Departamento de Informática e Ingeniería de Sistemas RoPeRT
Conclusiones
Control de movimiento a partir de características visuales
Ley de control basada en los elementos de la Homografía
Limitaciones para escenas no planas
Epipolos a partir de la Matriz Fundamental
Trabajo FuturoPosición inicial cualquiera. Incorporación de maniobras
Incorporación de restricciones de campo de vista
Obtención de trayectorias óptimas