introducci´onalavisi´on activa · • el seguimiento activo conlleva motion blur y facilita...

31
Introducci´ on a la Visi´ on Activa V. Javier Traver Dep. Llenguatges i Sistemes Inform` atics Universitat Jaume I [email protected] Julio 2004 Indice Introducci´ on a la Visi´ on Activa Indice Ideas b´ asicas Selecci´ on de la atenci´ on Visi´ on foveal Control mec´ anico Algunos sistemas de visi´ on activa Referencias Dep Llenguatges i Sistemes Inform` atics Universitat Jaume I 1

Upload: others

Post on 10-May-2020

5 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Intr

oduccio

na

laVisio

nActiva

V.Javie

rTra

ver

Dep.

Lle

nguatg

es

iSiste

mes

Info

rmatics

Univ

ers

itat

Jaum

eI

[email protected]

Julio

2004

Indic

eIn

troduccio

na

laVisio

nActiva

Indice

Ideas

basicas

Sele

ccio

nde

laate

ncio

n

Visio

nfo

veal

Contr

olm

ecanic

o

Alg

unos

sist

em

as

de

visio

nactiva

Refe

rencia

s

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

1

Page 2: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Indic

eIn

troduccio

na

laVisio

nActiva

Indice

Ideas

basicas

Sele

ccio

nde

laate

ncio

n

Visio

nfo

veal

Contr

olm

ecanic

o

Alg

unos

sist

em

as

de

visio

nactiva

Refe

rencia

s

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

1

Indic

eIn

troduccio

na

laVisio

nActiva

Indice

Ideas

basicas

Sele

ccio

nde

laate

ncio

n

Visio

nfo

veal

Contr

olm

ecanic

o

Alg

unos

sist

em

as

de

visio

nactiva

Refe

rencia

s

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

1

Page 3: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Indic

eIn

troduccio

na

laVisio

nActiva

Indice

Ideas

basicas

Sele

ccio

nde

laate

ncio

n

Visio

nfo

veal

Contr

olm

ecanic

o

Alg

unos

sist

em

as

de

visio

nactiva

Refe

rencia

s

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

1

Indic

eIn

troduccio

na

laVisio

nActiva

Indice

Ideas

basicas

Sele

ccio

nde

laate

ncio

n

Visio

nfo

veal

Contr

olm

ecanic

o

Alg

unos

sist

em

as

de

visio

nactiva

Refe

rencia

s

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

1

Page 4: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Indic

eIn

troduccio

na

laVisio

nActiva

Indice

Ideas

basicas

Sele

ccio

nde

laate

ncio

n

Visio

nfo

veal

Contr

olm

ecanic

o

Alg

unos

sist

em

as

de

visio

nactiva

Refe

rencia

s

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

1

Ideas

basicas

Intr

oduccio

na

laVisio

nActiva

Ideas

basicas

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

2

Page 5: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Para

dig

mas

de

lavisio

nId

eas

basicas

Para

dig

mas

de

lavisio

n

Evolu

cio

nde

para

dig

mas

de

lavisio

n:

Ano

Visio

ncom

oT

ecnic

as

1965

reconocim

iento

clu

stering,cla

sificacio

n1975

com

pre

nsion

(IA)

segm

enta

cio

n,re

pre

senta

cio

n1980

reconst

ruccio

ndepth

from

X,m

odela

do

de

laesc

ena

1985

Visio

nactiva

seguim

iento

activo,visualse

rvoin

g1990

pro

ceso

inte

gra

cio

n,opera

cio

ncontınua,contr

ol

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

3

Para

dig

mas

de

lavisio

nId

eas

basicas

Para

dig

mas

de

lavisio

n

Evolu

cio

nde

para

dig

mas

de

lavisio

n:

Ano

Visio

ncom

oT

ecnic

as

1965

reconocim

iento

clu

stering,cla

sificacio

n1975

com

pre

nsion

(IA)

segm

enta

cio

n,re

pre

senta

cio

n1980

reconst

ruccio

ndepth

from

X,m

odela

do

de

laesc

ena

1985

Visio

nactiva

seguim

iento

activo,visualse

rvoin

g1990

pro

ceso

inte

gra

cio

n,opera

cio

ncontınua,contr

ol

Visio

nactiva:

aju

ste

din

am

ico

de

los

para

metr

os

(opticos

ym

ecanic

os)

de

un

sist

em

a

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

3

Page 6: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Para

dig

mas

de

lavisio

nId

eas

basicas

Para

dig

mas

de

lavisio

n

Evolu

cio

nde

para

dig

mas

de

lavisio

n:

Ano

Visio

ncom

oT

ecnic

as

1965

reconocim

iento

clu

stering,cla

sificacio

n1975

com

pre

nsion

(IA)

segm

enta

cio

n,re

pre

senta

cio

n1980

reconst

ruccio

ndepth

from

X,m

odela

do

de

laesc

ena

1985

Visio

nactiva

seguim

iento

activo,visualse

rvoin

g1990

pro

ceso

inte

gra

cio

n,opera

cio

ncontınua,contr

ol

Visio

nactiva:

aju

ste

din

am

ico

de

los

para

metr

os

(opticos

ym

ecanic

os)

de

un

sist

em

a

Orıgenes:

•Bajc

sy(1

982)

acuna

elte

rmin

oen

un

Work

shop

•Alo

imonos

(1987)

pre

senta

paper

en

ICCV

•Ballard

&Bro

wn

(1989)

pre

senta

ntr

abajo

en

ICCV

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

3

Visio

npasiva

yactiva

Ideas

basicas

Visio

npasiva

yactiva

Venta

jas

delenfo

que

activo

•Pro

ble

mas

irre

solu

ble

sdeja

nde

serlo

•Pro

ble

mas

maldefinid

os

(ill-p

ose

d)

yno

lineale

spasa

na

ser

bie

ndefinid

os

ylineale

s

Eje

mplo

s:

•La

fija

cio

nsim

plifica

laest

imacio

nde

movim

iento

•Conocer

elm

ovim

iento

de

lacam

ara

(egom

otion)

perm

ite

est

imar

lapro

fundid

ad

(yaum

enta

rro

bust

ez)

•Else

guim

iento

activo

conlleva

motion

blu

ry

facilita

segm

enta

cio

ndel

“ta

rget”

•Auto

calibra

cio

nde

una

cam

ara

Esc

uela

sde

Marr

yG

ibso

n:

•M

arr

(reconst

ructivism

o):

reconocim

iento

de

obje

tos

ycom

pre

nsion

de

sus

rela

cio

nes

•G

ibso

n(p

urp

osive-a

nim

ate

-behavio

rist

):tr

ansf

orm

acio

nde

entr

ada

visualen

accio

nes

moto

ras

•¿M

utu

am

ente

exclu

sivas

ocom

ple

menta

rias?

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

4

Page 7: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Visio

npasiva

yactiva

(2)

Ideas

basicas

Otr

os

nom

bre

s:qualita

tive,purp

osive,anim

ate

,...

Genera

lizacio

nalconcepto

de

perc

epcio

nactiva

Motivacio

nbio

logic

a

•Com

ofu

ente

de

insp

iracio

nde

solu

cio

nes

•Com

oaplicacio

nde

resu

ltados

bio

logic

os

aagente

sart

ificia

les

•Com

ocom

pro

bacio

n/desc

ubrim

iento

de

teorias

neuro

fisiolo

gic

as

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

5

Crıticas

aM

arr

Ideas

basicas

Crıticas

aM

arr

Analisis

est

atico

de

dato

scaptu

rados

de

form

apasiva;so

lovalido

en

pro

ble

mas

sinte

ticos

de

IA,no

para

const

ruir

sist

em

as

genera

les

yro

bust

os

Esp

ecifi

cacio

nm

ate

matica

pre

cisa

delpro

cesa

mie

nto

visual,

ypro

ceso

sse

para

dos

Exclu

yeelcom

port

am

iento

delobse

rvador

(i.e

.,se

lim

ita

avisio

npasiva)

No

considera

laim

port

ancia

fuente

sadic

ionale

sde

info

rmacio

n(d

isponib

les

en

sist

em

as

visuale

sbio

logic

os)

;se

gun

el,

lavisio

nbast

a

Visio

ncom

opro

ceso

genera

l,in

dependie

nte

delobse

rvador

yla

tare

a

Pre

tension

de

recupera

rto

da

lain

form

acio

nde

toda

laesc

ena

No

tiene

en

cuenta

que

elpro

cesa

mie

nto

visuales

sensible

alconte

xto

(solo

es

necesa

ria

cie

rta

info

rmacio

npara

cie

rta

tare

avisual)

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

6

Page 8: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Aplicacio

nes

Ideas

basicas

Aplicacio

nes

•Auto

matic

cam

era

-man

•Vid

eo-c

onfe

rencia

•M

onitorizacio

ny

vid

eo-v

igilancia

•In

tera

ccio

npers

ona-m

aquin

a•

Robotica

de

serv

icio

•Vehıc

ulo

sauto

nom

os

•Contr

olvisualde

robots

(visualse

rvoin

g)

•...

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

7

Visualizacio

nactiva

Ideas

basicas

Visualizacio

nactiva

Pro

ble

ma

distinto

avisio

nactiva,aunque

com

part

en

ideas

Com

pre

sion

de

info

rmacio

n

Tra

nsm

isio

nde

imagenes

gra

ndes

(gra

nre

solu

cio

n)

•Pro

ble

ma:

ancho

de

banda

lim

itado

•Solu

cio

n:

foveation

en

punto

sde

inte

res

�Explo

tar

lim

itacio

nperc

eptu

alhum

ana

�Tra

nsm

isio

npaula

tina

Ahorr

oen

alm

acenam

iento

de

info

rmacio

n

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

8

Page 9: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Pro

ble

mas

(inte

r-)r

ela

cio

nados

Ideas

basicas

Pro

ble

mas

(in

ter-)re

lacio

nados

Sele

ccio

nde

laate

ncio

n(w

here

-to-look-n

ext

pro

ble

m)

Tip

os

de

ate

ncio

n:

“covert

”and

“overt

Perc

epcio

nfo

veal

Contr

olm

ecanic

ode

lam

irada

(gaze

stabilization+

gaze

change)

Seguim

iento

activo

Com

bin

acio

nde

com

port

am

iento

svisuale

s

Coord

inacio

nojo

-mano

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

9

Vid

eos

Ideas

basicas

Vid

eos

Asist

ente

dom

est

ico

(esc

enario

pre

visto

en

pro

yecto

MO

RPHA)

Weara

ble

visualro

bots

(Univ

.O

xfo

rd)

Robot

movil

sigue

aotr

o

Siste

ma

ENCARA

para

HCI(M

odest

oCast

rillon,Univ

.Las

Palm

as

de

Gra

nCanaria)

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

10

Page 10: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Sele

ccio

nde

laate

ncio

nIn

troduccio

na

laVisio

nActiva

Sele

ccio

nde

laate

ncio

n

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

11

Ate

ncio

nvisual

Sele

ccio

nde

laate

ncio

n

Ate

ncio

nvisual

Pro

ceso

de

filtra

do/lim

itacio

nde

lain

form

acio

nvisual

Tre

spre

gunta

sbasicas

(muy

rela

cio

nadas)

:

1.

¿Q

ue

info

rmacio

nes

suficente

mente

import

ante

para

captu

rar

laate

ncio

n?

•Bott

om

-up

(colo

r,orienta

cio

n,m

ovim

iento

,...),

saliency

•Top-d

ow

n(info

rmacio

nre

levante

para

elcom

port

am

iento

visual

actu

al)

2.

¿Cuando

ycom

odirig

irla

ate

ncio

ny

ele

gir

lain

form

acio

nde

inte

res?

•Eta

pa

pre

-ate

ntiva,en

para

lelo

,sin

dirig

irate

ncio

n•

Eta

pa

de

ate

ncio

n,en

serie,m

ovie

ndo

elcentr

ode

ate

ncio

n

3.

¿D

onde

iry

que

hacer

desp

ues?

(Where

-to-look-n

ext

pro

ble

m)

•Localizacio

nesp

acia

l(s

pace-b

ase

datt

ention

theory

)•

Obje

tos

(obje

ct-

base

datt

ention

theory

)

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

12

Page 11: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Sele

ccio

nde

laate

ncio

nSele

ccio

nde

laate

ncio

n

Sele

ccio

nde

laate

ncio

n

Dos

posibilid

ades:

•Form

a“abie

rta”

(overt

):La

ate

ncio

nse

va

centr

ando

en

difere

nte

spunto

s,cam

bia

ndo

en

eltiem

po

con

movim

iento

socula

res

•Form

a“encubie

rta”

(covert

):Elcentr

ode

ate

ncio

nse

cam

bia

sin

movim

iento

socula

res

Explo

racio

nde

nuevo

ento

rno

media

nte

una

secuencia

de

fija

cio

nes

(scan-p

ath

)

•M

ovim

iento

socula

res

son

dependie

nte

sde:

tare

a,conte

xto

,expecta

tivas,...

•O

pera

dore

sde

medid

ade

inte

res

(dete

cto

res

de

esq

uin

as,

de

sim

etr

ıa,.

..)

Reso

lucio

nde

laate

ncio

nvs

reso

lucio

nvisual

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

13

Mapas

de

pro

min

encia

(salience

maps)

Sele

ccio

nde

laate

ncio

n

Mapas

de

pro

min

encia

(sa

lience

maps)

•In

tegra

cio

nde

multip

les

pista

sperc

eptu

ale

s(a

varias

esc

ala

s)

•Posible

acum

ula

cio

nte

mpora

l(e

.g.,

para

dete

cta

rnuevos

obje

tos

en

una

esc

ena)

•Pro

babilid

ad

de

dirig

irla

ate

ncio

nse

gun

lapro

min

encia

•In

tegra

cio

ncon

otr

os

canale

sse

nso

riale

s(e

.g.,

audio

)

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

14

Page 12: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Vid

eos

Sele

ccio

nde

laate

ncio

n

Vid

eos

Evolu

cio

nm

apa

saliencia

Com

peticio

nentr

em

apas

Eje

mplo

s:se

nale

sde

trafico

,peato

nes

Eje

mplo

s:hela

dos

Eje

mplo

s:re

vista

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

15

Visio

nfo

veal

Intr

oduccio

na

laVisio

nActiva

Visio

nfo

veal

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

16

Page 13: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Fovea

yperife

ria

Visio

nfo

veal

Fovea

yperife

ria

Visio

ncentr

alvs.

perife

rica:

role

sdistinto

s(y

com

ple

menta

rios)

•En

lafo

vea,overt

att

ention,analisis

en

deta

lle

(identificacio

n,w

hat?

)•

En

laperife

ria,covert

att

ention,dete

rmin

ar

posicio

n(localizacio

n,

where

?)

Es

posible

eldiseno

de

com

ple

jos

com

port

am

iento

svisuale

sa

part

irde

est

as

dos

prim

itiv

as

visuale

s

Rela

cio

ncon

otr

os

asp

ecto

sde

lavisio

nactiva:

•Ate

ncio

nvisual:

¿que

cara

cte

rıst

icas

visuale

spueden

ser

info

rmativas

con

poca

reso

lucio

nvisual(e

nla

perife

ria)?

•Contr

olm

ecanic

o:

baja

reso

lucio

nperife

rica

obliga

am

overla

cam

ara

(reposicio

nar

lafo

vea,fo

veation)

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

17

Esq

uem

as

com

puta

cio

nale

saltern

ativos

Visio

nfo

veal

Esquem

as

com

puta

cio

nale

saltern

ativos

•“Venta

neo”

(win

dow

ing):

sim

ple

,pero

sepie

rde

cam

po

de

visio

n•

Subm

uest

reo

(subsa

mpling):

cam

po

de

visio

nconst

ante

,m

enor

reso

lucio

n,se

puede

usa

rzoom

•Jera

rquıa

sm

ultin

ivel,

reso

lucio

nuniform

een

cada

niv

el

Sim

ilar

asu

bm

uest

reo,pero

varios

niv

ele

sa

lavez.

Cada

niv

elpuede

tener:

�M

ism

ocam

po

visual,

reso

lucio

n(n

um

ero

de

pix

els)

decre

cie

nte

�M

ism

are

solu

cio

n,cam

po

visualdecre

cie

nte

•Reso

lucio

nesp

acio

-variante

(en

un

unic

oniv

el)

�Varios

niv

ele

sde

una

jera

rquıa

en

una

imagen

�Log-c

art

esian

�Log-p

ola

r�

Recip

rocalwedge

transf

orm

�Q

uad-t

rees

•Com

bin

acio

n:

piram

ides

cort

icale

s•

Varias

cam

ara

scon

distinta

sconfigura

cio

nes

(Scase

llati)

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

18

Page 14: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Visio

nlo

g-p

ola

rVisio

nfo

veal

Visio

nlo

g-p

olar

Fundam

ento

bio

logic

o

•Tra

nsf

orm

acio

nre

tino-c

ort

ical

•Apro

xim

acio

n:

w=

log(z

)

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

19

Visio

nlo

g-p

ola

r(2

)Visio

nfo

veal

Cam

pos

receptivos

(receptive

field

s)y

super-

pix

els

Eje

mplo

:

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

20

Page 15: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Visio

nlo

g-p

ola

r(3

)Visio

nfo

veal

Invarianza

aro

tacio

nes

yesc

ala

dos

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

21

Visio

nlo

g-p

ola

r(3

)Visio

nfo

veal

Invarianza

aro

tacio

nes

yesc

ala

dos

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

21

Page 16: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Visio

nlo

g-p

ola

r(3

)Visio

nfo

veal

Invarianza

aro

tacio

nes

yesc

ala

dos

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

21

Visio

nlo

g-p

ola

r(3

)Visio

nfo

veal

Invarianza

aro

tacio

nes

yesc

ala

dos

Solu

cio

nde

com

pro

miso

entr

e:

Am

plio

cam

po

visual

Alta

reso

lucio

nBajo

cost

ecom

puta

cio

nal

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

21

Page 17: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Visio

nlo

g-p

ola

r(3

)Visio

nfo

veal

Invarianza

aro

tacio

nes

yesc

ala

dos

Solu

cio

nde

com

pro

miso

entr

e:

Am

plio

cam

po

visual

Alta

reso

lucio

nBajo

cost

ecom

puta

cio

nal

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

21

Visio

nlo

g-p

ola

r(3

)Visio

nfo

veal

Invarianza

aro

tacio

nes

yesc

ala

dos

Solu

cio

nde

com

pro

miso

entr

e:

Am

plio

cam

po

visual

Alta

reso

lucio

nBajo

cost

ecom

puta

cio

nal

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

21

Page 18: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Visio

nlo

g-p

ola

r(3

)Visio

nfo

veal

Invarianza

aro

tacio

nes

yesc

ala

dos

Solu

cio

nde

com

pro

miso

entr

e:

Am

plio

cam

po

visual

Alta

reso

lucio

nBajo

cost

ecom

puta

cio

nal

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

21

Visio

nlo

g-p

ola

r(4

)Visio

nfo

veal

Modelo

sm

ate

maticos

div

ers

os

Difere

nte

sim

ple

menta

cio

nes:

•Retinas

hard

ware

→→

→•

Rutinas

sofw

are

•Senso

res

“virtu

ale

s”•

Configura

cio

nes

opticas

...

que

implican

difere

nte

scara

cte

rıst

icas

en:

•Cost

ede

diseno/fa

bricacio

n•

Fle

xib

ilid

ad/re

configura

bilid

ad

•Velo

cid

ad

de

transf

orm

acio

n

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

22

Page 19: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Vid

eos

Visio

nfo

veal

Vid

eos

Efe

cto

de

rota

cio

ny

esc

ala

dos

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

23

Contr

olm

ecanic

oIn

troduccio

na

laVisio

nActiva

Contr

olm

ecanic

o

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

24

Page 20: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Movim

iento

socula

res

en

anim

ale

sContr

olm

ecanic

o

Movim

iento

soculare

sen

anim

ale

sVolu

nta

rios

•Saccades:

Movim

iento

balıst

ico,en

bucle

abie

rto,para

una

rapid

afo

veation.

Est

ımulo

:pista

sate

ncio

nale

s•

Sm

ooth

purs

uit:

Movim

iento

pre

ciso,en

bucle

cerr

ado,para

mante

ner

lafija

cio

n.

Est

ımulo

:m

ovim

iento

retınic

o

Involu

nta

rios:

•Verg

ence:

Aju

ste

(lento

)delangulo

inte

r-ocula

r,para

centr

ar

obje

tos

adistinta

spro

fundid

ades.

Est

ımulo

:disparidad

•Reflejo

vest

ibulo

-ocula

r(V

OR):

Coord

inacio

nojo

-cabeza.

Org

ano

del

equilib

rio.

Est

ımulo

:se

nale

svest

ibula

res

•Reflejo

opto

-cin

etico

(KO

R).

Movim

iento

com

pensa

torio

en

bucle

cerr

ado.

Est

ımulo

:m

ovim

iento

retınic

oglo

bal

En

un

sist

em

ade

visio

nactiva

(art

ificia

l):

•Seguim

iento

activo:

smooth

purs

uit

+sa

ccades

+m

icro

-saccades

•Contr

olde

verg

encia

:verg

ence

(siste

mas

bin

ocula

res)

•Adapta

cio

na

movim

iento

sexte

rnos:

VO

R+

KO

R(v

isio

n+

senso

res

inerc

iale

s)

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

25

Eje

mplo

de

seguim

iento

activo

foveal

Contr

olm

ecanic

o

Eje

mplo

de

seguim

iento

activo

foveal

Pro

yeccio

nes

yest

imacio

nde

movim

iento

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

26

Page 21: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Eje

mplo

de

seguim

iento

activo

foveal(2

)Contr

olm

ecanic

o

Enfo

que

uniform

een

todas

las

com

ponente

de

movim

iento

110

115

120

125

130

135

140

145

150

9010

011

012

013

014

015

016

0i

Vk(i)

0.650.

7

0.750.

8

0.850.

9

0.951

1.051.

1

1.15

05

1015

2025

3035

Rk(u)

u

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

27

Eje

mplo

de

seguim

iento

activo

foveal(3

)Contr

olm

ecanic

o

Alg

oritm

o:

PBA

+active

trackin

g

Radia

lPro

jections

1D

Shift

Est

imation

α

L1,L

2Im

age

Rectification

Angular

Pro

jections

1D

Shift

Est

imation

φ

Vert

ical

Pro

jections

1D

Shift

Est

imation

dx

Horizonta

lPro

jections

1D

Shift

Est

imation

dy

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

28

Page 22: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Eje

mplo

de

seguim

iento

activo

foveal(4

)Contr

olm

ecanic

o

Resu

ltados

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

29

Eje

mplo

de

contr

olde

verg

encia

Contr

olm

ecanic

o

Eje

mplo

de

contr

olde

verg

encia

Elpro

ble

ma

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

30

Page 23: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Eje

mplo

de

contr

olde

verg

encia

(2)

Contr

olm

ecanic

o

Corr

ela

cio

ncon

distinto

sm

allados

esp

acio

-variante

s

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

31

Eje

mplo

de

contr

olde

verg

encia

(3)

Contr

olm

ecanic

o

Fusion

Bin

ocula

r

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

32

Page 24: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Vid

eos

Contr

olm

ecanic

o

Vid

eos

Contr

olde

verg

encia

Seguim

iento

pasivo

Seguim

iento

activo

bin

ocula

r

Seguim

iento

monocula

r(2

sPBA)

Segm

enta

cio

nobje

to-fondo

(basa

do

en

ZD

F)

Mapas

de

pro

fundid

ad

Segm

enta

cio

nobje

to-fondo

(basa

do

en

pro

fundid

ad)

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

33

Alg

unos

sist

em

as

de

visio

nactiva

Intr

oduccio

na

laVisio

nActiva

Alg

unos

sist

em

as

de

visio

nactiva

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

34

Page 25: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Cabezas

robotizadas

Alg

unos

sist

em

as

de

visio

nactiva

Cabezas

robotizadas

Disenos

antr

opom

orfi

cos

•Siste

mas

est

ere

o,

•Contr

olde

pan,tilt,verg

encia

,...

•G

rados

de

libert

ad

Tam

bie

nsist

em

as

com

erc

iale

s...

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

35

BabyBot

Alg

unos

sist

em

as

de

visio

nactiva

BabyBot

•LIR

A-L

ab,Univ

.G

enova

(Ita

lia)

•Visio

nlo

g-p

ola

r

•Bra

zo

robot

(PUM

A)

+cabeza

(5gdl)

+se

nso

res

inerc

iale

s+

mic

rofo

nos

•Fundam

ento

neuro

fisiolo

gic

o:

desa

rrollo

senso

ri-m

oto

ren

los

nin

os

•M

as

facil

const

ruir

un

sist

em

abasico

que

evolu

cio

na

yapre

nde

que

“codifi

car”

todo

elcom

port

am

iento

desd

eun

princip

io

•“Learn

ing

toact

on

obje

cts

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

36

Page 26: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Siv

iSAlg

unos

sist

em

as

de

visio

nactiva

SiviS

•Univ

ers

itat

Polite

cnic

ade

Vale

ncia

•D

ista

ncia

base

aju

stable

:m

as

vers

atilen

recupera

rin

form

acio

n3D

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

37

Otr

os

Alg

unos

sist

em

as

de

visio

nactiva

Otr

os

Medusa

•VisLab,IS

T,Lisboa

(Port

ugal)

•Contr

olde

verg

encia

en

imagenes

log-p

ola

res

UM

ass

Tro

nco

Hum

anoid

e

•Univ

.M

ass

achuse

tts

(EEUU)

•Siste

ma

BiS

ight

•Agarr

ey

manip

ula

cio

npor

visio

n

ESCHeR

(ET

LSte

reo

Com

pact

HEad

for

Robot

visio

n)

•Ele

ctr

ote

chnic

alLabora

tory

(ET

L),

Japon

•Siste

ma

de

visio

nfo

vealoptico

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

38

Page 27: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Otr

os

(2)

Alg

unos

sist

em

as

de

visio

nactiva

Marv

in

•Univ

.T

ecnic

ade

Berlın

(Ale

mania

)•

Robot

helicopte

ro•

Visio

npara

encontr

ar

ycla

sificar

obje

tos

Arn

old

•Univ

.Bochum

(Ale

mania

)•

4cam

ara

s(v

isio

nglo

bal+

visio

nfo

veal)

•Localizar

pers

onas

(por

colo

r)

Siste

ma

Com

ros

•Univ

.Stu

ttgart

(Ale

mania

)•

Seguim

iento

yre

conocim

iento

de

obje

tos

•Coopera

cio

nentr

ero

bots

Milva

•Univ

.T

ecnic

ade

Ilm

enau

(Ale

mania

)•

Reconocim

iento

de

gest

os

•Seguim

iento

de

pers

onas

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

39

Vid

eos

Alg

unos

sist

em

as

de

visio

nactiva

Vid

eos

Babybot:

visio

n+

sonid

o

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

40

Page 28: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Refe

rencia

sIn

troduccio

na

laVisio

nActiva

Refe

rencia

s

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

41

Intr

oduccio

nRefe

rencia

s

Intr

oduccio

n

Dana

H.Ballard

.“Anim

ate

Visio

n”,Art

ificia

lIn

tellig

ence

v.

48,1991,pp

57-8

6.

John

Alo

imonos.

“Purp

osive

and

Qualita

tive

Active

Visio

n”,In

tern

ational

Confe

rence

on

Patt

ern

Recognitio

n,1990,346-3

60.

Mic

haelSwain

and

Mark

us

A.Str

icker

(eds)

:Pro

misin

gD

irections

inActive

Visio

n.

Inte

rnationalJourn

alofCom

pute

rVisio

n,Specia

lIssu

eon

Active

Visio

nI,

Vol11,2:1

09-1

26,1993.

http://www.cs.uchicago.edu/files/tr_authentic/TR-91-27.ps

Barb

elM

ert

schin

gand

Ste

ffen

Schm

alz.

“Active

Visio

nSyst

em

s”,pp.

197–219,Handbook

ofCom

pute

rVisio

nand

Applications,

Volu

me

3(S

yst

em

sand

Applications)

Academ

icPre

ss,1999

Anim

ate

Visio

n:

Active

Visio

nin

Art

ificia

lAnim

als

http://mrl.nyu.edu/~dt/animat-vision/

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

42

Page 29: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Intr

oduccio

n(2

)Refe

rencia

s

Tuto

rial

http://www-prima.inrialpes.fr/ECVNet/Tutorial/vap.test.html

(Bio

logic

al)

Backgro

und

toActive

visio

n

http://psychology.dur.ac.uk/teaching/dps0jmf/y3/AV_Book/Ch2.pdf

Labora

torios

de

Visio

nActiva

http://diwww.epfl.ch/lami/biovision/Vision_Active_laboratoires.html

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

43

Sele

ccio

nde

laate

ncio

nRefe

rencia

s

Sele

ccio

nde

laate

ncio

n

Teorıa

de

laate

ncio

nvisual

http://ilab.usc.edu/bu

Y.Sun,R.Fisher.

Obje

ct-

base

dvisualatt

ention

for

com

pute

rvisio

n.

Art

ificia

lIn

tellig

ence,146

(2003),

77-1

23

VisualAtt

ention:

The

Active

Visio

nPers

pective

http://psychology.dur.ac.uk/staff/pubs/JMF-2001b.pdf

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

44

Page 30: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Visio

nfo

veal

Refe

rencia

s

Visio

nfo

veal

PhD

thesis

(1998):

Fovate

Wavele

tTra

nsf

orm

and

its

Application

inD

igitalVid

eo

Pro

cess

ing,Acquisitio

nand

Indexin

g

http://fas.sfu.ca/pub/cs/theses/1998/JieWeiPhD.ps.gz

PhD

thesis

(2002):

Motion

Est

imation

Alg

orith

ms

inLog-p

ola

rIm

ages

and

Application

toM

onocula

rActive

Tra

ckin

g

http://vision.uji.es/~vtraver

PhD

thesis

(2004):

Bin

ocula

rHead

Contr

olw

ith

FovealVisio

n:

Meth

ods

and

Applications

http://vislab.isr.ist.utl.pt

Recip

rocalwedge

transf

orm

http://www.computer.org/tpami/tp1995/i0500abs.htm

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

45

Contr

olde

movim

iento

Refe

rencia

s

Contr

olde

movim

iento

Eye

Movem

ents

http://www.cns.nyu.edu/~glimcher/goinside/research/abstracts/fun36.pdf

Babybot

http://www.lira.dist.unige.it/babybotmain.htm

Bin

ocula

rHeads

http://www.grasp.upenn.edu/head/headpage/heads.html

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

46

Page 31: Introducci´onalaVisi´on Activa · • El seguimiento activo conlleva motion blur y facilita segmentaci´on del “target” • Autocalibraci´on de una c´amara Escuelas de Marr

Vid

eos

Refe

rencia

s

Vid

eos

Evolu

cio

nm

apas

de

pro

min

encia

,tr

aye

cto

rias

ate

ncio

nale

s(iLab)

http://iLab.usc.edu/bu/movie

Babybot

(LIR

A-L

ab)

http://www.lira.dist.unige.it/babybotvideos.htm

Efe

cto

de

rota

cio

n/esc

ala

do

en

imagenes

log-p

ola

res

http://www.dai.ed.ac.uk/homes/hermang/research/video-log-polar-small.avi

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

47

Vid

eos

(2)

Refe

rencia

s

Verg

encia

yse

guim

iento

activo

foveal(V

isLab,Bern

ard

ino)

http://www.isr.ist.utl.pt/~alex/medusa.html

http://www.isr.ist.utl.pt/~alex/Projects/TemplateTracking/

TemplateTracking.htm

Verg

encia

yfu

sion

bin

ocula

r(L

IRA-L

ab,Carla

Capurr

o)

http://www.ai.mit.edu/people/giulio/ARTICLES/vergence/node3.html

Seguim

iento

de

obje

tos

moviles

http://robotics.stanford.edu/~chengyu/g_tracker.html

Dep

Lle

nguatg

es

iSiste

mes

Info

rmatics

–Univ

ers

itat

Jaum

eI

48