Visión artificial y RobóticaVisión artificial y RobóticaDetección de movimiento y flujo ópticoDetección de movimiento y flujo óptico

Depto. de Ciencia de la Computación e Inteligencia Artificial

Contenidos

Introducción Flujo óptico Structure From Motion

Introducción

La detección de movimiento es un tema fundamental en visión artificial y robótica

Posibles aplicaciones:

– Seguimiento de objetos

– Cálculo de la estructura a partir del movimiento

– Reconstrucción 3D

– Representación y compresión de vídeo.

Introducción (II)

El principal objetivo del análisis del movimiento es calcular el movimiento en 3D

– 3D-3D: Registro de dos conjuntos 3D (ICP)

– 2D-3D: Características 2D sobre datos 3D. (RANSAC)

– 2D-2D: inferir movimiento 3D en base a movimientos detectados en imágenes 2D.

Introducción (III)

Un aspecto clave para detectar movimiento es el emparejamiento de datos en dos imágenes consecutivas

Atendiendo a cómo realizamos este emparejamiento agrupamos los métodos en:

– Dispersos: cuando utilizan alguna característica extraída de las imágenes

– Densos: cuando tienden a emparejar todos los puntos de las imágenes

Campos de movimiento 2D

Se asocia un vector de velocidad con cada punto de la imagen.

El conjunto de estos vectores es un campo de movimiento

p=[X,Y,Z]T

m=[x, y]t

Campos de movimiento 2D (II)

Desarrollando la ecuación

Tenemos donde k es un vector unitario en la dirección de la profundidad

despejando lo que implica que el campo de movimiento v

m está

en función de Vp/Z

Flujo óptico

Los vectores de campo de movimiento no pueden ser observados directamente

Lo que tenemos son imágenes y puntos de éstas

Podremos decir que un punto se ha movido de un lugar a otro de la imagen, lo que implica su flujo óptico

flujo óptico ≠ campo de movimiento

Flujo Óptico (II)

Fujo óptico (wikipedia): es el patrón del movimiento aparente de los objetos, superficies y bordes en una escena causado por el movimiento relativo entre un observador (un ojo o una cámara) y la escena.

Aunque, en general, el flujo óptico no es igual al campo de movimiento, es lo único que tenemos para estimarlo.

Asumiremos que el campo de movimiento no estará muy lejos del flujo óptico que detectemos en una sucesión de imágenes

Flujo Óptico (ejemplos)

Cálculo del flujo óptico

Veamos ahora como calcular el flujo óptico en una secuencia de imágenes

Notación:– Imagen

– Velocidad de un píxel de la imagen

Ecuación de restricción de flujo óptico Si asumimos que la intensidad de m no cambia

en el tiempo

Si la intensidad cambia levemente (series de Taylor)

Restricción de flujo óptico

Tenemos una ecuación y dos incógnitas: no podemos determinar unívocamente el flujo óptico

Sólo podremos calcular el flujo óptico en la dirección normal del gradiente: Problema de la apertura

Solución al problema de la apertura

Propuesto por Lucas-Kanade.

Método local: analiza la vecindad de cada punto

Se asume que el flujo óptico en una pequeña vecindad Ω es constante

Dada una función de ponderación de la vecindad (una gaussiana) W(m) buscamos el vector v que minimiza:

Lucas-Kanade

Derivamos

Renombramos

Lucas-Kanade (II)

Utilizando la notación anterior tenemos:

Despejamos v:

La ecuación tendrá solución cuando sea no-singular

Podemos estimar la fiabilidad del método obteniendo los valores propios de

Analisis de movimiento basado en flujo

Modelo de movimiento 2D-3D

Bajo proyección en perspectiva

Haciendo f=1 tenemos

Bajo proyección en perspectiva (II)

Eliminando Z, tenemos:

Donde y

Bajo proyección en perspectiva (III) Esta ecuación no-lineal incluye 5 incógnitas:

e1, e2, Ω1,Ω

2,Ω

3:

– Con 5 valores de flujo hay hasta 10 posibles soluciones

– Con 6 o más puntos de flujo la transformación es determinada unívocamente

– Si el movimiento es rotación, bastan 2 puntos de flujo

– En caso de superficies planas, con 4 puntos de flujo se obtienen dos posibles soluciones (la mayoría de las veces)

Aplicación: Structure From Motion

Extracción de información 3D a partir de una secuencia de vídeo con cámaras sin calibrar

El proceso es similar al realizado en cámaras estéreo, aunque en este caso no tenemos un sistema calibrado

Ejemplos

http://webgl.uni-hd.de/index2.html

http://www.icg.tugraz.at/Members/irschara/index