![Page 2: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/2.jpg)
2Seguimiento de Objetos en Secuencias de Imágenes
Índice
1. Introducción
2. Modelado en seguimiento visual
3. Extracción de características
4. Algoritmos de seguimiento visual
5. Métricas
![Page 3: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/3.jpg)
3Seguimiento de Objetos en Secuencias de Imágenes
Índice
1. Introducción
2. Modelado en seguimiento visual
3. Extracción de características
4. Algoritmos de seguimiento visual
5. Métricas
![Page 4: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/4.jpg)
4Seguimiento de Objetos en Secuencias de Imágenes
Introducción
Seguimiento visual – visual trackingEl problema del seguimiento visual consiste en determinar el estado de un sistema que evoluciona a lo largo del tiempo, utilizando para ello información visual.
![Page 5: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/5.jpg)
5Seguimiento de Objetos en Secuencias de Imágenes
Introducción
Problemas relacionados con el seguimiento de objetos2D / 3D / RGBDUn solo objeto / múltiples objetosObjetos articulados / objetos deformablesObjetos que cambian de apariencia
![Page 6: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/6.jpg)
6Seguimiento de Objetos en Secuencias de Imágenes
Introducción
Seguimiento de personas – looking at peopleEl seguimiento de personas es de especial interés por su amplio potencial de aplicación
AplicacionesEtapa previa en sistemas de reconocimiento de actividades humanas:
Interacción persona-computadorVideovigilanciaDeporte...
Herramienta de evaluación en el ámbito médico
![Page 7: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/7.jpg)
7Seguimiento de Objetos en Secuencias de Imágenes
Índice
1. Introducción
2. Modelado en seguimiento visual
3. Extracción de características
4. Algoritmos de seguimiento visual
5. Métricas
![Page 8: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/8.jpg)
8Seguimiento de Objetos en Secuencias de Imágenes
Modelado en seguimiento visual
Problemas de estimación secuencial – Sequential Estimation Problems
Problemas para los que se necesita realizar estimaciones del estado de un sistema que evoluciona en el tiempoutilizando para ello una secuencia de medidas (ruidosas) que se realizan sobre el sistema.Tienen aplicación en diferentes ámbitos científicos
EstadísticaProcesamiento de la SeñalAnálisis de Series TemporalesEconometría...
![Page 9: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/9.jpg)
9Seguimiento de Objetos en Secuencias de Imágenes
Modelado en seguimiento visual
Modelo de espacio de estados – State-space modelPara estimar el estado de un sistema dinámico, es necesario dsiponer de, al menos, dos modelos:
el modelo del sistema, que describe la evolución del estado del sistema en el tiempo y el modelo de medida, que establece la relación entre las medidas y el estado del sistema.
![Page 10: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/10.jpg)
10Seguimiento de Objetos en Secuencias de Imágenes
Modelado en seguimiento visual
Variables de estado del sistemason el menor conjunto de variables que determina el estado de un sistema.Se dice que n variables {x(1), x(2), ..., x(n)} conforman un conjunto de variables de estado si, para determinar el estado del sistema, se debe conocer el valor de cada una de estas variables.
Vector de estado del sistemaEs posible representar las n variables de estado de un sistema como las componentes de un vector x, que se conoce como vector de estado. Por tanto, el estado de un sistema viene descrito unívocamente por los valores de las componentes de un vector de estado.
![Page 11: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/11.jpg)
11Seguimiento de Objetos en Secuencias de Imágenes
Modelado en seguimiento visual
Seguimiento de un objeto
y
x
[ x , y ]
![Page 12: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/12.jpg)
12Seguimiento de Objetos en Secuencias de Imágenes
Modelado en seguimiento visual
Seguimiento de múltiples objetos
[ x1 , y1 , x2 , y2 ,…, x N , yN ]
y2
x2
y3
x3
y1
x1
![Page 13: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/13.jpg)
13Seguimiento de Objetos en Secuencias de Imágenes
Modelado en seguimiento visual
Seguimiento de un número variable de objetos
![Page 14: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/14.jpg)
14Seguimiento de Objetos en Secuencias de Imágenes
Modelado en seguimiento visual
Seguimiento de objetos articulados
[ x , y ,θ1 ,θ2 ,θ3 ,…,θM ]
y
x
θ1
θ2 θ3 θ4θ5θ6θ7
θ8
![Page 15: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/15.jpg)
15Seguimiento de Objetos en Secuencias de Imágenes
Modelado en seguimiento visual
Seguimiento de objetos deformables
[ x , y , l1 , l2 ,l3 ,…, lN ]
![Page 16: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/16.jpg)
16Seguimiento de Objetos en Secuencias de Imágenes
Índice
1. Introducción
2. Modelado en seguimiento visual
3. Extracción de características
4. Algoritmos de seguimiento visual
5. Métricas
![Page 17: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/17.jpg)
17Seguimiento de Objetos en Secuencias de Imágenes
Extracción de características
Extracción de características relevantes del objeto seguido
Sustracción de fondoDetección de bordesColorHOGCaracterísticas tipo Haar…
El objetivo es discriminar entre la region de la imagen que resulta relevante para identificar al objeto y el resto (proceso usualmente conocido como segmentación)
![Page 18: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/18.jpg)
18Seguimiento de Objetos en Secuencias de Imágenes
Extracción de características
Sustracción de fondoDistinguir entre objetos del fondo y del primer planoExiste una gran variedad de métodos que modelan la evolución del fondo a lo largo del tiempo
![Page 19: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/19.jpg)
19Seguimiento de Objetos en Secuencias de Imágenes
Extracción de características
Detección de bordesLos bordes son regiones de la imagen en las que se producen cambios bruscos de los niveles de intensidadExisten varios detectores de bordes en la literatura científica
![Page 20: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/20.jpg)
20Seguimiento de Objetos en Secuencias de Imágenes
Extracción de características
HOGHistogramas de Gradientes Orientados – (HOG, Histogram of Oriented Gradients)
![Page 21: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/21.jpg)
21Seguimiento de Objetos en Secuencias de Imágenes
Extracción de características
Características tipo haar – Haar-like featuresDiferencias entre sumas de píxeles de áreas dentro de un rectángulo, en cualquier posición y escala en la imagen.
![Page 22: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/22.jpg)
22Seguimiento de Objetos en Secuencias de Imágenes
Índice
1. Introducción
2. Modelado en seguimiento visual
3. Extracción de características
4. Algoritmos de seguimiento visual
5. Métricas
![Page 23: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/23.jpg)
23Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Diferentes propuestasCamshiftFiltros de KalmanFiltros de partículasBasados en algoritmos de optimizaciónEnfoques híbridos...
![Page 24: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/24.jpg)
24Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Taxonomía
Además, nuevos enfoques como:Tracking by detectionTracking-learning-detection
Seguimiento
Puntos Kernel Silueta
Deterministas Probabilistas MultivistaBasados en
plantillasEvolución del
contornoTemplate matching
MGE
GOA
F. de Kalman
JPDAF
PMHT
Mean Shift
KLT
Layering
Eigentracking
SVM tracker
Mod. de espaciode estados
Métodos variacionales
Métodos heurísticos
Hausdorff
Transformada deHough
Histogramas
MHT
![Page 25: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/25.jpg)
25Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Ajuste de bloques (template matching)Se dispone de un patrón o plantilla que hay que ajustar en cada instante de tiempo t
Puede ser inabordable si hay que probar todas las posibilidades en un modelo de rotación, traslación y escala y en cada instante de tiempo
![Page 26: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/26.jpg)
26Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Mean shiftBasado en el procedimiento Mean Shift de reconocimiento de patrones (Fukunaga&Hostetler, 1975)
Loclización de modos de una distribución en forma no paramétrica (mode seeking)Intenta localizar el valor promedio de una distribución sin utilizar todos los datos
Busca la dirección del gradiente de la pdf
![Page 27: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/27.jpg)
27Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Mean shiftPaso 0: elegir tamaño de la ventanaPaso 1: se calcula el vector “mean shift” en una ventana de estimación, M(xt).
Vector entre promedio de los datos pertenecientes a la ventana y la estimación del promedio anterior
Se puede aplicar una ponderación g() centrada en la estimación anterior
Paso 2: se mueve la ventana a esa nueva estimación:Criterios de parada: poco cambio o máximo número de iteraciones
Iteración tt+1
x t+1=xt
+M (xt)
t+2
![Page 28: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/28.jpg)
28Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Mean shiftCálculo del vector Mean shift
Máscara de ponderación: g()
Puntos del entorno: xi
Número puntos entorno: n
Última posición de la estimación: x0
Vector mean-shift: M(xt)
i+2
Uniforme Ponderado
M (xt)=( 1N ∑
i=1
n
x it)−x0 M (xt)=(∑i=1
n
g(xi , x0)xit
∑i=1
n
g(xi , x0) )−x0
![Page 29: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/29.jpg)
29Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Mean shiftTípicamente seguimiento de la imagen retroproyección de un histograma (histogram backprojection image → color tracking)
Suele ser bastante independiente de escala, rotación e incluso a oclusiones parcialesSegmentación por retroproyección fotograma a fotogramaCálculo de la posición media de la región a seguir
![Page 30: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/30.jpg)
30Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
CAMSHIFTContinuously adaptive mean shiftAdaptativo a cambios de color, tamaño, etc., del móvilInicialmente propuesto para seguimiento facial
![Page 31: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/31.jpg)
31Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasPropuesto por Gordon et al. (1993)
Isard y Blake (1996) → adaptación para la resolución de problemas de seguimiento
PF trata de aproximar una función de densidad de probabilidad (pdf) que describe el estado de un sistemaEsta pdf se aproxima mediante un conjunto de muestras discretas llamadas partículasCada partícula p
i representa un posible estado del sistema x
i,
junto con su peso asociado ωi.
pi=(xi ,ωi)
![Page 32: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/32.jpg)
32Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de Partículas
x
x
t
1t
Selección
Predicción
Ponderación
Difusión
Ponderación
Selección
PredicciónDifusión
![Page 33: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/33.jpg)
33Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de Partículas
(predicción)
(corrección) Evaluación
Selección Difusión Predicción
pdf a priori pdf a posteriori
![Page 34: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/34.jpg)
34Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasInicialización de una población de partículas
Caracteriza la pdf a priori
EvaluaciónMedida z
i disponible → pdf a posteriori
{x it ,ωi
t , i=1,… , N } ∑i=1
N
ωit=1 ⇒ ωi
t=
1N
, ∀ i=1,… , N
{x it ,ωi
t , i=1,… , N } ωit=p(zt , x i
t), ∀ i=1,… , N
∑i=1
N
ωit=1y se normalizan:
![Page 35: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/35.jpg)
35Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección (resampling)Etapa necesaria para evitar el fenómeno de la degeneración Tras la ejecución de n pasos temporales, todas las partículas excepto una tienen pesos despreciables
No contribuyen de forma significativaMucho esfuerzo computacional dedicado a evaluar partículas con peso despreciableLa muestra ofrece una representación muy pobre de la pdf a posteriori
![Page 36: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/36.jpg)
36Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección (resampling)
Tamaño efectivo de la muestra (Nef): Número de partículas “útiles”
Entonces:
N ef=1
∑i=1
N
(ωit)
2
ωit→
1n
∀ i=1,… , N ⇒N ef →N
∃ j∈{1 ,…, N }∣ω jt→1⇒N ef →1
![Page 37: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/37.jpg)
37Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección (resampling)
Elimina partículas con valores pequeños de pesoMultiplica aquellas con valores mayores
Nueva poblaciónSe genera remuestreando con remplazo N veces
Las partículas se seleccionan con probabilidad proporcional a su peso
Método de la ruleta
{x it ,ωi
t}→{xi '
t ,1N
}
![Page 38: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/38.jpg)
38Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección: (método de la ruleta)
{x it ,ωi
t}
{x i 't ,
1N
}
Población actual
Nueva población
0.60.6 00 0.350.35 0.050.05 00
1tx
2tx
5tx
4tx
3tx
![Page 39: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/39.jpg)
39Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección: (método de la ruleta)
Población actual
Nueva población
0.60.6 00 0.350.35 0.050.05 00
1tx
2tx
5tx
4tx
3tx
0.60.6 0.60.6 0.950.95 11 11 Vector pesos acumulados
![Page 40: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/40.jpg)
40Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección: (método de la ruleta)
Población actual
Nueva población
0.60.6 00 0.350.35 0.050.05 00
1tx
2tx
5tx
4tx
3tx
0.60.6 0.60.6 0.950.95 11 11 0.630.63
![Page 41: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/41.jpg)
41Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección: (método de la ruleta)
Población actual
Nueva población
0.60.6 00 0.350.35 0.050.05 00
1tx
2tx
5tx
4tx
3tx
0.60.6 0.60.6 0.950.95 11 11 0.630.630.950.95
![Page 42: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/42.jpg)
42Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección: (método de la ruleta)
Población actual
Nueva población
0.60.6 00 0.350.35 0.050.05 00
1tx
2tx
5tx
4tx
3tx
0.60.6 0.60.6 0.950.95 11 11 0.630.630.950.95
0.350.35
3tx
![Page 43: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/43.jpg)
43Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección: (método de la ruleta)
Población actual
Nueva población
0.60.6 00 0.350.35 0.050.05 00
1tx
2tx
5tx
4tx
3tx
0.60.6 0.60.6 0.950.95 11 11 0.630.630.950.95
0.350.35
3tx
3tx
![Page 44: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/44.jpg)
44Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección: (método de la ruleta)
Población actual
Nueva población
0.60.6 00 0.350.35 0.050.05 00
1tx
2tx
5tx
4tx
3tx
0.60.6 0.60.6 0.950.95 11 11
3tx
0.330.33
![Page 45: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/45.jpg)
45Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección: (método de la ruleta)
Población actual
Nueva población
0.60.6 00 0.350.35 0.050.05 00
1tx
2tx
5tx
4tx
3tx
0.60.6 0.60.6 0.950.95 11 11
3tx
0.330.330.60.6
![Page 46: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/46.jpg)
46Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección: (método de la ruleta)
Población actual
Nueva población
0.60.6 00 0.350.35 0.050.05 00
1tx
2tx
5tx
4tx
3tx
0.60.6 0.60.6 0.950.95 11 11
3tx
0.330.330.60.6
0.60.6
1tx
![Page 47: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/47.jpg)
47Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección: (método de la ruleta)
Población actual
Nueva población
0.60.6 00 0.350.35 0.050.05 00
1tx
2tx
5tx
4tx
3tx
0.60.6 0.60.6 0.950.95 11 11
3tx
0.330.330.60.6
0.60.6
1tx
1tx
![Page 48: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/48.jpg)
48Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección: (método de la ruleta)
Población actual
Nueva población
0.60.6 00 0.350.35 0.050.05 00
1tx
2tx
5tx
4tx
3tx
0.60.6 0.60.6 0.950.95 11 11
3tx
0.170.170.60.6
0.60.6
1tx
1tx
1tx
![Page 49: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/49.jpg)
49Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección: (método de la ruleta)
Población actual
Nueva población
0.60.6 00 0.350.35 0.050.05 00
1tx
2tx
5tx
4tx
3tx
0.60.6 0.60.6 0.950.95 11 11
3tx
1tx
1tx
11 0.970.97
4tx
![Page 50: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/50.jpg)
50Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección: (método de la ruleta)
Población actual
Nueva población
0.60.6 00 0.350.35 0.050.05 00
1tx
2tx
5tx
4tx
3tx
0.60.6 0.60.6 0.950.95 11 11
3tx
1tx
1tx
1tx
4tx
0.40.4
0.60.6
0.60.6
1tx
1tx
![Page 51: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/51.jpg)
51Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasDifusión
Selección → “empobrecimiento de la muestra”Aplicar movimiento sobre el espacio de estadosPor ejemplo: basado en una distribucón gaussiana
PredicciónAplicar conocimiento acerca de la dinámica del sistema
![Page 52: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/52.jpg)
52Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasEn 1996 Isard y Blake adaptaron el marco de trabajo del PF para su aplicación al seguimiento visual
CONDENSATION: CONditional DENSity propagATION
Ejemplo: seg. de un objeto en el espacio 2DEstado de una partícula
),( ,,ity
itx
it ssx
1,tys
1,txs
2,tys
2,txs
![Page 53: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/53.jpg)
53Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasInicialización:
Muestreo de una función de densidad de probabilidad inicialGeneración aleatoria de un conjunto de posiciones 2D
Fotograma inicial t=0 Población inicial
Evaluación Evaluación Estimación Estimación Selección Selección DifusiónDifusión Predicción Predicción Inicialización Inicialización
![Page 54: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/54.jpg)
54Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasEvaluación:
Cálculo del peso de cada partícula utilizando una función de verosimilitud y un modelo de observación (fotograma segmentado)
Evaluación Evaluación Estimación Estimación Selección Selección DifusiónDifusión Predicción Predicción Inicialización Inicialización
ω j>0ωj>0
Fotograma t segmentado
Evaluación de la población
ω j==0
![Page 55: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/55.jpg)
55Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasEstimación:
pdf aproximada mediante medidas discretasSe realizan estimaciones como medias, máximo, etc.
Evaluación Evaluación Estimación Estimación Selección Selección DifusiónDifusión Predicción Predicción Inicialización Inicialización
Selección de la partícula con mayor peso
Estimado para el instante t
![Page 56: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/56.jpg)
56Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasSelección:
Generar el nuevo conjunto de partículas remuestreando con reemplazo N veces sobre la población actual
Evaluación Evaluación Estimación Estimación Selección Selección DifusiónDifusión Predicción Predicción Inicialización Inicialización
Partículas seleccionadas para generar la nueva población
![Page 57: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/57.jpg)
57Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasDifusión:
En la etapa de selección las mejores partículas se seleccionan varias veces (empobrecimiento de la muestra)
Evaluación Evaluación Estimación Estimación Selección Selección DifusiónDifusión Predicción Predicción Inicialización Inicialización
Nueva población con estados repetidos
Desplazamiento aleatorio
![Page 58: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/58.jpg)
58Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasPredicción:
Se aplica el conocimiento acerca de la dinámica del sistemaTras esta etapa se obtiene la estimación a priori de la pdf para el siguiente instante de tiempo
Evaluación Evaluación Estimación Estimación Selección Selección DifusiónDifusión Predicción Predicción Inicialización Inicialización
Población de partículas antes de la predicción
Modelo de sistema conocido y aplicado
![Page 59: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/59.jpg)
59Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de PartículasEl proceso se repite nuevamente
Se evalúa la nueva población para estimar la posición del objeto en el siguiente fotograma (t ← t + 1)
El proceso se repite para todos los fotogramas de la secuencia
Evaluación Evaluación Estimación Estimación Selección Selección DifusiónDifusión Predicción Predicción Inicialización Inicialización
t = 0 t = 1 t = 2 …
![Page 60: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/60.jpg)
60Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de Partículas MetaheurísticoEs una propuesta de nuestro grupo de investigaciónConsiste en la hibridación entre filtros de partículas y algoritmos de optimización heurística y metaheurísticaHipótesis de la propuesta:
Los filtros de partículas son buenos algoritmos para estimar la evolución temporal de sistemas dinámicos, pero no tienen por qué ser buenos encontrando soluciones de alta calidadLos algoritmos de optimización heurística y metaheurística persiguen encontrar soluciones de alta calidad en tiempos razonablesDe modo que la hibridación de ambos puede ser interesante para la resolución de problemas de optimización dinámicos como el seguimiento visual.
![Page 61: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/61.jpg)
61Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de Partículas Metaheurístico
Filtros de Partículas
• Multimodalidad• Predicción
MetaheurísticasPoblacionales
• Optimización
AlgoritmosHíbridos
• Adaptación• Predicción
• Optimización
![Page 62: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/62.jpg)
62Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de Partículas Metaheurístico
x
x
Selección
MutaciónMejora y/o
Combinación
Soluciones Iniciales
Soluciones Mejoradas
Metaheurísticapoblacional
![Page 63: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/63.jpg)
63Seguimiento de Objetos en Secuencias de Imágenes
Algoritmos de Seguimiento Visual
Filtro de Partículas Metaheurístico
Algoritmo híbrido resultante
Incialización(ParticleSet);WHILE not terminacion DO Actualización(ParticleSet); Selección(ParticleSet,ImprovedSet); Optimización(ImprovedSet); Estimación(ImprovedSet); Inclusión(ImprovedSet,ParticleSet); Predicción(ParticleSet); ENDWHILE
Estimación
Inclusión
MetaheurísticaPoblacional
(PBM)
Selección
Filtro de Partículas (PF)
![Page 64: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/64.jpg)
64Seguimiento de Objetos en Secuencias de Imágenes
Índice
1. Introducción
2. Modelado en seguimiento visual
3. Extracción de características
4. Algoritmos de seguimiento visual
5. Métricas
![Page 65: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/65.jpg)
65Seguimiento de Objetos en Secuencias de Imágenes
Métricas
Métricas habituales Multiple Object Tracking Precision (MOTP): Es el error total en posición estimada para los pares objeto-hipótesis sobre cada fotograma, promediados por el número total de objetos seguidos. Muestra la capacidad del algoritmo para estimar posiciones precisas de objetos.
donde es la distancia entre el objeto y su correspondiente hipótesis es el número de objetos seguidos en el instante
MOTP=
∑i , t
d ti
∑t
c t
d ti
c t
oi
t
![Page 66: Seguimiento de Objetos en Secuencias de Imágenes](https://reader031.vdocuments.co/reader031/viewer/2022022202/588043201a28abfd0a8b67ef/html5/thumbnails/66.jpg)
66Seguimiento de Objetos en Secuencias de Imágenes
Métricas
Métricas habituales Multiple Object Tracking Accuracy (MOTA): Representa los errores de configuración cometidos por el tracker, sobre todos los fotogramas. Da una medida intuitiva del rendimiento del tracker en la detección de objetos y mantenimiento de sus trayectorias, independientemente de la precisión con la que se estiman las posiciones.
donde es el número de objetos perdidos es el número de falsos positivos es el número de desajustes (errores en la asociación de datos) Es el número de objetos presentes en el instante
MOTA=1−
∑t
(mt+fpt+mmet)
∑t
gt
mt
mmet
fpt
gt t