algunas herramientas matemáticas utilizadas en visión por...

Matemáticasen Visión porComputador

Zuniga, MD

Introducción

Nuestrosdesarrollos

Entrenamientopara DeportesColectivos

Curso deProce-samiento deImágenes2016

Expansión deModelosGenéricos 3D

ConsideracionesGenerales

References

Algunas Herramientas Matemáticasutilizadas en Visión por Computador

Marcos D. Zuniga1

1Departmento de ElectrónicaUniversidad Técnica Federico Santa María

Septiembre 2016

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Sinopsis

1 Introducción

2 Nuestros desarrollos

3 Entrenamiento para Deportes Colectivos

4 Curso de Procesamiento de Imágenes 2016

5 Expansión de Modelos Genéricos 3D

6 Consideraciones Generales

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Matemáticas en Visión en todos los gustos y sabores:

• Convolución: Filtros 2D, Bancos de Filtros.

• Conjuntos: Operadores morfológicos.

• Frecuencia: Fourier, DCT; dominio de frecuecia,descriptores de frecuencia.

• Álgebra Lineal: Matrices↔ Imágenes.

• Análisis de datos: PCA.

• 2D↔ 3D: geometría proyectiva, stereo vision.

• Descripción de Objetos: aproximaciones poligonales,descriptores locales, momentos estadísticos, histogramas.

• Modelado determinístico: Modelos 3D, articulados, 2D,contornos activos.

• Modelado estadístico: Modelos de forma estadística,GMM.

• Modelado dinámico: Kalman, Particle filtering.

• Machine learning: CNN, SVM, random forests...

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Análisis de Comportamientos - Proyecto

• Objetivo: Aprender el comportamiento de objetos de interés.

• Se utiliza para diversos objetivos: seguimiento ycaracterización de objetos, interacciones, entenderprobabilidad de ocurrencia de acciones, entendercomportamientos inusuales.

• Financiado por proyecto FONDECYT: Methodology andApplications for Incremental Behaviour Learning in Videoguided by Information Reliability

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Introducción

• Objetivo ambicioso.• Comenzar por la estructura y bloques básicos.

• Estructuración dinámica.• Visualización flexible.• Definición de modelos y características de interés.• Reusabilidad para generación de aplicaciones.• Orientado a ser un framework para evaluar distintos

algoritmos.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Introducción

• Framework en desarrollo: VAT.• Permite combinar diversos algoritmos de adquisición y

procesamiento de forma simple.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Análisis de Comportamiento - EquiposDeportivos

• Objetivo: Analizar el comportamiento de Equipos Deportivospara obtener análisis automatizado del rendimientoindividual y colectivo.

• Busca mejorar la evaluación, el control y metodologías deentrenamiento.

• Trabajo con profesor Enrique Arriaza (UPLA) especialista enmetodologías para el entrenamiento deportivo.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Análisis de Comportamiento - EquiposDeportivos

Temas:

• Mejoramiento del modelado de jugadores (tiempo real):modelos articulados, contornos activos: Funciones deminimización de energía.

• Modelado de fondo para football: Para sustracción defondo, mantener modelo considerando iluminación dispar,cambiante.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Entrenamiento para Deportes Colectivos

• Entrenamiento multi-objeto (distractores y atractores).• Velocidad de reacción ante múltiples estímulos.• Contextualizado a fútbol.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

• Entrenamiento multi-objeto (distractores y atractores).• Velocidad de reacción ante múltiples estímulos.• Supreme anotación e interacción manual.• Contextualizado a fútbol.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

• Tema de proyecto: Modelamiento dinámico paraseguimiento de pies del deportista.

• Kalman (y derivados), particle filtering.• Modelamiento robusto de pies.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Curso de Procesamiento de Imágenes 2016

• Equipos de 3-4 estudiantes.• 7 proyectos aplicados de visión:

• Mapa estelar VR ó Virtualización e Impresión 3D:Geometría proyectiva, mapeo 3D, potencial integracióncon OSVR.

• Sonido/Música a partir de Video (movimiento):Dominio frecuencia (Fourier/DCT, momentosestadísticos).

• Drones para mapeo de terrenos: Bancos de Filtros,momentos estadísticos.

• Análisis de Muestras Microscopía: Filtros, momentosestadísticos, Fourier, análisis de contornos.

• Modelamiento 3D de rostro (Snapchat): geometríaproyectiva, formas estadísticas, descriptores locales.

• Verificador de Implementos Seguridad ó Traductorlenguaje de señas: Clasificación de estructuras 3D,reconocimiento de gestos (modelamiento 2D y 3D).

• Digitalización 3D de habitaciones: SLAM, geometríaproyectiva, descriptores locales.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Representación de objetos

Modelo Genérico 3D: Paralelepípedos [Zúñiga et al., 2006].

• Asociar el paralelepípedo de la clase de objeto másprobable a una caja englobante, a partir de un conjunto demodelos de paralelepípedo pre-definidos.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Representación de objetosModelos de forma 3D: Problemas encontrados con caja 2D:

• Cambia con la posición relativa del objeto a la camara.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Representación de objetosModelos de forma 3D: Problemas encontrados con caja 2D:

• Cambia con la orientación del objeto.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Modelos de forma 3D: Paralelepípedo

• Entrada:

• cajas englobantes 2D, resultantes de la segmentación.• Matriz de proyección perspectiva.• Modelos pre-definidos de paralelepípedo de los objetos

esperados en la escena (e.g. vehículos, personas).

• Salida:

• Instancia de paralelepípedo más probable, segúnmodelos pre-definidos.

• Clase de objeto más probable (e.g. vehículo, personade pie).

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Modelos de forma 3D: Paralelepípedo - Formulación

• Modelo 3D de paralelepíped genérico (restricciones: sinshear 3D, base siempre paralela al suelo de la escena).

• Instancia del modelo descrita por sus dimensiones 3D(ancho w , largo l , y alto h), y la orientación α con respecto alsuelo de la escena.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Representación de objetosParalelepípedo - Formulación - Modelo pre-definido

• Modelos de los objetos esperados en la escena(representan una clase de objeto).

• Se modelan a partir de sus 3 dimensiones w , l , y h. Cadadimensión descrita por una Gaussiana (representaprobabilidad de valor de dimensión 3D dado el objeto) y porun valor mínimo y máximo:

• Modelo pre-definido QC para clase C:

QC = {(N (µq , σq),qmin,qmax)|q ∈ {w , l ,h}}

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Representación de objetosParalelepípedo - Formulación - Instancia de objeto

• Obtener clase C para objeto O detectado en la escena,según instancia que mejor se ajuste a un modelopre-definido QC.

• Una instancia de paralelepípedo SO para un objeto O:

SO = (α,w , l ,h)

• α: orientación del objeto: ángulo entre la dimensión l delparalelepípedo y el eje x del referencial 3D de la escena.

• l paralela a dirección de orientación y w perpendicular. hparalela al eje z del referencial 3D de la escena.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Representación de objetosParalelepípedo - Resolución• Dimensiones de la instancia calculadas según posición 3D

de los vértices del paralelepípedo.

• Vértices: 8 puntos Pzi (xi , yi) = (xi , yi , z), con i ∈ {0,1,2,3} y

z ∈ {0,h}, P(0)i es i-ésimo vértice de la base y P(h)

i es i-thvértice en altura h.

• Pi , con i ∈ {0,1,2,3}, son puntos (xi , yi) que forman laproyección del paralelepípedo en el plano xy del referencial3D.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Representación de objetosParalelepípedo - Resolución• El proceso consiste en encontrar un paralelepípedo

contenido por la caja englobante b con límites(Xleft ,Ybottom,Xright ,Ytop). O sea, para determinar instanciaSO calcular: α, w , l , h y Pi = (xi , yi), con i ∈ {0,1,2,3}.Entonces, problema de 12 variables.

• Para encontrarlas, se resuelve el sistema de ecuacionescon:• 4 relaciones de los límites impuestos por el blob.• 6 relaciones de una base rectangular.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Representación de objetosParalelepípedo - Resolución• Entonces, 10 ecuaciones (4 de proyección y 6 rectangulares)

contra 12 variables, deja dos grados de libertad.• De hecho, el sistema es no-lineal (senos y cosenos). Entonces,

una decisión acertada es considerar α como un parámetroconocido y el sistema se vuelve lineal.

• El otro grado de libertad es deseable que sea una variable convalores esperados conocidos. Las variables w , l and h poseen unmodelo pre-definido. Se escogió h arbitrariamente.

• Entonces, el sistema se vuelve un conjunto de relaciones linealesde la forma:

w = Mw (α;M, b)× h + Nw (α;M, b)l = Ml(α;M, b)× h + Nl(α;M, b)

x3 = Mx3(α;M, b)× h + Nx3(α;M, b)• Las otras variables se derivan fácilmente de las ecuaciones de

rectángulo.• Entonces, dada una matriz perspectiva M y una caja englobante

b = (Xleft ,Ybottom,Xright ,Ytop), una instancia de paralelepípedo SO

queda completamente definida por una función f :

SO = f (α, h,M, b)

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Representación de objetosParalelepípedo - Encontrando el mejor modelo• La solución previamente obtenida indica que se requiere

determinar α y h para calcular el paralelepípedo.• Entonces un procedimiento de clasificación puede encontrar el

paralelepípedo óptimo para cada modelo pre-definido, segúndistintos h y α.

• Como función de ajuste se usa la medida de probabilidad:PM(SO,C) =

∏q∈{w,l,h}

Prq(q|µq , σq)

• Luego, la clase del objeto será aquella de mayor PM.• Dado M, la clasificación de un objeto se hace mediante:

For each class C of pre-defined modelsFor all valid pairs (h, α)

SO ← F (α, h,M, b);if PM(SO ,C) improves best current fit S(C)

O for C,then update optimal S(C)

O for C;Class(b) = argmaxC(PM(S(C)

O ,C));

• Esta forma básica es sólo descriptiva y se puede optimizar demuchas formas.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Paralelepípedo - Resolviendo ambigüedades• Soluciones ajustadas a la caja 2D no observan el valor de píxeles:

puede llevar a ambigüedades .

• Se resolvió muestrando píxeles y contando los TP(pixel demovimiento dentro de proyección 2D del paralelepípedo) y los TN(pixel de fondo fuera de la proyección del paralelepípedo.Entonces, el paralelepípedo se escoge (entre los de mayor PM)que tengan mayor valor TP + TN.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Paralelepípedo - Otros ajustes• Múltiples posturas: Se definieron posturas de interés como

sub-modelos de otro.

• Para tiempo real: Pre-calcular valores que se vuelven constantescuando se conoce: matriz perspectiva, blob y α.

• Por si sólo app. 70blobs/sec y app. 200blobs/sec guiado portracking.

Paralelepípedo - Temas de Extensión del Modelo• Reconstruir código de la solución: Elemento de base, utilizando

código existente.

• Optimización: Buscar solución analítica, dentro de los intervalosválidos de operación.

• Modelamiento con distorsión: incluir distorsión radial ytangencial.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Consideraciones Generales

• Todos los proyectos propuestos con código/equipo deapoyo.

• Extremadamente deseable programación en C++.• Apoyo con biblioteca OpenCV.

Zuniga, MD

Introducción

Nuestrosdesarrollos

References

Referencias I

M. Zúñiga, F. Brémond, and M. Thonnat. Fast and reliable object classification invideo based on a 3d generic model. In Proceedings of the InternationalConference on Visual Information Engineering (VIE2006), pages 433–440,Bangalore, India, 26-28 September 2006.

algunas herramientas matemáticas utilizadas en visión por...

Documents

5. valuaciÓn de puestos - universidad...

algunas de las etiquetas mas utilizadas comúnmente son...

evoluciÓn de los sistemas productivos...los setenta, los...

lecciones reiteradas del terremoto en el …algunas...

universidad nacional de ingenierÍa · confiabilidad son...

xxxi congreso aecr autonomías y descentralización: debate...

estrategias utilizadas

paginas utilizadas

clasificación de descargas...

herramienta para el análisis temporal de la descripción de...

· gia, es una tarea de servicio pa- ra con los...

docente: oscar ignacio botero h.. variables elÉctricas...

directiva 2010/63/ue del parlamento europeo y del...

abreviaturas utilizadas

clasificaciones utilizadas

herramientas utilizadas en aviacion.docx

la farmacopea y el mÉdico: el ‘empleo de...

operación, mantenimiento y desarrollo del sistema de...

tecnicas utilizadas en soldadura

calabaza - publicaciones cajamar · 2020. 1. 14. ·...