Sistema de Visión Estereoscópica para Navegación Autónoma de vehículos no tripulados

Realizado por: Daniel Martín Carabias Raúl Requero García Jose Andrés Rodríguez Salor

Esquema

1. Problema a solucionar2. Soluciones propuestas3. Evolución del proyecto4. Aplicación desarrollada5. Dificultades encontradas6. Colaboración con otro proyecto de SSII7. Resultados y conclusiones8. Bibliografía y preguntas

1. Problema a solucionar

Navegación autónoma de vehículos no tripulados Visión estéreo Detección de obstáculos

2. Soluciones propuestas

Visión estéreoAlgoritmo de correlaciónAlgoritmo de Lankton

Detección de obstáculosHaartrainingBasado en color

2. Soluciones propuestas.Algoritmo de correlación Establece la correspondencia de un píxel de la

imagen izquierda en la imagen derecha. Busca en la línea epipolar de la imagen derecha

el píxel que más se parece al escogido de la imagen izquierda.

Utilización de una ventana.

Ejemplo de ejecución.

2. Soluciones propuestas. Algoritmo de Lankton Basado en planos de disparidad para

mayor precisión. Uso del gradiente.

Ejemplo de ejecución.

2. Soluciones propuestas.Haartraining Incluido en librería OpenCV Sistema CBR de entrenamiento para

detección de un objeto dado. Necesita gran cantidad de imágenes para

llevarlo a cabo.

2. Soluciones propuestas.Basado en color Filtrado de la imagen a partir de color

dado.

Obtención del centroide a partir de las posiciones de los pixeles no eliminados

Ejemplo de ejecución.

3. Evolución del proyecto

Investigación

Diseño

Implementación

Pruebas

3. Evolución del proyecto.

Investigación inicial. Uso de librerías Aforge, OpenCV.

Algoritmo de correlación Diseño e implementación. Primeras pruebas. Vuelta atrás.

3. Evolución del proyecto

Investigación posterior. Algoritmo de Lankton.

Diseño e implementación. Pruebas. Vuelta al paso de diseño. Se

modifica parte del algoritmo.

3. Evolución del proyecto

Investigación de la detección de objetos. HaartrainingBasado en color

Diseño e implementación de los dos métodos.

Pruebas. Se descarta Haartraining.

4. Aplicación desarrollada

Aplicación con interfaz gráfica basada en WPF (Windows Presentation Foundation)

Desarrollada en C# Permite la ejecución de todos los

algoritmos mencionados, además de la creación de anaglifos.

4. Aplicación desarrollada

5. Dificultades encontradas

Mostrar los mapas de disparidad en un formato comprensible

Mejorar el rendimiento de los algoritmosHilosPunteros a memoria

6. Colaboración con otro proyecto de SSII Generación de una librería para ser integrada en

otras aplicaciones. Interfaz de programación pública y

documentada. Intercambio de información de la detección de

objetos en formato XML y gráfico, opcionalmente.

Problemas: Requisitos pedidos vs Resultados de nuestra aplicación

7. Resultados y conclusiones

Imágenes del simulador (TrueVision)

7. Resultados y conclusiones

Algoritmo de correlación

7. Resultados y conclusiones

Algoritmo de Lankton

7. Resultados y conclusiones

Imágenes reales

7. Resultados y conclusiones

Imágenes reales

7. Resultados y conclusiones

Detección de objetos

Bibliografía Y. Freund and R. Schapire. A desicion-theoretic generalization of

on-line learning and an application to boosting. In Computational Learning Theory, pages 23-37. Springer, 1995.

A. Klaus, M. Sormann, and K. Karner. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure. In Pattern Recognition, 2006. ICPR 2006. 18th International Conference on, volume 3, 2006.

Shawn Lankton. 3D Vision with Stereo Disparity, 2007. G. Pajares and J.M. De la Cruz. Visión por computador. Imágenes

digitales y aplicaciones. RA-MA, 2007. R.S. Pressman and D. Ince. Software engineering: a practitioner's

approach. McGraw-Hill New York, 2005. P. Viola and M.J. Jones. Robust real-time face detection.

International Journal of Computer Vision, 57(2):137-154, 2004.

¿PREGUNTAS?