Reconstrucción de imágenes 3D mediante el uso de redes autoorganizativas

Autora: Carmen Alonso Montes

Director: Manuel González Penedo

Proyecto Fin de Carrera de Ingeniería Informática

Índice

IntroducciónObjetivosMetodología de trabajo

– Detección de puntos borde– Redes Neuronales Autoorganizativas

• Crecimiento Neuronal

Resultados– Filtrado– Resultados con la red GCS– Resultados con la red GNG– Resultados con imágenes reales

Principales aportacionesConclusiones

Introducción

Segmentación de Imágenes

Reconstrucción deSuperficies

Reconstrucción deObjetos 3D

• Segmentación en base a puntos borde

• Segmentación en base a regiones

• Obtención de puntos representativos de superficie

• Estructura de conexión entre puntos representativos

Objetivos

Reconstrucción de superficies en base a puntos bordeAlgunas técnicas clásicas de reconstrucción operan en

dos fases– Clasificación para obtener puntos representativos de superficie

– Obtención de relaciones de conexión entre puntos representativos

Las redes autoorganizativas permiten unificar los procesos de clasificación y de establecimiento de conexiones– El crecimiento neuronal proporciona una alternativa más

flexible dentro de este campo.

Metodología de trabajo

Obtención dePuntos borde

Obtención de lamalla con Redes

Autoorganizativas

Objeto 3D

Imagen 3D

Obtención de Puntos Borde

Detección de puntos borde de la superficie.

Filtros detectores de bordes– 2D– 3D: la pertenencia de un punto al borde se

determina por las relaciones de este con otros puntos dentro de un corte bidimensional y con puntos de cortes adyacentes.

• La utilización de filtros 2D extendido a 3D no presenta un comportamiento adecuado, en general, ya que sólo contempla relaciones entre los puntos en dos dimensiones y no en la tercera.

Filtros utilizados– Laplaciano– Umbralización por Histiéresis– Lineal Multi-Escala

Reconstrucción de superficies (I)

Una superficie queda definida por la posición de los puntos del borde y las relaciones de conexión entre estos.

Los algoritmos tradicionales para la reconstrucción de superficies como el Marching Cubes, utilizan la posición de los puntos buscando las posibles triangulaciones entre los mismos para la obtención de la superficie.

Ventajas– Múltiples implementaciones y estudios

– Simplificación en su utilización

Reconstrucción de superficies (II)

Desventajas de los algoritmos tradicionales– La calidad del resultado obtenido es directamente proporcional

a la cantidad de puntos borde del objeto utilizados.

– El tiempo de computación depende directamente de la cantidad de puntos utilizados

– Poca flexibilidad para la utilización de características adicionales de los puntos, además de la posición.

Una alternativa la presentan las redes neuronales autoorganizativas

Redes Neuronales Autoorganizativas

Son aquellas que basan su funcionamiento en la modificación repetida de conexiones en respuesta a patrones de activación y siguiendo unas reglas preestablecidas, hasta el desarrollo final de la estructura o sistema.

Ventajas– Capacidad de clusterización y clasificación de los puntos del

espacio de entrada

– Establecimiento de la topología (relaciones de vecindad) entre los elementos de procesado representativos

– Ordenación topológica. La localización espacial de una neurona corresponde a un dominio particular o conjunto de patrones de entrada.

– Reflejan la densidad de muestreo

Mapas Autoorganizativos (SOM)

Los mapas autoorganizativos (SOM) propuestos por Kohonen forma la base fundamental del funcionamiento de muchos tipos de redes autoorganizativas

Desventajas– Topología fija e invariante durante todo

el proceso de entrenamiento

– Tamaño de la red es necesario definirlo a priori

Alternativa más flexible: inclusión del Crecimiento neuronal

Resultado con SOM

Resultado con GNG

Crecimiento Neuronal (I)

Ventajas del crecimiento– Se pueden utilizar problemas dependientes de medidas de

error para la inserción de nuevas neuronas.

– Posibilidad de interrumpir y continuar un entrenamiento.

– El tamaño de la red no es necesario fijarlo a priori.

Dos tipos de redes autoorganizativas seleccionadas:– Crecimiento de Estructuras de Células (Growing Cell

Structures (GCS)).• Inicialmente k+1 neuronas

• No contemplan el borrado de conexiones

– Gas Neuronal Creciente (Growing Neural Gas (GNG)).• Inicialmente 2 neuronas

• Contempla borrado y establecimiento de nuevas conexiones

Crecimiento Neuronal (II) Las redes neuronales permiten la utilización de varias

propiedades de los puntos El gradiente permite discernir entre puntos próximos pero

pertenecientes a superficies enfrentadas La posición es la propiedad más importante de los puntos, y es

necesario ponderar la importancia del gradiente. La fórmula que define la importancia relativa del gradiente

frente a la posición utiliza el seno por ser una función continua

TTG

G

TTG

G

y

z

z

x

)sin( ,arctan

)sin( ,arctan

Imágenes Artificiales

Volumen formado a partir de 15 slicesCorte 2D o slice

Filtrado de Imágenes

Los puntos obtenidos de la realización del filtrado sobre las imágenes, se han utilizado como conjunto de entrenamiento en las redes autoorganizativas

Umbralización por histiéresisLaplaciano Lineal Multi-Escala

Reconstrucción de superficies con GCS. Resultados (I)

La red GCS no rompe conexiones ya establecidas

Heurísticas seguidas en el desarrollo de las imágenes– Recorrer todos los patrones de entrada

del conjunto de entrenamiento.

– Inicialmente utilizar una velocidad

de aprendizaje, α, y de εbmu y εvecinos altos para lograr adaptar la forma del objeto

– Reentrenamiento para un mayor grado de adaptación de la red

XTXT

X

T

entrada de patrones de total

adaptación de pasos

red la de tamaño

Reconstrucción de superficies con GCS. Resultados (II)

Sección de un tubo

Posición con GradientesSólo Posición

Figura k λ εbmu εvecino α Total Ep

Izquierda 2 150 0,05 0,008 0,05 1905

Derecha 2 150 0,05 0,008 0,05 3400

Reconstrucción de superficies con GCS. Resultados (III)

Reconstrucción de la superficie definida por la red GCS.

Posición con gradientesSólo Posición

Reconstrucción de superficies con GCS. Resultados (IV)

Sección de dos tubos

Sólo Posición Posición con gradientes

Figura k λ εbmu εvecino α Total Ep

Izquierda 2 150 0,05 0,008 0,05 3400

Derecha 2 150 0,05 0,008 0,05 3400

Reconstrucción de superficies con GCS. Resultados (V)

Sección de dos tubos. Superficie y vista lateral con gradientes

Posición con gradientesSólo Posición

Reconstrucción de superficies con GCS. Resultados (VI)

Sección de varios tubos

Posición con gradientesSólo Posición

Figura k λ εbmu εvecino α Total Ep

Izquierda 2 150 0,05 0,008 0,05 3000

Derecha 2 150 0,05 0,008 0,05 3000

Reconstrucción de superficies con GNG. Resultados (I)

Sección de un tubo

Posición con gradientesSólo Posición

Figura λ εbmu εvecino edad α β Error Total Ep

Izquierda 150 0.05 0,005 100 0,07 0,07 0,995 1400

Derecha 150 0.05 0,005 100 0,07 0,07 0,995 800

Reconstrucción de superficies con GNG. Resultados (II)

Superficie definida por la red.

Posición con gradientesSólo Posición

Reconstrucción de superficies con GNG. Resultados (III)

Sección de dos tubos

Posición con gradientesSólo Posición

Figura λ εbmu εvecino edad α β Error Total Ep

Izquierda 150 0.05 0,005 100 0,07 0,07 0,995 1700

Derecha 150 0.05 0,005 100 0,07 0,07 0,995 1700

Reconstrucción de superficies con GNG. Resultados (IV)

Sección de varios tubos sin tener en cuenta gradientes.

Sólo Posición Detalle de la unión

Reconstrucción de superficies con GNG. Resultados (V)

Sección de varios tubos

Figura λ εbmu εvecino edad α β Error Total Ep

Izquierda 150 0.05 0,005 100 0,07 0,07 0,995 700

Derecha 150 0.05 0,005 100 0,07 0,07 0,995 700

Sólo Posición Posición con Gradiente

Resultados con imágenes reales (I)

Algoritmos tradicionales presentan limitaciones para la inclusión de propiedades adicionales de los puntos y ante problemas de proximidad no responde adecuadamente

Algoritmo tradicional Redes Autoorganizativas

Resultados con imágenes reales (II)

Imágenes filtradas utilizadas como conjunto de entrenamiento para la realización de los vídeos

Mano filtrada Fémur filtrado

Video Mano

Video Fémur

Principales Aportaciones

Heurísticas para el entrenamiento y optimización del grado de adaptación de las redes GCS a la superficie del objeto

Heurísticas para el entrenamiento de las redes GNG respecto de la edad máxima de una conexión

Análisis de las implicaciones de la utilización del gradiente en el nivel de adaptación de la red

Formulación y evaluación de una función de relevancia del gradiente respecto de la posición en la reconstrucción de superficies.

Desarrollo de una aplicación gráfica que permite la unificación de los pasos de filtrado y de entrenamiento de la red.

Conclusiones Las redes GCS no presentan un comportamiento adecuado en

la presencia de varios objetos por no considerar el borrado de conexiones

Dimensionalidad fija en la red GCS es una ventaja para la reconstrucción posterior de la superficie

Las redes GNG se comportan mejor gracias al borrado de elementos y de conexiones

Las redes GNG frente a las GCS, con un mismo conjunto de patrones de entrada, necesitan de un menor grado de entrenamiento mejorando los resultados obtenidos

El gradiente en ambas redes permite mejorar resultados con la presencia de objetos próximos y en la superficie de un objeto.

El número de elementos de procesado utilizados para la definición de la superficie es muy inferior al número de puntos necesarios para un algoritmo de reconstrucción clásico

Reconstrucción de imágenes 3D mediante el uso de redes autoorganizativas

Autora: Carmen Alonso Montes

Director: Manuel González Penedo

Proyecto Fin de Carrera de Ingeniería Informática