Presentación de Trabajo Fin de

Grado Diego Rodríguez Mulió

Grado en Ingeniería Electrónica y Automática Industrial

Objetivos

• Segmentación de imágenes en 2D y 3D

Resultados de los experimentos realizados sobre la imagen 5_23 de MSRC(izq) y el hipocampo 2 de la imagen 1 de IBSR (dcha)

Planteamiento

• Búsqueda de la clasificación de mínima energía / máxima probabilidad

• Se define una función de energía:

(1)

(1) NIPS 2011. Philipp Krähenbühl (Stanford): Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials

Implementación

• Modelo CRF fully connected o denso:

• Cada nodo tiene una energía: potencial unitario.

• A cada nodo se le añade una energía debida a los demás píxeles: potenciales a pares

Potenciales unitarios

• Cálculo de la energía de pertenecer a cada clase

• Métodos basados en el entrenamiento

• Se parte de un conocimiento a priori

Potenciales unitarios

• Se extraen las características de textura de cada objeto (2)

Filtros Gaussianos

Derivativos de Gaussianos en x e y

Laplacianos de Gaussianos

(2) ECCV 2006. J. Shotton , J. Winn , C. Rother , and A. Criminisi (Microsoft Research Ltd & Cambridge University) TextonBoost: Joint Appearance, Shape and Context Modeling for Multi-Class Object Recognition and Segmentation

Potenciales unitarios • Se infiere un conocimiento a posteriori basado

en las texturas aprendidas en el entrenamiento

Clase terreno Clase vaca

Mapas de probabilidad Valores entre [0,1] Blanco (1) significa probabilidad alta

Inicialización CRF

• Se crea un Conditional Random Field

• Se toman las probabilidades calculadas y se establece la energía de pertenencia a cada clase

• Para dos clases:

E= -log(p(‘1’ | I ))

E= -log(p(‘0’ | I )) I

CRF inicializado con las energías unitarias

Energía mínima de corte del grafo

• En este punto podemos calcular la clasificación de mínima energía:

corte del grafo

• Basar la clasificación en la energía unitaria no es suficiente

Potencial a pares

• Se añade una energía debida a los demás píxeles:

• Cada nodo está conectado con todos los demás

▫ Ponderados en función de la cercanía

Potencial a pares

• La idea es mejorar el resultado en cuanto a apariencia y disminuir el ruido

• El potencial a pares entre dos píxeles será:

Potencial a pares

(1)

(2)

• (1) Potencial Gaussiano de apariencia. Basado en el color de la imagen ▫ 𝐼𝑖e 𝐼𝑗son los vectores de colores. ▫ 𝑝𝑖 y 𝑝𝑗 son las posiciones de los píxeles ▫ ϑα 𝑦 ϑβ son desviaciones típicas ▫ 𝑤1 es el peso asignado, constante

Potencial a pares

(1)

(2)

• (2) Potencial Gaussiano de suavizado. Elimina pequeñas regiones aisladas: ruido ▫ 𝑝𝑖 y 𝑝𝑗 son las posiciones de los píxeles

▫ ϑγ es la desviación típica

▫ 𝑤2 es el peso asignado, constante

Función de consistencia del etiquetado

Energía mínima de corte del grafo en

el CRF denso

CRF CRF denso

Corte del grafo

Resultados en 2D

• Utilizadas las implementaciones en C++ de TextonBoost y dense CRF en 2D de Philipp Krähenbühl (ICML 2013)

CRF densos en 3D: Segmentación del

hipocampo

• Extensión del trabajo previo a las imágenes de resonancia magnética:

▫ 3 coordenadas de posición: x, y, z

▫ 1 coordenada de color: gris

▫ 2 clases: hipocampo y entorno

CRF densos en 3D

• Partimos de potenciales unitarios calculados previamente

Probabilidades de hipocampo

Probabilidades de entorno

Implementación CRF densos 3D

• Adaptación del código de Philipp Krähenbühl presentado en el ICML 2013

Implementación CRF densos 3D

• Redefinición de los métodos empleados para calcular los potenciales a pares

CRF densos en 3D • Calculamos el corte de mínima energía en un

CRF denso con potenciales a pares

DICE 0,8593 DICE 0,8661

Son resultados de las primeras pruebas realizadas sobre la MR del paciente 1 de la base de datos IBSR

Hip. izquierdo

Hip. derecho