Sistemas de Percepción

Tema 7:

Segmentación de datos 3D

2

Índice

• Introducción al problema

• Objetivo de la segmentación

• Métodos basados en bordes

• Métodos basados en regiones

• Métodos basados en atributos

• Métodos basados en modelo

• Métodos basados en grafos

Introducción al problema

● Al capturar una escena real, en la nube de puntos la mayoría de los puntos se corresponden con paredes, techo y elementos de fondo que, habitualmente, no resulta interesante analizar. Además, estos sensores incorporan una gran cantidad de ruido que puede distorsionar la interpretación de la escena.

● A su vez, nos interesa separar entre sí a los distintos objetos presentes para poder reconocerlos individualmente usando un clasificador de objetos.

Introducción al problema

● ¿Cómo podemos separar los puntos pertenecientes a los objetos en primer plano (foreground) de los que forman el fondo (background)?

● ¿Cómo podemos separar los puntos que pertenecen a cada objeto interesante presente en la escena?

Objetivo de la segmentación

● La segmentación de nubes de puntos entre primer plano (foreground) y fondo (background) es una etapa fundamental en el procesamiento 3D.

● El objetivo de la segmentación es el de agrupar puntos con características similares en regiones homogéneas.

● Las regiones creadas deben ser significativas.● El proceso de segmentación permite analizar posteriormente la escena en varios

aspectos, como localizar y reconocer objetos.

Métodos basados en bordes

● Los bordes describen la forma de los objetos.● Los métodos basados en bordes detectan los límites de las regiones presentes

en una nube de puntos y las separan.● Se basan en la búsqueda de los puntos en los que hay cambios bruscos de

intensidad.● Estos métodos no suelen trabajar directamente con nubes de puntos sino con

imágenes de rango.

Ejemplo de imagen de rango

Métodos basados en bordes

● Se calculan los gradientes de cada punto aplicando las matrices de convolución que destacan bordes.

● Se consideran como bordes aquellos puntos cuya magnitud sea un máximo local basado en la dirección del borde, es decir, los que cumplen las siguientes condiciones: La magnitud del borde del punto central excede un determinado valor de

umbral. La magnitud del borde del punto central es mayor que la de sus dos vecinos en

la dirección normal a la dirección del borde en ese punto, con la condición de que la dirección de sus dos puntos vecinos sea la misma que la del punto central.

● Para unir puntos de borde, se usa la magnitud y dirección de borde. Dada una dirección de borde, se puede localizar al sucesor candidato y al predecesor candidato. De esta manera, todos los puntos que juntos conforman el borde tendrán una gran magnitud de borde.

B Bhanu - 1986

Métodos basados en bordes

● Se trata de métodos antiguos ya que fueron de las primeras técnicas aplicadas a la segmentación de datos 3D.

● Permiten una segmentación rápida al trabajar con imágenes de rango.● Tienen bastantes problemas de precisión debido a que son muy sensible al ruido

y a la densidad irregular de las nubes de puntos capturadas por los sensores.

Métodos basados en regiones

● Utilizan la información de vecindad para combinar puntos cercanos con propiedades similares para formar regiones separadas y diferentes de otras.

● Encontramos dos grandes familias: métodos de región basados en semilla y métodos de región no basados en semilla.

Métodos basados en regiones

● Los métodos basados en semilla comienzan el proceso de segmentación seleccionando un número de puntos de semilla.

● A partir de esos puntos de semilla, se hace crecer a las regiones añadiendo puntos vecinos que cumplan con ciertos criterios o umbrales de compatibilidad.

Métodos de regiones basados en semilla

Métodos basados en regiones

● El algoritmo inicial fue introducido por Besl en 1988 y constaba de dos etapas: Identificación de los puntos de semilla basada en la curvatura de cada punto. Crecimiento de las regiones basado en la proximidad de los puntos y la

planaridad de las superficies.● Tovari propuso en 2005 un método para el crecimiento de los puntos semilla

basado en su vector normal y su distancia al plano creciente.● Ning propuso un método en 2009 que incluía dos etapas de segmentación:

segmentación aproximada y detallada. En la segmentación aproximada se extraen los objetos principales de la escena basándose en el consenso del vector normal en el mismo plano. En la segmentación detallada se obtiene información más precisa de los objetos aplicando de nuevo crecimiento de regiones basado en las normales.

Métodos de regiones basados en semilla

Métodos basados en regiones

● Los métodos basados en semilla son muy dependientes de los puntos que son seleccionados como semilla.

● Si los puntos semilla son elegidos de manera imprecisa, se puede producir sobresegmentación o subsegmentación.

● Elegir los puntos semilla y controlar el crecimiento de las regiones puede consumir mucho tiempo de procesamiento.

● Los segmentos resultantes son muy sensible a los umbrales de compatibilidad establecidos.

● Otra dificultad supone decidir si se deben añadir puntos a cierta región, ya que la decisión se realiza de manera local y es susceptible a ruido.

Métodos de regiones basados en semilla

Métodos basados en regionesMétodos de regiones basados en semilla

https://www.youtube.com/watch?v=SokLiR6PA0I

Métodos basados en regionesMétodos de regiones basados en semilla

https://www.youtube.com/watch?v=zKIqdvUSPzE

Métodos basados en regiones

● Los métodos no basados en semilla comienzan el proceso de segmentación agrupando todos los puntos en una única región.

● Entonces, el proceso de subdivisión comienza a dividirlo en regiones más pequeñas.

● Mientras que una determinada figura objetivo no coincida con la región por debajo de un determinado umbral, el proceso de subdivisión continúa.

● Se suele utilizar en métodos de reconstrucción de superficies.

Métodos de regiones no basados en semilla

Métodos basados en regiones

● Chen utilizó en 2008 este método para realizar el proceso de clusterizado de regiones planares para reconstruir la geometría completa de edificios. En este trabajo se propuso un método de segmentación basado en la medida de confianza de un área local en ser planar.

● Una limitación de este método es que puede producir sobresegmentación y no realiza bien la segmentación de otros objetos como árboles.

● La principal dificultad de estos métodos reside en decidir dónde y cómo subdividir.

● Además, se requiere una gran cantidad de conocimiento previo de la escena (forma de los objetos, número de regiones) que suelen ser desconocidos en escenas complejas.

Métodos de regiones no basados en semilla

Métodos basados en atributos

● Los métodos basados en atributos son un enfoque robusto basado en agrupar atributos de una nube de puntos.

● Constan de dos etapas: cálculo de los atributos y clusterizado de los puntos.

a,c) Coloreado en base a la altura.b,d) Coloreado en base a su intensidad.

Métodos basados en atributos

● Filin propuso en 2002 una metodología para agrupar superficies a partir de datos extraídos de un láser. Este enfoque utilizaba medidas sobre la textura de una superficie, analizando las variaciones de atributos planares en su vecindad, y podía trabajar con distintas densidades de puntos.

● Filin propuso en 2006 una mejora realizando un análisis de los puntos trasladándolos a un espacio de características. En este método, la vecindad alrededor de los puntos medidos es definida usando atributos como la distancia, la densidad de los puntos, y la distribución horizontal o vertical de los puntos. Entonces, la pendiente del vector normal en cada dirección y la diferencia de altura entre el punto y su vecindad son usados como atributos de clusterizado.

Métodos basados en atributos

● Por lo general, suelen dar buenos resultados agrupando punto en regiones homogéneas, siendo sus resultados flexibles y precisos.

● La limitación de estos métodos es que son muy dependientes de la calidad de los atributos empleados.

● Los atributos de los puntos deben ser calculados de manera precisa para poder producir la mejor separación entre las clases.

● Dependen de la definición de la vecindad entre los puntos y la densidad de los puntos en la nube.

● Consumen mucho tiempo de procesamiento cuando trabajan con atributos multidimensionales y nubes de gran tamaño.

Métodos basados en modelo

● Los métodos basados en modelo utilizan primitivas geométricas, como la esfera, el cono, el plano y el cilindro, para agrupar a los puntos.

● Aquellos puntos que compartan la misma representación matemática son agrupados en un único segmento.

Métodos basados en modelo

En líneas generales, la segmentación utilizando los métodos basados en modelo constan de las siguientes fases:

● Como entrada tenemos un conjunto de puntos S={p[i]}, i=1...k.● Algunos de los puntos pueden pertenecer a una o más formas geométricas

definidas por una ecuación F[j](p)=0, donde F[j] es una función con parámetros ajustables. Estos puntos cumplirán con la ecuación con un determinado grado de error, ya sea por la imprecisión de la medida o porque la realidad física que representan no es perfecta.

● Tenemos un procedimiento G (algoritmo de ajuste, fitting) que puede identificar los parámetros de F a partir de un pequeño conjunto de puntos que pertenezcan a la misma.

● Tenemos una forma de cuantificar el error para determinar el grado de conformidad del punto con una estructura.

● La tarea es identificar todas las figuras que son representadas por un número suficiente de puntos, determinar sus parámetros y los puntos que pertenecen a las mismas.

Métodos basados en modelo

● Fischer introdujo en 1981 el famoso algoritmo llamado RANSAC (RANdom SAmple Consensus). RANSAC es un modelo robusto utilizado para detectar características matemáticas como líneas rectas o círculos. En la segmentación de puntos 3D es el método de referencia y muchos trabajos han heredado las bases de este algoritmo.

Random Sample Consensus

Recordatorio del algoritmo de RANSAC:● Entrada:

● s número mínimo de datos requeridos para el modelo● N número de iteraciones● U umbral para saber si un dato encaja en el modelo● T número de puntos para soportar un modelo● D conjunto de datos

● Salida: ● modelo M

● Algoritmo:● Hacer N veces:

● Elegir s datos de D de manera aleatoria. Son los inliers.● Encontrar el modelo M que se ajusta a esos datos● Para cada dato d de D fuera de s, comprobar si la distancia de d a M está

por debajo de U. Si lo está, incluirlo en el conjunto inliers.● Opcional: Recalcular M.● Calcular el error E que se comete con los inliers● Si el número de inliers es superior a T y el error E es menor que el mejor

hasta el momento, nos guardamos M y E.

Métodos basados en modelo

https://www.youtube.com/watch?v=f4Z9B-COYwI

Métodos basados en modelo

https://www.youtube.com/watch?v=UsSBts2FsjM

Métodos basados en modelo

● La transformada de Hough, propuesta es 1962, es un método para la detección de objetos parametrizados, típicamente usado para líneas y círculos.

● La generalización de la transformada de Hough para 3D detecta formas en las nubes de puntos permitiendo que cada punto vote sobre todas las formas potenciales que pasan a través de él. El corazón del método es una tabla de acumulación en las que se seleccionan las superficies que superen un cierto umbral de votación.

Métodos basados en modelo

● En el caso de querer detectar planos, el plano es representado por un punto p del plano, un vector normal n perpendicular al plano y una distancia ρ al origen.

● Siendo θ el ángulo del vector normal en el plano xy y φ el ángulo entre el plano xy y el vector normal en la dirección de z.

● Los parámetros (θ, φ,ρ) definen el espacio de Hough tridimensional, de forma que cada punto en el espacio de Hough corresponde con un plano.

● Para encontrar planos en una nube de puntos, se calcula la transformada de Hough para cada punto. Para cada punto p en coordenadas cartesianas, se deben encontrar todos los planos que satisfagan la ecuación 2).

1) 2)

Métodos basados en modelo

● Marcar todos esos puntos generados en el espacio de Hough lleva a la creación de una curva 3D sinusoidal (Fig 1).

● Las intersecciones de dos curvas en el espacio de Hough denotan los planos que están rotados alrededor de la línea construida por los dos puntos.

● Consecutivamente, la intersección de 3 curvas de el espacio de Hough corresponde con las coordenadas polares que definen el plano formado por los 3 puntos (Fig 2).

● Para aplicaciones prácticas, es necesario discretizar los parámetros del espacio de Hough formando celdas.

● Cada punto en coordenadas cartesianas vota todos aquellos conjuntos de parámetros que definen los planos a los que pertenece, que son aquellos en los que su distancia a este plano es menor que un umbral.

● Las celdas con mayor número de votos representan los mejores planos.

Fig 1 Fig 2

Métodos basados en modelo

● Los métodos basados en modelo están basados en principios puramente matemáticos.

● Son rápidos y robustos con los outliers.● La principal limitación de estos métodos es su imprecisión cuando tratan con

fuentes de nubes de puntos distintas.

Métodos basados en grafos

● Los métodos basados en grafos consideran las nubes de puntos en términos de un grafo.

● Un modelo simple es que cada vértice corresponde a un punto de la nube y las aristas conectan ciertos pares de puntos vecinos.

● Para representar el grado de confianza de la unión entre vértices, las aristas suelen ir ponderadas con un peso según la similitud entre los puntos.

Métodos basados en grafos

● Strom, en 2010, planteó un método basado en grafos para segmentar nubes de puntos 3D coloreadas. En este trabajo propuso un criterio de unión de segmentos basado en el color y las superficies normales. Se demostró que era considerablemente más robusto que segmentar la nube usando los datos espaciales y de color por separado.

● Muchos de estos métodos son modelados utilizando técnicas probabilísticas de inferencia, como Conditional Random Fields (CRF), que permiten realizar predicciones sobre secuencias (clasificación).

● Rusu et al. propuso en 2009 un método que extraía un descriptor de características, FPFH, para codificar la geometría alrededor del punto. Definiendo clases de superficies geométricas 3D y haciendo uso de la información contextual procedente del CRF, es capaz de segmentar y etiquetar puntos 3D basándose en sus superficies, incluso con datos ruidosos.

Métodos basados en grafos

● Los métodos basados en grafos pueden segmentar escenas complejas con puntos ruidosos y nubes de densidad variables con buenos resultados.

● Sin embargo, normalmente requieren un elevado nivel de computación y no suelen poderse ejecutar en tiempo real.

● Algunos de ellos pueden requerir una etapa de entrenamiento previa o requerir sensores especiales y un sistema de cámaras registrados entre sí.

Métodos basados en grafos

https://www.youtube.com/watch?v=0NUALg2V9i0

¿Preguntas?