detecciÓn de deformaciones 3d … · por lo general, tres tipos básicos de...

DETECCIÓN DE DEFORMACIONES 3D CALCULANDOESQUELETOS DE CURVATURAS

Carlos M. Mateo1, Pablo Gil2, Fernando Torres21Instituto Universitario de Investigación Informática.

2Dpto. Física, Ingeniería de Sistemas y Teoría de la Señal.Universidad de Alicante

{cm.mateo,pablo.gil,fernando.torres}@ua.es

Resumen

El artículo presenta un método de análisis 3D paramedir la variación en superficies planas. El méto-do está orientado a la detección de deformacioneselásticas en objetos formados por superficies pla-nas. Estas deformaciones son causadas habitual-mente cuando dos cuerpos, uno solido y otro elás-tico, intersectan, generando una presión de con-tacto entre sus caras. El método describe una es-trategia para modelar la forma de las deformacio-nes, usando una aproximación matemática basa-da principalmente en dos conceptos: Histogramay Mapa de Curvatura. En concreto se describe elalgoritmo encargado de la detección de deforma-ciones, con el objetivo de realizar tareas de controlvisual e inspecciones para el proceso de manipula-do con manos robóticas. Los resultados de variosexperimentos se muestran de tal forma que se lo-gra evaluar la validez y robustez del método paradetectar y medir deformaciones en tareas de aga-rre. Para realizar estos experimentos, varias esce-nas virtuales fueron creadas con el fin de simularel contacto entre los dedos de una mano robot yun objeto elástico.

Palabras clave: Formas 3D, Superficie, Cur-vatura, Normales a la superficie, Modeladogeométrico, Percepción visual de deformaciones,esqueletizado.

1. INTRODUCCIÓN

Por lo general, la investigación sobre el manipula-do robotizado ha estado centrada en el reconoci-miento de objetos rígidos como es el caso de [15].Pero en los últimos años, el proceso de manipuladoha cambiado sus objetivos para abarcar tareas máscomplejas, de tal forma que se requiere recono-cer objetos articulados [5], objetos deformables [4],objetos blandos [1], objetos semi-solidos [3] o teji-dos [14]. Por lo general, tres tipos básicos de ob-jetos pueden ser considerados: solidos, elásticos ydeformables.

El coeficiente de flexibilidad del objeto puede sermedido matemáticamente a partir de tres concep-

tos características: la rigidez, la cual depende dela fuerza y el tamaño del área donde es aplicada;la dureza, la cual define la fuerza requerida pa-ra penetrar el material; y la resistencia, la cual esel total de energía que un material puede tolerarantes de que este se fracture.

Para realizar el control de procesos de agarre sesuele usar un control táctil/fuerza [7]. Por lo que,una mano robot capaz de realizar tareas de mani-pulado de objetos, debe de realizar el control delas fuerzas que se aplican, estas fuerzas suelen serlo suficientemente pequeñas como para no rom-per la estructura de la superficie o para perforarla misma. Como regla, las fuerzas nunca excedenun valor que puede causar una ruptura o penetra-ción del objeto manipulado. Información adicionales necesaria para controlar procesos de manipula-ción si se desea controlar y medir las deformacio-nes en objetos no rígidos [6]. En estas situaciones,la información táctil/fuerza no es suficiente o esambigua para detectar y analizar deformacionesen un objeto el cual está siendo manipulado [13].A diferencia de [2], el objetivo de este artículo esmodelar e identificar las deformaciones en objetossemi-sólidos con propiedades elásticas [8], desdesensores sin información de contacto. Por lo tanto,los sensores visuales pueden ayudar a otros senso-res [17, 9]. En estos trabajos primero construyenun modelado geométrico de los objetos, para des-pués identificar las deformaciones de ellos compa-rando entre los puntos de la superficie con y sindeformación.

Figura 1: Conjuntos de curvas de nivel calculadosdesde una superficie con deformaciones

Actas de las XXXVI Jornadas de Automática, 2 - 4 de septiembre de 2015. Bilbao ISBN 978-84-15914-12-9 © 2015 Comité Español de Automática de la IFAC (CEA-IFAC) 66

Como consecuencia, los objetos elásticos puedenser interpretados simplemente como un objeto rí-gido, puesto que no hay penetración de la superfi-cie o la ruptura de esta. El módulo elástico a me-nudo se ha utilizado para medir las propiedadesde rigidez en el estudio de los materiales cuandose conoce a priori. El módulo elástico mide la fuer-za aplicada por unidad de área para deformar lasuperficie de un objeto. Sin embargo, este no pue-de ser usado cuando los objetos están compuestosde un material desconocido. En este artículo, larigidez puede ser medida a través de la curvaturadescrita por los puntos de la superficie subyacentea la geometría del objeto. Las características de lacurvatura serán calculadas a partir de los puntosde la malla, los cuales modelan la superficie delobjeto.

El artículo está estructurado de la siguiente ma-nera: En la sección 2, se introduce el concepto decurvatura a partir de geometría diferencial. Enla sección 3 se presenta el método, basado en laesqueletización de variaciones de superficie paramodelar, detectar y medir deformaciones en ellas.Los resultados experimentales de las deformacio-nes causadas por la simulación de tareas de ma-nipulado robotizado se muestran en la sección 4.Finalmente, la sección 5 contiene las conclusionesdel trabajo.

2. CÁLCULO DE CURVATURAS

En este artículo, la geometría diferencial de cur-vas se ha usado como una herramienta que nospermite analizar la superficie 3D (Fig 1). Normal-mente, en visión por computador, la superficie deun objeto 3D consiste en una nube de puntos no-estructurada representada como P = {pi ∈ <3}.Si un objeto plano en el espacio Euclídeo es de-formado por la aplicación de fuerza en su superfi-cie exterior, las propiedades geométricas cambian,apareciendo ciertas curvatura en ella. De ahora enadelante, la curvatura se entiende como la varia-ción de la superficie, y ella puede ser calculadamidiendo los cambios de orientación de los vecto-res normales a los puntos de la superficie.

Por lo general, cada punto pi satisface un conjuntode axiomas en relación con su entorno de vecindad.Entonces, el cálculo de las propiedades geométri-cas de las curvas depende de los k puntos vecinosmás cercanos a cada pij . Por lo tanto, P puedeser agrupado como un conjunto de regiones Nj ycada uno es un subconjunto de puntos centradosen pij . Tanto el tamaño (radio) como el númerode puntos de cada región (densidad) influyen en laprecisión para calcular las propiedades geométri-cas de la curva. Esto hace que grupos con pocospuntos causen imprecisiones en el cálculo, y mu-

chos puntos distorsionen los valores, dificultandola detección de cambios de orientación en la super-ficie, o lo que es lo mismo, suavicen la detección.Esto hace importante encontrar un equilibrio enla densidad de puntos dentro de las regiones Nj .

Para estimar las propiedades geométricas localesde las regiones de la superficie se utiliza un análisisde los valores propios extraídos desde la matriz decovarianza de los puntos dentro del entorno de ve-cindad [16]. Para definir la matriz de covarianza seaplica un análisis de las componentes principales(PCA) como sigue:

CP = PPT =

pi1 − p· · ·

pik − p

pi1 − p· · ·

pik − p

T

(1)

donde pij es un punto dentro del entorno de ve-cindad Nj y p es el punto central de la región.Además, k define el numero de puntos dentro deNj .

La ecuación (1) se resuelve usando el método Turkand Pentland [18] aplicando descomposición de va-lores singulares (SVD). Así, se obtienen los valorespropios λj , y los vectores propios vj deCP tal que:

PTP · vj = λj ·Pvj (2)

La suma de los valores propios provee informaciónsobre la variación de la superficie entre cada puntode los puntos del entorno Nj y su punto central.Además, el menor valor entre los valores propiosproporciona una medida de la variación entre elvector normal y la superficie. Por lo tanto, los va-lores propios pueden ayudar a clasificar la conca-vidad de la superficie de cada punto, y el conjuntode todos los parámetros que definen la curvatu-ra. Además, la curvatura máxima local [12] de pij

dentro de Nj pueden ser calculadas por:

cij =λ0

λ0 + λ1 + λ2(3)

donde λ0 ≤ λ1 ≤ λ2 son los valores propiosde CP. El autovector v0 asociado a λ0 es el vectornormal al plano tangente del entorno de la superfi-cie P que define v1 y v2. El conjunto de las curvasde nivel está definida por la función SP : <3 → <como sigue:

SP (Φ) = {(x, y, z) ∈ <3 ‖ Φ (x, y, z) = l} (4)

donde l es un valor constante y representa unacurva de nivel en la superficie. Con el objetivo derepresentar las curvas de nivel, todas ellas estánagrupadas y representadas con el mismo color, elcual representan los puntos de P con valores simi-lares de curvatura (Fig. 2b).


(a) Modelo CAD de la deformación causada en unasuperficie plana P por el impacto de un objeto geomé-trico

(b) Conjunto de curvas de nivel SP calculadas desdela deformación y presentado con diferentes colores l

(c) Histograma de curvatura

Figura 2: Representación de la información a par-tir del modelado de una deformación

3. MÉTODO DEESQUELETIZADO DEVARIACIONES DESUPERFICIES

En este trabajo, las superficies están representadascomo nubes de puntos. Vale la pena señalar quelos datos de P pueden ser obtenidos desde una nu-be de puntos estructurada o no-estructurada. P esuna nube estructurada si esta se encuentra alma-cenada en un matriz, tal que PX×Y donde X eY son el número de filas y columnas, respectiva-mente. Como norma, esto ocurre si P es adqui-rida desde un sensor, como podría ser un sensorRGBD o ToF, donde cada punto corresponde conuna posición del sensor. Por otro lado, P se con-sidera no-estructurada si esta se encuentra alma-

cenada como un vector matriz, tal que la nube depuntos se encuentra como PX×1. En este últimocaso, P no tiene una relación directa con los datosde la imagen de rango. P se presenta normalmen-te como no-estructurada cuando está construida(adquirida) desde un modelo CAD (Fig. 2a). Porlo tanto, con el fin de buscar los puntos vecinos acada punto de P se suelen utilizar estructuras deordenado de datos en forma de árbol (árbol-kd oárbol-octal).

El algoritmo propuesto consta de dos fases: Ini-cialización y extracción de curvaturas. La prime-ra fase solo se calcula cuando P es una nube no-estructurada, puesto que necesita estar estructu-rada para poder realizar la segunda parte del al-goritmo. Esto es, los puntos más cercanos en elespacio Euclídeo deben ser almacenados como ve-cinos dentro de P. De modo que, es posible buscarpuntos con las mismas propiedades geométricas ylocalizados en el mismo entorno de vecindad. Estoes esencial para calcular las curvas de nivel des-de los parámetros de curvatura y para detectarlas variaciones de superficie dadas por el caminotransversal entre las curvas de nivel.

El método propuesto detecta deformaciones decualquier superficie representada como P. Estábasado en la búsqueda de puntos críticos de P enlos cuales se encuentran variaciones de superficie.En este trabajo, los puntos críticos son puntos per-tenecientes a las diferentes curvas de nivel Φ de lasuperficie, pero además yacen en el camino trans-versal que cruza las curvas de nivel por medio delajuste de puntos singulares. Los puntos singula-res están definidos como los puntos con máximovalor de curvatura, y cuyo valor de curvatura hasido estimado a partir de un umbral de curvaturaextraído desde el histograma de curvatura.

3.1. HISTOGRAMA DE CURVATURAS

Una vez los parámetros de curvatura han sido cal-culados, de acuerdo con (3), para todos los puntosdentro de P (Fig. 2b), se construye un histogramade curvatura (Fig. 2c). Esto representa la distri-bución de la variación de la superficie y puede sercalculada como:

HP =number (cij)

size (P)(5)

donde cij es el valor de curvatura, y size (P) repre-senta la densidad o numero de puntos usados paramuestrear la superficie. HP cambia dependiendodel tamaño del entorno de vecindad Nj usado pa-ra calcular cada cij . El usuario debe escoger elradio de acuerdo a la precisión para la correctadetección de cambios abruptos en la superficie.

El histograma HP resulta de gran utilidad para


Figura 3: Algoritmo para la caracterización de las deformaciones mediante esqueleto de curvaturas

realizar la búsqueda de los puntos singulares. Tan-to los puntos con max (cij) como los puntos límitesque define el borde donde no hay variación de cur-vatura en la superficie. Los puntos límites separanla región de curvatura de la región sin curvatura.Ellos están calculados desde HP usando la técnicapresentada en [10]. El histograma nos permite bus-car el umbral de curvatura εotsu por medio de laminimización de la desviación estándar de la dis-tribución Gausiana que representan las dos zonas(Fig 2c).

3.2. ESQUELETIZADO DEVARIACIÓN DE SUPERFICIE

Asumimos que la superficie es siempre identifica-ble, entonces los gradientes de la superficie en cadapunto es o bien cero, o bien perpendicular al nivelde curva el cual representa la variación de la su-perficie a cada punto. El método inspecciona lospuntos críticos de la función de la superficie a lolargo de sus curvas de nivel. Los puntos críticosson aquellos de máxima curvatura los cuales seencuentran en el centro de la deformación.

El algoritmo propuesto se usa para buscar tantopuntos críticos como los puntos límite, y el ca-mino transversal el cual define la deformación en

la superficie. El algoritmo usa un árbol-octal O co-mo [11] con el objetivo de almacenar todos los pun-tos p de P como una estructura ordenada, dondecada punto p se encuentra almacenado en un nodohoja (los nodos que se encuentran en el nivel másprofundo del árbol) del árbol. Después, creamosuna cola de prioridad Q con el par {p,N}, dondep es cada punto de O y N es su lista de adyacen-cia. N representa los puntos de vecindad con unaconexión de 26-conectado, lo que es lo mismo, sus26 directos puntos vecinos (si los tuviera) . En lacabeza de la cola de prioridad Q se encuentran lospuntos p con el mayor valor de curvatura.

Más tarde, Q es filtrada y almacenada en R paraobtener solo los valores de los elementos p de Qque son más grandes que εotsu. Siguiendo el dia-grama de flujo mostrado en la Fig 3 se observaque el algoritmo genera una lista D que almace-na los puntos críticos en la cabeza siguiendo conlos puntos que se encuentran dentro de las cur-vas de nivel. Para finalizar el algoritmo calculatodos los caminos mínimos (utilizando el algorti-mo Dijkstra) desde la cabeza de la lista D al restode puntos en dicha lista, siempre y cuando estosestén dentro de un rango de curvatura, tal que,ε − α ≤ curvatura ≤ ε + α. Donde α es un errorpermitido. Se observa que el punto en la cabeza


(a) Frames extraídas de la secuencia virtual

(b) Mapa de curvatura calculados desde los frames de la Fig. 4a

(c) Caminos mínimos calados desde los frames de la Fig. 4a

Figura 4: Evolución temporal de la deformación de una superficie plana causada por el contacto de undedo robot desde dos secuencias de movimientos distintas de la mano robot

de la lista D es el punto con curvatura máxima, yel resto de puntos en D, que cumple la condición,son los puntos del conjuntos de los puntos lími-tes. El algoritmo se ejecuta iterativamente hastaencontrar todos las deformaciones en el plano P .

4. EXPERIMENTACIÓN

Diversos experimentos y pruebas han sido realiza-das. Para ello hemos modelado los movimientos deuna mano robot real considerando tanto la cine-mática como el modelo virtual (forma y estructu-ra) de sus dedos y palma sin las restricciones físi-cas ni considerando las singularidades, por mediodel uso del software libre Blender. En particular elmodelo de la mano robot corresponde a la manorobot de la empresa Shadow Robot disponible ennuestro laboratorio de investigación.

Nuestros experimentos simulan varias deformacio-nes causadas por el contacto entre los dedos de lamano virtual de la mano robot y un objeto plano.Las deformaciones dependen de la orientación delos dedos, la trayectoria usada en el proceso decontacto, la forma de los dedos y la presión produ-cida por estos en el momento del contacto (Fig. 4).

Cada experimento consiste en un movimiento re-producido en una secuencia de imágenes. Cada se-cuencia esta compuesta por 60 imágenes. El algo-ritmo calcula los conjuntos de curvas de nivel apartir de los parámetros de curvatura y los histo-gramas de curvatura. Esto nos permiten obtener

la evolución de las curvaturas durante un tiemposecuencia a través del proceso de formación de lasdeformaciones (Fig. 4 y 5). Después, estimamos loscaminos mínimos que recorren las deformacionesdesde los puntos críticos hasta los puntos límitespara medir la variación de la superficie y el perfiltopográfico de la deformación (Fig. 4 y 6).

El algoritmo está implementado en el lenguaje deprogramación C/C++ y usando las librerías decódigo abierto PCL, Boost y Eigen. Ha sido eje-cutado sobre un ordenador equipado con un pro-cesador Intel Core i7-4770k, con 8GB de memo-ria RAM y una tarjeta gráfica NVidia GeForce760GTX.

Figura 5: Evolución del valor de la curvatura a tra-vés de la secuencia de los movimientos mostradaen la Fig 4


La Fig. 5 muestra la dependencia de la medidade la curvatura con respecto al radio de vecindadseleccionado para calcular los vectores normales alos puntos de la superficie. Si el radio es lo sufi-cientemente grande los pequeños concavidades enla superficie no serán detectados por el algoritmo.La Fig. 5 muestra la evolución de los puntos lími-tes y como crecen rápidamente en las primeras ite-raciones. Este hecho indica que el contacto entre lamano robot y la superficie elástica está ocurriendoen ese momento. Después, el crecimiento se sua-viza y se hace más progresivo. La pendiente dela curva de las líneas del esqueleto indica el nivelde deformación generado durante el momento delagarre. La Fig. 6 muestra como el mínimo caminotransversal para los esqueletos aporta informaciónpara determinar la deformación en un instante detiempo. En la prueba ilustrada en la Fig 4, se haseleccionado el frame numero 49 para estudiar. Delos 200 caminos generados por el algoritmo, solose representa 1 de cada 20 por claridad. Podemosobservar que a excepción de los caminos 40, 80 y160, son caminos sin una gran pendiente, pero conuna gran longitud, esto indica que se trata de unadeformación suave y muy progresiva. Por otro la-do vemos que los pocos caminos que si que tieneuna gran pendiente pero un corto recorrido, se co-rresponden a la parte de la deformación que estásufriendo más estrés, la parte de intersección entreel dedo y el plano.

Figura 6: Caracterización de la variación del ca-mino transversal calculado desde los puntos críti-cos desde el frame 49 de la prueba (en la Fig 4corresponde a la tercera columna)

5. CONCLUSIONES

Este artículo ha descrito una aproximación novelal análisis de la deformación de superficies planas.El método propuesto construye mapas de varia-ción de curvaturas y esqueletos para medir el des-nivel local en la superficie por medio de la com-paración entre los puntos que yacen en la misma

superficie. Además, el método usa un algoritmonovel para caracterizar y describir la variación decurvas de nivel causada por las deformaciones. Pa-ra realizar esto, nuestro algoritmo identifica lascurvas de nivel y después, busca los puntos críti-cos los cuales junto con los puntos límites definenel camino transversal entre las curvas de nivel. Loque significa que, generamos un perfil topográficoen la dirección de los máximos gradientes locales.

Este análisis de superficie proporciona una investi-gación empírica sobre el efecto de las deformacio-nes sobre la superficie de objetos elásticos cuandose realizan varias tareas de agarre con una manorobot. Y lo más importante, se presenta la imple-mentación de un algoritmo para medir estas de-formaciones. Este algoritmo ha sido programadoen el lenguaje de programación C/C++, y puedeser integrado en una plataforma robótica.

Agradecimientos

La investigación que nos ha llevado a estos re-sultados ha sido financiada por el Gobierno Es-pañol y lo fondos europeos FEDER (DPI2012-32390) y el Gobierno Regional de Valencia (PRO-METEO/2013/085).

Referencias

[1] Berenson, D. (2013). Manipulation of defor-mable objects without modeling and simulatingdeformation. In Intelligent Robots and Systems(IROS), 2013 IEEE/RSJ International Confe-rence on, pages 4525–4532. IEEE.

[2] Boonvisut, P. and Çavuşoğlu, M. C. (2014).Identification and active exploration of defor-mable object boundary constraints through ro-botic manipulation. The International journalof robotics research, 33(11):1446–1461.

[3] Gemici, M. C. and Saxena, A. (2014). Lear-ning haptic representation for manipulating de-formable food objects. In Intelligent Robots andSystems (IROS 2014), 2014 IEEE/RSJ Inter-national Conference on, pages 638–645. IEEE.

[4] Hirai, S., Tsuboi, T., and Wada, T. (2001). Ro-bust grasping manipulation of deformable ob-jects. In Proc. IEEE Symposium on Assemblyand Task Planning, pages 411–416.

[5] Katz, D. and Brock, O. (2008). Manipulatingarticulated objects with interactive perception.In Robotics and Automation, 2008. ICRA 2008.IEEE International Conference on, pages 272–277. IEEE.

[6] Khalil, F. F., Curtis, P., and Payeur, P. (2010).Visual monitoring of surface deformations onobjects manipulated with a robotic hand. In Ro-botic and Sensors Environments (ROSE), 2010


IEEE International Workshop on, pages 1–6.IEEE.

[7] Khalil, F. F. and Payeur, P. (2010). Dexterousrobotic manipulation of deformable objects withmulti-sensory feedback-a review. INTECH OpenAccess Publisher.

[8] Mateo, C. M., Gil, P., et al. (2015). Analy-sis of shapes to measure surfaces: An approachfor detection of deformations. In Informatics inControl, Automation and Robotics (ICINCO),2015 12th International Conference on. IEEE.

[9] Mkhitaryan, A. and Burschka, D. (2012). Vi-sion based haptic multisensor for manipulationof soft, fragile objects. In Sensors, 2012 IEEE,pages 1–4. IEEE.

[10] Otsu, N. (1975). A threshold selection met-hod from gray-level histograms. Automatica,11(285-296):23–27.

[11] Papon, J., Abramov, A., Schoeler, M., andWorgotter, F. (2013). Voxel cloud connecti-vity segmentation-supervoxels for point clouds.In Computer Vision and Pattern Recognition(CVPR), 2013 IEEE Conference on, pages2027–2034. IEEE.

[12] Pauly, M., Gross, M., and Kobbelt, L. P.(2002). Efficient simplification of point-sampledsurfaces. In Proceedings of the conference on Vi-sualization’02, pages 163–170. IEEE ComputerSociety.

[13] Pomares, J., Gil, P., García, G. J., Sebastián,J. M., and Torres, F. (2008). Improving de-tection of surface discontinuities in visual–forcecontrol systems. Image and Vision Computing,26(10):1435–1447.

[14] Ramisa, A., Alenya, G., Moreno-Noguer, F.,and Torras, C. (2013). Finddd: A fast 3d des-criptor to characterize textiles for robot ma-nipulation. In Intelligent Robots and Systems(IROS), 2013 IEEE/RSJ International Confe-rence on, pages 824–830. IEEE.

[15] Saxena, A., Driemeyer, J., and Ng, A. Y.(2008). Robotic grasping of novel objects usingvision. The International Journal of RoboticsResearch, 27(2):157–173.

[16] Shaffer, E. and Garland, M. (2001). Effi-cient adaptive simplification of massive mes-hes. In Proceedings of the conference on Vi-sualization’01, pages 127–134. IEEE ComputerSociety.

[17] Smith, P. W., Nandhakumar, N., et al.(1996). Vision based manipulation of non-rigidobjects. In Robotics and Automation, 1996.Proceedings., 1996 IEEE International Confe-rence on, volume 4, pages 3191–3196. IEEE.

[18] Turk, M., Pentland, A. P., et al. (1991). Fa-ce recognition using eigenfaces. In ComputerVision and Pattern Recognition, 1991. Procee-dings CVPR’91., IEEE Computer Society Con-ference on, pages 586–591. IEEE.


detecciÓn de deformaciones 3d … · por lo general, tres tipos básicos de...

Documents