Universidad Politécnica de CartagenaUniversidad Politécnica de Cartagena
GrupoGrupo de de NeurotecnologíaNeurotecnología, Control y, Control yRobóticaRobótica
““NeuroNeuro--robótica y Guiado robótica y Guiado Visual”Visual”
ObjetivosObjetivosGrupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
Algoritmos de visión idoneos para aplicaciones en neuro-robóticaEmulación sistema oculo-motor humanoElemento de arquitectura multisensorialFunciones:
Seguimiento ocular y panorámicoIntegración visión-tactoControl de alcance y agarreBasados en modelos de aprendizajeControl de pre-shaping del manipulador robot
Plataforma antropomórfica
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
Coordinación entre mapas visuo-motores y tactil-motores
Diferentes representaciones espaciales
Sistema de referencias absoluto en coordenadas ciclópeas
Módulo de conmutación de comportamientos
Mapas neuronales de aprendizaje adpatativo
Control de la postura del sistema robot
CARACTERÍSTICASCARACTERÍSTICAS
Plataforma Antropomórfica Plataforma Antropomórfica
Mano RobotCabezal LINCE
Sensores de Visión
SensoresDe Tacto
Neurocontrolador
Brazo Robot
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
• El comportamiento del sistema biológicohumano no funciona correctamente basadosólo en información retinal
• El sistema humano genera diferentesrepresentaciones del entorno en función de diferentes canales sensitivos
• La discrepancia entre información visual y táctil en el agarre (p.e) es resulta por un módulo selector de comportamientos
CONSIDERACIONESCONSIDERACIONESGrupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
PROCESO DE ALCANCE Y AGARRE
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
Temporalcoordination
Móduloselección de
comportamiento
Móduloselección de
comportamiento
Selecciónvisual de objetivos
REI
Controladordel cabezal
Controladorvisuo-motor
de brazo
Controladortactil-motor
de brazo
Aplicación
Carcaterísticasdel objeto
Controladorvisuo-motor
de mano
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
Módulo Selector de Comportamiento Jerarquía
Controladores Senso-Motores Algoritmos VAM
DESCRIPCIÓN DE BLOQUES
4 representaciones para operacioens de alcance
ISROV ISRMV
ISROT ISRMP
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
•Establece prioridades entre los canales visualesy tactiles, dependiendo de la tarea específica a realizar
Visión Tacto ComandoNO NO Búsqueda visual de objetivosSI NO Alcance Visual. Entrada visual al
módulo de REINO SI Maniobra de agarre para centrar el
objeto. Compensación de los pesos neuronales
SI SI Agarre o manipulación. Informacióntáctil para el módulo de REI
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
MÓDULO SELECTOR DE COMPORTAMIENTO
Temporalcoordination
Móduloselección de
comportamiento
Móduloselección de
comportamiento
Selecciónvisual de objetivos
REI
Controladordel cabezal
Controladorvisuo-motor
de brazo
Controladortactil-motor
de brazo
Aplicación
Carcaterísticasdel objeto
Controladorvisuo-motor
de mano
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
REACH TO GRASP
Modelos neuronalespara la coordinaciónespacio temporal de Reach To Grasp
Producción de la fuerza de agarre de modo anticipativo
Modulación de la forma de la manodurante el movimiento
Identification – Grip channelpreshapingdigital grip
Localisation – Arm channelpreprogrammed ballistic movement
Tactileguidance
Visualguidance
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
EYEPOSITIONING
HEAD
Movement Trigger
HandPreshaping
ArmTransport
LocationPositional cuesExtrinsic propertiesVisuomotor Transformations
IdentificationShape/ Orientation cuesIntrinsic propertiesVisuomotor Transformations
Contact
TemporalCoordination
Visu
al G
uid a
n ce
Ope
nL o
o p
Mechanical Action Sensory Exploration
Tact
ileG
uid a
n ce
Clo
s ed
L oo p
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
Coordenadas Absolutas Base de la cabeza
Representación ciclópea
del punto de fijación
θ: Vergencia
φ: Versión
γ: Elevación
CABEZAL LINCE CABEZAL LINCE [1][1]Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
CABEZAL LINCE CABEZAL LINCE [2][2]
8.5 Kg8.5 KgPesoPeso
360 mm360 mmLLííneanea base base
0.00750.0075°°0.00750.0075°°0.00750.0075°°RepetibilidadRepetibilidad
10N.m10N.m1.6Nm1.6Nm115mNm115mNmTorqueTorque
AC MotorAC MotorDC MotorDC MotorDC MotorDC MotorTiposTipos de de actuadoresactuadores
15001500°°/s/s2240004000°°/s/s2260006000°°/s/s22AceleraciAceleracióónn mmááximaxima
230230°°/s/s400400°°/s/s600600°°/s/sVelocidadVelocidad mmááximaxima
±±180180°°±±3030°°±±3030°°RangoRango mmááximoximo
PanorPanoráámicomicoElevaciElevacióónnVergenciaVergencia
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
Identificación del objeto a manipular
Identificación de brazo y mano robot
Posición 3D del objetio
Posición 3D del efector final y de la mano
Orientación del objeto y del manipulador
ALGORITMO
Border-Based Elastical Graph Matching (BBEGM)
SISTEMA DE ADQUISICIÓN VISUAL SISTEMA DE ADQUISICIÓN VISUAL [1][1]Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
Extracción del Modelo
1. Caracterización del nodo (propiedadeslocales)
2. Unión entre nodos(propiedades globales)
1
2
SISTEMA DE ADQUISICIÓN VISUAL [2]SISTEMA DE ADQUISICIÓN VISUAL [2]Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y Robótica
SELECCIÓN Y REFUERZOSELECCIÓN Y REFUERZOTTMAXMAX: Número de candidatos: Número de candidatos
–– Se establece una competición entre los nodos Se establece una competición entre los nodos candidatos para cada imagen de entradacandidatos para cada imagen de entrada
–– Se calculan 3 parámetros: Se calculan 3 parámetros: Similitud entre nodosSimilitud entre nodosDirecciónDirecciónLongitudLongitud
–– Mayor índice P para cada par de nodos determina la Mayor índice P para cada par de nodos determina la elección correctaelección correcta
SISTEMA DE ADQUISICIÓN VISUAL [3]SISTEMA DE ADQUISICIÓN VISUAL [3]
Imágenes del modelo
Creation of a graph model
0º 90º45º
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaSISTEMA DE ADQUISICIÓN VISUAL [4]SISTEMA DE ADQUISICIÓN VISUAL [4]
MATCHING
1. Determina los posibles nodoscandidatos en base a propiedades locales
2. Determina la calidad del proceso de identificación en base a propiedades globales
+∆θ
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaSISTEMA DE ADQUISICIÓN VISUAL [5]SISTEMA DE ADQUISICIÓN VISUAL [5]
Modelos: Seis figuras geométricas rotadas en pasos Modelos: Seis figuras geométricas rotadas en pasos de 0 de 0 90 grados. Total: 42 grafos de modelos90 grados. Total: 42 grafos de modelos
Imágenes para Imágenes para testtest: Figuras rotadas en ángulos : Figuras rotadas en ángulos intermedios. Total: 48 imágenes de entradaintermedios. Total: 48 imágenes de entrada
Imágenes (modelos + imágenes de entrada) Imágenes (modelos + imágenes de entrada) reducidas desde 768 x 576 a 128 x 128 reducidas desde 768 x 576 a 128 x 128 pixelspixels(interpolación (interpolación bilinealbilineal))
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaSISTEMA DE ADQUISICIÓN VISUAL [6]SISTEMA DE ADQUISICIÓN VISUAL [6]
IdentificaciónRotación
Posición 3D
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaSISTEMA DE ADQUISICIÓN VISUAL [7]SISTEMA DE ADQUISICIÓN VISUAL [7]
ISROV, MV:
Transformación Retinal-Motora
Representación de objetivoscon respecto al sistema de
referencias absoluto
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaRepresentación de Objetivos [1]Representación de Objetivos [1]
• Proyección de información visual sobre los comandos motoresPPMm (Motor Present Position Map)
Vdr
∆
ISRMP
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaRepresentación de Objetivos [2]Representación de Objetivos [2]
Modelo neuronal para
proyectar información
táctil
Tdr
∆
ISROT
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaRepresentación de Objetivos [3]Representación de Objetivos [3]
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaINSTALACIONES ROBÓTICASINSTALACIONES ROBÓTICAS
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaRESULTADOS EXPERIMENTALESRESULTADOS EXPERIMENTALES
Grupo de Grupo de NeurotecnologíaNeurotecnología, Control y Robótica, Control y RobóticaCONCLUSIONESCONCLUSIONES
• Integración de modelos visuales en plataformas multisensoriales
• Emulación sistema biológico humano
• Algoritmos de identificación visual en sistemas distribuidos
• Robustez ante cambio de plataformas
• Invariante a escala, cambios de iluminación, y rotaciones
• Control visuo-motor en dispositivos hardware