subproyecto-3: sistema de visión para el guiado de ... · 1. objetivos qsubsistema basado en luz...
Post on 20-Aug-2020
5 Views
Preview:
TRANSCRIPT
1. Objetivos2. Resultados3. Publicaciones4. Prototipo actual5. Conclusiones
SUBPROYECTO-3: Sistema de Visión para el Guiado de Vehículos Autónomos
1. Objetivos
q Desarrollar el prototipo de un dispositivo de visión artificial para ayuda a la navegación. Investigación en arquitectura robótica y en visión.
q Se propone desarrollar un periférico de visión inteligente especializado, autónomo y versátil. Posibilidad de implantación en diferentes plataformas.
1. Objetivos
q Subsistema basado en luz natural para conseguir:• amplio uso• reducida relación precio–prestaciones• ausencia de interferencias• modularidad
q Visión realista en entornos industriales
q Proporcionar una interfaz de alto nivel que unifique el tratamiento de cada una de las operaciones que implemente el dispositivo como unidad de alto rendimiento.
q Incorporar operaciones elementales de procesamiento de imagen sobre arquitecturas específicas (filtros, modelos de iluminación, descriptores, cálculo de invariantes, ...).
2. Resultados
q Tarea 3.1: Caracterización global del nodo.3.1.1 Establecimiento de requerimientos y de especificaciones üü3.1.2 Diseño de la arquitectura y caracterización de interfaces üü3.1.3 Integración de módulos, evaluación y prueba (50%)
q Tarea 3.2: Subsistema robótico del dispositivo de visión.3.2.1 Especificación y diseño del operativo üü3.2.2 Diseño y realización del control de sensores y actuadores de
orientación, enfoque y luminosidad üü3.2.3 Diseño y realización de la interfaz üü3.2.4 Integración de módulos, evaluación y prueba (50%)
q Tarea 3.3: Subsistema de procesamiento de la imagen.3.3.1 Estudio y desarrollo de los algoritmos üü3.3.2 Implantación hardware üü3.3.3 Integración de módulos, evaluación y prueba (50%)
2. Resultados Tarea 3.1: Caracterización global del nodo.3.1.1 Establecimiento de requerimientos y de especificaciones
Entrada Materia Prima
Salida Productos
EPO: Pikolinos
2. Resultados
§Balance de carga.
§QoS.
§Interfaz abierta.
§Particularizar los servicios del sistema de visión.
§Posibilidad de procesamiento en el procesador de la cámara, en coprocesadores especializados, en el nodo central de la plataforma o en procesadores remotos.
§Tesis doctoral (mayo,01)
Tarea 3.1: Caracterización global del nodo.3.1.2 Diseño de la arquitectura y caracterización de interfaces
Aglets
Linux
JVM
Nodo
Clase NRSF
Aglets
Windows
JVM
Nodo
Clase NRSF
Aglets
IRIX
JVM
Nodo
Clase NRSF
Aglets
AIX
JVM
Nodo
Clase NRSF
AVM
AS
SMA
Servicios SV
AVM
ACD
ACF
AGA
RIAMRA
AS
AS MRA
MRA
AVE
AVI
AVFBAVTACE
ACO
ACZ
ACPT SAAS
Modelo de generación de configuraciones y mantenimiento de la consistencia.
2. Resultados
La interfaz con el resto de la plataforma móvil queda embebida por los agentes.
Tarea 3.1: Caracterización global del nodo.3.1.2 Diseño de la arquitectura y caracterización de interfaces
HW del Sistema de Visión
RT Linux
MASV
ARTIS
2. Resultados
q Realizada la definición del sistema y la especificación de los agentes del sistema.
q Realizados los modelos de servicios (procesamiento de imagen y control de la cámara).
q En realización la especificación de los agentes del servicio de visión.
Tarea 3.1: Caracterización global del nodo.3.1.3 Integración de módulos, evaluación y prueba (50%)
2. Resultados Tarea 3.2: Subsistema robóticodel dispositivo de visión.
3.2.1 Especificación y diseño del operativo
Aglets
Linux
JVM
Nodo
Clase NRSF
Aglets
Windows
JVM
Nodo
Clase NRSF
Aglets
IRIX
JVM
Nodo
Clase NRSF
Aglets
AIX
JVM
Nodo
Clase NRSF
AVM
AS
SMA
Servicios SV
AVM
ACD
ACF
AGA
RIAMRA
AS
AS MRA
MRA
AVE
AVI
AVFBAVTACE
ACO
ACZ
ACPT SA
AS
Sistema operativo de la cámara basado en agentes móviles sobre AGLETS.
2. Resultados
Realización del sistema operativo como una capa MAS sobre AGLETS.
Tarea 3.2: Subsistema robóticodel dispositivo de visión.
3.2.1 Especificación y diseño del operativo
2. Resultados Tarea 3.2: Subsistema robóticodel dispositivo de visión.
3.2.1 Especificación y diseño del operativo
MAC
NIC
MDIAdaptador
CPU
NRSC
SAMROM
EPROMRAMCoprocesador Criptográfico
WatchDog
NIC+NRSC
Red de Comunic
Reloj
Reloj
Interfaz.
BusHost
MEM
MEM
Sincronizador
Bus del
Host
Coprocesador de agentes.
2. Resultados
Subsistema de control de motores de la cámara basado en agentes móviles sobre AGLETS
Tarea 3.2: Subsistema robóticodel dispositivo de visión.3.2.2 Diseño y realización del control de sensores y actuadores ...
Aglets
Linux
JVM
Nodo
Clase NRSF
Aglets
Windows
JVM
Nodo
Clase NRSF
Aglets
IRIX
JVM
Nodo
Clase NRSF
Aglets
AIX
JVM
Nodo
Clase NRSF
AVM
AS
SMA
Servicios SV
AVM
ACD
ACF
AGA
RIAMRA
AS
AS MRA
MRA
AVE
AVI
AVFBAVTACE
ACO
ACZ
ACPT SA
AS
2. Resultados Tarea 3.2: Subsistema robóticodel dispositivo de visión.3.2.2 Diseño y realización del control de sensores y actuadores ...
Drivers de potencia para control de motores
2. Resultados Tarea 3.2: Subsistema robóticodel dispositivo de visión.
3.2.3 Diseño y realización de la interfaz
21 40 53 ; A0 CA 00 00 ; NAD/PCB/LEN/CLA/INS/P1/P2 Cabecera
4D ; CL Longitud del comando
00 ; CN Comando 0x00
4B ; DL Tamaño de los datos del comando
01 01 82 ; Datos del comando 0x00
DC E9 1B 55 89 A0 D5 22 ; Firma digital
16 48 08 B1 A4 84 8F 2B ; Paquete encriptado núm. 1
3B DA AC 07 A2 31 B0 83 ; Paquete encriptado núm. 2
E2 27 5D 47 C8 27 D5 0E ; Paquete encriptado núm. 3
7C 9C A6 51 E5 0D FE 18 ; Paquete encriptado núm. 4
54 04 80 26 49 FC A6 71 ; Paquete encriptado núm. 5
B2 FA 69 51 0C 22 B7 24 ; Paquete encriptado núm. 6
BF 7E 3F 64 D0 1A BC 24 ; Paquete encriptado núm. 7
F3 6E 88 6E 69 0F 0F 61 ; Paquete encriptado núm. 8
05 ; RL Tamaño de la respuesta
EB ; LRC Checksum
12 40 07 ; ; NAD/PCB/LEN Cabecera estándar
80 ; CN Comando 0x80
03 ; DL Tamaño de los datos del comando
B1 01 ; ACK
04 ; Número de secuencia
90 00 ; SW1/SW2 Estado normal
F2 ; LRC Checksum
Pila NRSP
Comandos NRSF
APDUISO-7816/4
T=1ISO-7816/3
Dispositivo ISO-7816
COLA
LRC
CUERPO
Datos (Comando o Respuesta APDU)
CABECERA
NAD PCB LEN
CUERPO
Datos (Respuesta NRSF)
COLA
SW1 SW2
CABECERA
CLA INS P1 P2
CUERPO
Datos (Comando NRSF)CL RL
CUERPO
Datos
CABECERA
CN DL
Interfaz host/coprocesador
Agente SIA
Influenciashacia el Entorno
Memorización+
Deliberación
MRU: Unidad de Encaminamiento de Mensajes
Percepción
σdesde el Entorno
Interfaz SMA-SIAMensajedesde SMA
Interfaz SIA-SIAMensajedesde SIA
Interfaz RA-SIAMensajedesde RA
Interfaz SIA-SMA
Interfaz SIA-RIA
Interfaz SIA-RA Mensajehacia RA
Mensajehacia RIA
Mensajehacia SMA
Interfaz SIA-SIA Mensajehacia SIA
MRU
Interfaz SIA-SA Mensajehacia SA
2. Resultados Tarea 3.2: Subsistema robóticodel dispositivo de visión.
3.2.3 Diseño y realización de la interfaz
Nivel de agentes
Agente RA
Influenciashacia el Entorno
Mensajehacia SIA
Memorización+
Deliberación
Interfaz RA-SIA
Interfaz SIA-RA
Percepciónσdesde el Entorno
Mensajedesde SIA
P1
P2
Agente ααSIAiAgente αα RA
p(S,LP)
P3
P4
ααRA
<< notInterested(S, ααSIAi
)
msg1
msg4
ααRA
<< Propose(S, P)
ααSIA
<< Refuse(S, ααSIA
)
ααSIA
<< Accept(S, ααSIA
)
(b)(a)
(d)(c)
tc≡ c(S, C, αSIA)Pm = Best(LP)C = Contract(Pm)αSIA = Provider(Pm)
Proposals(S,LP)
n=0
n� 0
n� 0
p(S,LP)
p(S,{})
LP� Ø
LP=Ø
p(S,LP)
tc
tc
ta
d(S,C,αRA)
Accept(S,C)
¬Accept(S,C)
e(S,αSIA)
S
canDo(S)
p(S, LP-{Pm})
Commit(S,Self,αRA)Impossible(S)
Commit(S,αSIA,Self)
p(S,LP)
m(S, n -1)tm
m(S, n -1)
p(S, LP+{P})
¬canDo(S)
Allocate(S)
b(S, P, αRA)
tm≡ m(S, card())
ta≡ a(S, αRA)
P=Proposal(S)
msg1 ≡ << RequestForServiceProvider (S,Self)
msg4 ≡≡ αSIAi << Award(S, C, αR A)
P1 ≡ obtiene los agentes P2 ≡ contabiliza respuestas
P3 ≡ recoge propuestas P4 ≡ busca mejor proveedor
S ≡ Solicitud LP ≡ Lista de PropuestasP ≡ Propuesta
2. Resultados Tarea 3.2: Subsistema robóticodel dispositivo de visión.3.2.4 Integración de módulos, evaluación y prueba (50%)
q S.O. de la cámara basado en agentes móviles sobre AGLETS.
q Coprocesador de agentes.
q Tarjeta controladora de motores
q Interfaz host/coprocesador
q Interfaz entre agentes
q Desarrollo e integración de los agentes de control de motores sobre AGLETS
q Desarrollo sobre ARTIS
Realizado
En realización
2. Resultados Tarea 3.3: Subsistema de procesamiento de la imagen.
3.3.1 Estudio y desarrollo de los algoritmos
Aglets
Linux
JVM
Nodo
Clase NRSF
Aglets
Windows
JVM
Nodo
Clase NRSF
Aglets
IRIX
JVM
Nodo
Clase NRSF
Aglets
AIX
JVM
Nodo
Clase NRSF
AVM
AS
SMA
Servicios SV
AVM
ACD
ACF
AGA
RIAMRA
AS
AS MRA
MRA
AVE
AVI
AVFBAVT
ACE
ACO
ACZ
ACPT SA
AS
Subsistema de procesamiento de imagen basado en agentes móviles sobre AGLETS
Tratamiento de la
Incertidumbre
Tratamiento de la
incertidumbre debida a la distancia de
interés.
Tratamiento de la
incertidumbre debida a la
iluminación.
Hardware
Hardware de bajo nivel
para visión en tiempo real.
2. Resultados
Visión de nivel medio
Módulo de análisis de
secuencias de imágenes.
Filtros
Implantación de filtros
hardware de imagen.
Tarea 3.3: Subsistema de procesamiento de la imagen.
3.3.1 Estudio y desarrollo de los algoritmos
Visión de nivel medio
Módulo de análisis de
secuencias de imágenes.
Hardware
Hardware de bajo nivel
para visión en tiempo real.
2. Resultados Tarea 3.3: Subsistema de procesamiento de la imagen
Filtros
Implantación de filtros
hardware de imagen.
Tratamiento de la
Incertidumbre
Tratamiento de la
incertidumbre debida a la distancia de
interés.
Tratamiento de la
incertidumbre debida a la
iluminación.
3.3.1 Estudio y desarrollo de los algoritmos
Módulos de tratamiento de la incertidumbre en visión:
§ Métodos para cancelar la incertidumbre de la señal percibida en los sistemas de visión a fin de poder operar en condiciones realistas(iluminación inadecuada, dificultades de enfoque, etc.).
§ Propuesta de modelo de tratamiento de la incertidumbremediante bases de conocimiento.
§ Propuesta de arquitectura de visión para el tratamiento de la incertidumbre debida a la distancia de interés.
§ Extracción de texturas en imágenes de escenas naturales para segmentarlas, en situaciones de iluminación extrema (penumbra y deslumbramientos) y distribución irregular de la iluminación.
§ Tesis doctoral ( otoño, 01).
2. Resultados Tarea 3.3: Subsistema de procesamiento de la imagen3.3.1 Estudio y desarrollo de los algoritmos
2. Resultados
Nivel de iluminación
Distancia de interés
Tarea 3.3: Subsistema de procesamiento de la imagen3.3.1 Estudio y desarrollo de los algoritmos
Tratamiento de la
Incertidumbre
Tratamiento de la
incertidumbre debida a la distancia de
interés.
Tratamiento de la
incertidumbre debida a la
iluminación.
Hardware
Hardware de bajo nivel
para visión en tiempo real.
2. Resultados
Filtros
Implantación de filtros
hardware de imagen.
Tarea 3.3: Subsistema de procesamiento de la imagen3.3.1 Estudio y desarrollo de los algoritmos
Visión de nivel medio
Módulo de análisis de
secuencias de imágenes.
Propuesta de módulos de visión de nivel medio para:§ Desarrollo de hardware de nivel medio orientado a ayuda a la
navegación.
§ Empleo de redes neuronales auto-organizativas como caracterizadores morfológicos de los objetos de una escena.
§ Aplicación al análisis de secuencias de imágenes, entendidascomo deformaciones de la red a lo largo del aprendizaje de los diferentes frames; para ayuda a la navegación.
§ Arquitecturas específicas de visión para procesamiento en tiempo real basadas en la utilización de los mapas auto-organizativos de tipo Growing Neural Gas.
§ Tesis doctoral ( Otoño, 01).
2. Resultados Tarea 3.3: Subsistema de procesamiento de la imagen3.3.1 Estudio y desarrollo de los algoritmos
2. Resultados
Reconocimiento de formas mediante mapas auto-organizativos de tipo Growing Neural Gas.
Tarea 3.3: Subsistema de procesamiento de la imagen3.3.1 Estudio y desarrollo de los algoritmos
Visión de nivel medio
Módulo de análisis de
secuencias de imágenes.
Tratamiento de la
Incertidumbre
Tratamiento de la
incertidumbre debida a la distancia de
interés.
Tratamiento de la
incertidumbre debida a la
iluminación.
Hardware
Hardware de bajo nivel
para visión en tiempo real.
2. Resultados
Filtros
Implantación de filtros
hardware de imagen.
Tarea 3.3: Subsistema de procesamiento de la imagen3.3.2 Implantación hardware
Microprocesador especializado en visión TR:
§ Plataforma para implantación de operaciones de visión con características inherentes de restricciones temporales y tolerancia a fallos.
§ Modelos de implementación de primitivas basados en tablas look-uppara procesamiento en tiempo real.
§ Desarrollo de arquitecturas específicas para el tratamiento de imágenes, sobre una base metodológica para abordar los problemas de tiempo real al nivel de primitivas computacionales.§ Propuesta extensible a procesadores de tiempo real.
§ Tesis doctoral (Julio,01).
2. Resultados Tarea 3.3: Subsistema de procesamiento de la imagen3.3.2 Implantación hardware
2. Resultados
Nivel 3: Algoritmos específicos
Nivel 2: Funciones
Nivel 1: Instrucciones ensamblador
CPU CLÁSICA
Nivel 1:Primitivas
CPU IMPRECISA¿�?
Resultados exactos
(y sólo al final)Resultados inexactos
(en tiempos parciales, según calidad)
Acceso a tablaSelección del resultado en arbol
Resultados experimentación VHDL, FPGAs
Tarea 3.3: Subsistema de procesamiento de la imagen3.3.2 Implantación hardware
Visión de nivel medio
Módulo de análisis de
secuencias de imágenes.
Tratamiento de la
Incertidumbre
Tratamiento de la
incertidumbre debida a la distancia de
interés.
Tratamiento de la
incertidumbre debida a la
iluminación.
Hardware
Hardware de bajo nivel
para visión en tiempo real.
2. Resultados
Filtros
Implantación de filtros
hardware de imagen.
Tarea 3.3: Subsistema de procesamiento de la imagen3.3.2 Implantación hardware
q Hardware de visión de bajo y medio nivel:§ Plataforma para implantación de operaciones de visión con
características inherentes de restricciones temporales y tolerancia a fallos.
§ Microprocesadores específicos de filtrado de imagen y de tratamiento de la incertidumbre.§ Implantación hardware de arquitecturas de visión de bajo nivel
(gradientes, primitivas morfológicas, etc.) para realizar filtros que operen en paralelo sobre la imagen completa.§ Implantación hardware de arquitecturas de visión de nivel medio para
desarrollar filtros de tratamiento de la incertidumbre.
§ Tesis doctoral (Otoño, 02).
2. Resultados Tarea 3.3: Subsistema de procesamiento de la imagen3.3.2 Implantación hardware
2. Resultados
Paralelización de primitivas morfológicas a Imagen Completa.Arquitectura Segmentada.
HOST
mi
t1
t2...ti
MatrizMi
dat1dat2...dati
EP
2
t1
t2...ti
t1
t2...ti
t1
t2...ti
dbt1dbt2...dbti
ddt1ddt2...ddti
dit1dit2...diti
EP
1
EP
3
EP
4
Mapas del terreno basados en primitivas morfológicas
Tarea 3.3: Subsistema de procesamiento de la imagen3.3.2 Implantación hardware
Sobre plataforma TMS320C40
T i e m p o s m e d i o s v s T a m a ñ o d e l E E
0
2000
4000
6000
8000
10000
12000
14000
16000
18000
20000
5x5 9x913
x1317
x1721
x2125
x2529
x2933
x3337
x3741
x4145
x4549
x4953
x5357
x5761
x6165
x6569
x6973
x7377
x7781
x8185
x8589
x8993
x9397
x97
101x10
1
T a m a ñ o d e l E l e m e n t o E s t r u c t u r a n t e
Tiem
po (m
s)
Imagen Completa Local
Ibarra Picó, F; Fuster Guillo, A; Colom Lopez, J. “Remote server of processes on cards based on digital signal processors”. IEEE Multimedia Systems '99, International Conference on Multimedia Computing and Systems (IEEE ICMCS'99).
Pujol, F.A.; García Chamizo, J.M.; Ledesma Latorre, B.; Fuster Guilló, A.; Pujol, M.; Filtrado Morfológico de Imágenes: Implementación de Primitivas Basadas en DSPs. VIII Conferencia de la Asociación Española para la Inteligencia Artificial. Murcia, 16-19 Noviembre 1999.
Pujol, F.A.; García Chamizo, J.M.; Ledesma, B.; Fuster, A.; Pujol, M; DSP Implementations of Morphological Filtering: Application to Path Planning Problems. 11th Portuguese Conference on Pattern Recognition, Porto, Portugal, May 11th – 12th, 2000.
Ferrández Pastor, F.J.; García Chamizo, J.M.; Pujol López, F. Método para la determinación de distancias mediante técnica multifrecuencialConferencia Internacional de Telecomunicaciones y Electrónica (TELEC’2000) Santiago de Cuba (Cuba), julio 2000
3. Publicaciones
García Chamizo, J.M.; Pujol López, F.; Llorens Largo, F.; Pujol López, M.; Rizo Aldeguer, R. Selection of a Suitable Measurement to Obtain a Quality Segmented Image. 5th Iberoamerican Symposium on Pattern Recognition, Lisboa (Portugal), september 2000
Ferrández Pastor, F.J.; García Chamizo, J.M.; Pujol López, F. A new Method for Position Location in Random Media 8th International Conference on Electromagnetics of Complex Media (Bianisotropics'2000). Lisboa (Portugal). September, 2000
García Chamizo J.M.; Maciá Pérez F. A Mobile Agent-based Model for a Node Regeneration System. International Conference on Knowledge Based Computer Systems (KBCS 2000). Mumbai, India. December, 2000
F.A. Pujol; J.M. García Chamizo; A. Fuster; M. Pujol; R. Rizo; Use of Mathematical Morphology in Real-Time Path Planning. Kybernetes(The International Journal of Systems & Cybernetics) Editorial: MCB University Press. nº 6, junio de 2001.
3. Publicaciones
Enviados
García Chamizo, J.M.; Ledesma Latorre, B.; Fuster Guilló, A.; Pujol López, F.A. Spatial Modulation of Light by Reflection. Invariant Processing of Spatial Distributions in Images. Engineering Applications of Artificial Intelligence (Elsevier Journal).
García Chamizo J.M.; Mora Pascual J.; Mora Mora H. High performance adder based on ROM look-up tables. Integration, the VLSI Journal.
García Chamizo J.M.; Mora Pascual J.; Mora Mora H. Partial product generation for high performance multiplier. Journal of Circuits Systems and Computers.
Azorín López J., Flórez Revuelta F., Fuster Guilló A., García Chamizo J. M. Sistema de reparto de correo guiado por visión. 4t Congrés Català d'intel·ligència artificial. CCIA2001. Octubre 2001.
3. Publicaciones
El prototipo desarrolla actividades de reparto automático de mensajeríaen las instalaciones del departamento, que es el problema que se ha utilizado a modo de banco de pruebas.
4. Prototipo actual Ejemplo de aplicación
SistemaImagen
del entorno
Datos de posición de la plataforma
Datos elaboradosde visión
Actuación sobre loselementos de control
Imagendel entorno
Datos de posiciónde la plataforma
Cámara
IR
USSUBSISTEMA DE
MOVIMIENTO
SUBSISTEMADE VISIÓN
Datos elaboradosde visión
Actuación sobre loselementos de control
Motores Pan-tilt
Control
Seguir pared
Ev itarobstáculo
Interfazcon s is tema
de visión
Ev itar final del pasillo
Encontrar final del pasillo
Encontrar obstáculo
Sen
sore
s
Act
uad
ores
S. Visión
Diagrama del subsistema de movimiento Diagrama del subsistema de visión
Detección delrectángulo
Recono-cimiento
Adquisición de imágenes
Fitrado del ruido
Detección de características
Segmentación
S. Movimiento
Bu
ffer
q Modelado basado en agentes móviles y sistemas multiagente.
q Tratamiento de la incertidumbre en sistemas de visión artificial.
q Arquitecturas para visión de nivel medio basadas en redes neuronales.
q Procesamiento de bajo nivel para tiempo real.
q Línea futura. Localización en ambientes sin visibilidad
5. Conclusiones Líneas abiertas de investigación
Proyecto V-PRISMA 5. Conclusiones
q Visión mediante periférico robótico inteligente para sistemas móviles autónomos.§ Mejorar las técnicas de percepción visual de escenas reales,
resolviendo los problemas de incertidumbre en visión.
§ Desarrollar arquitecturas específicas de visión para procesamiento en tiempo real mediante hardware de procesamiento y coprocesamiento.
§ Implantar, en el dispositivo de visión, el sistema operativo de tiempo real basado en agentes que se ha desarrollado para gestionar la plataforma.
§ Incorporar soporte inalámbrico multicanal de comunicación para que la cámara pueda interaccionar con otros sistemas además de la propia plataforma sobre la que se encuentre instalada y para proporcionar la opción de control remoto mediante mando a distancia.
top related