robots aéreos en red y su integración con redes...

1

Aníbal Ollero. Grupo de Robótica, Visión y Control. Universidad de Sevilla. http://grvc.us.es

Robots aéreos en red y su integración con redes inalámbricas de sensores.

Aníbal Ollero Baturone

Escuela Superior de Ingenieros

Universidad de Sevilla

2


• Introducción

• Múltiples robots aéreos– El proyecto COMETS

• Cooperación de robots terrestres y aéreos– El proyecto CROMAT

• Integración con redes inalámbricas de sensores– Proyectos AWARE y AEROSENS

• Conclusiones y desarrollos futuros.

3


Tareas desarrolladas

Antena WiFi

Antena

Radiomódem

Caja de

electrónica

Batería para electrónica

Batería para conmutador A/M

Pan

&

Tilt

Radiomódem

Antena

GPS

Conmutador A/MHERO 1

HElicopteros ROboticos en la Universidad de Sevilla

HERO 3

HERO 2

• Múltiples controladores lineales• Control Hinfinito lineal• Control borroso• Descomposición en dos escalas de tiempo• Control no lineal basado en modelo• Control con modelo interno adaptativo para aterrizaje

autónomo.• Análisis de comportamiento no lineal

4


Aviones autónomos en la Universidad de Seviila

Métodos y técnicas aplicados en otros UAVs

Control y FDI: helicópteros MARVIN (TUB) SLAM: Karma (LAAS) Tracking (Flying-cam)

Proyectos robótica aérea: 2 Europeos (coordinador), 4 Plan Nacional, 2 Plan Andaluz, 3 empresas


EUROPEAN COMMISSION. INFORMATION SOCIETY TECHNOLOGIES

IST PROGRAMME, 2001- 34304, 2002-2005.

Coordinación científico técnica consorcio europeo (7 socios de 5 paises)

COMETS. Real time coordination and control of multiple heterogeneous unmanned aerial vehicles.

Múltiples vehículos aéreos autónomos

• Arquitectura de control.

• Control y fiabilidad.

• Percepción cooperativa.

• Implementación y prueba con vehículos de bajo coste.

• Experimentos en detección y monitorización de fuegos forestales.

http://grvc.us.es/comets

6


El proyecto COMETS

Múltiples UAVs: vistas de diferentes puntos.

Heterogeneidad:Dirigibles: vistas panorámicasHelicópteros: maniobrabilidad y vistas de detalle.

Integración de sistemas autónomos y teleoperados.

• Misiones que requieren o se resuelven mejor con un equipo

• Complementariedad: múltiples especialistas

• Más fiabilidad: redundancia

• Reducción de coste


7


Arquitectura Multi-UAV

• Definición de un conjunto básico de tareas GOTO_XYZ, TAKE_OFF, LANDING, SURVEY_AREA(A): GOTOLIST_XYZ.WAIT: hovering (helicoptero) o círculos (avión), ……….

cuya combinación permite ejecutar misiones complejas

• Asignación inicial de tareas teniendo en cuenta capacidades de UAVs

• Coordinación de trayectorias para evitar colisiones• Respuesta ante contingencias (Fallos UAVs, comunicaciones, ..)

con inserción dinámica de nuevas tareas• Reasignación dinámica de tareas a UAVs empleando “Contract

Net Protocol” (negociación mediante reglas de mercado, teniendo en cuenta costes y beneficios).

8


Arquitectura de decisión COMETS

=> Implantación de dos esquemas básicos:

- (1) Centralizada (en el Centro de Control)

- (2) Distribuida (delegación en los UAVs)

NivelesNivelesBajosBajos(1)(1)

Autonomíade decisión

NivelesNivelesAltosAltos(2)(2)

CCCCNivel 1

CCCDNivel 2

CCDDNivel 3

CDDDNivel 4

DDDDNivel 5

Asignacióntareas

Planificacióntareas

CoordinacionSupervision

5 Niveles de autonomía de decisión


9


Ejemplo de misión: Exploración

• Misión: explorarcooperativamente para buscarobjeto de interés.

• Dividir el área teniendo en cuenta capacidades relativas y posiciones iniciales.

• Empleo de patrón zigzag.• Objetivos: TR, optimización

• Restricción de tiempo de vuelo.

• Capacidad UAV: rango

• Capacidad relativa depende de: velocidad, altitud, combustible restante, consumo, condiciones de viento, parámetros de las cámaras y sensores.

Modelos de UAVs:

UAV1 UAV2

UAV3

10


http://www.comets-uavs.org

Vuelos coordinados

Mayo 2004 Mayo 2005

COMETS

11


Percepción cooperativa

Métodos gaussianos para fusión información de distintos robots:

-Filtro de información Matriz información: 1−∑=Ω Vector información: µξ 1−∑=

Centralizado (M robots)

tjm

tj

M

j

Ttjtt MM ,,

1, Ω∑+Ω=Ω

=

mtj

M

j

Ttjtt M ,

1, ξξξ ∑+=

=

Distribuido (M robots): UAVi recibe información de sus vecinos C(i)

)(* ,1

)(

jit

it

iCj

jt

it

it Ω−Ω−∑ Ω+Ω=Ω −

∈)( ,

1)(

, jit

it

iCj

jt

it

mit ξξξξξ −−∑+= −

∈

Dinámico: consideración de la trayectoria completa)

Extensión al caso no lineal:- Filtro de Kalman extendido,

- Linealización estocástica filtro de Kalman (Unscented Kalman Filter)

- Filtro de Kalman tttttt vuBXAX ++= −− 11 tttt XMz ε+=),(),( 1111

1 −−−−

− ∑≈ tttt

t NuzXp µ

12


Fusión de datos: posición Fusión de datos: probabilidad alarma

Cada UAV communica estado a los otros vecinos:

Cada alarma: vector información (3), matriz información, (6), probabilidad (1)

Detección y localización cooperativas

∑Ω−+Ω=Ω∈ iCj

jt

it

mit ww )1(,

∑−+=∈ iCj

jt

it

mit ww ξξξ )1(,

13



Obectivo: Detectar eventos, Determinar sus positiones, Eliminar falsas alarmas, seguimiento en caso de movimiento

Empleo de multiples UAVs con cámeras

[ ]1,1,

1,, 1 −−

−

−+=

tiFtiD

tiDti pPpP

pPp

Posición, Velocidad,

Rasgos de interés del objeto

Ejemplo: Detección y localización fuego

Filtro de información para estimar posición

Empleo de un filtro por cada alarma.

Distribución de Bernouilli (probability pi de ser fuego , y de 1-pi de ser falsa alarma

Filtro de Bayes:

[ ]1,1,

1,, 1)1()1(

)1(

−−

−

−−+−−

=tiFtiD

tiDti pPpP

pPp

PD : prob. detección; PF : prob. falsa alarma

Alarma detectada

Alarma no detectada

14


• Fusión de datos basada en grids• Actualización de probabilidades:

– Consideración de las incertidumbres en la posición– Empleo de modelos diferentes de los sensores:

tttttt dpupp xxxxx )(),()ˆ( 111 +++ ∫←)ˆ()ˆ()( 1111 ++++ ← tttt pzpp xxx α

Modelo de cámaraModelo de sensor


15


Asociación de datos:Diferentes UAVs: posición y orientación, dispositivosDiferentes sensores: cámaras IR y visuales, sensor fuego, ..

Posicionamiento y medida empleando

fusión de datos.

Monitorización cooperativa

16


• Procedimiento:– Adoptar alarmas previas (de mapas o imágenes):

• Incertidumbre asociada a la posición.

– Predecir posiciones actuales alarmas– Nuevas medidas de UAVs

• Posición de la alarma• PD y PF

– Asociación de datos• Nearest neighbour• Gate checking

– Fusion de datos• Actualización posición• Actualización probabilidad fuego

– Inclusión de nuevas alarmas

Conjunto actual de alarmas proyectado en imagen IR segmentada

17


Demostración final COMETS (Mayo 2005)

18


Monitorización cooperativa Usar seguimiento de características para eliminar movimiento del fondo

Analizar comportamiento dinámico de eventos

350 400 450 500

480

500

520

540

560

580

600

X

Y

130170

210

250330

370

410450

636

716

756

796

839

85

165245325

405485

565645

725

805

19


Resultados COMETS

• Combinación de resultados científicos y logros tecnológicos en robótica, aeronáutica y sistemas empotrados.

• Primer sistema para la cooperación de múltiples UAVs demostrado experimentalmente.

• Aplicación demostrada en detección y monitorización de incendios forestales.

• Posibilidades de aplicación en seguridad y protección del medio ambiente.

• Impulso a la comercialización.

20


Odometría en visión monocular.

• Homografía que relaciona dos imágenes del mismo plano:

• Cálculo de R, t y n (factor de escala), utilizando la descomposición SVD (Triggs) y las matrices de calibración en ambas vistas (A1 y A2),para obtener dos soluciones válidas

• Empleo tercera vista para eliminarambiguedad

( ) 122212−⋅⋅−⋅⋅= AntIRAH Tλ

Algoritmo empleando múltiples vistas:

Calcular homografías entre primer marco (referencia) e imágenes consecutivas: Hi, i=2,…,N .

Para cada Hi, se calculan ambas soluciones válidas: ( Ri, ti y ni)(1), ( Ri, ti y ni)(2)

Dadas N>2 vistas, se elige solución con la misma normal ni en imágenes consecutivas.

Alternativa: conociendo la rotación mediante la IMU.

Factor escala: solo puede calcularse el producto t2.n

T

- Traslación afectada de factor de escala. - Empleo de otro sensor (laser, ultras. ) para medir distancia en primera vista.

21


Estimación de posición empleando visión

Aplicación: Estimación de movimientode un plano (el terreno): desplazamiento y rotación. 0 5 10 15 20 25 30

590

600

610

620

X(m

.)

0 5 10 15 20 25 30140

145

150

155

160

Y(m

.)

0 5 10 15 20 25 300

5

10

15

20

Image number

Z(m

.)

Posición: Visión frente a GPS

Aterrizaje0 50 100 150 200 250 300 350-20

-18

-16

-14

-12

-10

-8

-6

-4

-2

0

Image

Z (m

.)

Aterrizaje

−40 −30 −20 −10 0 10 200

5

10

15

20

25

30

35

40

X (m)

Y (m)

−40 −30 −20 −10 0 10 200

5

10

15

20

25

30

35

40

X (m)

Y (m)

Mosaicos para Eliminar acumulación

error

Se corrige la deriva al pasar por zonas almacenadas

22


Estimación de posición multi-UAV

– Hipótesis: dos UAVs ven aproximádamente la misma escena(común en monitorización).

– Si las dos cámaras están calibradas (A1 and A2) y la distancia al terreno de un UAV de referencia es conocida, es posible calcular el movimiento del segundo UAV con respecto al de referencia.

Correspondencia de blobs en ambas imágenes (widebaseline matching)

– Cálculo de la homografía que relaciona las dos vistas.– Generación de una referencia común para fusionar información.– Si un UAV tiene una buena estimación de la posición mediante

GPS, es posible aplicar la homografía para determinar la posicióndel otro UAV.

23


Estimación de posición multi-UAV

- Experimento utilizando lasimágenes tomadas por dos UAVs diferentes (Marvin and Heliv) monitorizando la misma escena.

- Marvin es el de referencia(DGPS de elevada precisión).

- Heliv tiene un GPS con pocaprecisión y que suministrasolo una medida porsegundo.

- Se estima la posición de Heliv con respecto a Marvin.

0 10 20 30 40 50 60 70 806

8

10

12

14

16

X (

m)

Image

0 10 20 30 40 50 60 70 802

4

6

8

10

12

Y (

m)

Image

0 10 20 30 40 50 60 70 80−2

−1

0

1

2

Z (

m)

Image

Estimación fiable de la posición relativa en metros.


Coordinación Proyecto español CROMAT ( Universidades de Sevilla, Málaga y Vigo)

Subproyecto Sistema integrado HERO- ROMEO con remolque

Cooperación de vehículos autónomos aéreos y terrestres.

Asignación de tareas distribuida basada en CNP: proceso de negociación.

Cada robot evalúa y comunica el coste de insertar la tarea en su plan .

Se asigna la tarea al robot con menor coste.

El proceso de negociación lo puede iniciar cualquier robot para ofertar una tarea que le ha sido asignada previamente.

Planificador Misiones

-Centralizada

- Distribuida

http://grvc.us.es/cromat

25


Asignación de tareas en sistemas multi-robot (MRTA).

Determinar que robot debe ejecutar cada tarea- Coste de que un robot ejecute una tarea: energía, tiempo, etc..- Objetivo: minimizar la suma de todos los costes individuales (coste global). - Algoritmos distribuidos:- Algoritmos de negociación basados en reglas de mercado.

• Cada vez que se abre una subasta se controla por un únicosubastador.

• La subasta se abre por un periodo de tiempo y se consideran todaslas ofertas recibidas.

• La tarea se asigna al robot con la mejor oferta. • Algoritmo SET: Negociación simultánea de una sola tarea

Inserción óptima de una tarea en plan local• Algoritmo SIT: Negociación de un conjunto de tareas

Subastador: selección conjunto de tareasOfertante: Cálculo coste de inserción de conjunto tareas

• Algoritmo S+T: Consideración de tareas y servicios

Resultados próximos al óptimo global (máxima desviación 3%)

Experimentos de simulación hasta con 5 robots y 40 tareas

26


Equipos aéreos-terrestres

Sevilla, Marzo 2005

Parque del Alamillohttp://grvc.us.es/cromat


AEROSENS (Plan Nacional)

Avión, helicóptero y redes de sensores con nodos fijos y móviles

Integración con redes inalámbricas de sensores

SADCON (Junta de Andalucía)

Aplicación a la conservación de la flora y la fauna.

28


Evitacíon de colisiones en sistemas con múltiples UAVs

• Vehículos cooperativos y no cooperativos. - Método basado en modificación de velocidades de UAVs cooperativos.- Eficiencia computacional para aplicación en tiempo real.- Planificación de velocidades en dos pasos:

- Consideración de los modelos de los UAVs- Búsqueda heurística de solución inicial factible. - Búsqueda Tabu para encontrar una solución que minimiza un criterio

de coste (modificación lo menor posible del plan inicial vuelo).- Reducción de complejidad en un sistema distribuido.

Trayectorias con colisiones

Resolución de colisiones

29


AWARE Comisión Europea IST (2006-2009)

Plataforma para la cooperación de UAVs y redes inalámbricas de sensores en tierra con nodos móviles (personas o vehículos).

Despliegue autónomo de sensoresy comunicaciones para operación en sitios sin acceso y sin infraestructura.

• Arquitectura y Middleware

• Red inalámbrica en tierra

• Sistema de despliegue autónomo

Transporte cargas con multipleshelicópteros

• Funcionalidades: percepción cooperativa

Coordinador: AICIA-UNIV. SEVILLE (SPAIN).

Partners: TUB (GERMANY), FLYING-CAM (BELGIUM), UNIV. TWENTE (THE NEDERLANDS), UNIV.STUTTGART (GERMANY), SELEX – SENSORS AND AIRBORNE SYSTEMS (UK), ITURRI (SPAIN).

30


Escenarios de validación AWARE

Situaciones de desastres y protección civil

Cinematografía y retrasmisiones

31


Características de AWARE• Middleware:Componentes de la interfaz Publish/subscribe:- Routing Engine, - Filtering Engine - Gateway Management Engine

• Características WSN - Combinacion nodos estáticos y dinámicos

Se requiere localización de nodos - Calidad de Servicio para aplicaciones DM/CS- Eficiencia de energía para auto-despliegue- Protocolo MAC: Escalabilidad, eficiencia

energía, movilidad- Topología dinámica, self-healing

- Detección distribuida tolerante a fallos. • Funcionalidades:- Detección y seguimiento cooperativos - Estrategias cooperación empleando UAVs, GCN, nodos WSN

32


Auto-despliegue nodos:

Datos sensores de temperatura

Dispositivo para autodespliegue

Copyright: AWARE consortium

33


Localización de nodos de la WSN

– Los nodos suministran la RSSI asociada a cadamensaje.

– Estimación de la distancia(media y desviacióntípica)

– Triangulacion empleandonodos con posiciónconocida

– Estimación ruidosa.

Empleo de una buena estimación de la posición de un nodo móvil para localizar nodos estáticos de la WSN: Auto-despliegue, “Datamule”, Vigilancia y control.

Instalar un nodo en el robot y proyectar su posición empleando RSSI:

- 100

500

RSSI

Distancia (m)0 50

34


Localización de nodos empleando el filtro de partículas

0 50 100 150 200 250 300 3502.5244

2.5244

2.5244

2.5245

2.5246

2.5246

2.5246

2.5247

2.5248

2.5248x 10

5

sample

x(m

)

Node 01: X

0 50 100 150 200 250 300 3500

5

10

15

20

25

sample

x er

ror

(m),

x s

td d

ev (

m)

Node 01: X

0 50 100 150 200 250 300 3504.1148

4.1148

4.1148

4.1148

4.1148

4.1148

4.1148x 10

6

sample

y(m

)

Node 01: Y

0 50 100 150 200 250 300 3500

1

2

3

4

5

6

7

8

9

10

sample

y er

ror

(m),

y s

td d

ev (

m)

Node 01: Y

0 50 100 150 200 250 300 35020

25

30

35

40

45

50

sample

z(m

)

Node 01: Z

0 50 100 150 200 250 300 3500

1

2

3

4

5

6

7

8

9

10

sample

z er

ror

(m),

z s

td d

ev (

m)

Node 01: Z

Resultados:-Buena convergencia a solución correcta.- Desviación típicacoherente.

x

y

z

ex

ey

ez

25 m

10 m

10 m

0

0

0

50 m

20 m

Valor absolutoDesv típica

Filtro con 3000 partículas:

35


Localización y seguimiento de nodos móviles mediante RSSI

• Objetivo: – Localización y seguimiento de la posición de nodos móviles

empleando la RSSI en una red localizada. – Movimiento desconocido de los nodos.

• Dificultades:– Medidas RSSI con retraso (tiempo en alcanzar gateway)– No se conoce el movimiento del blanco. – Modelo RSSI/distancia con mucha incertidumbre– Estimación inicial no gaussiana.

• Método empleado: Filtro de Kalman extendido con inicialización mediante filtro de partículas.

36


Ejemplo: seguimientobombero

PSS-1

PSS-4

PSS-3

GCN 1

GCN 1

UAV 1

PSS-2

WSNgateway

Arquitectura descentralizada para fusión de datos.

– Software de percepción en cada entidad: GCNs, UAVS and WSN.– Reduce requerimientos en transmisión de datos. – Divide el procesamiento entre diferentes nodos.– Robustez. – Se comparte el resultado de la percepción de cada nodo.– Mejora conocimiento en cada entidad integrando información del sistema completo.

37


Experimentos de fusión de datos

– Eventos representados por: Position (media y desviación típica), Velocidad (media y desviacióntípica), Verosimilitud, Caracteristicas: Color, intensidad.

– EKF implementado localmente parafusionar estimación local y la del resto del sistema, y utilizada en otros nodos.

– Integración de GCN, UAV y WSN Entradas: Localizaciones del blanco, posiciones GCN y posiciones UAVsSalida: Localización absoluta del blanco y matriz de covarianza.

Aplicación Filtro de Kalman Extendido Experimento: detección, estimación de posición y seguimiento de bombero.

38


Seguimiento empleando UAV y 2 GCNs

Detección fuego y humo empleando imágenes

39


Conclusiones

• Interés de sistemas con múltiples robots aéreos para aplicaciones

• Dificultad de experimentación

• Interés de integración con infraestructura

• Redes de sensores y actuadores

• Autodespliegue

• Múltiples retos por resolver

• De los prototipos a las aplicaciones

40


PublicacionesPublicaciones en las que se detallan los resultados incluidos en la presentación (2005-2007):• “Multiple Heterogeneous Aerial Vehicles” A. Ollero and I. Maza. Springer tracts in Advanced

Robotics. Springer Verlag, Berlín Heidelberg. En prensa, 2007• “Vision-based multi-UAV position estimation”. L. Merino, J. Wiklund, F. Caballero, J. R. Martínez

and A. Ollero. IEEE Robotics and Automation Magazine. Vo. 13. No. 3. Septiembre 2006. Pgs. 53 - 62.

• “A Cooperative perception System for multiple UAVS: Application to automatic detection of forest fires. L. Merino, F. Caballero, J. R. Martinez, J. Ferruz and A. Ollero. Journal of Field Robotics. Pgs. 165-184 (2006).

• "Architecture and perception issues in the COMETS multi-UAV project. Multiple eyes in the skies". A. Ollero, S. Lacroix, L. Merino, J. Gancet, J. Wiklund, V. Remuss, I. Veiga, L.G. Gutierrez, D.X. Viegas, M.A. Gonzalez, A. Mallet, R. Alami, R. Chatila, G. Hommel, F.J. Colmenero, B. Arrue, J. Ferruz, R. Martinez de Dios and F. Caballero. IEEE Robotics and Automation Magazine. Vol. 12, No. 2, pág. 46-57. Junio 2005.

• AWARE: Platform for Autonomous self-deploying and operation of Wireless sensor-actuator networks cooperating with unmanned AeRial vehiclEs. A. Ollero, M. Bernard, M. La Civita, L. van Hoesel, P. Marrón, J. Lepley, E. de Andres. Proc. of the IEEE Workshop on Safety, Security and Rescue Robotics. Rome. September 2007.

• “Autonomous perception techniques for urban and industrial fire scenarios”. J. Capitán, D. Mantecón, P. Soriano and A. Ollero. Proc. of the IEEE Workshop on Safety, Security and Rescue Robotics. Rome. September 2007.

• "Single and Multi-UAV relative position estimation based on natural landmarks“. L. Merino, F. Caballero, P.E.Forssen, J. Wiklund, J. Ferruz, J. Ramiro Martínez-de-Dios, A. Moe, K. Nordberg, and A. Ollero. "Advances in Unmanned Aerial Vehicles: State of the art and the road to autonomy“. A. Valavanis Editor. Springer Verlag, 2007.

• “Homography Based Kalman Filter for Mosaic Building. Applications to UAV position estimation”.F. Caballero, L. Merino y J. Ferruz, A. Ollero. IEEE International Conference on Robotics and Automation. 2007.

41


Publicaciones

• “SET: An algorithm for distributed multirobot task allocation with dynamic negotiation based on task subsets”. A. Viguria, I. Maza and A. Ollero. IEEE International Conference on Robotics and Automation. Rome, April 2007.

• “Data centric middleware for the integration of wireless sensor networks and mobile robots”. P. Gil, I. Maza, A. Ollero and Pedro Marron. IEEE Robotics. Paderne (Portugal). April 2007.

• “Collision avoidance among multiple aerial robots and other non-cooperative aircraft based on velocity planning”. JJ Rebollo, I. Maza and A. Ollero. IEEE Robotics. Paderne (Portugal). April 2007.

• “ Experimental Results of Automatic Fire Detection and Monitoring with UAVs”. R. Martínez-de Dios, L. Merino y F. Caballero, A. Ollero y D. X. Viegas. V Intl Congress on Forest Fire Research – V ICFFR 2006. Noviembre 2006.

• “Improving Vision-based Planar Motion Estimation for Unmanned Aerial Vehicles through Online Mosaicing”. Fernando Caballero, L. Merino, Joaquín Ferruz y Aníbal Ollero. IEEE International Conference on Robotics and Automation, ICRA. Pgs. 2860 - 2865. 2006.

• “Fire detection using autonomous aerial vehicles with infrared and visual cameras” J. R. Martínez-de Dios, L. Merino and A. Ollero. 16th IFAC WORLD CONGRESS, July 4-8, 2005, Praga, República Checa.

• “Aerial and ground robots networked with the environment”. I.Maza, A. Viguria and A. Ollero. Proceedings CD Workshop on Network Robot System: Toward Intelligent Robotic Systems Integrated with Environments. IEEE International Conference on Robotics and Automation, Barcelona (Spain), April 2005.

• "Cooperative Fire Detection using Unmanned Aerial Vehicles."L. Merino, F. Caballero, J.R. Martínez-de Dios and A. Ollero. Proceedings of the IEEE International Conference onRobotics and Automation, pp 1896-1901, Barcelona (Spain), April 2005.

robots aéreos en red y su integración con redes...

Documents