robótica inteligente

Robótica Inteligente

L. Enrique Sucar

Alberto Reyes

ITESM Cuernavaca

Temas avanzados

• Laboratorios virtuales

• Interacción humano-robot

• Robots de servicio

• Coordinación – MDPs factorizados y paralelos

Laboratorios Virtuales

• Un laboratorio virtual permite realizar experimentos sin contar con un laboratorio “físico”:– Simulación

– Telecontrol

• Aplicaciones:– Educación y entrenamiento

– Investigación y cooperación

– Experimentación a distancia

Telecontrol+

Telemetría

SimuladorLab. Real

Interfaz de acceso con un

Tutor Inteligente

Ventajas de los Laboratorios Virtuales

• Permite acceso a equipo a usuarios dispersos geográficamente

• Reduce costos y promueve transferencia de tecnología

• Permite la comparación de resultados de experimentos

• Reduce riesgos • Permite incorporar estrategias

didácticas, tutores, ayudas en líneas, etc.

Telecontrol

Programación y observación remota del equipo• Programación:

– lenguaje de alto nivel– comandos gráficos interactivos

• Observación:– retroalimentación (imágenes, video y audio)– medidores virtuales gráficos o textuales

Laboratorio Virtual de Robótica

• Experimentación con robots móviles– programación– planeación de trayectorias– construcción de mapas– localización

• Laboratorios:– Telecontrol– Simulación

Telecontrol

Telecontrol

• El laboratorio virtual mediante telecontrol permite hacer experimentos a distancia con un robot móvil a través de Internet

• El laboratorio incluye:– Un módulo de programación – Un módulo de observación – Un módulo de seguridad– Servidor e interfaz al cliente

Configuración

Red local

Red local

Internet

Robot Móvil

Arquitectura de Telecontrol

Elementos del Laboratorio Remoto

• Servidor de páginas Web– Conexión con el robot móvil– Conexión con el sistema de video para observación– Conexión con el cliente

• Sistema de visualización del experimento– Vista del robot y su ambiente mediante video

• Sistema de programación– Ambiente para edición y envio de comandos

Módulo de Programación

Módulo de Programación

• Basado en un lenguaje de diez instrucciones:– avanza

– alto

– desplaza_derecha

– desplaza_izquierda

– gira_derecha

– gira_izquierda

– gira_torreta_derecha

– gira_torreta_izquierda

– inicio, fin

Módulo de Navegación

• Interpreta los valores obtenidos en el Módulo de Programación y los traduce a instrucciones ejecutables en el robot

• Envia las instrucciones para su ejecución en el robot

• Al terminar la secuencia se inicializa el robot (alinean las ruedas y la torreta) para ejecutar una nueva secuencia

Módulo de Seguridad

• Vigila la integridad del robot• Se toman continuamente lecturas de los

sonares• Se establece una zona de seguridad en torno

del robot• El modulo de Seguridad es independiente

del modulo de navegación y puede detener las acciones que realiza el módulo de navegación

Arquitectura Robot

Seguridad

Navegación

Observación

Arquitectura Jerárquica

Módulo de Visualización

• Captura de video para visualización remota del experimento. Dos cámaras:– Vista externa del robot y su ambiente– Vista interna desde el robot

• Compresión de imágenes (JPEG)

• Envio al cliente en forma continua a través del servidor

Ejemplo de Programación

Simulación

• Modelo del ambiente (interiores)• Modelo del robot (cinemática, dinámica)• Modelo de sensores (sonar, “bumper”,

cámara)• Programación “ánaloga” ambiente real• Simuladores:

– 2-D (Nomadic)– 3-D (en desarrollo)

Simulador en 2-D

Simulador en 3-D

• Modelador en 3-D

• Simulación del ambiente del robot

• Simulación del robot móvil

• Scripts para manipulación de objetos y vistas del ambiente

• Conversión del lenguaje de alto nivel del robot (telecontrol) a scripts

Simulador en 3-D

l

b

X

Y

Φ Θ0 Θ1

P1

l

b

X

Y

Θ

P1

Simulador para minirobótica

Simulador para minirobótica

Arquitectura- incorpora un tutor inteligente -

Student

Interface of user

Graphical

Environment

Lessons and help

Results and Pedagogical

Actions

Student

Model

Knowledge

Base

Behavior

analysis

Pedagogical Actions

Simulation Model

Tutor Model

Interface analysis

Initial Stereotype

Interacción multimodal humano-robot

• Facilitar la comunicación humano robot utilizando diferentes modos de interacción, como:– reconocimiento de voz

– interacción con dispositivos móviles

– comandos mediante ademanes

Alto!

Navegación con comandos de voz

Comandar a un robot con dispositivos móviles (PDAs)

Prototipo - Menú principal• Dos opciones de

manipulación:– Mapas– Control remoto

• Configuración del sistema

Prototipo

• Lugares marcados con significado semántico

• Botones para avanzar, detener, retroceder y dirección

• Retroalimentación de imagen en vivo

Comunicación mediante ademanes

Ademanes

• Útiles para la comunicación humano-robot• Comunicar información geométrica

– Ve para allá– Toma ese objeto– Qué es eso?

• Complemento a la voz– Para!– Ven!

Ven

Atención

Derecha

Izquierda

Alto

Reconocomiento de ademanes

• Extracción de características

• Modelado

• Reconocimiento

Images FE Features R

M

Gestures

Extracción de características

• Detección de piel

• Segmentación de la cara y manos

• Seguimiento de la mano

• Parámetros de movimiento

Detección dePiel

Segmentación

Búsqueda radial

Agrupamiento de pixelsde piel

Seguimiento

Localiza cara y mano

Seguimiento de la mano

Parámetros– Cambio en X (X)– Cambio en Y (Y)– Cambio en área (A)– Cambio en razón de lados (R)

• Valores: (+, 0, -)

X1,Y,1X2,Y2

A1 A2

Reconocimiento• Basado en modelos ocultos de Markov

(HMM)

• Un modelo por ademán:– 3 estados: gestos “simples”– 5 estados: gestos “complejos”

Ejemplos de comandos

Robots de servicio

• Guías – un robot me sirve de guía en un museo, me explica las exibiciones, ...

• Ayudantes – un robot corta el pasto, aspira la casa, vigila cuando no estoy, ayuda a personas discapacitadas, ...

• Rescate – un grupo de robots localiza a los sobrevivientes en un terremoto, ...

• Exploración – un grupo de robots explora un volcán, un arrecife, marte, ...

• ....

De robots industriales a ...

• Tarea repetitiva

• Ambiente conocido y controlado

• No hay interacción con personas

• Poca flexibilidad

• Poca movilidad

... a robots de servicio

• Ambientes desconocidos

• Ambientes dinámicos

• Necesidad de movilidad

• Interacción con personas

• Ambientes exteriores

• Necesidad de flexibilidad

Retos

• Explorar y modelar el ambiente

• Navegar en ambientes desonocidos y dinámicos

• Localizarse en el ambiente• Reconocer y manipular

objetos• Comunicación remota• Interacción natural con

personas

Coordinación de Tareas

• Un robot móvil que realiza una tarea compleja requiere de múltiples capacidades:– Planeación de trayectorias– Evasión de obstáculos– Localización– Mapas– Interacción con personas– Síntesis y reconocimiento de voz– Generación de expresiones– …

Coordinación de Tareas

• Cada tarea puede implementarse relativamente independientemente mediante módulos de software

• El reto entonces es como coordinar estos módulos de forma que se seleccione la mejor acción en cada situación

• Una alternativa es utilizar teoría de decisiones: realizar la acción que maximice la utilidad esperada

• En particular, en ambientes dinámicos con incertidumbre, esto corresponde a Procesos de Decisión de Markov

Ejemplo de Aplicación

Homer: el robot mensajero

Homer

• robot RWI B-14• cámara estéreo• LCD display – cara

animada• “cabeza” – pan tilt• micrófono

omnidireccional• 4 computadoras,

interconexión a 100 Mbps• Comunicación

inalámbrica a 10 Mbps

Homer: “cabeza”

Homer: Arquitectura

Entrega de Mensajes

• Explora el ambiente buscando una persona• Se detecta a alguien por visión o voz• Homer pregunta el nombre de quien envía, recibe

y el mensaje• Homer navega al lugar esperado (mapa) del

receptor• Cuando detecta a la persona, Homer confirma y da

el mensaje• Si no, continua buscando o aborta y va por un

nuevo mensaje• Al mismo tiempo se mantiene localizado en el

mapa y va a recargar su batería si es necesario

Múltiples-MDPs

• Dada la complejidad del problema, partimos la tarea en varias sub-tareas y c/u es asignada a un MDP– Las acciones de cada MDP son independientes

y pueden ejecutarse concurrentemente– No hay conflicto entre las diferentes acciones

de los MDPs– Todos los MDPs tiene el mismo objetivo

(recompensa)

Múltiples-MDPs

• Resolvemos cada MDP independientemente (off-line) y ejecutamos la política óptima en forma concurrente (on-line)

• Los MDPs están coordinados implícitamente por un vector de estados común

• Cada MDP sólo considera sus acciones

Múltiples-MDPs

• Ventajas:– Reducción en complejidad– Más fácil construir los modelos– Acciones concurrentes– Modularidad

• Limitaciones:– No hay garantía de óptimo global– No considera acciones con conflicto

Tareas • Navegador

• Diálogo

• Gestos

Locali-zación

Loc.Pers.

Gen.Voz

N D G

Nave-gación

Gen.Gestos

MDPs para cada tarea

• Navegador– Explora– Navega– Localiza– Obten nueva meta– Ir a casa– Espera

• Diálogo– Pregunta– Confirma– Dar mensaje

• Gestos– Neutral– Feliz– Triste– Enojado

Variables de estado

• Tiene mensaje• Nombre receptor• Nombre envía• En meta• Tiene meta• Meta inalcanzable• Receptor inalcanzable

• Batería baja• Localización incierta• Escucha voz• Persona cerca• Llama Homer• Yes/No

Experimentos

1. Persona se acerca• D: pregunta• G: sonrisa

2. Mensaje recibido• N: navegar• D: silencio• G: neutral

3. Posición incierta• N: localiza

Experimentos

4. Entrega mensaje• N: esperar• D: entrega• G: sonrisa

5. Batería baja• N: ir a “casa”

Homer en acción

Retos futuros

• Integración – integrar en forma efectiva los diferentes aspectos – comunicación, planeación, interacción, etc.

• Equipos de robots – desarrollar equipos de robots que se coordinen para hacer una terea compleja (rescate)

• Aprendizaje – desarrollar robot que puedan adaptarse a nuevos ambientes incluyendo situaciones desconocidas

• Representación – desarrollar modelos que permitan al robot tener una representación de más alto nivel (semántica) del ambiente, y comunicarse en base a esta representación

• Otros ambientes – desarrollar robots que puedan operar en otro tipo de ambientes: robots de patas, robots submarinos, robots aéreos y espaciales

Examen 3er parcial- abril 20 -

• Demostrar la operación de su robot de acuerdo a la categoría seleccionada en la maqueta

• Hacer un reporte y presentación de su robot

Reporte

• Introducción• Diseño mecánico• Diseño sensorial• Algoritmos de control• Programación (estrategias, arquitectura, etc.)• Pruebas y Resultados• Conclusiones• Referencias

Presentación

• Presentar en 10 minutos los aspectos más relevantes de su proyecto (en equipo)

• Demostración de su robot realizando su tarea (10 min. – máximo 3 intentos)

• Entregar:– Reporte impreso y enviar archivo por correo– Enviar presentación por correo a más tardar el

próximo miércoles a las 10 am