robótica inteligente

68
Robótica Inteligente L. Enrique Sucar Alberto Reyes ITESM Cuernavaca

Upload: juana

Post on 05-Jan-2016

33 views

Category:

Documents


0 download

DESCRIPTION

Robótica Inteligente. L. Enrique Sucar Alberto Reyes ITESM Cuernavaca. Temas avanzados. Laboratorios virtuales Interacción humano-robot Robots de servicio Coordinación – MDPs factorizados y paralelos. Laboratorios Virtuales. - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Robótica Inteligente

Robótica Inteligente

L. Enrique Sucar

Alberto Reyes

ITESM Cuernavaca

Page 2: Robótica Inteligente

Temas avanzados

• Laboratorios virtuales

• Interacción humano-robot

• Robots de servicio

• Coordinación – MDPs factorizados y paralelos

Page 3: Robótica Inteligente

Laboratorios Virtuales

• Un laboratorio virtual permite realizar experimentos sin contar con un laboratorio “físico”:– Simulación

– Telecontrol

• Aplicaciones:– Educación y entrenamiento

– Investigación y cooperación

– Experimentación a distancia

Page 4: Robótica Inteligente

Telecontrol+

Telemetría

SimuladorLab. Real

Interfaz de acceso con un

Tutor Inteligente

Page 5: Robótica Inteligente

Ventajas de los Laboratorios Virtuales

• Permite acceso a equipo a usuarios dispersos geográficamente

• Reduce costos y promueve transferencia de tecnología

• Permite la comparación de resultados de experimentos

• Reduce riesgos • Permite incorporar estrategias

didácticas, tutores, ayudas en líneas, etc.

Page 6: Robótica Inteligente

Telecontrol

Programación y observación remota del equipo• Programación:

– lenguaje de alto nivel– comandos gráficos interactivos

• Observación:– retroalimentación (imágenes, video y audio)– medidores virtuales gráficos o textuales

Page 7: Robótica Inteligente

Laboratorio Virtual de Robótica

• Experimentación con robots móviles– programación– planeación de trayectorias– construcción de mapas– localización

• Laboratorios:– Telecontrol– Simulación

Page 8: Robótica Inteligente

Telecontrol

Page 9: Robótica Inteligente

Telecontrol

• El laboratorio virtual mediante telecontrol permite hacer experimentos a distancia con un robot móvil a través de Internet

• El laboratorio incluye:– Un módulo de programación – Un módulo de observación – Un módulo de seguridad– Servidor e interfaz al cliente

Page 10: Robótica Inteligente

Configuración

Red local

Red local

Internet

Page 11: Robótica Inteligente

Robot Móvil

Page 12: Robótica Inteligente

Arquitectura de Telecontrol

Page 13: Robótica Inteligente

Elementos del Laboratorio Remoto

• Servidor de páginas Web– Conexión con el robot móvil– Conexión con el sistema de video para observación– Conexión con el cliente

• Sistema de visualización del experimento– Vista del robot y su ambiente mediante video

• Sistema de programación– Ambiente para edición y envio de comandos

Page 14: Robótica Inteligente

Módulo de Programación

Page 15: Robótica Inteligente

Módulo de Programación

• Basado en un lenguaje de diez instrucciones:– avanza

– alto

– desplaza_derecha

– desplaza_izquierda

– gira_derecha

– gira_izquierda

– gira_torreta_derecha

– gira_torreta_izquierda

– inicio, fin

Page 16: Robótica Inteligente

Módulo de Navegación

• Interpreta los valores obtenidos en el Módulo de Programación y los traduce a instrucciones ejecutables en el robot

• Envia las instrucciones para su ejecución en el robot

• Al terminar la secuencia se inicializa el robot (alinean las ruedas y la torreta) para ejecutar una nueva secuencia

Page 17: Robótica Inteligente

Módulo de Seguridad

• Vigila la integridad del robot• Se toman continuamente lecturas de los

sonares• Se establece una zona de seguridad en torno

del robot• El modulo de Seguridad es independiente

del modulo de navegación y puede detener las acciones que realiza el módulo de navegación

Page 18: Robótica Inteligente

Arquitectura Robot

Seguridad

Navegación

Observación

Page 19: Robótica Inteligente

Arquitectura Jerárquica

Page 20: Robótica Inteligente

Módulo de Visualización

• Captura de video para visualización remota del experimento. Dos cámaras:– Vista externa del robot y su ambiente– Vista interna desde el robot

• Compresión de imágenes (JPEG)

• Envio al cliente en forma continua a través del servidor

Page 21: Robótica Inteligente

Ejemplo de Programación

Page 22: Robótica Inteligente

Simulación

• Modelo del ambiente (interiores)• Modelo del robot (cinemática, dinámica)• Modelo de sensores (sonar, “bumper”,

cámara)• Programación “ánaloga” ambiente real• Simuladores:

– 2-D (Nomadic)– 3-D (en desarrollo)

Page 23: Robótica Inteligente

Simulador en 2-D

Page 24: Robótica Inteligente

Simulador en 3-D

• Modelador en 3-D

• Simulación del ambiente del robot

• Simulación del robot móvil

• Scripts para manipulación de objetos y vistas del ambiente

• Conversión del lenguaje de alto nivel del robot (telecontrol) a scripts

Page 25: Robótica Inteligente

Simulador en 3-D

Page 26: Robótica Inteligente

l

b

X

Y

Φ Θ0 Θ1

P1

l

b

X

Y

Θ

P1

Simulador para minirobótica

Page 27: Robótica Inteligente

Simulador para minirobótica

Page 28: Robótica Inteligente

Arquitectura- incorpora un tutor inteligente -

Student

Interface of user

Graphical

Environment

Lessons and help

Results and Pedagogical

Actions

Student

Model

Knowledge

Base

Behavior

analysis

Pedagogical Actions

Simulation Model

Tutor Model

Interface analysis

Initial Stereotype

Page 29: Robótica Inteligente

Interacción multimodal humano-robot

• Facilitar la comunicación humano robot utilizando diferentes modos de interacción, como:– reconocimiento de voz

– interacción con dispositivos móviles

– comandos mediante ademanes

Alto!

Page 30: Robótica Inteligente

Navegación con comandos de voz

Page 31: Robótica Inteligente

Comandar a un robot con dispositivos móviles (PDAs)

Page 32: Robótica Inteligente

Prototipo - Menú principal• Dos opciones de

manipulación:– Mapas– Control remoto

• Configuración del sistema

Page 33: Robótica Inteligente

Prototipo

• Lugares marcados con significado semántico

• Botones para avanzar, detener, retroceder y dirección

• Retroalimentación de imagen en vivo

Page 34: Robótica Inteligente

Comunicación mediante ademanes

Page 35: Robótica Inteligente

Ademanes

• Útiles para la comunicación humano-robot• Comunicar información geométrica

– Ve para allá– Toma ese objeto– Qué es eso?

• Complemento a la voz– Para!– Ven!

Page 36: Robótica Inteligente

Ven

Atención

Derecha

Izquierda

Alto

Page 37: Robótica Inteligente

Reconocomiento de ademanes

• Extracción de características

• Modelado

• Reconocimiento

Images FE Features R

M

Gestures

Page 38: Robótica Inteligente

Extracción de características

• Detección de piel

• Segmentación de la cara y manos

• Seguimiento de la mano

• Parámetros de movimiento

Page 39: Robótica Inteligente

Detección dePiel

Page 40: Robótica Inteligente

Segmentación

Búsqueda radial

Agrupamiento de pixelsde piel

Page 41: Robótica Inteligente

Seguimiento

Localiza cara y mano

Seguimiento de la mano

Page 42: Robótica Inteligente

Parámetros– Cambio en X (X)– Cambio en Y (Y)– Cambio en área (A)– Cambio en razón de lados (R)

• Valores: (+, 0, -)

X1,Y,1X2,Y2

A1 A2

Page 43: Robótica Inteligente

Reconocimiento• Basado en modelos ocultos de Markov

(HMM)

• Un modelo por ademán:– 3 estados: gestos “simples”– 5 estados: gestos “complejos”

Page 44: Robótica Inteligente

Ejemplos de comandos

Page 45: Robótica Inteligente

Robots de servicio

• Guías – un robot me sirve de guía en un museo, me explica las exibiciones, ...

• Ayudantes – un robot corta el pasto, aspira la casa, vigila cuando no estoy, ayuda a personas discapacitadas, ...

• Rescate – un grupo de robots localiza a los sobrevivientes en un terremoto, ...

• Exploración – un grupo de robots explora un volcán, un arrecife, marte, ...

• ....

Page 46: Robótica Inteligente

De robots industriales a ...

• Tarea repetitiva

• Ambiente conocido y controlado

• No hay interacción con personas

• Poca flexibilidad

• Poca movilidad

Page 47: Robótica Inteligente

... a robots de servicio

• Ambientes desconocidos

• Ambientes dinámicos

• Necesidad de movilidad

• Interacción con personas

• Ambientes exteriores

• Necesidad de flexibilidad

Page 48: Robótica Inteligente

Retos

• Explorar y modelar el ambiente

• Navegar en ambientes desonocidos y dinámicos

• Localizarse en el ambiente• Reconocer y manipular

objetos• Comunicación remota• Interacción natural con

personas

Page 49: Robótica Inteligente

Coordinación de Tareas

• Un robot móvil que realiza una tarea compleja requiere de múltiples capacidades:– Planeación de trayectorias– Evasión de obstáculos– Localización– Mapas– Interacción con personas– Síntesis y reconocimiento de voz– Generación de expresiones– …

Page 50: Robótica Inteligente

Coordinación de Tareas

• Cada tarea puede implementarse relativamente independientemente mediante módulos de software

• El reto entonces es como coordinar estos módulos de forma que se seleccione la mejor acción en cada situación

• Una alternativa es utilizar teoría de decisiones: realizar la acción que maximice la utilidad esperada

• En particular, en ambientes dinámicos con incertidumbre, esto corresponde a Procesos de Decisión de Markov

Page 51: Robótica Inteligente

Ejemplo de Aplicación

Homer: el robot mensajero

Page 52: Robótica Inteligente

Homer

• robot RWI B-14• cámara estéreo• LCD display – cara

animada• “cabeza” – pan tilt• micrófono

omnidireccional• 4 computadoras,

interconexión a 100 Mbps• Comunicación

inalámbrica a 10 Mbps

Page 53: Robótica Inteligente

Homer: “cabeza”

Page 54: Robótica Inteligente

Homer: Arquitectura

Page 55: Robótica Inteligente

Entrega de Mensajes

• Explora el ambiente buscando una persona• Se detecta a alguien por visión o voz• Homer pregunta el nombre de quien envía, recibe

y el mensaje• Homer navega al lugar esperado (mapa) del

receptor• Cuando detecta a la persona, Homer confirma y da

el mensaje• Si no, continua buscando o aborta y va por un

nuevo mensaje• Al mismo tiempo se mantiene localizado en el

mapa y va a recargar su batería si es necesario

Page 56: Robótica Inteligente

Múltiples-MDPs

• Dada la complejidad del problema, partimos la tarea en varias sub-tareas y c/u es asignada a un MDP– Las acciones de cada MDP son independientes

y pueden ejecutarse concurrentemente– No hay conflicto entre las diferentes acciones

de los MDPs– Todos los MDPs tiene el mismo objetivo

(recompensa)

Page 57: Robótica Inteligente

Múltiples-MDPs

• Resolvemos cada MDP independientemente (off-line) y ejecutamos la política óptima en forma concurrente (on-line)

• Los MDPs están coordinados implícitamente por un vector de estados común

• Cada MDP sólo considera sus acciones

Page 58: Robótica Inteligente

Múltiples-MDPs

• Ventajas:– Reducción en complejidad– Más fácil construir los modelos– Acciones concurrentes– Modularidad

• Limitaciones:– No hay garantía de óptimo global– No considera acciones con conflicto

Page 59: Robótica Inteligente

Tareas • Navegador

• Diálogo

• Gestos

Locali-zación

Loc.Pers.

Gen.Voz

N D G

Nave-gación

Gen.Gestos

Page 60: Robótica Inteligente

MDPs para cada tarea

• Navegador– Explora– Navega– Localiza– Obten nueva meta– Ir a casa– Espera

• Diálogo– Pregunta– Confirma– Dar mensaje

• Gestos– Neutral– Feliz– Triste– Enojado

Page 61: Robótica Inteligente

Variables de estado

• Tiene mensaje• Nombre receptor• Nombre envía• En meta• Tiene meta• Meta inalcanzable• Receptor inalcanzable

• Batería baja• Localización incierta• Escucha voz• Persona cerca• Llama Homer• Yes/No

Page 62: Robótica Inteligente

Experimentos

1. Persona se acerca• D: pregunta• G: sonrisa

2. Mensaje recibido• N: navegar• D: silencio• G: neutral

3. Posición incierta• N: localiza

Page 63: Robótica Inteligente

Experimentos

4. Entrega mensaje• N: esperar• D: entrega• G: sonrisa

5. Batería baja• N: ir a “casa”

Page 64: Robótica Inteligente

Homer en acción

Page 65: Robótica Inteligente

Retos futuros

• Integración – integrar en forma efectiva los diferentes aspectos – comunicación, planeación, interacción, etc.

• Equipos de robots – desarrollar equipos de robots que se coordinen para hacer una terea compleja (rescate)

• Aprendizaje – desarrollar robot que puedan adaptarse a nuevos ambientes incluyendo situaciones desconocidas

• Representación – desarrollar modelos que permitan al robot tener una representación de más alto nivel (semántica) del ambiente, y comunicarse en base a esta representación

• Otros ambientes – desarrollar robots que puedan operar en otro tipo de ambientes: robots de patas, robots submarinos, robots aéreos y espaciales

Page 66: Robótica Inteligente

Examen 3er parcial- abril 20 -

• Demostrar la operación de su robot de acuerdo a la categoría seleccionada en la maqueta

• Hacer un reporte y presentación de su robot

Page 67: Robótica Inteligente

Reporte

• Introducción• Diseño mecánico• Diseño sensorial• Algoritmos de control• Programación (estrategias, arquitectura, etc.)• Pruebas y Resultados• Conclusiones• Referencias

Page 68: Robótica Inteligente

Presentación

• Presentar en 10 minutos los aspectos más relevantes de su proyecto (en equipo)

• Demostración de su robot realizando su tarea (10 min. – máximo 3 intentos)

• Entregar:– Reporte impreso y enviar archivo por correo– Enviar presentación por correo a más tardar el

próximo miércoles a las 10 am