robótica inteligente
Embed Size (px)
DESCRIPTION
Robótica Inteligente. L. Enrique Sucar Alberto Reyes ITESM Cuernavaca. Temas avanzados. Laboratorios virtuales Interacción humano-robot Robots de servicio Coordinación – MDPs factorizados y paralelos. Laboratorios Virtuales. - PowerPoint PPT PresentationTRANSCRIPT

Robótica Inteligente
L. Enrique Sucar
Alberto Reyes
ITESM Cuernavaca

Temas avanzados
• Laboratorios virtuales
• Interacción humano-robot
• Robots de servicio
• Coordinación – MDPs factorizados y paralelos

Laboratorios Virtuales
• Un laboratorio virtual permite realizar experimentos sin contar con un laboratorio “físico”:– Simulación
– Telecontrol
• Aplicaciones:– Educación y entrenamiento
– Investigación y cooperación
– Experimentación a distancia

Telecontrol+
Telemetría
SimuladorLab. Real
Interfaz de acceso con un
Tutor Inteligente

Ventajas de los Laboratorios Virtuales
• Permite acceso a equipo a usuarios dispersos geográficamente
• Reduce costos y promueve transferencia de tecnología
• Permite la comparación de resultados de experimentos
• Reduce riesgos • Permite incorporar estrategias
didácticas, tutores, ayudas en líneas, etc.

Telecontrol
Programación y observación remota del equipo• Programación:
– lenguaje de alto nivel– comandos gráficos interactivos
• Observación:– retroalimentación (imágenes, video y audio)– medidores virtuales gráficos o textuales

Laboratorio Virtual de Robótica
• Experimentación con robots móviles– programación– planeación de trayectorias– construcción de mapas– localización
• Laboratorios:– Telecontrol– Simulación

Telecontrol

Telecontrol
• El laboratorio virtual mediante telecontrol permite hacer experimentos a distancia con un robot móvil a través de Internet
• El laboratorio incluye:– Un módulo de programación – Un módulo de observación – Un módulo de seguridad– Servidor e interfaz al cliente

Configuración
Red local
Red local
Internet

Robot Móvil

Arquitectura de Telecontrol

Elementos del Laboratorio Remoto
• Servidor de páginas Web– Conexión con el robot móvil– Conexión con el sistema de video para observación– Conexión con el cliente
• Sistema de visualización del experimento– Vista del robot y su ambiente mediante video
• Sistema de programación– Ambiente para edición y envio de comandos

Módulo de Programación

Módulo de Programación
• Basado en un lenguaje de diez instrucciones:– avanza
– alto
– desplaza_derecha
– desplaza_izquierda
– gira_derecha
– gira_izquierda
– gira_torreta_derecha
– gira_torreta_izquierda
– inicio, fin

Módulo de Navegación
• Interpreta los valores obtenidos en el Módulo de Programación y los traduce a instrucciones ejecutables en el robot
• Envia las instrucciones para su ejecución en el robot
• Al terminar la secuencia se inicializa el robot (alinean las ruedas y la torreta) para ejecutar una nueva secuencia

Módulo de Seguridad
• Vigila la integridad del robot• Se toman continuamente lecturas de los
sonares• Se establece una zona de seguridad en torno
del robot• El modulo de Seguridad es independiente
del modulo de navegación y puede detener las acciones que realiza el módulo de navegación

Arquitectura Robot
Seguridad
Navegación
Observación

Arquitectura Jerárquica

Módulo de Visualización
• Captura de video para visualización remota del experimento. Dos cámaras:– Vista externa del robot y su ambiente– Vista interna desde el robot
• Compresión de imágenes (JPEG)
• Envio al cliente en forma continua a través del servidor

Ejemplo de Programación

Simulación
• Modelo del ambiente (interiores)• Modelo del robot (cinemática, dinámica)• Modelo de sensores (sonar, “bumper”,
cámara)• Programación “ánaloga” ambiente real• Simuladores:
– 2-D (Nomadic)– 3-D (en desarrollo)

Simulador en 2-D

Simulador en 3-D
• Modelador en 3-D
• Simulación del ambiente del robot
• Simulación del robot móvil
• Scripts para manipulación de objetos y vistas del ambiente
• Conversión del lenguaje de alto nivel del robot (telecontrol) a scripts

Simulador en 3-D

l
b
X
Y
Φ Θ0 Θ1
P1
l
b
X
Y
Θ
P1
Simulador para minirobótica

Simulador para minirobótica

Arquitectura- incorpora un tutor inteligente -
Student
Interface of user
Graphical
Environment
Lessons and help
Results and Pedagogical
Actions
Student
Model
Knowledge
Base
Behavior
analysis
Pedagogical Actions
Simulation Model
Tutor Model
Interface analysis
Initial Stereotype

Interacción multimodal humano-robot
• Facilitar la comunicación humano robot utilizando diferentes modos de interacción, como:– reconocimiento de voz
– interacción con dispositivos móviles
– comandos mediante ademanes
Alto!

Navegación con comandos de voz

Prototipo - Menú principal• Dos opciones de
manipulación:– Mapas– Control remoto
• Configuración del sistema

Prototipo
• Lugares marcados con significado semántico
• Botones para avanzar, detener, retroceder y dirección
• Retroalimentación de imagen en vivo

Comunicación mediante ademanes

Ademanes
• Útiles para la comunicación humano-robot• Comunicar información geométrica
– Ve para allá– Toma ese objeto– Qué es eso?
• Complemento a la voz– Para!– Ven!

Ven
Atención
Derecha
Izquierda
Alto

Reconocomiento de ademanes
• Extracción de características
• Modelado
• Reconocimiento
Images FE Features R
M
Gestures

Extracción de características
• Detección de piel
• Segmentación de la cara y manos
• Seguimiento de la mano
• Parámetros de movimiento

Detección dePiel

Segmentación
Búsqueda radial
Agrupamiento de pixelsde piel

Seguimiento
Localiza cara y mano
Seguimiento de la mano

Parámetros– Cambio en X (X)– Cambio en Y (Y)– Cambio en área (A)– Cambio en razón de lados (R)
• Valores: (+, 0, -)
X1,Y,1X2,Y2
A1 A2

Reconocimiento• Basado en modelos ocultos de Markov
(HMM)
• Un modelo por ademán:– 3 estados: gestos “simples”– 5 estados: gestos “complejos”

Ejemplos de comandos

Robots de servicio
• Guías – un robot me sirve de guía en un museo, me explica las exibiciones, ...
• Ayudantes – un robot corta el pasto, aspira la casa, vigila cuando no estoy, ayuda a personas discapacitadas, ...
• Rescate – un grupo de robots localiza a los sobrevivientes en un terremoto, ...
• Exploración – un grupo de robots explora un volcán, un arrecife, marte, ...
• ....

De robots industriales a ...
• Tarea repetitiva
• Ambiente conocido y controlado
• No hay interacción con personas
• Poca flexibilidad
• Poca movilidad

... a robots de servicio
• Ambientes desconocidos
• Ambientes dinámicos
• Necesidad de movilidad
• Interacción con personas
• Ambientes exteriores
• Necesidad de flexibilidad

Retos
• Explorar y modelar el ambiente
• Navegar en ambientes desonocidos y dinámicos
• Localizarse en el ambiente• Reconocer y manipular
objetos• Comunicación remota• Interacción natural con
personas

Coordinación de Tareas
• Un robot móvil que realiza una tarea compleja requiere de múltiples capacidades:– Planeación de trayectorias– Evasión de obstáculos– Localización– Mapas– Interacción con personas– Síntesis y reconocimiento de voz– Generación de expresiones– …

Coordinación de Tareas
• Cada tarea puede implementarse relativamente independientemente mediante módulos de software
• El reto entonces es como coordinar estos módulos de forma que se seleccione la mejor acción en cada situación
• Una alternativa es utilizar teoría de decisiones: realizar la acción que maximice la utilidad esperada
• En particular, en ambientes dinámicos con incertidumbre, esto corresponde a Procesos de Decisión de Markov

Ejemplo de Aplicación
Homer: el robot mensajero

Homer
• robot RWI B-14• cámara estéreo• LCD display – cara
animada• “cabeza” – pan tilt• micrófono
omnidireccional• 4 computadoras,
interconexión a 100 Mbps• Comunicación
inalámbrica a 10 Mbps

Homer: “cabeza”

Homer: Arquitectura

Entrega de Mensajes
• Explora el ambiente buscando una persona• Se detecta a alguien por visión o voz• Homer pregunta el nombre de quien envía, recibe
y el mensaje• Homer navega al lugar esperado (mapa) del
receptor• Cuando detecta a la persona, Homer confirma y da
el mensaje• Si no, continua buscando o aborta y va por un
nuevo mensaje• Al mismo tiempo se mantiene localizado en el
mapa y va a recargar su batería si es necesario

Múltiples-MDPs
• Dada la complejidad del problema, partimos la tarea en varias sub-tareas y c/u es asignada a un MDP– Las acciones de cada MDP son independientes
y pueden ejecutarse concurrentemente– No hay conflicto entre las diferentes acciones
de los MDPs– Todos los MDPs tiene el mismo objetivo
(recompensa)

Múltiples-MDPs
• Resolvemos cada MDP independientemente (off-line) y ejecutamos la política óptima en forma concurrente (on-line)
• Los MDPs están coordinados implícitamente por un vector de estados común
• Cada MDP sólo considera sus acciones

Múltiples-MDPs
• Ventajas:– Reducción en complejidad– Más fácil construir los modelos– Acciones concurrentes– Modularidad
• Limitaciones:– No hay garantía de óptimo global– No considera acciones con conflicto

Tareas • Navegador
• Diálogo
• Gestos
Locali-zación
Loc.Pers.
Gen.Voz
N D G
Nave-gación
Gen.Gestos

MDPs para cada tarea
• Navegador– Explora– Navega– Localiza– Obten nueva meta– Ir a casa– Espera
• Diálogo– Pregunta– Confirma– Dar mensaje
• Gestos– Neutral– Feliz– Triste– Enojado

Variables de estado
• Tiene mensaje• Nombre receptor• Nombre envía• En meta• Tiene meta• Meta inalcanzable• Receptor inalcanzable
• Batería baja• Localización incierta• Escucha voz• Persona cerca• Llama Homer• Yes/No

Experimentos
1. Persona se acerca• D: pregunta• G: sonrisa
2. Mensaje recibido• N: navegar• D: silencio• G: neutral
3. Posición incierta• N: localiza

Experimentos
4. Entrega mensaje• N: esperar• D: entrega• G: sonrisa
5. Batería baja• N: ir a “casa”

Homer en acción

Retos futuros
• Integración – integrar en forma efectiva los diferentes aspectos – comunicación, planeación, interacción, etc.
• Equipos de robots – desarrollar equipos de robots que se coordinen para hacer una terea compleja (rescate)
• Aprendizaje – desarrollar robot que puedan adaptarse a nuevos ambientes incluyendo situaciones desconocidas
• Representación – desarrollar modelos que permitan al robot tener una representación de más alto nivel (semántica) del ambiente, y comunicarse en base a esta representación
• Otros ambientes – desarrollar robots que puedan operar en otro tipo de ambientes: robots de patas, robots submarinos, robots aéreos y espaciales

Examen 3er parcial- abril 20 -
• Demostrar la operación de su robot de acuerdo a la categoría seleccionada en la maqueta
• Hacer un reporte y presentación de su robot

Reporte
• Introducción• Diseño mecánico• Diseño sensorial• Algoritmos de control• Programación (estrategias, arquitectura, etc.)• Pruebas y Resultados• Conclusiones• Referencias

Presentación
• Presentar en 10 minutos los aspectos más relevantes de su proyecto (en equipo)
• Demostración de su robot realizando su tarea (10 min. – máximo 3 intentos)
• Entregar:– Reporte impreso y enviar archivo por correo– Enviar presentación por correo a más tardar el
próximo miércoles a las 10 am