robótica inteligente
DESCRIPTION
Robótica Inteligente. L. Enrique Sucar Alberto Reyes ITESM Cuernavaca. Temas avanzados. Laboratorios virtuales Interacción humano-robot Robots de servicio Coordinación – MDPs factorizados y paralelos. Laboratorios Virtuales. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/1.jpg)
Robótica Inteligente
L. Enrique Sucar
Alberto Reyes
ITESM Cuernavaca
![Page 2: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/2.jpg)
Temas avanzados
• Laboratorios virtuales
• Interacción humano-robot
• Robots de servicio
• Coordinación – MDPs factorizados y paralelos
![Page 3: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/3.jpg)
Laboratorios Virtuales
• Un laboratorio virtual permite realizar experimentos sin contar con un laboratorio “físico”:– Simulación
– Telecontrol
• Aplicaciones:– Educación y entrenamiento
– Investigación y cooperación
– Experimentación a distancia
![Page 4: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/4.jpg)
Telecontrol+
Telemetría
SimuladorLab. Real
Interfaz de acceso con un
Tutor Inteligente
![Page 5: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/5.jpg)
Ventajas de los Laboratorios Virtuales
• Permite acceso a equipo a usuarios dispersos geográficamente
• Reduce costos y promueve transferencia de tecnología
• Permite la comparación de resultados de experimentos
• Reduce riesgos • Permite incorporar estrategias
didácticas, tutores, ayudas en líneas, etc.
![Page 6: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/6.jpg)
Telecontrol
Programación y observación remota del equipo• Programación:
– lenguaje de alto nivel– comandos gráficos interactivos
• Observación:– retroalimentación (imágenes, video y audio)– medidores virtuales gráficos o textuales
![Page 7: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/7.jpg)
Laboratorio Virtual de Robótica
• Experimentación con robots móviles– programación– planeación de trayectorias– construcción de mapas– localización
• Laboratorios:– Telecontrol– Simulación
![Page 8: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/8.jpg)
Telecontrol
![Page 9: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/9.jpg)
Telecontrol
• El laboratorio virtual mediante telecontrol permite hacer experimentos a distancia con un robot móvil a través de Internet
• El laboratorio incluye:– Un módulo de programación – Un módulo de observación – Un módulo de seguridad– Servidor e interfaz al cliente
![Page 10: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/10.jpg)
Configuración
Red local
Red local
Internet
![Page 11: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/11.jpg)
Robot Móvil
![Page 12: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/12.jpg)
Arquitectura de Telecontrol
![Page 13: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/13.jpg)
Elementos del Laboratorio Remoto
• Servidor de páginas Web– Conexión con el robot móvil– Conexión con el sistema de video para observación– Conexión con el cliente
• Sistema de visualización del experimento– Vista del robot y su ambiente mediante video
• Sistema de programación– Ambiente para edición y envio de comandos
![Page 14: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/14.jpg)
Módulo de Programación
![Page 15: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/15.jpg)
Módulo de Programación
• Basado en un lenguaje de diez instrucciones:– avanza
– alto
– desplaza_derecha
– desplaza_izquierda
– gira_derecha
– gira_izquierda
– gira_torreta_derecha
– gira_torreta_izquierda
– inicio, fin
![Page 16: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/16.jpg)
Módulo de Navegación
• Interpreta los valores obtenidos en el Módulo de Programación y los traduce a instrucciones ejecutables en el robot
• Envia las instrucciones para su ejecución en el robot
• Al terminar la secuencia se inicializa el robot (alinean las ruedas y la torreta) para ejecutar una nueva secuencia
![Page 17: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/17.jpg)
Módulo de Seguridad
• Vigila la integridad del robot• Se toman continuamente lecturas de los
sonares• Se establece una zona de seguridad en torno
del robot• El modulo de Seguridad es independiente
del modulo de navegación y puede detener las acciones que realiza el módulo de navegación
![Page 18: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/18.jpg)
Arquitectura Robot
Seguridad
Navegación
Observación
![Page 19: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/19.jpg)
Arquitectura Jerárquica
![Page 20: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/20.jpg)
Módulo de Visualización
• Captura de video para visualización remota del experimento. Dos cámaras:– Vista externa del robot y su ambiente– Vista interna desde el robot
• Compresión de imágenes (JPEG)
• Envio al cliente en forma continua a través del servidor
![Page 21: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/21.jpg)
Ejemplo de Programación
![Page 22: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/22.jpg)
Simulación
• Modelo del ambiente (interiores)• Modelo del robot (cinemática, dinámica)• Modelo de sensores (sonar, “bumper”,
cámara)• Programación “ánaloga” ambiente real• Simuladores:
– 2-D (Nomadic)– 3-D (en desarrollo)
![Page 23: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/23.jpg)
Simulador en 2-D
![Page 24: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/24.jpg)
Simulador en 3-D
• Modelador en 3-D
• Simulación del ambiente del robot
• Simulación del robot móvil
• Scripts para manipulación de objetos y vistas del ambiente
• Conversión del lenguaje de alto nivel del robot (telecontrol) a scripts
![Page 25: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/25.jpg)
Simulador en 3-D
![Page 26: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/26.jpg)
l
b
X
Y
Φ Θ0 Θ1
P1
l
b
X
Y
Θ
P1
Simulador para minirobótica
![Page 27: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/27.jpg)
Simulador para minirobótica
![Page 28: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/28.jpg)
Arquitectura- incorpora un tutor inteligente -
Student
Interface of user
Graphical
Environment
Lessons and help
Results and Pedagogical
Actions
Student
Model
Knowledge
Base
Behavior
analysis
Pedagogical Actions
Simulation Model
Tutor Model
Interface analysis
Initial Stereotype
![Page 29: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/29.jpg)
Interacción multimodal humano-robot
• Facilitar la comunicación humano robot utilizando diferentes modos de interacción, como:– reconocimiento de voz
– interacción con dispositivos móviles
– comandos mediante ademanes
Alto!
![Page 30: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/30.jpg)
Navegación con comandos de voz
![Page 31: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/31.jpg)
Comandar a un robot con dispositivos móviles (PDAs)
![Page 32: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/32.jpg)
Prototipo - Menú principal• Dos opciones de
manipulación:– Mapas– Control remoto
• Configuración del sistema
![Page 33: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/33.jpg)
Prototipo
• Lugares marcados con significado semántico
• Botones para avanzar, detener, retroceder y dirección
• Retroalimentación de imagen en vivo
![Page 34: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/34.jpg)
Comunicación mediante ademanes
![Page 35: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/35.jpg)
Ademanes
• Útiles para la comunicación humano-robot• Comunicar información geométrica
– Ve para allá– Toma ese objeto– Qué es eso?
• Complemento a la voz– Para!– Ven!
![Page 36: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/36.jpg)
Ven
Atención
Derecha
Izquierda
Alto
![Page 37: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/37.jpg)
Reconocomiento de ademanes
• Extracción de características
• Modelado
• Reconocimiento
Images FE Features R
M
Gestures
![Page 38: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/38.jpg)
Extracción de características
• Detección de piel
• Segmentación de la cara y manos
• Seguimiento de la mano
• Parámetros de movimiento
![Page 39: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/39.jpg)
Detección dePiel
![Page 40: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/40.jpg)
Segmentación
Búsqueda radial
Agrupamiento de pixelsde piel
![Page 41: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/41.jpg)
Seguimiento
Localiza cara y mano
Seguimiento de la mano
![Page 42: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/42.jpg)
Parámetros– Cambio en X (X)– Cambio en Y (Y)– Cambio en área (A)– Cambio en razón de lados (R)
• Valores: (+, 0, -)
X1,Y,1X2,Y2
A1 A2
![Page 43: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/43.jpg)
Reconocimiento• Basado en modelos ocultos de Markov
(HMM)
• Un modelo por ademán:– 3 estados: gestos “simples”– 5 estados: gestos “complejos”
![Page 44: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/44.jpg)
Ejemplos de comandos
![Page 45: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/45.jpg)
Robots de servicio
• Guías – un robot me sirve de guía en un museo, me explica las exibiciones, ...
• Ayudantes – un robot corta el pasto, aspira la casa, vigila cuando no estoy, ayuda a personas discapacitadas, ...
• Rescate – un grupo de robots localiza a los sobrevivientes en un terremoto, ...
• Exploración – un grupo de robots explora un volcán, un arrecife, marte, ...
• ....
![Page 46: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/46.jpg)
De robots industriales a ...
• Tarea repetitiva
• Ambiente conocido y controlado
• No hay interacción con personas
• Poca flexibilidad
• Poca movilidad
![Page 47: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/47.jpg)
... a robots de servicio
• Ambientes desconocidos
• Ambientes dinámicos
• Necesidad de movilidad
• Interacción con personas
• Ambientes exteriores
• Necesidad de flexibilidad
![Page 48: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/48.jpg)
Retos
• Explorar y modelar el ambiente
• Navegar en ambientes desonocidos y dinámicos
• Localizarse en el ambiente• Reconocer y manipular
objetos• Comunicación remota• Interacción natural con
personas
![Page 49: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/49.jpg)
Coordinación de Tareas
• Un robot móvil que realiza una tarea compleja requiere de múltiples capacidades:– Planeación de trayectorias– Evasión de obstáculos– Localización– Mapas– Interacción con personas– Síntesis y reconocimiento de voz– Generación de expresiones– …
![Page 50: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/50.jpg)
Coordinación de Tareas
• Cada tarea puede implementarse relativamente independientemente mediante módulos de software
• El reto entonces es como coordinar estos módulos de forma que se seleccione la mejor acción en cada situación
• Una alternativa es utilizar teoría de decisiones: realizar la acción que maximice la utilidad esperada
• En particular, en ambientes dinámicos con incertidumbre, esto corresponde a Procesos de Decisión de Markov
![Page 51: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/51.jpg)
Ejemplo de Aplicación
Homer: el robot mensajero
![Page 52: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/52.jpg)
Homer
• robot RWI B-14• cámara estéreo• LCD display – cara
animada• “cabeza” – pan tilt• micrófono
omnidireccional• 4 computadoras,
interconexión a 100 Mbps• Comunicación
inalámbrica a 10 Mbps
![Page 53: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/53.jpg)
Homer: “cabeza”
![Page 54: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/54.jpg)
Homer: Arquitectura
![Page 55: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/55.jpg)
Entrega de Mensajes
• Explora el ambiente buscando una persona• Se detecta a alguien por visión o voz• Homer pregunta el nombre de quien envía, recibe
y el mensaje• Homer navega al lugar esperado (mapa) del
receptor• Cuando detecta a la persona, Homer confirma y da
el mensaje• Si no, continua buscando o aborta y va por un
nuevo mensaje• Al mismo tiempo se mantiene localizado en el
mapa y va a recargar su batería si es necesario
![Page 56: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/56.jpg)
Múltiples-MDPs
• Dada la complejidad del problema, partimos la tarea en varias sub-tareas y c/u es asignada a un MDP– Las acciones de cada MDP son independientes
y pueden ejecutarse concurrentemente– No hay conflicto entre las diferentes acciones
de los MDPs– Todos los MDPs tiene el mismo objetivo
(recompensa)
![Page 57: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/57.jpg)
Múltiples-MDPs
• Resolvemos cada MDP independientemente (off-line) y ejecutamos la política óptima en forma concurrente (on-line)
• Los MDPs están coordinados implícitamente por un vector de estados común
• Cada MDP sólo considera sus acciones
![Page 58: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/58.jpg)
Múltiples-MDPs
• Ventajas:– Reducción en complejidad– Más fácil construir los modelos– Acciones concurrentes– Modularidad
• Limitaciones:– No hay garantía de óptimo global– No considera acciones con conflicto
![Page 59: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/59.jpg)
Tareas • Navegador
• Diálogo
• Gestos
Locali-zación
Loc.Pers.
Gen.Voz
N D G
Nave-gación
Gen.Gestos
![Page 60: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/60.jpg)
MDPs para cada tarea
• Navegador– Explora– Navega– Localiza– Obten nueva meta– Ir a casa– Espera
• Diálogo– Pregunta– Confirma– Dar mensaje
• Gestos– Neutral– Feliz– Triste– Enojado
![Page 61: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/61.jpg)
Variables de estado
• Tiene mensaje• Nombre receptor• Nombre envía• En meta• Tiene meta• Meta inalcanzable• Receptor inalcanzable
• Batería baja• Localización incierta• Escucha voz• Persona cerca• Llama Homer• Yes/No
![Page 62: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/62.jpg)
Experimentos
1. Persona se acerca• D: pregunta• G: sonrisa
2. Mensaje recibido• N: navegar• D: silencio• G: neutral
3. Posición incierta• N: localiza
![Page 63: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/63.jpg)
Experimentos
4. Entrega mensaje• N: esperar• D: entrega• G: sonrisa
5. Batería baja• N: ir a “casa”
![Page 64: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/64.jpg)
Homer en acción
![Page 65: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/65.jpg)
Retos futuros
• Integración – integrar en forma efectiva los diferentes aspectos – comunicación, planeación, interacción, etc.
• Equipos de robots – desarrollar equipos de robots que se coordinen para hacer una terea compleja (rescate)
• Aprendizaje – desarrollar robot que puedan adaptarse a nuevos ambientes incluyendo situaciones desconocidas
• Representación – desarrollar modelos que permitan al robot tener una representación de más alto nivel (semántica) del ambiente, y comunicarse en base a esta representación
• Otros ambientes – desarrollar robots que puedan operar en otro tipo de ambientes: robots de patas, robots submarinos, robots aéreos y espaciales
![Page 66: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/66.jpg)
Examen 3er parcial- abril 20 -
• Demostrar la operación de su robot de acuerdo a la categoría seleccionada en la maqueta
• Hacer un reporte y presentación de su robot
![Page 67: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/67.jpg)
Reporte
• Introducción• Diseño mecánico• Diseño sensorial• Algoritmos de control• Programación (estrategias, arquitectura, etc.)• Pruebas y Resultados• Conclusiones• Referencias
![Page 68: Robótica Inteligente](https://reader035.vdocuments.co/reader035/viewer/2022070404/56813af1550346895da36930/html5/thumbnails/68.jpg)
Presentación
• Presentar en 10 minutos los aspectos más relevantes de su proyecto (en equipo)
• Demostración de su robot realizando su tarea (10 min. – máximo 3 intentos)
• Entregar:– Reporte impreso y enviar archivo por correo– Enviar presentación por correo a más tardar el
próximo miércoles a las 10 am