robótica inteligente

Robtica InteligenteL. Enrique SucarAlberto Reyes

ITESM Cuernavaca

Temas avanzadosLaboratorios virtualesInteraccin humano-robotRobots de servicioCoordinacin MDPs factorizados y paralelos

Laboratorios VirtualesUn laboratorio virtual permite realizar experimentos sin contar con un laboratorio fsico:SimulacinTelecontrolAplicaciones:Educacin y entrenamientoInvestigacin y cooperacinExperimentacin a distancia

Telecontrol+TelemetraSimuladorLab. RealInterfaz de acceso con un Tutor Inteligente

Ventajas de los Laboratorios VirtualesPermite acceso a equipo a usuarios dispersos geogrficamenteReduce costos y promueve transferencia de tecnologaPermite la comparacin de resultados de experimentosReduce riesgos Permite incorporar estrategias didcticas, tutores, ayudas en lneas, etc.

TelecontrolProgramacin y observacin remota del equipoProgramacin:lenguaje de alto nivelcomandos grficos interactivosObservacin:retroalimentacin (imgenes, video y audio)medidores virtuales grficos o textuales

Laboratorio Virtual de RobticaExperimentacin con robots mvilesprogramacinplaneacin de trayectoriasconstruccin de mapaslocalizacinLaboratorios:TelecontrolSimulacin

Telecontrol

TelecontrolEl laboratorio virtual mediante telecontrol permite hacer experimentos a distancia con un robot mvil a travs de InternetEl laboratorio incluye:Un mdulo de programacin Un mdulo de observacin Un mdulo de seguridadServidor e interfaz al cliente

ConfiguracinRed localRed localInternet

Robot Mvil

Arquitectura de Telecontrol

Elementos del Laboratorio RemotoServidor de pginas WebConexin con el robot mvilConexin con el sistema de video para observacinConexin con el clienteSistema de visualizacin del experimentoVista del robot y su ambiente mediante videoSistema de programacinAmbiente para edicin y envio de comandos

Mdulo de Programacin

Mdulo de ProgramacinBasado en un lenguaje de diez instrucciones:avanzaaltodesplaza_derechadesplaza_izquierdagira_derechagira_izquierdagira_torreta_derechagira_torreta_izquierdainicio, fin

Mdulo de NavegacinInterpreta los valores obtenidos en el Mdulo de Programacin y los traduce a instrucciones ejecutables en el robotEnvia las instrucciones para su ejecucin en el robotAl terminar la secuencia se inicializa el robot (alinean las ruedas y la torreta) para ejecutar una nueva secuencia

Mdulo de SeguridadVigila la integridad del robotSe toman continuamente lecturas de los sonaresSe establece una zona de seguridad en torno del robotEl modulo de Seguridad es independiente del modulo de navegacin y puede detener las acciones que realiza el mdulo de navegacin

Arquitectura RobotSeguridadNavegacinObservacin

Arquitectura Jerrquica

Mdulo de VisualizacinCaptura de video para visualizacin remota del experimento. Dos cmaras:Vista externa del robot y su ambienteVista interna desde el robotCompresin de imgenes (JPEG)Envio al cliente en forma continua a travs del servidor

Ejemplo de Programacin

SimulacinModelo del ambiente (interiores)Modelo del robot (cinemtica, dinmica)Modelo de sensores (sonar, bumper, cmara)Programacin naloga ambiente realSimuladores:2-D (Nomadic)3-D (en desarrollo)

Simulador en 2-D

Simulador en 3-DModelador en 3-DSimulacin del ambiente del robotSimulacin del robot mvilScripts para manipulacin de objetos y vistas del ambienteConversin del lenguaje de alto nivel del robot (telecontrol) a scripts

Simulador en 3-D

Simulador para minirobtica

Simulador para minirobtica

Arquitectura- incorpora un tutor inteligente - Student Interface of user Graphical Environment Lessons and help Results and Pedagogical Actions Student Model Knowledge Base Behavior analysis InitialStereotype

Interaccin multimodal humano-robotFacilitar la comunicacin humano robot utilizando diferentes modos de interaccin, como:reconocimiento de vozinteraccin con dispositivos mvilescomandos mediante ademanesAlto!

Navegacin con comandos de voz

Comandar a un robot con dispositivos mviles (PDAs)

Prototipo - Men principalDos opciones de manipulacin:MapasControl remoto

Configuracin del sistema

PrototipoLugares marcados con significado semnticoBotones para avanzar, detener, retroceder y direccinRetroalimentacin de imagen en vivo

Comunicacin mediante ademanes

Ademanestiles para la comunicacin humano-robotComunicar informacin geomtricaVe para allToma ese objetoQu es eso?Complemento a la vozPara!Ven!

Ven

Atencin

Derecha

Izquierda

Alto

Reconocomiento de ademanesExtraccin de caractersticas ModeladoReconocimientoImagesFEFeaturesRMGestures

Extraccin de caractersticasDeteccin de pielSegmentacin de la cara y manosSeguimiento de la manoParmetros de movimiento

Deteccin dePiel

SegmentacinBsqueda radialAgrupamiento de pixelsde piel

SeguimientoLocaliza cara y manoSeguimiento de la mano

ParmetrosCambio en X (DX)Cambio en Y (DY)Cambio en rea (DA)Cambio en razn de lados (DR)Valores: (+, 0, -)X1,Y,1X2,Y2A1A2

ReconocimientoBasado en modelos ocultos de Markov (HMM)Un modelo por ademn:3 estados: gestos simples5 estados: gestos complejos

Ejemplos de comandos

Robots de servicioGuas un robot me sirve de gua en un museo, me explica las exibiciones, ...Ayudantes un robot corta el pasto, aspira la casa, vigila cuando no estoy, ayuda a personas discapacitadas, ...Rescate un grupo de robots localiza a los sobrevivientes en un terremoto, ...Exploracin un grupo de robots explora un volcn, un arrecife, marte, .......

De robots industriales a ...Tarea repetitivaAmbiente conocido y controladoNo hay interaccin con personasPoca flexibilidadPoca movilidad

... a robots de servicioAmbientes desconocidos Ambientes dinmicosNecesidad de movilidadInteraccin con personasAmbientes exterioresNecesidad de flexibilidad

RetosExplorar y modelar el ambienteNavegar en ambientes desonocidos y dinmicosLocalizarse en el ambienteReconocer y manipular objetosComunicacin remotaInteraccin natural con personas

Coordinacin de TareasUn robot mvil que realiza una tarea compleja requiere de mltiples capacidades:Planeacin de trayectoriasEvasin de obstculosLocalizacinMapasInteraccin con personasSntesis y reconocimiento de vozGeneracin de expresiones

Coordinacin de TareasCada tarea puede implementarse relativamente independientemente mediante mdulos de softwareEl reto entonces es como coordinar estos mdulos de forma que se seleccione la mejor accin en cada situacinUna alternativa es utilizar teora de decisiones: realizar la accin que maximice la utilidad esperadaEn particular, en ambientes dinmicos con incertidumbre, esto corresponde a Procesos de Decisin de Markov

Ejemplo de AplicacinHomer: el robot mensajero

Homerrobot RWI B-14cmara estreoLCD display cara animadacabeza pan tiltmicrfono omnidireccional4 computadoras, interconexin a 100 MbpsComunicacin inalmbrica a 10 Mbps

Homer: cabeza

Homer: Arquitectura

Entrega de MensajesExplora el ambiente buscando una personaSe detecta a alguien por visin o vozHomer pregunta el nombre de quien enva, recibe y el mensajeHomer navega al lugar esperado (mapa) del receptorCuando detecta a la persona, Homer confirma y da el mensajeSi no, continua buscando o aborta y va por un nuevo mensajeAl mismo tiempo se mantiene localizado en el mapa y va a recargar su batera si es necesario

Mltiples-MDPsDada la complejidad del problema, partimos la tarea en varias sub-tareas y c/u es asignada a un MDPLas acciones de cada MDP son independientes y pueden ejecutarse concurrentementeNo hay conflicto entre las diferentes acciones de los MDPsTodos los MDPs tiene el mismo objetivo (recompensa)

Mltiples-MDPsResolvemos cada MDP independientemente (off-line) y ejecutamos la poltica ptima en forma concurrente (on-line)Los MDPs estn coordinados implcitamente por un vector de estados comnCada MDP slo considera sus acciones

Mltiples-MDPsVentajas:Reduccin en complejidadMs fcil construir los modelosAcciones concurrentesModularidadLimitaciones:No hay garanta de ptimo globalNo considera acciones con conflicto

Tareas NavegadorDilogoGestosLocali-zacinLoc.Pers.Gen.VozNDGNave-gacinGen.Gestos

MDPs para cada tareaNavegadorExploraNavegaLocalizaObten nueva metaIr a casaEsperaDilogoPreguntaConfirmaDar mensajeGestosNeutralFelizTristeEnojado

Variables de estadoTiene mensajeNombre receptorNombre envaEn metaTiene metaMeta inalcanzableReceptor inalcanzable

Batera bajaLocalizacin inciertaEscucha vozPersona cercaLlama HomerYes/No

Experimentos

Persona se acercaD: preguntaG: sonrisaMensaje recibidoN: navegarD: silencioG: neutralPosicin inciertaN: localiza

Experimentos

Entrega mensajeN: esperarD: entregaG: sonrisaBatera bajaN: ir a casa

Homer en accin

Retos futurosIntegracin integrar en forma efectiva los diferentes aspectos comunicacin, planeacin, interaccin, etc.Equipos de robots desarrollar equipos de robots que se coordinen para hacer una terea compleja (rescate)Aprendizaje desarrollar robot que puedan adaptarse a nuevos ambientes incluyendo situaciones desconocidasRepresentacin desarrollar modelos que permitan al robot tener una representacin de ms alto nivel (semntica) del ambiente, y comunicarse en base a esta representacinO