I I WorkshopWorkshop Español de Robótica, ROBOT 2007Español de Robótica, ROBOT 2007CEDI 2007CEDI 2007
Experiencias en robótica social. Experiencias en robótica social. Interacción, motivación y aprendizajeInteracción, motivación y aprendizaje
Eduardo Zalama Casanova Eduardo Zalama Casanova -- Universidad de ValladolidUniversidad de ValladolidSalvador Domínguez Quijada Salvador Domínguez Quijada -- Fundación CartifFundación CartifJaime Gómez García Bermejo Jaime Gómez García Bermejo -- Universidad de ValladolidUniversidad de Valladolid
Robótica social Robótica social Robot social:Robot social: Entidad fEntidad fíísica a la que se le ha dado sica a la que se le ha dado una apariencia compleja, dinuna apariencia compleja, dináámica, y un entorno mica, y un entorno social que le conduce hacia la consecucisocial que le conduce hacia la consecucióón de sus n de sus objetivos y a los de su comunidad.objetivos y a los de su comunidad.
ARISCO: (Android Robot Interface for Social Comunication and Operation)
Requisitos (segRequisitos (segúún n DauthenhahnDauthenhahn, 1999):, 1999):
Robótica social Robótica social
• Personificación. • Emoción• Diálogo• Personalidad• Percepción orientada a humanos• Modelado del entorno• Aprendizaje• Intencionalidad
Complejidad:Complejidad:Robótica social Robótica social
• Integración de técnicas de diferentes campos: electrónica, mecánica, comunicaciones, localización, navegación, etc.
• Estudio e integración de aspectos psicológicos, sociológicos y biológicos.
• Dificultad de implementar aspectos de inteligencia social y representación del conocimiento.
• Sistemas perceptivos poco robustos: Reconocimiento visual, reconocimiento de voz, etc.
Soluciones de implementaciSoluciones de implementacióón:n:Robótica social Robótica social
• Acotar el problema, reduciendo la funcionalidad en contextos definidos.
• Definir arquitectura escalable, incorporar nuevas funcionalidades e interfaces.
• Incorporar sistemas de aprendizaje como fórmula para evitar la programación explícita.
• Validación en entornos reales. Fuera del entorno del laboratorio.
Robótica social Robótica social MotivaciMotivacióón:n:Experiencia previa con Tito, el robot guía del Museo de la Ciencia de Valladolid
Expresividad y emoción. Expresividad y emoción. Estructura física de AriscoEstructura física de Arisco
Cara
Cuello
Plataforma “craneal”
Plataforma base
30cm 30cm
45cm
Expresividad y emoción. Expresividad y emoción. Movimientos del cuello de AriscoMovimientos del cuello de Arisco
Movimiento inclinaciMovimiento inclinacióón lateral de la cabezan lateral de la cabezaMotor 4Motor 4
Movimiento adelanteMovimiento adelante--atratráás de la cabezas de la cabezaMotor 3Motor 3
Movimiento arribaMovimiento arriba--debajo de la cabezadebajo de la cabezaMotor 2Motor 2
Movimiento de giro de la cabezaMovimiento de giro de la cabezaMotor 1Motor 1
FunciFuncióónnMotoresMotores
Total: 4 servo motores
Expresividad y emoción. Expresividad y emoción. Rasgos gestuales de AriscoRasgos gestuales de Arisco
Giro independiente de las comisuras para Giro independiente de las comisuras para simular el movimiento del msimular el movimiento del múúsculos sculos zigomzigomáático mayor de los humanostico mayor de los humanos
(2 servos) comisura de los (2 servos) comisura de los labioslabios
Apertura y cierre de la mandApertura y cierre de la mandííbula inferiorbula inferior(1 servo) apertura de (1 servo) apertura de mandmandííbulabula
Labios y bocaLabios y boca
Giro de las orejas de manera independiente Giro de las orejas de manera independiente estirestiráándolas hacia fuera o recogindolas hacia fuera o recogiééndolas ndolas
hacia la cabezahacia la cabeza
(2 servos) estiramiento de (2 servos) estiramiento de cada orejacada oreja
Giro o rotaciGiro o rotacióón de las orejas de manera n de las orejas de manera independiente echindependiente echáándolas hacia delante o ndolas hacia delante o
hacia atrhacia atrááss(2 servos) giro de cada oreja(2 servos) giro de cada oreja
OrejasOrejas
Giro del subconjunto pGiro del subconjunto páárpados, cejas y ojos rpados, cejas y ojos en el plano vertical del campo visual en el plano vertical del campo visual simulando el movimiento epicraneal simulando el movimiento epicraneal
humano.humano.
(1 servo) movimiento vertical (1 servo) movimiento vertical de la miradade la mirada
Giro simultGiro simultááneo de ambos ojos en el plano neo de ambos ojos en el plano horizontal del campo visualhorizontal del campo visual
(1 servo) movimiento (1 servo) movimiento horizontal de ojoshorizontal de ojos
Apertura y cierre de los pApertura y cierre de los páárpados de rpados de manera independientemanera independiente
(2 servos) 1 servo para cada (2 servos) 1 servo para cada ppáárpado superiorrpado superior
Movimiento de giro de las cejas de manera Movimiento de giro de las cejas de manera independienteindependiente
(2 servos) 1 servo para cada (2 servos) 1 servo para cada cejaceja
PPáárpados, rpados, cejas y ojoscejas y ojos
FunciFuncióónnServosServosZona de la Zona de la caracara
Total: 13 servo motores
Expresividad y emoción. Expresividad y emoción. Sistema de control de movimientos de AriscoSistema de control de movimientos de Arisco
Hardware
Controladora Motores 1
Controladora Motores 2
Controladora Servos
MCMot MCSer
MCSeg
RReeffeerreenncciiaass ddee sseegguuiimmiieennttoo
MCGes
EExxpprreessiioonneess eemmoocciioonnaalleess
Hardware
M M M M ServosCuello Cara
Control de movimientos
Control de GDL
InteracciInteraccióón, aprendizaje, estados de n, aprendizaje, estados de áánimonimoSorpresa
Felicidad
Tristeza
SomnolenciaLocura
Ira
Aversión
Miedo
Neutro
Robótica socialRobótica social
Sensores visuales, sonoros, proximidad, otrosSensores visuales, sonoros, proximidad, otros
Micrófonos: Localización
sonido Micrófono:
Reconocimiento sonido
Dispositivo Emisor-receptorde códigos IR
Webcam: Localización
Movimiento 180º
Webcam: Detección
Caras y colores
Sensor IR: Medición
de distancias
Mando de controlpor IR
Internet
Sistema sensorial Sistema sensorial
Arquitectura S. ComportamientosArquitectura S. Comportamientos
Planificador
Comportamiento
Modulos actuadores Modulos perceptores Bases de datosreconocimiento
Hardware
Acciones
Acciones
Acciones
Estím
ulos
Acciones
Ordenesexternas
Informaciónexterna
Referencias
Niv
el re
activ
oN
ivel
inte
rmed
ioN
ivel
pla
nific
ació
nPlanes y
secuencias
RedesNeuronalesMotivación
Acciones
Acciones
Arquitectura Arquitectura
Arquitectura funcional. Arquitectura funcional. AquitecturaAquitectura hardwarehardware
CF 1GB
PC104
VisiVisióón perifn periféérica para rica para movimientomovimiento
DetecciDeteccióón de n de carascaras
DetecciDeteccióón de n de color saturado y brillocolor saturado y brillo
Seguimiento por Seguimiento por histograma de colorhistograma de color
TrackingTracking
PercepcciónPercepcción Visual Visual
Detección visual demovimiento, 180ºCámara + espejo convexoMáscara semianillo para determinar ROI
Visión PeriféricaVisión Periférica
BradskiBradski & & DavisDavis (2002)(2002)
IHM(timestamp)
GradienteImagen en grises(*)
),()),(),(( yxcyxmyxpabs σ>−*
Algoritmo detección de movimiento Algoritmo detección de movimiento
DirecciDireccióón movimiento con relacin movimiento con relacióón al cuellon al cuelloExperimentos detección de movimientoExperimentos detección de movimiento
Reconocedor de Viola (2001), Reconocedor de Viola (2001), LienhartLienhart (2002)(2002)Cascada de clasificadoresCascada de clasificadoresBasadas en Basadas en ““caractercaracteríísticassticas”” (funciones Harr)(funciones Harr)Diferencia de sumas (ponderadas) de pDiferencia de sumas (ponderadas) de pííxelesxeles
Visión Central: Detección de caras Visión Central: Detección de caras
Grupos de caracterGrupos de caracteríísticas (distintos tamasticas (distintos tamañños):os):
CCóómputo eficiente, una sola pasadamputo eficiente, una sola pasada
Características Características
FasesFases(1) Entrenamiento con (miles de) im(1) Entrenamiento con (miles de) imáágenes +/genes +/--(2) Aplicaci(2) Aplicacióón de clasificadores en cascadan de clasificadores en cascada
Cada clasificador: rechaza noCada clasificador: rechaza no--objetosobjetos
Cascada de clasificadores Cascada de clasificadores
ExperimentaciExperimentacióónnResultados detección de caras Resultados detección de caras
Espacio HSV Espacio HSV ---- regiones alta S, Vregiones alta S, VPPííxeles de cada uno de los 7 coloresxeles de cada uno de los 7 coloresClusteringClustering meanmean--shiftshift y y cdgcdg zonas mzonas máás extensass extensas
ROJO
NARANJA
AMARILLO
VERDE
CIAN AZUL
VIOLETA
SATMIN Hue
Imagen en formato HSV
Puntos con (H, S) Є intervalos(respectivamente V)
Calcular Centro de Masas Ventana de Búsqueda
Centrar VB en CM. Tamaño VB
¿Converge?Resultado (X,Y)
SI NO
MEANSHIFT
Detección de color saturado y brillo Detección de color saturado y brillo
ExperimentaciExperimentacióónnResultados detección color saturadoResultados detección color saturado
FukanavaFukanava (1990), (1990), BradskiBradski (1998)(1998)Algoritmo Algoritmo camcam--shiftshift: mean: mean--shiftshift con adaptacicon adaptacióónn
Elegir posición y tamaño Ventana de BúsquedaEj: última cara detectada
Región de Cálculo doble y centrada en VB
Calcular histograma de color de región de cálculo
Imagen en formato HSV
Calcular Imagen de Densidad Probabilística: p(pixel) Є patrón
Calcular Centro de Masas de IDP bajo la VB
Centrar VB en CM. Tamaño VB
¿Converge?Resultado (X,Y)
SI NO
MEANSHIFT
Seguimiento por histograma de colorSeguimiento por histograma de color
ExperimentaciExperimentacióónnSeguimiento por histograma de colorSeguimiento por histograma de color
ExperimentaciExperimentacióón:n:Seguimiento Seguimiento
Seguimiento de caras: Seguimiento de caras: LienhartLienhart + histograma de color+ histograma de colorSeguimiento de caras Seguimiento de caras
ExperimentaciExperimentacióónnSeguimiento de color saturado Seguimiento de color saturado
Localización de sonidosLocalización de sonidos
Cálculo del ángulo a partir del DIT
sonidoVdDIT Δ
=
sonidoVsenrdrsenrdr
tDIT2222 ))90(())90cos(())90(())90cos(( αααα −⋅++−⋅−−⋅+−−⋅
=Δ=
Aproximación
D
⎟⎠⎞
⎜⎝⎛ ⋅
=⎟⎠⎞
⎜⎝⎛ Δ≈ −−
DVDITsen
Ddsen sonido11α
FOCO(x,y)
-dMI
+dMI
ΔdD
α
α
Localización de sonidosLocalización de sonidos
MIC.IZQ.
MIC.DER.
Previo Filtro Rectificador uControladorRS232
(Angulo,Niveles máximo)
PC
Implantación:Implantación:
ExperimentaciExperimentacióón:n:Seguimiento sonidoSeguimiento sonido
Aprendizaje en AriscoAprendizaje en AriscoModelos de aprendizaje:Modelos de aprendizaje:
Aprendizaje condicionanteAprendizaje condicionanteAprendizaje operanteAprendizaje operante
Asociación Estímulo - Respuesta
Estímulos:Estímulos:Visuales: Cara, color, brilloVisuales: Cara, color, brilloSonoros: Palmada, RuidoSonoros: Palmada, RuidoVocales: Reconocimiento vozVocales: Reconocimiento voz
Respuesta:Respuesta:Estado emocional: Triste, enfadado, contento, …Estado emocional: Triste, enfadado, contento, …Movimiento: foco de atenciónMovimiento: foco de atenciónVocal: Información Vocal: Información metereológicametereológica, chiste, …, chiste, …
Modelos neuronales dinámicos
Modelo multiplicativo (on-center off surround)
( ) ( )[ ] ( )∑≠
−+−+−=ji
jiiiiii xfxxfIxBAx
dtdx - +
- --
)( jxf
En Arisco f(x)=Dx2 i≠j , f(xi)=0
F2
F1
xj
Si
j
i
jjijji Szx
dtdz
)( −=
Modelo instar
- +
- --
)( jxf
F2
F1
Si
j
i
Aprendizaje competitivo
∑ ⋅=i
ijij zSx
Motivación y aprendizaje. Arquitectura del sistema de comportamientos
F0 Estímulos
F2 Comportamientos
Yj
F1 Estímulos habituados
Ki
Hi Ii
+
+
xi gi
Si
Generador aleatorio
Red de habituación
iiii IaKaS
dtdS
+−=
Filtro de entrada
iiii gSFgE
dtdg
−−= )1(
Habituación
Capa de estímulos
[ ] ∑≠
−+−+−=ji
jiiiiiii DxxDxgSxBAx
dtdx 22)(
∑=
=N
jijjj zxy
1
Capa de comportamientos
[ ] ∑≠
−+−+−=ji
ijjjjjj DyyDyTyBAy
dtdy 22)(
jijiijij xzyz
dtdz
)( −+−= βγAprendizaje
Motivación y aprendizaje. Habituación y filtro de entrada
iiii IaKaS
dtdS
+−=
Filtro de entrada
iiii gSFgE
dtdg
−−= )1(
Habituación
E n t r a d a s
0
0 . 2
0 . 4
0 . 6
0 . 8
1
1 17 33 49 65 81 97 113
129
145
161
177
193
209
225
241
257
273
289
305
321
337
353
369
C o lo r R o jo Im p u ls o s o n o ro C o m a n d o d e vo z
Decaimientopor habituación
Decaimientopor desestimulación
Motivación y aprendizaje. Competición entre neuronas
N iv e l de activ idad de las ne uronas de e stímulo
00.10.20.30.40.50.60.70.8
1 17 33 49 65 81 97 113
129
145
161
177
193
209
225
241
257
273
289
305
321
337
353
369
A c tividad Rojo Ac tividad sonido Ac tividad com ando verbal
Competiciónentre estímulos
[ ] ∑≠
−+−+−=ji
jiiiiiii DxxxfgSxBAx
dtdx 2)()(
Motivación y aprendizaje.Motivación y aprendizaje.Motivación en AriscoMotivación en Arisco
Subsistema comportamientos
Otrasacciones
Drive j
Modificación degananciasde neurotransmisiónKs=f(q), s=[1,...,n]
qj
Carga/Descarganivel motivacional j
Δqj
Drive m
qm
......
Drive 1
q1
Xi
Módulo motivacional
Drive j
qj
Δqj
Drive m
qm
......
Drive 1
q1
Módulo motivacional
Plan
Acción de Carga/DescargaDrive j con Δqj
Planificador
Interacción con el sistema de comportamientos Interacción con el planificador
( ) ( ) ( ) ( ) ⎟⎠
⎞⎜⎝
⎛+∗∗−−⎟⎟
⎠
⎞⎜⎜⎝
⎛+∗∗−= ∑∑
lilliii
jjjii pYCQmYQB
dtdQi ηρ
↑↑∼∼↑↑AburrimientoAburrimiento
↓↓∼∼↑↑Recibir peticiRecibir peticióón de informacin de informacióónn
↓↓↓↓↑↑Recibir insultosRecibir insultosAcercamiento de cosas a la caraAcercamiento de cosas a la cara
↓↓↑↑↑↑Recibir piroposRecibir piroposRecibir peticiRecibir peticióón de chistesn de chistesRecibir a saludosRecibir a saludos
↑↑∼∼↓↓DormirDormir
Necesidad de Necesidad de InteracInterac. Social. SocialHumorHumorCansancioCansancio
( ) ( )( ) ( ) ( )( ) ⎟⎠
⎞⎜⎝
⎛ +−∗−−⎟⎟⎠
⎞⎜⎜⎝
⎛+−∗−= ∑∑
lilllii
jijjjii
i rCQEkpQBkDdtdk μγ **
Nivel motivacional
Ganancia de sensibilidad a estímulo
Ejemplo:
Motivación y aprendizaje.Motivación y aprendizaje.“Drives”“Drives”
Resultados.Resultados.AprendizajeAprendizaje
ASUSTADO
ASUSTADO
Palmada
TarjetaRoja
TarjetaRoja
ENC
+EC
RNC
RCEC
Aprendizaje condicionante de primer orden
Resultados.Resultados.AprendizajeAprendizaje
E s t í m u l o d e e n t r a d a
00 . 10 . 20 . 30 . 40 . 50 . 60 . 70 . 80 . 9
11 49 97 145
193
241
289
337
385
433
481
529
577
625
673
721
769
817
865
913
961
1009
1057
1105
t ( S e g x 1 0 )
Valo
r
C o lo r R o jo P a lm a d a
C a p a d e c o m p o r t a m ie n t o s
0
0 .1
0 .2
0 .3
0 .4
0 .5
0 .6
1 50 99 148
197
246
295
344
393
442
491
540
589
638
687
736
785
834
883
932
981
1030
1079
t ( S e g . x 1 0 )
Y j
A s u s ta d o E n fa d a d o A le g r e T r is te D o r m id o
AprendizajeAprendizaje condicionantecondicionante de primer ordende primer orden
Resultados.Resultados.AprendizajeAprendizaje
Aprendizaje condicionante de segundo orden
ASUSTADO
ASUSTADO
TarjetaRoja
ComandoVerbal
ComandoVerbal
EC1
+EC2
EC2
Resultados.Resultados.AprendizajeAprendizaje
E s tím u lo s d e e n tr a d a
00.10.20.30.40.50.60.70.80.9
1
1 75 149
223
297
371
445
519
593
667
741
815
889
963
1037
1111
1185
1259
1333
1407
1481
1555
1629
1703
t (S e g . x 10)
S ig i
C o lo r R o jo P a lm ada C om ando de voz
A c tiv id a d c a p a d e c o m p o rta m ie n to s
00 .0 5
0 .10 .1 5
0 .20 .2 5
0 .30 .3 5
0 .40 .4 5
1 80 159
238
317
396
475
554
633
712
791
870
949
1028
1107
1186
1265
1344
1423
1502
1581
1660
t (S e g . x 1 0 )
Yi
A sus ta d o E nfa d a d o A le g re Tris te D o rm id o
Aprendizaje condicionante de segundo ordenAprendizaje condicionante de segundo orden
Triste
Alegre
Dormido Enfadado
Asustado
Comando:"Triste"
Comando:"Alegre"
Comando:"Dormido"
Comando:"Enfadado"
Comando:"Asustado"
Comando:"Enfadado"
Comando:"Triste"
. . .
Resultados.Resultados.AprendizajeAprendizaje
Aprendizaje por condicionamiento operante
Resultados. Resultados. AprendizajeAprendizaje
Entradas capa de estímulos(Fase de aprendizaje)
00.10.20.30.40.50.60.70.80.9
1
1 24 47 70 93 116
139
162
185
208
231
254
277
300
323
346
369
392
415
438
461
484
507
t (Seg. x 10)
S ig i
Asustado Triste Enfadado Contento Dormido
Activ idad capa de com portam ientos (Fase de aprendizaje)
00.020.040.060.08
0.10.120.140.16
1 25 49 73 97 121
145
169
193
217
241
265
289
313
337
361
385
409
433
457
481
505
t (Se g. x 10)
Y i
Asustado Enfadado Alegre Tris te Dorm ido
FASE DE APRENDIZAJE
E ntradas capa de es tím u los (Fase de test)
00.10.20.30.40.50.60.70.80.9
1
1 12 23 34 45 56 67 78 89 100
111
122
133
144
155
166
177
188
199
210
221
232
243
t (Se g. x 10)
S ig i
Asus tado Tris te Enfadado Alegre D orm ido
Activ idad capa de com portam ientos (Fase de tes t)
0
0.005
0.01
0.015
0.02
0.025
1 13 25 37 49 61 73 85 97 109
121
133
145
157
169
181
193
205
217
229
241
t (Se g. x 10)
Y i
Asus tado Enfadado Alegre Tris te Dorm ido
TRAS EL APRENDIZAJE INICIAL
Aprendizaje por condicionamiento operante.Aprendizaje por condicionamiento operante.
Resultados. Resultados. MotivaciónMotivación
Humor
Sma. Comportamientos
Insulto ¿Enfadarse?
PresentaciónPresentación
ReferenciasReferencias• S. Domínguez. Contribución a la robótica social:“Arisco”, un robot con capacidContribución a la robótica social:“Arisco”, un robot con capacidad de interacción ad de interacción y aprendizaje. Tesis Doctoral. Departamento de Ingeniería de Sisy aprendizaje. Tesis Doctoral. Departamento de Ingeniería de Sistemas y Automática. temas y Automática. Universidad de Valladolid. 2007.Universidad de Valladolid. 2007.
• S.Domínguez, E. Zalama, J. G. García-Bermejo. “Arisco” Un Robot Social con Capacidad de Interaccion, Motivacion y Aprendizaje. Enviado a 'RIAI: Revista Iberoamericana de Automática e Informática Industrial'. 2007.
• S. Domínguez, E. Zalama, J. G. García-Bermejo, Jaime Pulido. Robot Learning in a Social Robot. Lecture notes in Artificial Intelligence. ISBN 3-540-38608-4. Vol 4095. pp:691-702. Springer Ed., 2006.
• S. Dominguez, E. Zalama, J.G. García-Bermejo, Jaime Pulido. “Arisco” un Robot Social con capacidad de Aprendizaje. Proceedings de XXVII Jornadas de Automática. (ISBN: 84-689-9417-0) pp: 570-576. Almeria 2006.
• S. Domínguez. E. Zalama, J. G. García-Bermejo. Arisco. Un Robot Social con Vocación de Recepcionista. Proceedings de VII Workshop de Agentes Físicos. ISBN: 84-689-8115-X. Las Palmas de Gran Canaria. 27-28 de Abril 2006.
• S. Tapias, S. Domínguez Quijada, E. Zalama Casanova, J. Gómez García-Bermejo. Desarrollo de un Sistema de Localizacion de Fuentes Sonoras Basado en Microcontroladores. Proceedings de XXVI Jornadas de Automática. ISBN: 84-689-0730-8. Alicante 2005.
• S. Domínguez Quijada, E. Zalama Casanova, J. Gómez García Bermejo. Desarrollo de una Cabeza Robótica con Capacidad de Seguimiento Visual e Identificacion de Personas. Proceedingsde XXVI Jornadas de Automática. ISBN: 84-689-0730-8. Alicante 2005.
• S. Dominguez, E. Zalama, J. Gómez García Bermejo, J.R. Perán A mobile robot with enhanced gestual abilities. . 9th IEEE International Conference on Mechatronics and Machine Vision in Practice (M2VIP'2002). Proceedings of 9th IEEE International Conference on Mechatronics and Machine Vision in Practice (M2VIP'2002). ISBN 962-442-228-1. Chiang Mai (Tailandia). 2002.
• S. Domínguez, E. Zalama, J. Gómez García Bermejo, J.R. Perán. Development of an Expressive Social Robot. Mechatronics and Machine Vision 2002: Current Practice, pp. 341-348, ISBN 0-86380-278-8. Research Studies Press Ltd, Baldock, Hertfordshire, England. 2002.