1

Confluència de ciència i ficció en la robòtica actual1

Carme Torras Institut de Robòtica i Informàtica Industrial (CSIC-UPC), Barcelona

http://www.iri.upc.edu/research/perception http://www.iri.upc.edu/people/torras

Resum Els robots industrials i els hominoides de la ciència-ficció, tan diferents fins ara, comencen a confluir gràcies al ràpid desenvolupament de la robòtica assistencial i de serveis. S’estan dissenyant robots que puguin interaccionar amb les persones, ja sigui atenent discapacitats i gent gran, fent de recepcionistes o dependents en centres comercials, o actuant de mestres de reforç o de mainaderes. Aquests anomenats robots socials plantegen un ventall de qüestions ètiques més ampli que els seus predecessors industrials. En aquest context, la comunitat científica robòtica s’ha acostat a les humanitats i, en particular, s’ha interessat pels dilemes morals sovint plantejats en obres de ciència-ficció. Després d’un breu repàs a l’estat actual de la recerca en robòtica, s’esbossaran les dificultats metodològiques de preveure científicament l’evolució d’una societat tecnificada, i s’apuntaran algunes novel·les i pel·lícules que tracten el tema de la interacció amb robots i la seva possible influència en el pensament, les relacions i els sentiments humans.

1. De la robòtica industrial a la robòtica social A començaments del segle XXI la creixent necessitat de mà d’obra en els sectors de salut i de serveis —motivada en gran part per l’envelliment de la població en els països més desenvolupats— ha ampliat molt el ventall d’aplicacions dels robots. Cada vegada en trobarem més no sols fent tasques de neteja de grans superfícies, logística i monitoratge, sinó especialment en interacció amb persones en àmbits com la sanitat, l’educació i l’entreteniment. També augmentarà el seu repertori d’activitats en entorns laborals i ja no els trobarem només en cadenes de producció a les fàbriques, sinó col·laborant activament amb operaris humans com a companys de treball. 1 Podeu visionar el vídeo de la conferència a: https://www.youtube.com/watch?v=hXEYMTBy76U I have written a paper in English with similar content, but more centered on science than fiction (Torras, 2016).

2

La Federació Internacional de Robòtica (IFR) ha publicat dades estadístiques (World Robotics, 2015) sobre l’impressionant creixement del parc de robots de serveis i assistents personals en l’any anterior. La venda de robots domèstics per als clients privats es va incrementar un 28%, fins a tres milions d’unitats, mentre que les vendes de robots de serveis professionals van registrar un sòlid creixement del 11,5%. Es preveu que el 2018 les vendes mundials de robots de servei d’ús privat augmentarà fins al voltant de 35 milions d’unitats, dels quals 25 milions seran robots domèstics (aspiradores, talladores de gespa, netejadors de finestres, etc.) i al voltant de nou milions seran robots d’entreteniment.

2. Estat actual de la recerca en robòtica En relació als robots industrials, els robots assistencials i de serveis plantegen nous reptes per a la recerca. No es poden programar com a les fàbriques, sinó que ha de ser fàcil per a persones no-expertes ensenyar-los el que han de fer. Per contra, sovint es pot prescindir de l’elevada precisió requerida en moltes operacions industrials. És per tot això que, en comptes de programar els robots en termes geomètrics, s’acostumen a emprar tècniques que permeten als robots adquirir les habilitats desitjades a partir de demostracions realitzades per humans. Per exemple, en el marc del projecte europeu PACO-PLUS, vam proposar un sistema d’aprenentatge d’aquest tipus utilitzant teleoperació (Rozo et al., 2013) per ensenyar a un braç robot tasques basades en mesures de força (Fig. 1).

Figura 1. Escenari experimental de la tasca d’ensenyar el robot a abocar líquid. Esquerra: Realització de la tasca per part d’una persona on s’exemplifica que, com menor és la quantitat de líquid dins l’ampolla, més cal inclinar-la, cosa que posa de manifest la influència de les condicions inicials en el moviment a realitzar per acomplir la tasca amb èxit. Dreta: l’operador ensenya el robot a servir 100 ml de beguda en un got fent successives demostracions per teleoperació amb realimentació hàptica.

et al. used the notion of framings to incrementally learnvarious tasks that can be defined in different frames (alsoviewed as task parameters), where the system infers fromdemonstrations which particular frame should be used foreach task [11].In contrast to the aforementioned works, we propose a

learning framework where a parametric version of the HMM(PHMM) [12] is used to represent the demonstrations andparameters of force-based skills, which is further used in areproduction phase where GMR is implemented to retrievethe robot movements. We show the benefits of this approachin a pouring task scenario. Note that Kruger et al. [13]proposed to synthesize and recognize robot reaching move-ments – action primitives – by using PHMMs, where the taskparameters correspond to the initial and final location of thegrasped object. Nonetheless, this task may also be solvedusing the frames-based approaches described above, unlikeour case where the parameters are not position dependent.The advantage of using a PHMM is that the parameters cancome from different kinds of information source (i.e., notonly from position data), which makes it more suitable to beused in force-based robot learning.This paper is organized as follows: Section II describes our

experimental setup and the pouring task taught to the robot.Sections III and IV explain the learning and reproductionphases, respectively, first illustrating the statistical parametricencoding of the demonstrations by using a PHMM and then,showing how GMR is implemented at the execution stage.Section V shows computational and robot execution results.Finally, the conclusions of this paper and future work arepresented in Section VI.

II. EXPERIMENTAL SETUPWe constructed an experimental setup to teach a robotic

manipulator to carry out the pouring task using exclusivelyhaptic data. In such scenario a human user holding the end-effector of a 6-DoF haptic interface (Delta device from ForceDimension) teleoperates a robotic arm (RX60 from Staubli)which has a force-torque sensor (Schunk FTC-050) placedon its wrist (see Figure 3). The sensed forces-torques arefed back to the teacher in order to establish a bidirectionalcommunication channel during the demonstration stage. Thisimplies to work at a minimum frequency of 1000 Hz tohave a high fidelity force reflection and a stable teleoperationsystem, which greatly depends on the executed processesbetween the position sensing of the haptic device and whenthe sensed force is reflected on it. Our experimental setuptakes such requirement into account and guarantees a highbandwidth communication in the haptic loop.In our experimental scenario the robot holds a 1 liter plas-

tic bottle full of tiny metallic spheres, which play the role of afluid (this solution was adopted to avoid spilling liquid duringtests and, in the end, what we like to learn is a given fluid-like dynamics, no matter which). The teacher teleoperates therobot in order to demonstrate how to pour 100 ml drinks intoa plastic glass. In contrast to the illustrative example shownin Figure 2 where the human moves its arm in order to pour

Fig. 2. Illustration of pouring task carried out by a human in a real situation.The less quantity of fluid inside the bottle, the more the human turns thebottle. Thus the initial conditions at each execution influence how much thebottle needs to be turned to accomplish the task successfully.

into all the glasses placed at different locations, here everysample of the task starts from a unique predefined initial poseof the bottle, which is also the stop configuration once therobot has poured a drink. Initially, the bottle is completelyfull, and the teacher carries out several demonstrations untilthe bottle is empty. Thus, the initial force-torque values foreach example vary according to how much fluid has beenpoured previously, which, at the time, is the task parameterconditioning the robot movements.Similarly to our previous work [14], a dynamic compen-

sation model was used here for removing the bottle masseffects from the sensor readings, in order to feed back theteacher with only the external forces-torques generated bythe fluid at the demonstration phase. Note that in this task,the teacher is able to watch the scene directly (see Figure3), thus he/she can know the location of the glass in therobot workspace. Such information is not provided to therobot during the execution phase because the glass positionis predefined in advance and fixed across the examples.2

Let us mention that the proposed task is challengingand has aroused the research community’s interest recently.Tamosiunaite et al. [15] tackled the same problem us-ing reinforcement learning, which was applied to improvethe initial encoding obtained from human demonstrationsmodeled through dynamic motion primitives. Cakmak andThomaz [16] taught a humanoid robot to pour through anactive learning framework, wherein the robot was allowedto ask questions regarding the task at hand. Our approachsignificantly differs from these works in that the human-robotinteraction is through a haptic device, the demonstrationsare encoded by a probabilistic model that exploits the taskparameters and the perception system senses only the forces-torques generated over the execution of the skill.

2Note that a camera system may also be used to know the location of theglass in the robot frame, so that the demonstrations would also be dependenton this parameter.

Fig. 3. Experimental scenario of the pouring task. The teacher demonstratesthe robot how to pour 100 ml drinks into a glass by teleoperation.

III. PARAMETRIC ENCODING OF THE SKILLThe hidden Markov model has been extensively used

for encoding or representing the teacher examples in LfDapplications [2], [3], [8]. An HMM can be interpreted as anextension of the Gaussian mixture model (GMM) in whichthe choice of the mixture component for each observationdepends also on the choice of the component for the previ-ous observation. Moreover, this method has the advantageof containing time as an implicit variable, which can beexploited when dealing with force-based data because theytend to show very large time discrepancies.Specifically, a classical HMM λ of N components is

defined by its initial distribution π = πi, the transitionprobability distribution A = aij and the continuousobservation probability distribution B = bi, with i, j =1, 2, . . . , N . For continuous observation densities, the biare often represented by a Gaussian distribution with meanµi and covariance matrix Σi. The model parameters areestimated through the Baum-Welch method given a trainingdataset dm

p , with m = 1, 2, . . . ,M and p = 1, 2, . . . , P ,where M is the number of demonstrations and P is thenumber of datapoints collected along demonstration m (fora general explanation of the HMM please refer to [17]).It should be noted that this classic model does not handletask parameters explicitly, and if a parameter exists for everydemonstration, a possible solution would be to add it as anadditional (likely constant) input variable with the cost ofincreasing the dataspace dimensionality.Instead, we propose to use a parametric version of the

HMM, namely PHMM [12]. This technique models thedependence on the parameter of interest in an explicit waythrough the output densities bi. Formally, the observationprobability distributions are now a function of the demon-stration and an associated parameter3 θm: bi(dm; θm). Inthis paper we adopt the linear dependence of the mean ofthe Gaussian distributions on θ, wherein for each component

3The dimension of the parameter depends on its degrees of freedom, forinstance θ would be a three dimensional vector if representing the locationof an object in the space.

i of the model, we have:

µi(θm) = W iθm + µi, (1)

where W i describes the linear variation. Eq. (1) can beexpressed in a matrix fashion as µi(θm) = ZiΩm, where

Zi ≡ [W i µi], Ωm ≡ [θm 1]⊤. (2)

The former linear formulation allows to estimate onlyone additional model parameter, namely Zi, from which themeans of the model are computed for a specific value ofθm (the readers are referred to [12] in order to look up theestimation equation for Zi). Note that this parametric modelallows us to provide a compact probabilistic encoding of thedemonstrations, handling the task parameters through a lineardependence that modifies the location of the output densitiesin the dataspace, without influencing their shape (i.e., thecovariance information). Results of the parametric encodingof the pouring skill are given and explained in Section V.

IV. REPRODUCTION OF THE SKILL

Once the PHMM has been trained, it is necessary tofind a suitable way to reconstruct the output commandsgiven a force perception and the resulting parametric model.To achieve this goal, we resort to use Gaussian mixtureregression for computing the robot actions to be sent to thecontroller as the desired robot state to be achieved. Notethat Calinon [19] proposed to use GMM/GMR for learningtasks at trajectory level, where the main idea is to model datafrom a mixture of Gaussians and to compute predictions fora given set of queries through a regression that uses meanand covariance information to retrieve the estimated output.In this work, GMR uses the information encapsulated

by the observation probability distributions of the PHMM.Formally, for each Gaussian component i of the model, inputx and output y are separated by expressing the mean andcovariance matrix as:

µi =

!

µxi

µyi

"

, Σi =

!

Σxxi Σ

xyi

Σyxi Σ

yyi

"

. (3)

Then, the conditional expectation y given the input vectorx, for a mixture of N Gaussians is:

y =N#

i=1

hi

$

µyi +Σ

yxi (Σxx

i )−1(x− µxi )%

, (4)

wherehi =

p(i)p(x|i)&N

j=1p(j)p(x|j)

(5)

is a weight exclusively based on the input variables, mainlyforce-torque data in our task. Hence, we aim at predicting thenecessary robot commands as a function of its force-basedperceptions in order to follow the taught movements to carryout the pouring process. Computational and experimentalresults of the reproduction phase implementing GMR areshown and explained in the next section.

3

En no poder estar engabiats, els robots assistencials han de ser intrínsecament segurs per a les persones. Per això s’utilitzen diferents nivells de seguretat (De Luca & Flacco, 2012), des de la detecció i evitació de col·lisions utilitzant la informació provinent de càmeres i sensors de profunditat, fins a la interacció física amb les persones basada en els senyals provinents dels sensors propioceptius, de força i tàctils. L’esmentada interacció pot tenir per objectiu el comportament acomodatici del robot o bé obeir funcions comunicatives i de guiatge. Quan hi ha contacte, es requereix un control de força basat en un model acurat de la dinàmica del robot, que sovint s’adquireix en línia mitjançant tècniques d’aprenentatge per reforçament (Sutton & Barto, 1998). En els entorns humans proliferen els objectes deformables, com ara roba, cables, líquids o les persones mateixes, que els robots han de ser capaços de percebre i, en alguns casos, de manipular. La dificultat radica en què aquests objectes tenen uns espais d’estats molt més complexos que les sis variables de posició i orientació que caracteritzen l’estat de les peces rígides en les cadenes de producció. Aquesta complexitat fa que, en comptes de tècniques geomètriques de visió, es recorri a tècniques d’aprenentatge per determinar de manera automàtica les característiques rellevants per acomplir una tasca. Per exemple, a partir d’una base d’imatges de peces de roba que tenen anotades diferents parts (colls, punys de mànigues, cintura i vores de pantalons, etc.), el mètode desenvolupat per Ramisa et al. (2014) permet aprendre descriptors 3D que caracteritzen aquestes parts; en particular, els colls de camises i polos, cosa que fa que el robot pugui col·locar-los en un penjador (Fig. 2).

Figura 2. Percepció i manipulació d’objectes deformables. Esquerra: Dos elements de la base de dades de peces de roba amb les parts anotades (a dalt), així com les imatges de color i profunditat junt amb la plantilla per a la subtracció del fons (a baix). Dreta: El robot agafa un polo pel coll per penjar-lo.

Un dels aspectes més innovadors dels robots que s’estan desenvolupant és la capacitat de col·laborar amb els humans tant en l’àmbit laboral com domèstic. El tema de la interacció persona-robot cobra especial rellevància en aquest context. Sovint es requereix la integració d’informació multimodal, és a dir, de veu, text, imatge, gestos,

4

postures, contacte i/o forces, captats mitjançant sensors que poden no correspondre’s exactament amb les modalitats de sensació humanes (per exemple, sensors de profunditat). Centrant-nos en la informació visual, s’han desenvolupat algorismes generatius i discriminadors per a la determinació de la postura humana i també per al reconeixement i detecció de la posa d’objectes. En robòtica social, es treballa sobretot en la fusió d’instruccions verbals i visuals, mentre que en robòtica de manipulació es focalitza especialment en fusionar dades de visió i força. Però segurament el tret més destacat dels robots que han de realitzar tasques envoltats de persones és que han d’estar dotats d’una gran capacitat d’aprenentatge i adaptabilitat, que els permeti generalitzar d’una tasca a una altra, ser tolerants a percepcions i accions imprecises, i desenvolupar-se adequadament en entorns no predefinits i dinàmics. Aquesta capacitat és abordada a diversos nivells, des de l’adaptació a canvis en la cinemàtica del robot mitjançant algorismes d’aproximació de funcions, fins a la planificació de tasques i transferència de coneixement utilitzant tècniques d’aprenentatge simbòlic (Torras, 1995). En un treball conjunt amb el Karlsruhe Institute of Technology (Ulbrich et al., 2009), l’esquema corporal del robot hominoide Armar-III s’ha actualitzat en línia per incloure eines de longituds diferents i poses variables respecte a la mà de robot (Fig. 3).

Figura 3. Esquerra: El robot hominoide Armar-III desenvolupat pel Karlsruhe Institute of Technology i usat en els experiments per adaptar l’esquema corporal a una extensió de la mà amb una eina. Dreta: Primer pla de la bola vermella unida a la mà dreta que marca el final de l’eina.

5

3. Implicacions ètiques i ciència ficció Els robots assistencials i de serveis estan destinats a treballar entre persones i sovint en estreta interacció física amb elles. Això planteja moltes preguntes sobre quina serà la seva influència en el futur de la societat i el paper que aquesta tecnologia pot exercir en la sostenibilitat. Hi ha en marxa diversos projectes i iniciatives sobre l’ètica de la robòtica (en anglès s’ha encunyat el terme “Roboethics” per referir-s’hi) en un intent d’abordar les qüestions que sorgeixen en contextos tan diversos com el militar, el mercat de treball, la regulació de responsabilitats legals, i l’àmbit educatiu (Lin et al., 2011). En un estudi on intentàvem predir com la robòtica ubiqua podria modelar la identitat individual, vam adonar-nos de les greus dificultats metodològiques amb què es troba qualsevol intent de predir l’evolució tecnològica (Ballesté & Torras, 2013): acostumen a aparèixer usos imprevistos dels dispositius, com en el cas dels telèfons mòbils; el desenvolupament tecnològic no es pot deslligar del context sociocultural; i el llenguatge actual té serioses limitacions per descriure el futur (citant Heidegger, «és a través de la tècnica que percebem el mar com navegable»). Atesa la dificultat de predir com evolucionarà la societat tecnològica, una opció raonable és imaginar diferents escenaris futurs possibles i fomentar el debat sobre els pros i els contres per tractar d’orientar la investigació cientificotècnica en la direcció més convenient. En una conferència provocativa a l’Arizona State University, titulada “Innovation starvation” (“Fam d’innovació”), el reconegut escriptor Neal Stephenson (2011) va recomanar recórrer a la ciència-ficció no només per idear innovacions, sinó sobretot per imaginar escenaris coherents de com aquestes innovacions podrien integrar-se en la societat i canviar la vida de les persones. De fet, la ciència-ficció clàssica va anticipar molts dels dilemes que es plantegen actualment. A tall d’exemple, la revista científica Interaction Studies va dedicar un monogràfic a debatre la influència que l’ús de robots mainadera podria tenir en el desenvolupament psicològic dels nens. L’article introductori (Sharkey & Sharkey, 2010) reclama parar atenció a un seguit d’intricades qüestions que s’han abordar. És fascinant adonar-se (Torras, 2014) que moltes d’aquestes qüestions ja apareixien en relats de ciència-ficció publicats fa més de mig segle, com “Robbie” d’Isaac Asimov, “Nanny” de Philip K. Dick o “I sing the body electric” de Ray Bradbury. Ja vaig expressar la meva opinió sobre aquestes preocupacions ètiques al monogràfic abans esmentat (Torras, 2010), i aquí em limitaré a assenyalar que si els robots han de formar part de la comunitat educativa futura, és important que la societat en el seu conjunt adquireixi una opinió sobre quin tipus de robots són desitjables. Entre les obres de ciència-ficció recents que tracten el tema de la interacció amb robots i les seves possibles conseqüències, destacaria la novel·la “The windup girl” de Paolo Bacigalupi —comentada en l’article de S. Razvi en aquest mateix volum—, el relat

6

“The life cycle of software objects” de Ted Chiang —que exemplifica els problemes que poden originar les mascotes artificials, i les pel·lícules “Surrogates” —sobre les relacions mitjançant avatars—, “Eva” —que mostra els perills d’establir relacions afectives molt estretes amb hominoides—, i “Robot and Frank” —per mi, la que millor aconsegueix posar de manifest les implicacions a mitjà termini de conviure amb robots. Ningú no dubta que la interacció amb robots modificarà el pensament, les relacions i els sentiments de les persones, la incògnita és en quin sentit i fins a quin punt. Amplificarà les capacitats humanes, les atrofiarà, en crearà de noves? Produirà una fractura entre els qui tenen accés a la tecnologia i els qui no? Entre els qui en fan un ús proactiu i els qui es deixen arrossegar? Mentre que els robots que augmenten l’autonomia de les persones o amplifiquen les capacitats humanes (per exemple, la destresa dels cirurgians) gaudeixen d’una bona acceptació, els robots que es comporten com a substituts emocionals susciten fortes polèmiques. En un intent de contribuir al debat, vaig escriure una novel·la de ciència-ficció (Torras, 2008) (Fig. 4), on em vaig imaginar com les generacions futures criades per mainaderes artificials, que aprendran de mestres robot i compartiran el treball i l’oci amb hominoides veuran afectades les seves capacitats intel·lectuals i socials. El leit motiv de la novel·la és una cita del filòsof Robert C. Solomon: «són les relacions que anem construint les que al seu torn ens modelen». Es referia a les relacions humanes amb els nostres pares, mestres i amics, però la cita es pot aplicar als assistents robòtics si acaben estant tan presents com sembla que estaran en la vida de les persones.

Figura 4. Novel·la de ciència-ficció que descriu una societat futura en què cada persona té el seu assistent robòtic i on és tornada a la vida una adolescent de la nostra època a qui van criogenitzar perquè patia una malaltia incurable aleshores. En la trama es posen de manifest diverses qüestions ètiques que susciten aquest tipus de robots.

Actualment estic desenvolupant uns materials per a l’ensenyament de l’ètica de la robòtica, basats en la novel·la, on es tracta el ventall de qüestions morals plantejades per aquests robots propers a les persones i dissenyats per assistir-nos en la vida quotidiana.

7

L’objectiu és proporcionar directrius útils per als estudiants i professionals (dissenyadors de robots, fabricants i programadors) així com per als usuaris finals i el públic en general. Els materials estan estructurats en sis temes i a continuació poso alguns exemples de les qüestions que es tracten en cadascun d’ells.

• Dissenyant l’assistent perfecte (És lícit dissenyar robots que creïn addicció? Podrien els robots ser usats per controlar les persones?)

• Aparença i emotivitat (Com influeix l’aparença dels robots en la confiança que generen en les persones? Cal excloure per disseny la possibilitat que siguin confosos per éssers vius?)

• Robòtica en l’àmbit laboral (Caldrà adequar les lleis d’experimentació amb humans i de propietat intel·lectual? Quan ha de prevaler el bé comú sobre la privacitat de les dades personals?)

• Robots de suport a l’escola (Quins són els límits del que poden ensenyar les màquines? Quina és la frontera entre complementar i crear dependència?)

• Interacció amb robots i dignitat humana (Quan topa la capacitat de decisió dels robots amb la llibertat/dignitat humana? Robots que incrementen l’autonomia vs. substituts emocionals.)

• Responsabilitat social i robots morals (Si un robot/vehicle autònom causa un accident, qui se n’ha de responsabilitzar? Controvèrsia protecno-antitecno i possibles fractures socials.)

4. Conclusions Els robots assistencials i de serveis plantegen tot un seguit de reptes, tant d’investigació tecnocientífica com d’humanitats i ciències socials, que constitueixen temes candents, de gran actualitat i amb un elevat potencial per marcar el futur. Pel que fa a la investigació tecnocientífica, a més dels avenços incrementals esperats en la col·laboració persona-robot, la seguretat, la manipulació de materials tous, l’adaptabilitat i l’aprenentatge, preveiem que la modelització per part del robot de les seves pròpies capacitats (que podríem denominar “autoconeixement”) serà un ingredient clau per augmentar significativament la seva autonomia durant els pròxims anys. Els avenços en aquesta direcció sens dubte donaran lloc a robots més versàtils i d’elevat rendiment, però al seu torn comportaran nous problemes i, en particular, intensificaran el debat sobre si s’ha de dotar als robots de més autonomia i capacitat per prendre decisions, sobretot en contextos crítics com el militar. En definitiva, la robòtica assistencial i de serveis és un àmbit extraordinàriament prometedor, que està donant un gran impuls a la investigació tecnocientífica, mentre que al mateix temps planteja qüestions decisives que estan propiciant un emocionant debat social i ètic.

8

Referències

BALLESTÉ, F. & TORRAS, C. (2013), «Effects of human-machine integration on the construction of identity», Handbook of Research on Technoself: Identity in a Technological Society, edited by R. Luppicini, Capítol 30, 574-591, Hershey, EUA, IGI Global.

DE LUCA, A. & FLACCO, F. (2012), «Integrated control for pHRI: Collision avoidance, detection, reaction and collaboration», 4th IEEE Intl. Conf. on Biomed. Robotics and Biomechatronics (BioRob), Roma, 288–295.

LIN, P. et al. (2011), Robot ethics: the ethical and social implications of robotics. MIT Press.

RAMISA, A. et al. (2014), «Learning RGB-D descriptors of garment parts for informed robot grasping», Engineering Applications of Artificial Intelligence, 35, 246-258.

ROZO, L. et al. (2013) «A robot learning from demonstration framework to perform force-based manipulation tasks», Intelligent Service Robotics, 6, (1), 33-51.

SHARKEY, N. & SHARKEY, A. (2010), «The crying shame of robot nannies», Interaction Studies: Social Behaviour and Communication in Biological and Artificial Systems, 11, (2), 161-190.

STEPHENSON, N. (2011), «Innovation starvation»: http://www.worldpolicy.org/journal/fall2011/innovation-starvation [7-1-2016]

SUTTON, R.S. & BARTO A.G. (1998), Reinforcement Learning: An Introduction, MIT Press, 2ª edició: https://www.dropbox.com/s/f4tnuhipchpkgoj/book2012.pdf

TORRAS, C. (1995), «Robot adaptivity», Robotics and Autonomous Systems, 15, (1), 11-23.

TORRAS, C. (2008), La mutació sentimental, Lleida, Pagès editors.

TORRAS, C. (2010), «Robbie, the pioneer robot nanny: Science fiction helps develop ethical social opinion», Interaction Studies: Social Behaviour and Communication in Biological and Artificial Systems, 11, (2), 269-273.

TORRAS, C. (2014), «Robots socials: Un punt de trobada entre ciència i ficció», monogràfic “Encontres: Les cruïlles entre ciència i literatura”, editat per P. Bernat, Revista Mètode, 82, Publicacions de la Universitat de València.

TORRAS, C. (2016), «Service robots for citizens of the future», European Review, 24, (1).

ULBRICH, S. et al. (2009), «Rapid learning of humanoid body schemas with kinematic Bézier maps», 9th IEEE Intl. Conf. on Humanoid Robots, Paris, 431-438.

WORLD ROBOTICS (2015), http://www.worldrobotics.org/index.php?id=home&news_id=285 [7-1-2016]