1

Materialdidàcticdelanovel·laLamutaciósentimental

deCarmeTorras

Fitxatècnica ISBN:978-84-9779-635-4

Pàgines:320 Coberta:rústica

Format:13,5×21cm Col·lecció:Ciència-ficcióNº22 Datadepublicació:Abril2008

Temes: Societatfutura

Robots Intel·ligènciaArtificial

Ètica Ciència-ficció

Nivellseducatius:4td’EnsenyamentSecundariObligatori,1eri2ndeBatxillerat

Assignatures:Llenguacatalanailiteratura,Llenguacastellanailiteratura,Ciènciessocials,ReligióoCulturaivalorsètics,Tecnologia,

Filosofia,Tutoria,TreballdeSíntesi,Projectes

Guiadelprofessor,ambpreguntesisuggerimentsperpropiciarundebatResumdelanovel·laCèlia,unanenadetretzeanysaquicriogenitzarenperquèpatiaunamalaltiaterminal,ésretornadaalavidaalsegleXXIIperseradoptada.Enunasocietatfuturaoncadascútéunassistentrobòtic,Cèliaxocaamblamaneradepensar,actuarirelacionar-sedelamare adoptiva i el seu entorn, tan diferent de la de la seva família biològica. Lainadaptació de Cèlia atrau Silvana, una massatgista emocional que estudia lessensacions perdudes pels humans, i Leo, un jove enginyer que està dissenyant unapròtesidecreativitatal’empresaderobotspersonalslíderdelmercat,CraftER,dirigidaperl’enigmàticDoctorCraft.LACRÍTICAHADIT...

ImmaMonsó,LaVanguardia,19/7/2008“...unahistoriainteligente,escalofrianteyalavezextrañamentecercana,queTorrasnos cuenta con una capacidad fabuladora no exenta de humor y de ironía. Laspreguntas que de modo casi hilarante podemos ver reflejadas en el libro sonapasionantes A saber: ¿Tienen derechos los sistemas autónomos? ¿Cómo se ven

2

afectadaslasrelacionesinterpersonalesenpresenciademáquinasinteligentes?¿Quélímitesimponeralaindustriadelentretenimientoeneldesarrolloderobotsmascotasydehumanoides?”

JoanJosepIsern,AVUI,5/7/2008

“L’encantd’aquestanovel·larauenlamiradadel’autorasobreelmóndelatecnologiaavançada. Una mirada en què no trobareu cap rastre de catastrofisme gratuït, nid’ecologismedeviaestreta,nidemaniqueismesapocalíptics.CarmeTorrasestimaelsrobots–nousperdeuelscapítolsenquèensónelsprotagonistes–,peròtémoltclaraquinahade ser laposicióde lamàquina iquina lade l’ésserhumàenaquestpasàdeux en què estem irremissiblement lligats. Aquesta és la veritable mutaciósentimental.”

Isabel-ClaraSimó,AVUI,15/11/2008

“...hellegitunllibresensacionaldeciencia-ficció,Lamutaciósentimental.[..]Unllibred’unabellesaespectacular: ¿us imagineuuns robotsque sàpiguenprendredecisionsmillorsquelesnostres?Queensavantatgin?”

JordiFont-Agustí,DiarideGirona,26/9/2008

“Som,doncs,davantunaqüestióclau:¿compairquel’avençtecnocientíficensfacilavidapersonalmésfàcil,ensfaciméslliurescomaindividusi,almateixtemps,ensfacimés dependents i vulnerables com a espècie? Aquesta és l’essència de la polèmicaentreelsprotecnosielsantitecnodelanovel·la.LaCarmeTorras,autoravalenta,nos’amagaimostra,eneldesenllaçdelahistòria,elseupuntdevista.”Recullderessenyesiactivitats:http://www.iri.upc.edu/people/torras/raco_literari/La_Mutacio_Sentimental.htmlSobrel’autoraCarmeTorrascompaginal’escriptura literàriaamblarecercacientífica.Ésdoctoraeninformàticaiprofessorad’investigacióal’InstitutdeRobòtica(CSIC-UPC).

En l’àmbit científic, hapublicat llibres i articles sobremodels neuronals, visiópercomputador, intel·ligènciaartificial i robòtica.HaestatguardonadaambelpremiDivulgadelMuseudelaCiènciadeBarcelona,elpremiRafaelCampalansdel’Institutd’Estudis Catalans i la medalla Narcís Monturiol de la Generalitat de Catalunya. ÉsFellowde l’EuropeanAssociation for Artificial Intelligence, imembre numerari de laReialAcadèmiadeCiènciesiArtsdeBarcelona,idel’AcadèmiaEuropaea.

3

Enl’àmbitliterari,lessevesnovel·lesPedresdetoc(Columna,2003)iMiraclesperversos (Pagès Editors, 2011) van merèixer els premis Primera Columna i FerranCanyameresd’intrigaimisteri.

De la confluència dels seus interessos científics i literaris han sorgit duesnovel·les de ciència ficció, Lamutació sentimental (Pagès Editors, 2008) i Enxarxats(MalesHerbes,2017),onelsdilemesèticssuscitatsperlarobòticailesxarxessocialsjuguenunpaperdestacat.Lamutaciósentimental,guanyadoradelspremisManueldePedrolo2007 i Ictineu2009,haestat traduïdaalcastellà (EditorialMilenio,2012) ial’anglèsambeltítolTheVestigialHeart(MITPress,2018)juntamentambunsmaterialsperaimpartiruncursde“ÈticaenRobòticaSocialiIntel·ligènciaArtificial”.Tambéhapublicatunassaigsobre la influènciade laciència-ficcióeneldebatètic:Robbie, thepioneer robot nanny: Science fiction helps develop ethical social opinion (InteractionStudies,2010).

Algunsdelsseusrelatssobremàquines,comZacielrellotgedel’ànima,Lavitae-terna,unaarítmiasilenciada,Eljocdejocs,MemoriadeequipoiL’indigenthanestatrecollits en les antologies Els fills del capità Verne (Pagès Editors, 2005), la revistaCatarsi (2013), Elles també maten (Llibres del Delicte, 2013), Científics lletraferits(UniversitatdeValència,2014),Alucinadas (Palabaristas,2014;Sportula,2015) iDeurelats ecofuturistes (Mals Herbes, 2016). La vita e-terna i L’indigent van obtenir elpremi Ictineu almillor relat original en català el 2014 i 2017, respectivament, i hanestat publicats en italià i anglès en l’edició bilingüeMeccanicaMente - MechanicalMind(FutureFiction,2017),aixícomencastellàal’antologiaPoshumanas(LibrosdelaBallena,2018)ilarevistaSupersonic#10(2018).

Mésinformacióahttp://www.iri.upc.edu/people/torras,clicant"racóliterari".

Entrevistesambl’autora

MagazinedeLaVanguardia,2/9/2018

http://www.magazinedigital.com/historias/entrevistas/carme-torras-confio-en-union-persona-maquina

ElPeriódico,27/11/2016

https://www.elperiodico.com/es/mas-periodico/20161127/carme-torras-evolucionamos-tanto-tan-rapido-que-no-hay-control-5649905

BarcelonaMetròpolis,núm.091,2014

http://lameva.barcelona.cat/bcnmetropolis/entrevista/el-risc-que-els-humans-ens-tornem-robots/

4

Presentacions/vídeosdel’autora

CongrésCiènciaiFicció,9/7/2015

https://www.youtube.com/watch?v=hXEYMTBy76U

Programa“Eldiadedemà”,Canal33,17/7/2017

http://www.ccma.cat/tv3/alacarta/el-dia-de-dema/la-familia-el-dia-de-dema-robots-a-la-familia/video/5678964/

IntroduccióalmaterialdidàcticElsrobotshumanoidesdeficció,comelsROBbie,ROBco iAlpha+d’aquestanovel·la,s’assemblen més als robots assistencials i de serveis que ja es comencen acomercialitzaravuidiaquenopasalsbraçosrobotindustrialsdeleslíniesdefabricacióde cotxes. La nostra creixent interacció amb aquests robots humanoides en la vidaquotidiana planteja qüestions socials que vanmoltmés enllà de les de la RevolucióIndustrial, ja que els robots entren en dominis anteriorment exclusius dels humanscomlapresadedecisions,elssentimentsilesrelacions.Ensagradariasabercomensafectaràalespersonesaixòdecompartireltreballil’ociambcompanysrobòtics,peròresultagairebéimpossiblepreveure-hoambuncertrigorcientífic.

Una societat robotitzada és, sens dubte, un sistema complex, i tenint encompteladificultatdepredircomevolucionarà,unenfocamentraonableésimaginarpossiblesescenaris futurs i fomentareldebatsobreelsseusavantatges i riscos.Aixòpermet a les persones forjar-se opinions ben fonamentades, cosa que afavoreixl’autoregulació i la millora de la societat molt més que imposar cegament unesnormes. El material que ve a continuació és un intent en aquesta direcció. Estàorganitzatensisseccions,cadaunad’ellesrelacionadaambunapartde lanovel·la, ilesseccionscomparteixenlamateixaestructura:primeresplantegenquatreqüestionsderivades de la lectura d’un o dos capítols, per tal de desencadenar el debat, i acontinuaciósesuggereixenalgunesviesderespostaquehanproposatexpertsenèticaaplicadaalaintel·ligènciaartificialilarobòtica.

Aquestmaterialestàpensatperaunpúblicgeneralquetinguicuriositatperlesinnovacionstecnològiquesiqueestiguipreocupatperlaresponsabilitatsocial,iespotutilitzar en grups de lectura i discussió, aules d’educació secundària i programes deformaciócontínua.Tambépotservircomaajudadocentencursosuniversitarissobrevalors culturals i ètics en tecnologia, especialment en àrees com informàtica ienginyeria,peròtambéenfilosofia,psicologia,ciènciespolítiques,ciènciescognitivesilingüístiques. Per als lectors més acadèmics, a la pàgina web de MIT Press(http://mitpress.mit.edu/books/vestigial-heart) hi ha una guia docent en anglès

5

(ancillarymaterials)lliuredecost,ons’aprofundeixenelsproblemesèticsplantejatsalanovel·laiesdonenreferènciesbibliogràfiquesperaunaposteriorlectura.

Guiadelectura

1.DISSENYANTL’ASSISTENT"PERFECTE"

LECTURES

Capítol1:Alpha+iDr.CraftCapítol5:ROBcoiLeoPREGUNTES

•S’hauriadepromouresocialmentlaconfiançaenelsrobots?Siésaixí,com?•Éslícitdissenyarrobotsquecreïnaddicció?•Calexcloureperdissenylapossibilitatquesiguinconfososperéssersvius?•Podrienelsrobotsserutilitzatspercontrolarlespersones?FRASESDESTACADES

“Una bona tria d’estímuls, aquest és el secret del benestar. [..] Calia conèixer bé l’home, cada home, per poder-li activar els ressorts adients en cada moment. [..] Havien de concebre un ROB genèric molt adaptable i aconseguir que l’adaptació fos molt ràpida. Si trigava una setmana a encertar la manera de despertar el seu PROP o la dosi de sucre que calia posar-li al cafè, la idea se n’anava en orris.”

“El que voldria és un assistent que l’estimulés a pensar diferent, que l’advertís quan s’endinsa per camins fressats, i li assenyalés les bifurcacions prometedores…”

SUGGERIMENTSPERALADISCUSSIÓ

Els tretsatribuïtsaunassistent“perfecte”varienengranmesuraentre lescultures,així com entre els individus. A més, els fabricants i usuaris de robots poden tenirinteressos oposats. Des d’un punt de vista empresarial, el Dr. Craft defensa que elsrobots siguinmolt adaptables, que s’ajustin als seus propietaris com un guant, quecobreixintoteslessevesnecessitatsi,ambsort,elsmantinguinenunpermanentestatdebenestar;peròcomausuarivolunajudantquel’estimuliapensaricomportar-sede forma diferent de l’habitual. De lamateixamanera, Leo presumiblement obeeixcriterismésestrictesenlasevaactivitatdedissenyprofessional(perexemple,pelquefaaseguretatimanteniment)quenopasquansintonitzaelseurobotcomausuari.

6

El risc d’engany en el desplegament social dels robots és elevat: els ancianspoden ser induïts a creure que els seus assistents robòtics es preocupen per ells idelegar-los totes lesdecisions;elsnenspodentenir la il·lusióqueels seus robotsdejoguinatenenestatsmentalsiemocions;ielpúblicengeneralpotcomençarapensarqueels robots són realment intel·ligents i tenen intencions.Unprincipigeneralmentacceptat és que els robots no s’han de dissenyar de manera que suplantin lanaturalesahumana;sinóquelasevacondiciódemàquinahadesertransparent.

Els robots poden reforçar certs hàbits i valors en l’usuari, però les qüestionsclausónquidecideixquinshandeseriaquihandebeneficiar:l’usuari,lasocietatengeneral oungrupparticulardepersones. Si és l’usuari que,per exemple, vol seguirunadieta,ellmateixpotsintonitzarelrobotperquèeldistreguidemenjarentreàpats,o perquè es comporti com unamena de “pepito grillo” advertint-li que simenja sen’avergonyiràmésendavant.

Espodenprogramarcomportamentssimilarsenelsrobotsperfomentarhàbitssaludablesen lasocietatamb l’objectiudereduirelscostosd’atenciósanitària,peròtambé es pot utilitzar aquesta programació per augmentar els beneficis d’algunesempreses o afavorir els interessos polítics d’un partit o d’un estat. Fins i tot si esrealitzenen interèsde l’usuari,encoratjamentsd’aquestamenapodenserpercebutscommassaintrusiusimolestos,iescorreelriscd’enutjarlespersones,especialmentaquelles amb personalitats irascibles. El Dr. Craft és una d’elles, i aquesta situaciós’il·lustraalaprimeraescenadelanovel·la,quanetzibaalseurobotAlpha+:“Deixa’mestar,bèstiamaleïda”ilidónaunempentaquanestàintentantdespertar-lo.Pertant,l’efected’aquest tipusd’encoratjamentdependràengranmesurade l’usuari ide lescircumstàncies, i la necessitat de personalització s’ha de tenir en compte durant eldisseny.

2.APARENÇAIEMOTIVITATDELSROBOTS

LECTURES

Capítols9i12:ROBbieiCèliaCapítol10:LeoalaconvenciódeCraftERPREGUNTES

•Cominflueixl’aparençadelsrobotsenlasevaacceptaciósocial?•Quinssónelsavantatgesielsperillsdelsrobotsquesimulenemocions?•Heuexperimentatosentitaparlardel’efecte“vallinquietant”(uncannyvalley)?•S’hauriadefomentarlavinculacióemocionalambelsrobots?

7

FRASESDESTACADES

“La Lu m’ha regalat un robot per a mi sola. [..] és com els de la guerra de les galàxies, però, a més de cames, té quatre rodes per quan vol anar més de pressa, i no té cara. Bé, té una mena de cap sense nas, boca, ni orelles, sols dues càmeres, i una pantalla incrustada al pit. Es diu ROBbie.”

“La Cèlia s’atura un moment i, entendrida, li busca els ulls: mai cap company no li havia jurat fidelitat amb tant de convenciment, però dos forats foscos la posen de nou en situació. Per bé que no del tot. En reprendre la marxa, l’observa de reüll i li fa goig veure’l amb el posat tan digne, balancejant suaument aquests braços forts i brillants. Fa patxoca caminar al seu costat, se sent protegida, d’ell se’n pot refiar. I tant se val que no tingui ulls, la gent d’ara tampoc no la miren.”

SUGGERIMENTSPERALADISCUSSIÓ

L’aparençaantropomòrfica i les emocions simuladespoden ferqueels robots siguinmésconvincentsensituacionsd’emergència, fentque lagentresponguiabans iambmés rapidesa. Tanmateix, una directriu àmpliament acceptada és que el graud’antropomorfismeisimulaciód’unrobotnohauriadesersuperioralrequeritperalatasca concreta queha de realitzar.Una consideració èticamés genèrica relacionadaamb l’aparença és, per descomptat, la necessitat d’evitarmorfologies i expressivitatsexistes,racistesi,engeneral,discriminatòrieseneldissenyiprogramacióderobots.La Cèlia se sent unida al seu robot ROBbie pel seu comportament fidel, fiable iprevisible,queesveureforçatperlasevaaparençainequívocademàquina.

Nombrosos estudis han demostrat que, commés antropomòrfic és el robot,més positiva i empàtica és la resposta humana, fins que s’arriba a un punt en quèl’excessiva semblança del robot ambun humàprovoca repulsió; això es coneix coml’efecte"vall inquietant" (enanglès,uncannyvalleyeffect).A l’estanddelsDesastres,enLeoexperimentaaquestarepulsiódavantd’unnadómecànicis’adonaquel’efecte“vallinquietant”potferfracassarunproducterobòtic.

Elriscprincipaldelavinculacióemocionalaunrobotésl’anomenatproblemadels lotòfags o menjadors de lotus (en anglès, lotus eater problem) que apareix al’Odissea d’Homer. En el nostre context, la facilitat de relacionar-se amb un robotpodriaerosionarlamotivacióperestablirvinclesamblespersones,quenosempresónemocionalmentagradables,conduintal’aïllamentsocial.Enelcasdelsnens,aixòpotser especialmentperjudicial, ja que reduir el contacte amb familiars i companyspotalterar greument el seu desenvolupament, per exemple, impedint-los aprendre aempatitzar.A laCèlia li agradaqueROBbiees comportimés "racionalment"queelsseuscompanysdeclasseilasevamareadoptiva,jaqueenobeirunesreglesnolafasentirmaidescol·locadaniconfosa.Amés,sesentprotegidapelrobot,queveucomuncompanyfidelenquipotconfiar.

8

En comptes de posar límitsmorals al disseny de robots, que és la tendènciadominantavui,algunsfilòsofspropugnencentrar larecercaen la interacciópersona-robot i en com aquesta interacció pot enriquir la nostra vida emocional demanerapossiblementdiferenticomplementàriaalesrelacionshumanes,millorantelbenestarilafelicitatdelespersones.

3.ROBOTSENL’ÀMBITLABORAL

LECTURES

Capítol13:Leo,ROBco,Dr.CraftieldispositiudetempsmortPREGUNTES

•Elsrobotsprincipalmentcrearanodestruiranllocsdetreball?• Com s’hauria d'organitzar el treball per optimitzar la col·laboració entre humans irobots?• Els experiments sobre la interacció humans-robots requereixen una supervisióespecífica?• Caldrà adequar les lleis de propietat intel·lectual a les col·laboracions humans-robots?FRASESDESTACADES

“[Dr. Craft a Leo] —Tan ufà estàs del teu disseny que pretenies treure’l d’estranquis de CraftER? Convenç-te que és impossible: el dispositiu de temps mort és un dels projectes que he dirigit personalment.

[..] saber que els coneixements dels projecte se li esborraran en traspassar el llindar el neguiteja una mica.

[Bet a Leo] —[..] Un sistema de protecció tan intrusiu deu ser il·legal. A MascotER també n’hi ha, de protecció, però no vulnera els drets dels empleats.”

“[Leo] Alça la vista cap als ulls electrònics que el vigilen tothora i pensa que és una sort que no puguin llegir-li la ment.”

SUGGERIMENTSPERALADISCUSSIÓ

Lapreocupacióperlapèrduadellocsdetreballnoésespecíficadelarobòtica,jaquees remunta a les revolucions agrícola i industrial i, més recentment, a la revoluciód’Internet.Larespostaestàndardésqueelstreballadorshumansesdeslliurarandelestasques perilloses, brutes o monòtones (les infames tres Ds en anglès: dangerous,dirty, dull) per poder dur a terme treballs de “major valor”, principalment en el

9

disseny, programació, comercialització, manteniment i ús d’aquestes novestecnologies. No obstant això, aquesta tendència positiva té un perill: la fracturatecnològica.Lamajoriadelstreballadorsdesplaçatsnopodranoptaralsnousllocsdetreball. Als països desenvolupats, el canvi de capacitació professional requerirà eltranscurs d’almenys una generació i, per a les societats subdesenvolupades, el buiteconòmicpotarribaraserinsuperable.Elrepteésideariestablirmesuressocialsperaunadistribuciómésequitativadeltreballidelsrecursos.

Elsassistentsrobòticsdissenyatspercol·laborarestretamentambelshumansplantegenunanouproblema:comdefinirelslímitsentreeltreballhumàieldelroboten una tasca compartida, demanera que no només esmaximitzi la producció, sinóque,perdamuntdetot,espreservinelsdretsiladignitatdelsprofessionals.Untemacadavegadamésimportantseràcomdividirelcrèditpelsèxitsilaresponsabilitatdelsfracassosentrelapersonaquetreballaambelrobotielseuprogramador.Aixòesdevéencaraméscomplicatenelcasdelsrobotsambcapacitatd’aprenentatge,jaqueelseucomportament depèn tant del programari que duen incorporat com de les sevesexperiències al llarg del temps, cosa que confereix responsabilitats també a lespersonesamblesqualselrobothainteractuat.

Algunsd’aquestsperillsiproblemessónexemplificatsalanovel·laquanveiemenLeo lluitantendosfronts:enprimer lloc, temque lasevaprivacitat ielsdretsdepropietatintel·lectualpuguinserviolatspeldispositiudetempsmortinstal·latpelDr.Craft; iensegon lloc, s’esforçapermostraraROBcoquetenenhabilitatsdiferents i,per optimitzar la seva col·laboració, cal que cadascú faci el que sap fer millor icomunicar-seenunterrenycomú.

4.ROBOTSDESUPORTAL’AULA

LECTURES

Capítol14:Cèliaal’escola,vistaperlasevamareadoptivaLuCapítol16:Cèlia,lasevacompanyadeclasseXis,ilasevatutoraSilvanaPREGUNTES

•Hihalímitsalquepodenensenyarlesmàquines?Siésaixí,quinssón?•Onéslafronteraentreajudaricreardependència?•Quihauriadedefinirelsvalorsqueelsmestresrobòticstransmetrienifomentarien?•Quinarelacióhihauriad’haverentreelsprofessorsrobòticsielsprofessorshumans?FRASESDESTACADES

“… el tutor ha penjat a la Cèlia l’etiqueta de rebel perquè, desoint les seves advertències, s’entesta a competir amb les màquines. [..] davant de qualsevol qüestió,

10

es queda aturada intentant construir la resposta, en comptes de [buscar-la a la xarxa...] Entre els companys s’ha guanyat una gran fama d’endevina que l’ha convertida en líder. Però això no ajuda gens el seu rendiment escolar, que és molt fluix.

“… haurà de treballar conjuntament amb ROBbie, perquè ja se sap que, si el nen surt transgressor, el robot ha d’aprendre a contenir-lo, a contrarestar els seus impulsos, a encaminar-lo..., per alguna cosa és personalitzable, cal que es complementin per formar un bon equip.

És l’últim que li faltava sentir, que haurà d’educar un robot!”

SUGGERIMENTSPERALADISCUSSIÓ

Elsrobotsdetelepresènciaperensenyarllengüesestrangeresomúsica,perexemple,esconsiderenútilsal’aula,comtambéelsrobotseducatiusperiniciarelsnenspetitsenlaprogramacióoperencoratjareltreballenequipafideconsolidarconceptesdediverses disciplines. La discussió sorgeix quan s’apunta la possibilitat que mestresrobòticsautònomspuguinarribarasubstituirelsprofessorshumansenlatransmissiódels valors culturals i el pensament crític. Com podria una màquina motivar elsestudiants o proporcionar orientació moral sense l’experiència que proporciona lavida? Com aprendrien els nens a empatitzar i a raonar, no només lògicament sinótambé emocionalment? Com desenvoluparien el respecte per les persones grans il’admiracióperlesgestesdelsherois?

A l’escola de la Cèlia, els alumnes aprenen a buscar solucions a l’EDUsis encomptesd’intentarraonarperellsmateixos, iestansubjectesaunformamecànica iextremad’entrenamentpera lasocialització;noésestrany,doncs,que laXismostrisímptomesdepatiruntrastornreactiudelavinculació(enanglès,reactiveattachmentdisorder - RAD). Per descomptat, es poden imaginarmillorsmaneres d’ensenyar unboncomportamentsocial.Perexemple,unrobotpotsomriureoferaltresgestosqueafavoreixinl’intercanvidejoguinesentrecompanysdejocisimulardecepcióquanunnenesnegaacompartir-les.Demanerasemblant,elsrobotspodrieninduirelsnensainteractuar amb altres nens amb qui no s’associen habitualment per tal d’evitar laformaciódecamarilles.

Encomptesdelsprofessorshumans,ésl’EDUsisquiprogramal’educacióquehaderebrecadaalumne,itéproblemesambprogramarladelaCelia, jaquereaccionademaneradiferentdels altresnens. La seva creativitat—una característicahumanagairebéextingidaenaquellaèpoca—ésuntemaimportantirecurrentenlanovel·la,quealertadelriscque latecnologiadisminueixi lacreativitateneldesenvolupamenthumà.

Ludónaper fetqueelsparesteneneldretdecontrolarconstantmentelquefan els seus fills, cosa que els pot impedir aprendre a comportar-se d’una manera

11

autònomaideteriorarlasevacapacitatperprendredecisions.Amés,tambéfomentaladependència infantildienta laSilvanaquehauràd’ensenyara laCèlia ienROBbiecomunequip,demaneraqueelrobotaprenguiasuplirlesmancancesdelanoia.

Aixòplantejalaqüestiódesielsmestresrobòticsdesuportdinsl’aulahandeferequipambelsprofessorsoambelsalumnes.D’unabanda,elsrobotspodenferunseguiment del progrés i de l’actitud de cada nen amb molta més precisió que elsprofessorshumans,aixícomgenerarmodelsdetallatsdelsalumnesquesónmoltútilsperproporcionarunaassistènciapersonalitzada.Però,d’altrabanda,perguanyar-selaconfiança dels nens, els assistents robòtics no han de revelar els seus “secrets” alprofessor.Trobarl’equilibrientreambduesmaneresdecomportar-senoésunatascafàcil.

5.INTERACCIÓAMBROBOTSIDIGNITATHUMANA

LECTURES

Capítol25i28:LeoiSilvanaPREGUNTES

•Quantopalacapacitatdedecisiódelsrobotsamblallibertat/dignitathumana?•Ésacceptablequeelsrobotsactuïncomasubstitutsemocionals?Siésaixí,enquinscasos?•Podenutilitzar-serobotscomaterapeutesperapersonesambdiscapacitatpsíquica?• Com d’adaptatius i personalitzables haurien de ser els robots? Hi ha límits a lamillorahumanaambpròtesisrobòtiques?FRASESDESTACADES

“[Silvana] —Si a mi les màquines amplificadores em semblen la mar de bé: sense telemanipuladors els cirurgians no podrien operar a escala microscòpica i, sense INFerors, trigaríem massa a avaluar les conseqüències de prendre una decisió o una altra... Són els ROBs que rebutjo, i el lligam personal que per força s’hi estableix i que acaba copant el cercle íntim de les persones. Tu mateix ho has dit: no necessites res més... i, amb el temps, us torneu de suro com ells.”

“[Leo] —…Tots els ROBs estan al servei de les persones. [Silvana] —Només que el servei és sovint enverinat. Per què creus que ens oposem a aquests esguerros mecànics? Per esnobisme? Doncs, no senyor. Els robots malcriadors fan persones malcriades, els esclaus fan dèspotes, i els entretenidors lleven el cervell als seus PROPs. I el pitjor és que tant us fa el que ens passi a tots plegats amb tal que es venguin.”

12

SUGGERIMENTSPERALADISCUSSIÓ

Els usuaris esperen que un cuidador robòtic tingui les competències bàsiquesd’interaccióper tractarsituacionsèticamentsensibles.Perexemple,pernoprovocarsentiments d’objectificació i pèrdua de control, els robots no haurien d’aixecar nibellugarlespersonessenseconsultar-les.Delamateixamanera,semprehand’utilitzarunllenguatgerespectuósinointimidarmaielsusuaris.ReaccionantalqueinterpretacomuncàusticconselldeROBco, laSilvanapreguntaaenLeosinotrobadegradantque el robot li parli d’aquesta manera. A més, la capacitat tan útil dels robots perrecopilar dades sobre una persona i transmetre-les per al control mèdic s’had’equilibrar amb el dret a la privacitat i a controlar la pròpia vida, per exemple, enrefusar ser sotmès a un tractament. Això planteja preguntes sobre fins a quin punts’handeseguirelsdesitjosd’unpacientounapersonagran,i larelacióentreelgraudecontrolsobrelapròpiavidaielseuestatdesalutmental.

La ideade teniruncompany robòtic semblanaturalperaalgunespersones igairebéobscenaperad’altres.Donadalanaturalesa,devegadesdolorosaicapritxosa,de les relacionshumanes,noés sorprenentquealgunsprefereixincompartir la sevavida amb un robot, que tindrà un comportament previsible i que mai no criticarà,l’enganyaràorevelaràlasevaintimitat.Aixòpotseracceptableperaunadultenpledomini de les seves facultats mentals, però cal evitar la utilització de substitutsemocionals en el cas d’usuaris vulnerables, i especialment amb els nens. De totamanera,elscuidadorshumansdevegadessimulenafectepermillorarelbenestardelspacients i, per tant, pot ser acceptable que els robots ho facin en circumstànciessemblants.

Hi ha una gran diferència entre simular afecte i mostrar comportamentsemocionalmentintel·ligents.Captarl’estatemocionaldel’usuaripotsermoltútil,totiqueunainterpretacióerròniapottenirconseqüènciesnefastes.Algunspsicòlegsfinsitot suggereixen que la il·lusió de comprensió emocional per part d’un robot queestableix contacte visual amb l’usuari i respon al tacte pot ser terapèutic en algunscontextos.Lesvirtutsaddicionalsdelsrobotscomaterapeutessónlaseva"paciència"sensefi,lacapacitatd’actuarrepetitivamentsense"avorrir-se”,ielfetdenomostrarmai sentiments involuntaris, que alguns els humans no poden reprimir. De fet, hanestatutilitzatsambèxitperajudarnensautistesaadquirirhabilitatssocials.

En resum, el repte és com assegurar que els robotsmillorin la qualitat de lanostra vidaquotidiana, ampliïn lesnostres capacitats i augmentin lanostra llibertat,evitantalhoraqueensfacinmésdependentsiemocionalmentfebles;ésadir,l’eterndilemadecomaprofitarelsavantatgessensepatir-nelesconseqüènciesnegatives.Enles seves acalorades discussions, en Leo defensa la visió positiva dels robots com apotenciadorsdelesnostrescapacitatsfísiquesicognitives,mentrequelaSilvanaposa

13

demanifestelperillque lesvinclesemocionalsambels robotsacabinsubstituint lesrelacionsíntimesdelespersones.

6.RESPONSABILITATCIVILIROBOTSMORALS

LECTURES

Capítol30:Dr.CraftiAlpha+PREGUNTES

• Es pot garantir la fiabilitat/seguretat d’una màquina? Com es poden prevenir elpirateigielvandalisme?• Qui és responsable de les accions dels robots? Hauria de ser modificable elcomportamentmoralenelsrobots?• Quan ha de prevaler el benestar de la societat sobre la privacitat de les dadespersonals?•Quinesfracturesdigitalspotprovocarlarobòtica?FRASESDESTACADES

“Alpha+: «Objecto: va contra les normes. No puc abandonar el meu PROP en perill.» —Perill? —El Dr. Craft s’alça fet un energumen i es dirigeix cap al robot—. Tu sí que t’has convertit en un perill: em narcotitzes, em raciones els plaers, i ara vols impedir que la meva ment s’expandeixi? S’ha acabat, ferregot! Alpha+: Què fa? No m’apagui el sintetitzador. Parlem-ho. L’ajudaré a aconseguir el que vol.» —Ni sintetitzador, ni hòsties! Sencer et desconnectaré aquesta vegada... i viuré tranquil. [..] … el Doctor ha mort. [Leo] —Una trampa mortal... això és el que he inventat. [Silvana] —No parlis així, ha estat un accident, no és culpa teva. És ell qui ha desconnectat el seu ROB, no? Potser sabia a què s’exposava i és precisament el que pretenia: suïcidar-se.” SUGGERIMENTSPERALADISCUSSIÓ

Els robots autònoms han de prendre decisions en situacions imprevistes pels seusdissenyadors.Aixòplantejanonomésqüestionsdefiabilitatiseguretatperalsusuaris,sinó també el repte de regular la presa de decisions automàtica, especialment encontextos èticament sensibles, i d’establir procediments per atribuir responsabilitatsalsrobots.

14

Alguns argumenten que els robots poden prendre millors decisions quant amoralitat que no pas els humans, ja que la seva racionalitat no està limitada per lagelosia, la por, o el xantatge emocional. Fins i tot assumint que unes regles d'èticageneralespoguessinimplementarenelsrobots,sorgeixenpreguntessobrequihadedecidirquinamoralescodificaenaquestesreglesifinsaquinpuntlesnormespodensermodificablesper l’usuari. Perexemple,noestà clar si s’hauriadepermetreaunrobotactuarencontradel’autonomiadel’usuaripercomportar-sedeformamésèticacapaaltreséssershumansoeninterèsdelasocietatengeneral.

Alpha+diuque lesreglesprohibeixenabandonarelPROPquanestàenperill.Peròel seuPROP,elDr.Craft,és finalmentquidecideix iapagael seurobot.Quiésresponsabledelfataldesenllaç?Leosesentdoblementculpable,comadissenyadordelacabinasensorial—una“trampamortal”,es lamenta— i comaPROPdeROBco,elrobot directament implicat en la mort, mentre que Silvana afirma que ha estat unaccidentobéunsuïcidi.

Unrobotésunaeinai,comatal,noésresponsablederes,peròsemprehauriadeserpossibledeterminarquiéslegalmentresponsabledelessevesaccions.Enelcasdels robots capaços d’aprendre de l’experiència, aquesta responsabilitat pot sercompartidaentreeldissenyador,elfabricanti l’usuari;tambéunhackerpotcarregaramb la responsabilitat si es demostra la seva intervenció il·legal. En previsió depossibleslitigis,éscrucialqueelprocésdedecisiód’unrobotsiguireconstruïble.S’hasuggeritqueelsrobotsestiguinequipatsambunacaixanegranomanipulable,comlaquearaduenelsavions,quedocumenticontínuamentelsesdevenimentsrellevantsiels resultats significatiusdelprocésd’aprenentatge.PerconvènceraLeoquenopotser culpat de la mort del Dr. Craft, ROBco li recorda que el registre d’Alpha+ deuguardarconstànciaqueelseuPROPelvadesconnectar.

Ésbensabutquelestecnologiesdigitalsoriginenfracturessocials(enfunciódel’edat, la riquesa, l’educació, les zones geogràfiques) i els robots poden ampliaralgunesd’aquestesfracturesacausadelseucost,lasevaimplementaciófísicaielseuúsnotrivial.Alainversa,desenvoluparassistentsrobòticsperacol·lectiusvulnerablespodria reduir les discriminacions socials i ajudar a aprimar aquestes fractures si esprenguessin mesures polítiques per proporcionar els recursos financers i elsconeixementsnecessarisaaquestsgrups.Leoésconscientd’aquestproblemasocialidecideix sacrificar la seva immediata llibertat per treballar perquè la pròtesi decreativitatestiguidisponibleperatothom.

ConsideracionsfinalsPeracabar, retornaréa l’epígrafde l’inicidel llibre:«Són les relacionsquehemanatconstruintlesque,alseutorn,ensmodelen».ElfilòsofRobertC.Solomonesreferiaa

15

les relacions humanes, però aquí podem reinterpretar-lo en el sentit que lesinteraccionsambelsrobotsqueestemestablintalseutornensmodelaran.Enaquestalínia, Silvana afirma provocativament que els robots esclaus fan que els seuspropietaris siguindèspotes,elsentretenidorsels converteixenenunsdescerebrats, ielssobreprotectorselstornenunsmalcriatsfent-los-hitotifinsprenentlesdecisionsper ells; Leo ho rebatmostrant que els robots poden ser estimulants i fomentar lanostracreativitat,possibilitantaixíquelahumanitatarribiaalturesimprevistes.

Comlamajoriadelsinvestigadors,nosostincniunavisiócatastròficadelfuturniunoptimismececenrelacióalprogréstecnològic.Crecqueelsrobotsd’assistènciapersonal tenen un lloc a casa, a l’escola i a la feina per alliberar-nos de tasquesavorrides,millorarlesnostrescapacitatsfísiquesicognitives,idonarmésautonomiaapersones grans i ambdiscapacitats, però només en circumstànciesmolt restringidespoden ser utilitzats com a substituts emocionals. Aquests robots plantegen intricatsproblemessocialsisubtilsqüestionsètiques,queobrenpossibilitatssorprenentsperalfutur.Enaquest terrenytandelicat, laciència ficcióenspotajudaraaclarirelpaperque l’humà i el robot han de jugar en aquest pas de deux en què estemirremissiblementlligats.

Explorar aquest papermitjançant un debat a l’aula és precisament l’objectiuperseguitambaquestmaterialdidàctic.Mésenllàdelssuggerimentsperaladiscussióapuntats,lanovel·lapotservirdebaseperaaltresactivitatscomdramatitzarescenes,aprofundir en les raons de cada personatge, imaginar noves situacions, cercarinformaciósobrelatecnologiadescritailesqüestionsètiquesplantejades,relacionar-hoambaltres relatsopel·lículesdeciència ficció,etc.Depenentde l’assignatura,espotfermésèmfasienlacomprensiólectora,eldesenvolupamentdelacreativitat,elsvalorsèticsilaimplicaciósocial,leshabilitatsderecerca,oelscontingutstecnològics.

Perúltim,s’hadesenvolupatunapetitapresentacióPowerPoint,persipotserútilalmestre,quelapodràestendreimodificaravoluntat.

PresentacióPowerPointhttp://www.iri.upc.edu/people/torras/raco_literari/Materials_didactics_roboetica.pptx

©Carme Torras i Pagès Editors, 2008