minority report: interacció gestual - tecn.upf.essjorda/tsi2006/alumnes_anteriors/tsi0506... · n...

36
Minority Report: Interacció gestual Taller de Sistemes interactius 1 Roger Ribera

Upload: hoangtu

Post on 30-Apr-2018

218 views

Category:

Documents


3 download

TRANSCRIPT

Page 1: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Minority Report: Interacciógestual

Taller de Sistemes interactius 1

Roger Ribera

Page 2: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Minority Report: Interacciógestual

n Introducción John Underkofflern Els inicis del MITn Luminous Roomn Louminous Room i Minority Reportn Altres Aplicacionsn Conclusions

Page 3: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Introducción Minority Report (2002) – Steven Spielbergn Basada en una història de Philip K. Dickn Pel·lícula futurística (2054)n Intentarem descobrir si la interacció de John

Anderton amb l’ordinador és només ciència ficció

n Spielberg busca un film de ciencia ficció però el més realistic possible

Page 4: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Introducció

n Assessorament tècnicn 3 dies de conferències sobre com seria la

vida al 2054n Descobreix al personal del MIT

n L’equip d’Spielberg viatja a Massachusetts en busca de noves tecnologies per usar al film

Page 5: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

John Undekoffler

n Qui és John Underkoffler?n Underkoffler i el Tangible Media Group

al MITn Projectes que van des de Holovideo fins

a la interacció gestual

Page 6: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

John Underkoffler

n Projectes desenvolupatsn 1990 – Holovideon 1998-2002 Luminous Room

n 1998 – Illuminating Lightn 1999 – Urpn 1999 – Emancipated pixels: Real World

Graphics in the luminous roomn 2002 – Augmented Urban Planning Workbench

Page 7: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Els inicis del MIT

n Holovideon Aparell capaç de mostrar Hologrames 3D

creats per ordinador en temps realn Típicament els hologrames eren estàticsn La representació de 3D animat està limitat

a rendering 2Dn El problema de l’ample de banda

Page 8: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Holovideo

n Parts del sisteman La supercomputadora (CM2)n El frame buffern Display

n Amplificadorn Modulador acusto-optic (AOM)

Page 9: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Luminous Room

n Concepte de Luminous Roomn I/O bulb (lampara d’entrada i sortida)

Page 10: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

I/O bulb

n En el Tangible Media Group han prototipat 3 tipus de “bulbs”n A gran escala

Page 11: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

I/O bulbn A petita escala

Page 12: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

I/O bulbn A mitjana escala

n Aquest tipus és el que s’utilitzarà preferentment en la luminous room

Page 13: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Luminous Room

n 5 exemples d’aplicacions diferents per aquest entorn:n Illuminating lightn Chess &Bottlen Seepn Urpn Distributed Illumianting Light

Page 14: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Illuminating light

n La primera de les aplicacions creada per l’entorn Luminous Room

n Creada per ajudar als enginyers òpticsn El sistema reconeix diversos objectes

físics, que representen objectes del món de l’òptica (lasers,lens, miralls...)

Page 15: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Illuminating light

n El sistema detecta la posició i l’angle dels objectes i posa en funcionament el ‘sistema virtual’

Page 16: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Illuminating light

n Millora qualitativament la feina dels enginyers òptics.n S’interactua directament amb objectes

realsn És molt intuitiun És senzill i ràpid

Page 17: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Chess & Bottlen Aplicació experimental

n Al contrari que l’Illuminating Light no té una aplicació directa

n Exemple per veure que és capaç de fer la Luminous Room

n Aplicació tècnicament més semblant a l’interacció gestual de Minority Report

n Utilitzada en el pla vertical, no en l’horitzontal com les altres

Page 18: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Chess

n Es col·loca un tauler d’escacs movible a la paret, no importa el llocn El sistema el detecta i l’omple de les fites

corresponentsn Moure el tauler indueix al sistema a moure

individualment les peces a la seva nova posició

Page 19: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Chess

Page 20: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Bottlen Una altra variant de la mateixa aplicación Es defineixen contenidors físics d’objectes

digitals, per exemple, un gerro de vidre.n Els objectes digitals es poden associar als

objectes físics, “transportar-los” i desassociar-s’hi

n Fins i tot es poden moure a una paperera fisica, i un cop allà, s’eliminen també del sistema

Page 21: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Bottle

Page 22: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Seepn Una altra aplicació experimentaln Detecta qualsevol objecte que hi hagi

sobre la taula, i simula que és un obstacle per un “fluid computacional”

n Aquest fluid es representa com un grid hexagonal

n Els objectes físics es redueixen a una silueta 2D

Page 23: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Seep

Page 24: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Urpn Segona aplicació professionaln Adreçada a l’urbanismen Manipulació d’objectes reals detectats pel

sistema, que simulen edificisn El sistema detecta la posició dels “edificis”, i

mostra les obres solars que generarienn Més realisme: s’incorpora un rellotge des d’on

es pot modificar l’hora i com a conseqüència, les ombres van variant

Page 25: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Urp

Page 26: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Urp

n Afegeix també l’objecte “mouse”n Seleccionar edificisn El sistema marca la distància entre els

edificis seleccionatsn Si movem un dels edificis la distància

s’actualitza al moment

Page 27: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Urp

Page 28: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Distributed Illuminating light

n Permet distribuir en diferents workbenches un mateix sistema òptic

Page 29: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Altres projectes del MITn Tangible Bits, Hiroshi Ischii i B. Ullmer, 1997n La societat s’està desacostumant a utilitzar

objectes.n Cada cop ens estem centrant més i més en

un teclat i un mousen Pretén crear un workbench altament

interactiu, basat en objectes físics, no en una pantalla

Page 30: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Tangible bits

n MetaDeskn S’intenta mecanitzar el procés d’utilització

de l’ordinadorn Metàfores visuals

Page 31: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Tangible Bits

n transBoard

Page 32: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Luminous Room i Minority Report

n Similituds entre Minority Report i Luminous Roomn John Underkoffler, va utilitzar en la

pel·lícula característiqes de diverses aplicacions de l’entorn Luminous Room

n Tot i que en la pel·lícula l’interació era simulada, s’utilitzen molts dels conceptes del Tangible Media group

Page 33: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Luminous Room i Minority Report

n Similituds:n I/O Bulbn El workbench el trobem en el pla verticaln El sistema detecta en cada moment la

posició dels guantsn Permet associar objectes digitals a objectes

físics: fent un moviment en concret pot agafar una sola imatge i moure-la o rotarla

Page 34: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Altres Aplicacionsn Underkoffler està actualment treballant

per la Raytheon (US Army) creant un sistema basat en el del film

n Servirà per organitzar el nombre tan elevat de dades que es reben dels satèl·lits d’una manera ràpida i eficient

n Underkoffler: “Prémer tecles i moure el mouse limiten el teu grau de llibertat”

Page 35: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Altres Aplicacions

n Projecte per a l’US Armyn Intermig entre Luminous Room i Minority

Report

Page 36: Minority Report: Interacció gestual - tecn.upf.essjorda/TSI2006/alumnes_anteriors/TSI0506... · n Amplificador n Modulador acusto-optic (AOM) Luminous Room ... n Tangible Bits, Hiroshi

Conclusions

n John Underkoffler no ha arribat a Hollywood per casualitat

n S’està investigant molt en altre tipus d’interacció amb les màquines, que no impliqui teclat i mousen interacció gestual, probablement és la més

intuitiva