Realtà Virtuale - Percro - Scuola Superiore Sant'Anna

"A computer terminal is not some clunky old
television with a typewriter in front of it.
It is an interface where the mind and body can
connect with the universe and
move bits of it about."
Douglas Adams, Mostly Harmless
Realtà Virtuale: il passato, il presente, il futuro

Che cos’è la Realtà Virtuale ?
Il termine Realtà Virtuale nasce nel 1988, in un’intervista a
Jaron Lanier “A Portrait of the Young Visionary”.
Lanier:
“La VR è una tecnologia usata per sintetizzare una
realtà condivisa. Ricrea la nostra relazione con il
mondo fisico in un nuovo piano. Non influisce sul
mondo soggettivo e non ha niente a che fare
direttamente con ciò che è nel cervello. Ha a che
fare solo con cosa i nostri organi sensoriali
percepiscono.
Nella VR non c’è bisogno di una singola metafora,
come accade per il computer. Siamo abituati a
cambiare contesto nella vita reale: è normale
comportarsi diversamente in luoghi diversi.”
Realtà Virtuale: il passato, il presente, il futuro

Che cos’è la Realtà Virtuale ?
La Realtà Virtuale (VR) è “faticosamente” definibile…
Dickelman:
Un ambiente generato dal computer che simula la realtà in modo che i sensi lo
possano percepire
Withrow:
Un’interfaccia umano-computer in cui un computer crea un ambiente immersivo
che risponde interattivamente ed è controllato dal comportamento dell’utente
umsebiz.com:
Una simulazione informatica tridimensionale che risponde così realisticamente agli
input da far sembrare di vivere in un altro mondo.
Mavericks of the mind:
Una tecnologia interattiva che controlla totalmente gli input sensoriali e crea la
convincente illusione di essere completamente immersi in un mondo generato dal
computer.
Realtà Virtuale: il passato, il presente, il futuro

Che cos’è la Realtà Virtuale ?
Alcune parole chiave:
Dickelman:
Un ambiente generato dal computer che simula la realtà in modo che i sensi lo
possano percepire
Withrow:
Un’interfaccia umano-computer in cui un computer crea un ambiente immersivo
che risponde interattivamente ed è controllato dal comportamento dell’utente
umsebiz.com:
Una simulazione informatica tridimensionale che risponde così realisticamente agli
input da far sembrare di vivere in un altro mondo.
Mavericks of the mind:
Una tecnologia interattiva che controlla totalmente gli input sensoriali e crea la
convincente illusione di essere completamente immersi in un mondo generato dal
computer.
Realtà Virtuale: il passato, il presente, il futuro

Che cos’è la Realtà Virtuale ?
Ambiente
Computer
Sensi
Utente
Simulazione
Interazione
Immersione
Presenza
Realtà Virtuale: il passato, il presente, il futuro

Che cos’è la Realtà Virtuale ?
Definizioni:
Presenza:
La sensazione mentale di essere in uno spazio virtuale (non necessariamente
sintetico – applicabile anche a libri e film). Dà una misura del COINVOLGIMENTO
dell’utente.
Immersività:
Il calarsi completamente nel mondo virtuale, a livello sensoriale, tramite
interfacce. Dà una misura della PERCEZIONE del mondo virtuale come esistente.
Interazione:
La possibilità dell’utente di modificare l’ambiente e, da parte dell’ambiente, di
rispondere alle azioni dell’utente. Dà una misura del REALISMO della simulazione.
Introduce requisiti stringenti sul tempo reale.
Realtà Virtuale: il passato, il presente, il futuro

Che cos’è la Realtà Virtuale ?
Alcuni tipi di realtà virtuale:
VR testuale:
Può essere anche fortemente
interattiva, ma non immersiva
(es. RPG, MUD etc.)
VR desktop:
Interazione variabile,
immersività di solito scarsa
VR immersiva:
Forte sensazione di immersività,
l’interazione dipende fortemente
dalla complessità dell’ambiente
Realtà Virtuale: il passato, il presente, il futuro

Realtà Virtuale Testuale
Gli ambienti della Text-based VR sono rappresentati tramite
descrizioni testuali e non grafiche.
Sono comunemente noti come MUD (Multi User Dungeons) e
MOO (MUD Object Oriented).
Per quanto nati come gioco, molti MUD e MOO sono oggi
usati a fini educativi per due motivi fondamentali:
- La creazione del contesto di comunità
(permette l’esplorazione di codici sociali, dinamiche di gruppo etc.)
- L’incoraggiamento a lettura e scrittura
Svantaggi: la mancanza di feedback sensoriale li rende
spesso incompleti per alcuni fini educativi.
Realtà Virtuale: il passato, il presente, il futuro

Realtà Virtuale Desktop
Poiché le installazioni di VR sono molto costose, spesso si
usa il termine VR in senso più vasto includendo sistemi da
“scrivania”.
Solitamente le interfacce utilizzate sono limitate (perlopiù
mouse, joystick e tastiera) e questo limita la complessità
dell’interazione che, addirittura, può essere quasi nulla. I
risultati sono a volte simulazioni quasi passive di dettaglio
limitato.
Per quanto limitate, queste installazione costituiscono per
molte persone l’unico accesso realisticamente possibile per
applicazioni di VR.
Realtà Virtuale: il passato, il presente, il futuro

Realtà Virtuale Immersiva
E’ la Realtà Virtuale propriamente detta, in cui tutte le
componenti (Presenza, Immersività e Interazione) sono
presenti, anche se in quantità variabile.
Alcune caratteristiche comunemente disponibili:
- Prospettiva legata ai movimenti della testa
- Visione stereoscopica
- Ambiente virtuale realizzato con proprietà e scala realistiche
- Interazione realistica con l’ambiente tramite interfacce per
la manipolazione, operazione controllo
- Eventuale ritorno auditivo, aptico, e motorio
- Possibilità di condivisione dell’ambiente
Realtà Virtuale: il passato, il presente, il futuro

Che cosa NON è la Realtà Virtuale?
La RV NON è la realtà.
È in effetti una “connessione” simulata che viene proposta al posto di una
“connessione” reale tra utenti ed eventi reali.
E’ però vero che la realtà che comunemente sperimentiamo è sempre
mediata dal cervello e dal nostro sistema sensoriale. Loomis (1992)
distingue tra mondo fisico e fenomenico. Il risultato della mediazione con
il mondo fisico è il mondo fenomenico, che è una costruzione dei nostri
sensi e che è tutto ciò di cui siamo consci.
La nostra coscienza del mondo fisico è dunque indiretta.
Non è detto che, in futuro, la Realtà Virtuale non possa essere percepita
come realtà alternativa.
“And what exactly is a dream? And what exactly is a joke?”
(Syd Barrett/Pink Floyd, Jugband Blues)
Realtà Virtuale: il passato, il presente, il futuro

Che cosa NON è la Realtà Virtuale?
La RV NON mira a ricostruire la realtà.
Mira piuttosto a convincere un utente di essere nella realtà,
affinchè possa svolgere con naturalezza il compito (task) che
gli è stato assegnato.
L’utente deve pensare che il mondo fenomenico (virtuale) in
cui è immerso mantiene le aspettative di un mondo reale. La
realtà diventa una proprietà del mondo fenomenico.
Il fattore umano diventa un metro di giudizio indispensabile.
"What is 'real'? How do you define 'real'? If you mean what we can
taste, smell, hear and feel then what's 'real' is nothing more than
electrical signals interpreted by your brain."
Morpheus, The Matrix
Realtà Virtuale: il passato, il presente, il futuro

Che cosa NON è la Realtà Virtuale?
La RV NON simula la realtà.
Comunemente la RV simula alcuni aspetti della realtà, quelli
più legati al particolare microcosmo relativo al task da
svolgere.
Le pesanti esigenze in termini di tempo di calcolo e potenza
computazionale, si risolvono solitamente in
un’approssimazione di molte delle caratteristiche dell’AV
rispetto al mondo reale.
L’efficacia e il realismo della simulazione vanno validate con
l’ausilio di metriche che ne giudicano l’aderenza al
corrispondente reale, ma solo nel contesto del task.
Realtà Virtuale: il passato, il presente, il futuro

Realtà Virtuale e Realtà Reale
- Neo, I imagine you know something about Virtual Reality.
- Essentially, it's a hardware system that uses an apparatus to
make you feel that you are in a computer program.
- If the VR apparatus controlled all of your senses, would you be
able to tell the difference between the virtual world and the real
world?
- You might not, no.
- No, you wouldn't.
[The Matrix - WACHOSKI 1999]
- A show. Then who am I?
- You're the star.
- Nothing was real.
- Nothing was real. That's what made you so good to watch.
[The Truman Show – NICCOL 1998]
Realtà Virtuale: il passato, il presente, il futuro

Realtà Virtuale:
il passato
Realtà Virtuale: il passato, il presente, il futuro

Da dove nasce la VR ?
Nel 1956 Morton Heiling inventò un’attrazione chiamata
SENSORAMA, una sorta di simulatore passivo di motociclo.
Il sedile e il manubrio potevano vibrare
e lo schermo visualizzava un filmato
stereoscopico realizzato nel traffico di
Manhattan.
Anche il vento era replicato, ad una
velocità proporzionale a quella del
proprio movimento.
Perfino gli odori dei gas di scarico
venivano presentati nei momenti
appropriati.
Realtà Virtuale: il passato, il presente, il futuro

Da dove nasce la VR ?
“Al costo di 25 cents, Sensorama offre impressioni multisensoriali
di un giro in moto di 10 minuti per New York”
Dal momento che l’esperienza non era
interattiva, non si può ancora parlare
di Realtà Virtuale.
Il Sensorama non fu un gran successo
(“Era forse troppo rivoluzionario per i
suoi tempi”).
Realtà Virtuale: il passato, il presente, il futuro

Il primo HMD
Nel 1969, all’Università dello UTAH, Ivan Sutherland, il padre
della computer grafica, implementò un HMD stereoscopico.
Le immagini erano proiettate due
minuscoli monitor, uno per occhio,
montati su un dispositivo sospeso al
soffitto e fissato alla testa dell’utente
I movimenti della testa erano rilevati
dal dispositivo e inviati al computer
che generava la corretta prospettiva.
Realtà Virtuale: il passato, il presente, il futuro

Il primo HMD
Il progetto fu denominato "La spada di Damocle",
dal momento che sopra il casco vi era un così alto numero di tubi, fili ed
attrezzature varie. Inizialmente, il sistema utilizzava una telecamera per
mostrare immagini nei due display ottici. Poco dopo
venne modificato per mostrare il primo vero mondo
virtuale: l’utente poteva osservare un cubo in
wireframe e, muovendo la testa, vedere i vari lati
dell’oggetto.
Parallelamente nacque il BOOM, un binocolo con
due schermi, montato su un braccio meccanico per
il tracking.
Realtà Virtuale: il passato, il presente, il futuro

La nascita dell’interazione
Lo stesso Sutherland si era laureato nel 1962 a Stanford
presentando il sistema Sketchpad, un sistema grafico con il
quale l’utente poteva interagire mediante una penna ottica.
L'idea era ricavata dall'osservazione del
naturale gesto di disegno e quindi dalla
necessità di sfruttare il gesto spontaneo
del disegnatore con uno strumento molto
leggero e flessibile, che si avvicinasse
molto alla penna che era per il normale
strumento di disegno.
Inoltre il Sketchpad permetteva la gestione
parametrica delle entità di disegno perchè
aveva individuato in questa potenzialità
una delle peculiarità più promettenti della
computer grafica.
Realtà Virtuale: il passato, il presente, il futuro

La realtà artificiale
C’erano ormai abbastanza elementi per definire una nuova
entità. Nel 1970 Myron Kreuger coniò il termine Realtà
Artificiale.
“La realtà artificiale consiste nella
partecipazione, con tutto il corpo, agli
eventi del computer, così convincente da
farli accettare come una esperienza reale”
La promessa della realtà artificiale NON è quella
di riprodurre la realtà convenzionale, ma
l’opportunità di creare realtà SINTETICHE per le
quali non ci sono precedenti reali.
Realtà Virtuale: il passato, il presente, il futuro

Il force-feedback
Nel 1976 P.J. Kilpatrick, alla UNC, connesse un manipolatore
per teleoperazione ad un semplice ambiente grafico 3d.
L’ambiente consisteva in un tavolo ed un oggetto posto di esso, oltre alla
replica grafica del manipolatore. Se l’utente provava a portare la replica
grafica del manipolatore oltre il tavolo, il manipolatore fisico si bloccava
impedendo il movimento. Se l’utente afferrava l’oggetto, ne sentiva il
peso quando lo sollevava. In questo caso il manipolatore impediva di
chiudere le dita, dando la sensazione di aver afferrato l’oggetto.
Realtà Virtuale: il passato, il presente, il futuro

Grafica 3D
Nel 1977 il MIT realizzò l’Aspen Movie Map, una simulazione
virtuale della città di Aspen, Colorado.
CLIP
Gli utenti potevano esplorare la città
in tre modalità: inverno, estate,
poligoni. I primi due erano basati su
foto (i ricercatori fotografarono ogni
possibile movimento nelle strade
della città durante le due stagioni)
mentre la terza era un modello 3D. La
tecnologia usata era il videodisc, che
permetteva un accesso non
sequenziale alle immagini in modo da
poter selezionare quella corretta a
seconda del punto di vista.
Realtà Virtuale: il passato, il presente, il futuro

Sensori
Nel 1979 inventò Polhemus 3SPACE, un sistema di sensori per
rilevare la posizione e l’orientamento assoluti di punti nello
spazio.
Inizialmente concepito per essere
usato insieme ad un HMD, tale
sensore verrà usato anche per molti
altri utilizzi.
Il Polhemus era lontano dall’essere
perfetto e soffriva la presenza di
strutture metalliche. Ciò nonostante
permetteva di sostituire complessi
dispositivi meccanici per la
rilevazione dei 6 DOF necessari nelle
applicazioni di VR.
Realtà Virtuale: il passato, il presente, il futuro

Interfacce avanzate
Nel 1984 la NASA perfezionò un HMD usato come “cockpit
virtuale” (creato nel ’66) riducendone il costo da $1M a $20K.
All’HMD fu affiancato un sensore
Polhemus a 6-DOF per determinare
posizione e orientazione dell’utente, e
dei guanti (datagloves) che rilevavano la
postura delle mani.
Anche sui polsi furono inseriti dei sensori
6-DOF, in modo che l’utente potesse
selezionare e manipolare gli oggetti
virtuali.
Infine la VPL (di Jaron Lernier) integrò
questo sistema con una workstation
Silicon Graphics per generare ambienti
grafici dettagliati e realistici.
Realtà Virtuale: il passato, il presente, il futuro

Il Cyberspazio
Da tempo la fantascienza aveva intuito le potenzialità degli
strumenti della VR. Ma la VR non era ancora nata…
Uno dei padri morali della VR è considerato
Philip K. Dick, con UBIK (1969).
La VR è creata direttamente con stimolazioni
sensoriali su corpi in animazione
sospesa (cosa ci ricorda?).
Nel 1984 Gibson scrive Neuromancer e
introduce il Cyberspace, l’insieme delle
informazioni di una rete di computer.
Oggi comunemente si definisce
Cyberspazio il VE che Internet crea con
tutti i servizi e le informazioni da esso
fornite.
Realtà Virtuale: il passato, il presente, il futuro

Finalmente, la Realtà Virtuale
Con la fondazione della VPL da parte di Jaron Lernier (1984),
la VR diventa una realtà commerciale: sistemi in cui vengono
integrate le tecnologie descritte in precedenza (guanti e tuta
sensorizzata, HMD, grafica 3d), possono essere venduti a
prezzi abbordabili.
“Virtual Reality is conceived of as an expansion of reality, the provision of alternate realities for people in mass in which to share
experiences, and so the types of metaphors that come up are things like cars, travel, different countries, different cultures. For
instance, you might very well have a virtual car that you ride around even though physically you're in one place. It would go through
Nel 1989, come detto, lo stesso Lanier in un intervista
different territories in Virtual Reality so that you could get around them - or transporter booths, perhaps. So you could have
geographical metaphors. There might very well evolve a new geography, let's say - a fictitious planet with new continents that you
(http://www.well.com/user/jaron/vrint.html) can dive into to find new realities.
individua un nome per
In the early Virtual Realities you'll only be able to see the Virtual Reality when you're in it. Later, there will be more sophisticated
questo ones where you can blend set Virtual di objects tecnologie and physical objects so that you e can live per in a mixed l’esperienza reality for a while and be able to see ad esse connessa:
your physical environment as if you were wearing sunglasses but also have nonphysical objects mixed in it. That will be a later stage.
We're already developing technology to do that but it's an order of magnitude more complex to pull off.
nasce la Realtà Virtuale.
In Virtual Reality any tool is possible and there will be some wonderful tools. In Virtual Reality your memory can be externalized.
Because your experience is computer-generated, you can simply save it, and so you can play back your old experience anytime from
your own perspective. Given that, you can organize your experience and use your experience, use your externalized memory in itself,
as the basis for what you would call The Finder in the Macintosh. That will be quite a different thing. You can keep whole universes
in your pocket or behind your ear and pull them out and look through them any time. “
Realtà Virtuale: il passato, il presente, il futuro

VR e Cinema
RIVELAZIONI (1995, Barry Levinson)
CLIP
Realtà Virtuale: il passato, il presente, il futuro

VR e Cinema
NIRVANA (1997, Gabriele Salvatores)
CLIP
Realtà Virtuale: il passato, il presente, il futuro

VR e Cinema
IL TREDICESIMO PIANO (1999, Josef Rusnak)
CLIP
Realtà Virtuale: il passato, il presente, il futuro

VR e Cinema
MATRIX (1999, Wachoski Bros.)
CLIP
Realtà Virtuale: il passato, il presente, il futuro

Realtà Virtuale:
il futuro
Realtà Virtuale: il passato, il presente, il futuro

Perché la VR non è di massa?
Problemi di sicurezza:
A volte la VR fa “paura” per le interfacce coinvolte e per la sua invasività.
Inoltre usi prolungati di alcuni dispositivi possono affaticare e provocare
nausea e irritabilità.
Costi dell’hardware:
La VR richiede componenti
costosi e delicati, non alla
portata di tutti.
Componenti di
interfaccia:
Risoluzione, complessità,
velocità, ingombri: hw da
migliorare ulteriormente
Realtà Virtuale: il passato, il presente, il futuro

Perché la VR non è di massa?
E’ più difficile ingannare i sensi:
I primi dischi e film erano percepiti come realistici. Oggi siamo più
smaliziati e notiamo ogni incoerenza con la realtà.
Coinvolgimento non totale:
Per quanto i maggiori sensi siano stimolati, alcuni stimoli sono ancora
insufficienti o inesistenti (FF su tutto il corpo, ritorno tattile, olfatto,
gusto).
Realtà Virtuale: il passato, il presente, il futuro

Perché la VR non è di massa?
E’ monoutente:
Mentre il cinema e la televisione possono essere fruiti da più utenti, la VR è
monoutente (o quasi). Gli AV collaborativi stanno però cambiando questa
tendenza.
Scopi:
Nonostante le tante applicazioni, spesso non è ancora ben chiaro dove e
come inserire la VR nella nostra vita e come usarla proficuamente.
Realtà Virtuale: il passato, il presente, il futuro

Sfide per il futuro
Naturalezza dell’interazione:
Piena e corretta interpretazione delle azioni: sensori, speech recognition
Realismo delle rappresentazioni:
Ritorno realistico su tutti i canali sensoriali e motori. In particolare
affrontare le problematiche di:
- Tatto: utilizzo di interfacce indossabili che forniscano sensazioni tattili
- Movimento: interfacce per la locomozione
- Olfatto: analizzatore e sintetizzatore olfattivo (problemi: tempi di
evacuazione)
- Stimolazione nervosa diretta. Eccitante ma disturbante (soppressione
dell’io ?)
Realtà Virtuale: il passato, il presente, il futuro

Realtà Virtuale:
il…corso
Realtà Virtuale: il passato, il presente, il futuro

Programma del corso
2
3
Sottosistema Visivo
Modellazione
Rendering
Real-time Rendering
Virtual Humans
Sottosistema Audio
Audio 3D
1
Realtà Virtuale
Storia
Tecnologie
Applicazioni
Tools
XVR
4
5
Sottosistema Aptico
Modellazione
Rendering
Interfacce
Realtà aumentata
Tecnologie e applicazioni
Realtà Virtuale: il passato, il presente, il futuro

Modalità d’esame
- Progetto in XVR su tema da concordare
- Tesina di approfondimento su tema da concordare
- Orale su porzione del programma
Realtà Virtuale: il passato, il presente, il futuro

Contatti
Marcello Carrozzino
PERCRO – Scuola Superiore Sant’Anna, Pisa
e-mail: marcello@sssup.it
Home page del corso:
http://percro.sssup.it/marcello/didattica
Realtà Virtuale: il passato, il presente, il futuro