Thesis - Motion Capture - Magazine

SECONDA

4

POLITECNICO
DI TORINO
Dipartimento di Architettura e Design
Corso di laurea in Design e Comunicazione Visiva
Anno Accademico 2013/2014
SECONDA
PELLE
Relatore
Michele Cafarelli
Candidati
Federico Pennisi
&
Marco Gontero
5

INDICE
INTRODUZIONE
TIMELINE
14
18
LE ORIGINI
19
1.1 ORIGINE DELLA MOCAP
1.2 IL CYBER GLOVE
1.3 DATA GLOVE E TOY STORY
20
21
22
MOTION CAPTURE
25
2.1 MOTION CAPTURE: DEFINIZIONE
2.2 AMBITI APPLICATIVI
2.3 ANALISI DEL MOVIMENTO: LA STORIA
2.4 TECNICHE DI MOCAP
2.4.1 SISTEMI NON OTTICI
2.4.2 SISTEMI OTTICI
2.5 MARKERS
2.6 VANTAGGI E LIMITAZIONI
2.7 MOCAP NEL CINEMA: L’ESEMPIO DI GOLLUM
26
27
28
29
30
31
32
33
34
PERFORMANCE CAPTURE
37
3.1 THE POLAR EXPRESS
3.2 A CHRISTMAS CAROL
3.3 POTENZIALITÀ E MALLEABILITÀ ESPRESSIVE
38
42
44
6

MICROSOFT KINECT
49
4.1 LA PRIMESENSE E L’INNOVAZIONE DI KINECT
4.2 COMPONENTI HARDWARE
4.3 FUNZIONAMENTO SOFTWARE
50
52
54
AVATAR
59
5.1 AVATAR: UN LAVORO COLOSSALE
5.2 RIVOLUZIONE TECNOLOGICA
5.3 RIPRESE: LA FUSION 3-D
5.4 NATURALEZZA DEI VOLTI
5.5 REALTÀ SENZA TRUCCO
5.6 EFFETTO “DEAD EYE”
5.7 ANIMAZIONE
64
65
66
70
73
74
74
MOCAP TEATRALE
83
6.1 RE UBÙ INCATENATO
6.2 COMPOSIZIONE DELLA SCENA TEATRALE
6.3 RELAZIONE TRA SPAZIO DIGITALE E ATTORE
6.4 MOCAP PER UN TEATRO SPERIMENTALE
6.5 18 INTERPRETAZIONI, UN UNICO ATTORE
6.6 L’ESEMPIO DI DOMINIQUE BULGIN
84
86
88
89
90
91
CONCLUSIONI
BIBLIOGRAFIA
SITOGRAFIA
RIVISTE
92
95
96
97
7

8

Apes Polar Revolution Express
9

INTRODUZIONE
Di progressi nel campo dei videogiochi si sente spesso parlare
relativamente a nuove routine di intelligenza artificiale, nuovi
stratosferici engine grafici e sofisticatissimi motori fisici in grado
di simulare e rappresentare un mondo virtuale in modo credibile
e quasi indistinguibile da quello reale, ma poco o nulla è dato sui
passi da gigante che il settore delle animazioni ha compiuto negli
ultimi dieci anni. Molti dei titoli attuali vantano un realismo nei
movimenti quasi umano, fluido ed armonioso senza mai risultare
impacciato o spezzato grazie alla tecnica del motion capture in
grado di rappresentare al meglio il movimento del corpo umano in
un ambiente fittizio.
Abbiamo voluto affidare alla tesi il compito e l’obiettivo di
approfondire il funzionamento base di questa importante tecnica
e gli ambiti di applicazione e cercheremo di capire cosa potrebbe
aspettarci in futuro viste le recenti innovazioni del settore.
La tecnica in questione ha ben più antiche origini ma, in particolare,
focalizzeremo la nostra attenzione in ambito cinematografico che è
quello che più ci appassiona.
Attraverso approfondimenti, analisi di film d’animazione, registi,
attori e riscontri con la quotidianità speriamo di condurre il lettore
in un viaggio interessante che mostrerà in modo curioso la frontiera
del futuro cinematografico e non solo.
Il motion capture è la tecnologia della cattura e dell’analisi
del movimento, prevalentemente umano, attraverso una serie
di strumenti appositamente utilizzati. Le tecnica alla base del
motion capture è piuttosto semplice da capire e si compone di
pochi elementi di base, fra cui dei marcatori (marker) composti
da materiale riflettente o luminoso (ad esempio dei led), e delle
telecamere fotosensibili. Il soggetto da studiare viene coperto
dai marker ed il movimento dei marker viene catturato dalle
telecamere che ne registrano i dati emessi sottoforma luminosa.
Questi dati vengono poi elaborati in tempo reale da un software
in grado di creare uno scheletro digitale dalle informazioni
ricevute per studiarne il movimento relativo. I marker forniscono
quindi le coordinate della posizione di alcuni punti cardine come
gli arti, e le telecamere registrano la velocità di spostamento e
l’orientamento. E’ importante notare come sia necessario uno
spazio ed uno studio dedicato per ottenere risultati soddisfacenti,
con conseguenti esigenze economiche non indifferenti, oltre che di
10

un team specializzato. Nonostante l’utilizzo sempre più quotidiano
nel mondo videoludico e del cinema, il sistema del motion
capture nasce per tutta un’altra serie di scopi, principalmente di
valenza medica. Inizialmente, infatti, veniva utilizzato per valutare
i progressi compiuti da persone dotate di protesi o sottoposte a
particolari cure. Data la sua precisione, ben presto è stato adottato
anche in altri campi, fra cui, quello più peculiare, dell’animazione
tridimensionale. Accostare il motion capture ad un sistema di
animazioni è quantomeno intuitivo e semplice.
Con i dati forniti dalla rilevazione spettrofotogrammica, si possono
realizzare delle bozze di animazioni di base, dando al modello un
realismo nei movimento elevato. Avendo a disposizione dati molto
precisi e riferimenti spazio-temporali reali, è possibile rappresentare
praticamente movimenti così complessi che, se realizzati a mano,
impiegherebbero molte ore aggiuntive di lavoro senza comunque
raggiungere gli stessi livelli qualitativi. La differenza, infatti, fra un
sistema di animazioni che utilizza il motion capture ed un altro che
non lo fa, è notevole; il motion capture rende più armonioso un
movimento, meno meccanico, meno spezzato e soprattutto molto
più realistico essendo basato proprio su azioni compiute davvero
dal vivo, senza alcuna simulazione.
GOLLUM
Non sono pochi i casi in cui il
mondo del cinema e quello dei
videogames si avvalgono di tale
tecnologia. Uno dei casi più
celebri è relativo al famosissimo
Gollum della trilogia del Signore
degli Anelli. Lasciando da parte
la qualità eccellente di texture e
filtri grafici applicati al modello
tridimensionale, ciò che stupisce
più di tutto è l’incredibile
flessuosità e morbidezza con
cui il personaggio si muove.
I movimenti dell’attore Andy
Serkis, infatti, sono stati
catturati tramite motion capture
ed utilizzati come base per le
animazioni di Gollum. Il risultato
è qualcosa di sorprendente che
rende la creatura viva e reale
nonostante sia completamente
digitalizzata.
11

MOTION CAPTURE
LA CATTURA DELLA REALTÀ UMANA
OBIETTIVO
La Motion Caputure è una
tecnologia cinematografica
che permette di catturare i
movimenti naturali del corpo
di un soggetto (anche più di un
soggetto compresi gli animali)
reale per poi applicarli ad un
personaggio virtuale.
Famosissimo è l’utilizzo di
questa tecnica per la creazione
dei movimenti del personaggio
di Gollum nella trilogia de Il
Signore degli anelli.
Agli attori viene fatta indossare
una speciale tuta di scena che,
ricoperta da moltissimi sensori
(fino a 300) registra e cattura i
movimenti.
In questo modo viene creata
un’immagine virtuale che
riproduce perfettamente i
movimenti originali degli attori.
LIBERTÀ E NATURALEZZA DEI
MOVIMENTI
Le tute motion capture variano a
seconda della tipologia di cattura
che si vuole attuare. Lo scopo
finale della cattura decide a priori
l’utilizzo di una tuta o di un’altra.
In figura (a destra) si può osservare
una delle tute che vengono
utilizzate più comunemente in
ambito cinematografico.
Registazione e cattura del movimento naturale
12

PERFORMANCE CAPTURE
L’EMOZIONE DELL’ESPRESSIONE
OBIETTIVO
La Performance Caputure è
una tecnologia cinematografica
che permette di catturare
movimenti ed espressioni
facciali di un soggetto reale per
poi applicarli ad un personaggio
virtuale.
Tecnica utilizzata per la prima
volta da Robert Zemeckis
nel film Polar Express, è poi
stata utilizzata e perfezionata
da James Cameron nel
pluripremiato film Avatar.
Per permettere alla realtà di
diventare animazione, agli
attori viene fatto indossare uno
speciale casco, al quale viene
applicato, tramite braccio rigido,
una telecamerina rivolta verso
il viso. Il volto è ricoperto da
decine di micro sensori per la
cattura istantanea dei movimenti
ed espressioni facciali.
CATTURA DELL’ESPRESSIONE
Micro sensori facciali per la cattura
di ogni espressione, anche le più
impercettibili.
maggiore è il numero di sensori
applicati al volto migliore sarà
la precisione di analisi e cattura
dell’espressione.
Evoluzione del volto di lara croft per i videogiochi di tomb raider
13

Motion Capture Timeline
Gli eventi più rilevanti che hanno portato all’ evolversi di questa straordinaria tecnica in campo
videoludico e cinematografico. Dalla nascita ad oggi.
Il mocap nasce dall’esigenza
di studiare il movimento
di persone ed animali, per
comprenderne le leggi che
lo governano e, nel caso di
patologie, quantificarne l’effetto.
Nel XX secolo, il mocap approda
anche nel mondo dello sport e
dei videogames.
Walt Disney si rende conto delle
potenzialità di questa tecnologia
ed inizia ad utilizzarla per la
produzione dei propri cartoni
animati. Nel 1937, l’azienda
rilancia il primo lungometraggio,
Biancaneve ed i Sette Nani,
che viene animato filmando
attori reali e ricalcando i loro
movimenti. Dato il successo
ottenuto da questo film animato,
la Disney impiega questa
tecnologia per molti altri lavori
come Peter Pan, Alice nel
Paese delle Meraviglie e La
Bella Addormentata.
14
XX sec
1915
1937
Quando si parla di mocap in
ambito cinematografico, ci
si riferisce alla possibilità di
acquisire i movimenti di una
persona reale per poi trasferirli
ad un personaggio animato.
Il primo esempio nell’ambito
dell’industria dell’entertainment
è la serie di cortometraggi Out
of the Inkwell girati da Max
Fleischer. Nel 1915 Fleischer
idea la tecnica del rotoscopio,
un sistema di animazione
utilizzato per creare un cartone
animato in cui le figure umane
risultano molto realistiche
nei movimenti. Il disegnatore
ricalca le scene a partire da una
pellicola filmata in precedenza.
In origine, le immagini filmate
in precedenza venivano
proiettate su un pannello di
vetro traslucido, dove fungevano
da supporto per l’attività di
disegno.

Il mocap diviene presto uno
strumento indispensabile
per i film-makers e George
Lucas lo impiega per animare
il personaggio Jar-Jar Binks
in Star Wars: Episodio I – La
Minaccia Fantasma.
1999
Avatar di James Cameron,
uscito nelle sale nel 2009.
Il regista aspetta oltre un
decennio per fare uso di
questa tecnologia in un suo
film, e quando lo fa propone
un nuovo sistema chiamato
“camera virtuale”. Mentre gli
attori si muovono all’interno
di una apposita sala per le
riprese attrezzata con un sistema
mocap (soprannominata ‘The
Vault’), un software costruisce
in tempo reale sull’acquisizione
il personaggio animato in
modo tale che il regista può
controllarne il risultato.
2001
2009
2011
Peter Jackson lancia il
personaggio Gollum nel film
Il Signore degli Anelli: La
Compagnia dell’Anello. Ed è
nel film successivo, Il Signore
degli Anelli: Le Due Torri, che
avviene una grande rivoluzione.
Se prima gli attori “reali” e quelli
che venivano successivamente
animati recitavano
separatamente, ora attori “reali”
e virtuali recitano insieme nella
la medesima scena. L’attore
che impersona Gollum, e che
è ormai diventato un guru di
questa tecnica, è Andy Serkis.
Ma è nel 2011, all’uscita del
film L’alba del Pianeta delle
Scimmie, che lo spettatore
si trova davanti ad un film
nel quale è quasi impossibile
pensare che le scimmie non
siano vere. Merito ovviamente di
Andy Serkis.
15

IL FUTURO È UN OBIETTIVO,
NON UNA DESTINAZIONE.
16

17

18

11
LE ORIGINI
Cosa si intende per motion capture?
Partendo da alcuni esempi fondamentali, vogliamo
fare comprendere cosa abbia dato il via a quella
che oggi è l’animazione cinematografica.
Lo studio del movimento umano incide in maniera
assai massiccia in quell’ambiente che chiamiamo
“settima arte”.
19

1.1 LE ORIGINI DELLA MOTION CAPTURE
In origine la Mocap viene
usata soprattutto per scopi
militari o in ambito sportivo,
dove serve come strumento
per la ricerca biomeccanica e il
funzionamento dei muscoli in
movimento.
Il primo vero strumento di motion
capture, però, vede la luce solo
agli inizi degli anni ’80, grazie
al Data Glove, un’invenzione
brevettata da Thomas
Zimmerman, con cui vengono
manipolati i suoni della chitarra
grazie ad un’interfaccia hardware.
In pratica, la chitarra può essere
suonata senza la presenza della
chitarra stessa, ma semplicemente
indossando un guanto su cui sono
cuciti dei piccoli tubi di plastica
all’interno dei quali passa un
fascio luminoso.
L’infinitesimo ritardo che la luce
accumula quando il piccolo tubo
si piega è indice di quanto il tubo
stesso si è piegato e se questo
oggetto è solidale con le dita
indica in modo preciso quanto
queste si sono piegate e quindi il
movimento che stanno facendo.
Grazie a questo brevetto insieme
a Jaron Lanier fonda la VPL
Research che diventa fornitrice
ufficiale per la NASA dei data
glove e di tutti quegli strumenti,
come successivamente l’head
mounted display, necessari per
costruire applicazioni di Realtà
Virtuale.
E’ proprio alla fine degli anni
’80 infatti che Lanier conia il
termine appena citato legandolo
strettamente alla tecnologia
che erano in grado di offrire sul
mercato e di li a poco scienziati
e filosofi di tutto il mondo si
lanceranno in fantascientifici
voli pindarici immaginandosi
applicazioni e modalità d’uso
in grado di mettere seriamente
in discussione le nostre vere
esperienze sensoriali.
La Realtà Virtuale non si è evoluta
così come si pensava agli inizi
degli anni ’90 fondamentalmente
perché i computer non erano
abbastanza potenti per gestire
real-time una interazione uomomacchina
così complessa e con
una qualità percettiva tale da
poter essere confusa con una
esperienza reale.
• 1982 Sayre Glove
• 1987 Glove Nintendo
Il Sayre Glove, creato da Electronic
Visualization Laboratory nel 1977, fu il
primo guanto cablato. Nel 1982 Thomas G.
Zimmerman depositato un brevetto su un
sensore ottico di flex montato in un guanto
per misurare il dito flessione.
20

I GUANTI MAGICI CHE SUONANO LA CHITARRA SENZA CHITARRA E GLI
INIZI DEL FENOMENO MOTION CAPTURE HANNO PROBABILMENTE DATO
IL VIA AL CINEMA DEL FUTURO E PIÙ IN GENERALE ALL’ESPANSIONE
SEMPRE CRESCENTE DELLA GRAFICA DIGITALE.
1.2 IL CYBER GLOVE
L’ elemento chiave è un guanto al
quale sono attaccati dei sensori
che definiscono la posizione
e l’orientamento della mano
mediante ultrasuoni. Delle bende
piezoceramiche, posizionate
intorno alla mano, forniscono, a
chi indossa il guanto, un feedback
tattile grazie al fatto che i guanti
sono connessi all’ hardware del
computer tramite un piccolo
cavo. Questo processo permette,
interagendo con l’host del
computer, di guidare, in tempo
reale, il modello tridimensionale
della mano consentendo di
manipolare oggetti generati al
computer come se fossero reali.
Abduction
PIP
MP
Z Glove
Z Glove
• 1990 Cyber Glove
Oggi
Uno dei primi guanti cablati disponibili per gli
utenti domestici nel 1987 era il potere Glove
Nintendo. Questo è stato progettato come un
guanto di gioco per il Nintendo Entertainment
System. Aveva un tracker greggio e sensori
Questa è stata seguita dalla CyberGlove,
creato da tecnologie virtuali, Inc. nel 1990
tecnologie virtuali è stata acquisita da
Immersion Corporation nel settembre 2000.
dito piegare, più pulsanti sul retro.
21

1.3 DAI DATA GLOVES A TOY STORY
Negli ultimi venticinque anni,
questa tecnica è diventata
uno strumento essenziale
nel mondo dell’animazione,
dando la possibilità ai grafici
3D di rendere più realistici i
personaggi dei cartoni animati e
di animare creature fantastiche.
I primi prodotti commerciali che
hanno avuto una diffusione di
massa e che hanno utilizzato
le tecnologie proprie della
Realtà Virtuale, anche se
ne sono solo un surrogato,
sono il videogioco di “Lara
Croft” ed il lungometraggio
di animazione “Toy Story”.
Siamo nel 1995 e, per la prima
volta, dei personaggi digitali
realizzati utilizzando le tecniche
dell’animazione tridimensionale
diventano delle vere e proprie
star internazionali.
?
IL MOUSE
COME MOCAP
22
Anche il mouse, in fondo,
può essere considerato uno
strumento di motion capture
digitale perché riesce a
codificare il movimento della
nostra mano in informazioni
binarie e, grazie alla semplicità
del meccanismo e dei dati
elaborati, trasferisce in “tempo
reale” il movimento allo
schermo del pc garantendoci
quell’interattività che facilita la
navigazione, il gioco on line, etc.

23

24

MOTION CAPTURE
La “cattura del movimento” e i vari e possibili
ambiti nei quali questa tecnologia può essere
utilizzata e possibilmente sviluppata. Analizziamo
i diversi sistemi che questa offre distinguendone i
vantaggi e gli svantaggi.
Più in particolare ci soffermiamo sull’uso che si fa
della motion capture nell’ambito del cinema. In
ultimo valutiamo quali sono realmente i limiti e le
possibili soluzioni future.
25

2.1 MOTION CAPTURE: DEFINIZIONE
Esempio di motion capture in ambito
cinematografico, il software rileva i movimenti
dell’attore associandoli allo scheletro 3D del
computer
Se parliamo di “Motion
Capture” o, come spesso
si abbrevia, di “MoCap”,
una definizione piuttosto comune
e largamente accettata è quella
fornita da Menache nel suo libro:
« Motion Capture is the process
of recording a live motion event
and translating it into usable
mathematical terms by tracking
a number of key points in
space over time and combining
them obtaining a single 3D
representation of performance 1 ».
In accordo con la definizione
appena data, scopo della motion
capture è dunque quello di
“digitalizzare” il movimento
di un soggetto, fornendo
del movimento reale una
rappresentazione matematica
quantitativa che renda il
movimento stesso facilmente
fruibile come input per successivi
studi e successive elaborazioni.
Tale caratteristica rende le
tecniche di motion capture utili
e interessanti per un grande
ventaglio di applicazioni, per studi
di biomeccanica, per scopi di
sorveglianza, nella realtà virtuale o
nel cinema.
La Motion Capture, rappresenta una delle innovazioni più importanti in ambito videoludico e non solo.
Molto del realismo delle animazioni odierne, è dovuto all’utilizzo accurato ed efficace di questa tecnica
che, se sfruttata a dovere, regala ad un gioco o un film d’animazione quel qualcosa in più rispetto agli altri
che non lo utilizzano.
26
1 A. Menache, Understamding Motion Capture for Computer Animation and Video Games. Morgan Kaufmann, 2000.

2.2 AMBITI APPLICATIVI
Tra i vari usi delle tecnologie per
la motion capture, ricordiamo
innanzitutto quelli in ambito
clinico e in ambito sportivo. Per
quanto riguarda gli studi clinici,
le tecniche di motion capture
sono necessarie per pervenire
ad una conoscenza accurata
della cinematica del soggetto,
per poter diagnosticare i
problemi di locomozione dei
pazienti. Per quanto riguarda
l’ambito sportivo, le tecniche
MoCap vengono comunemente
utilizzate per registrare il
movimento al fine di individuare
eventuali raffinamenti da attuare
per il miglioramento della
performance sportiva nel suo
complesso. Un altro ambito
di utilizzo delle tecnologie di
motion capture è quello della
sicurezza: le tecniche MoCap
possono infatti essere impiegate
nella progettazione di sistemi di
sorveglianza intelligenti Sistemi
di MoCap sono stati utilizzati per
il riconoscimento dell’andatura
nel cammino di un soggetto
come segnale di riconoscimento
biometrico. È stato infatti
proposto che l’andatura sia una
caratteristica sufficientemente
distintiva da permettere la
discriminazione tra soggetti
diversi.
Citiamo infine, a conclusione
di questa breve carrellata di
esempi, un altro importante
campo di applicazione per
queste tecnologie: la realtà
virtuale. Grazie alle tecnologie
MoCap, infatti, essendo in grado
di tradurre il movimento umano
in modelli digitali comprensibili,
eventualmente, anche dalle
macchine, è possibile infine
per utenti umani interagire con
contenuti digitali in tempo reale:
questo aspetto può risultare
molto utile ad esempio nella
costruzione di simulazioni di
allenamento, o per eseguire test
di percettibilità visiva, oppure
ancora per donare in generale
un movimento naturale a
personaggi creati interamente al
computer (caratteristica, questa,
molto apprezzata e utilizzata
migliorare i rendering degli
effetti speciali in TV, nei film e
nei video games.
Il primo gioco ad utilizzare la cattura del movimento fu
Prince of Persia che fu realizzato nel 1989.
Lionel Messi catturato dalla motion capture per
i movimenti del gioco per PS3 Pro Evolution
Soccer 2010
27

2.3 L’ANALISI DEL MOVIMENTO: LA STORIA
L’interesse per l’analisi del
movimento in generale è in
realtà molto antico, che si rifà
ai tempi dell’antica Grecia, e
anche se la sua evoluzione passa
attraverso i nomi dei più grandi
scienziati, filosofi e teorici di
sempre, da Aristotele (384-322
a.C.) a Thomas Young (1773-
1829), fino ai giorni nostri, è in
particolare l’invenzione della
fotografia nell’800 a contribuire
all’evoluzione di ciò che oggi è
noto come motion capture. In
particolare, è piuttosto comune
l’identificazione nel lavoro di
Etienne Jules Marey (1830-1904)
e Eadweard Muybridge (1830-
1904) un passo fondamentale
per lo sviluppo della motion
capture, fino alla sua evoluzione
a come la conosciamo oggi:
infatti grazie all’invenzione
del cronofotografo ad opera
di Marey è possibile per
Muybridge, negli anni successivi,
continuare l’analisi sul modo
in cui sia gli animali che gli
umani si muovevano, scattando
fotografie a umani e animali
nell’atto di compiere svariate
attività. Questi esperimenti di
Muybridge furono collezionati, e
sono diventati famosi con i nomi
di Animal Locomotion e di The
Eadweard Muybridge fotografò con successo un cavallo in corsa utilizzando 50
fotocamere, sistemate parallelamente lungo il tracciato.
Ogni macchina era azionata da un filo colpito dagli zoccoli del cavallo (1878).
Fucile fotografico invenzione di Marey. La telecamera era montata su un fucile: veniva puntato sul
soggetto e registrava fino a 12 immagini al secondo
Human Figure in Motion.
Dopo il lavoro di Marey e
Muybridge, nel citare quali altri
contributi hanno permesso
l’evoluzione delle tecniche
di motion capture da allora
fino ad oggi, è d’obbligo
menzionare anche il lavoro di
G. Johansson (1911 - 1998) che,
nel 1973, nei suoi Moving Light
Display Experiments utilizzò
dei piccoli marker riflettenti
applicati alle giunture di
soggetti umani per registrare
il loro movimento. L’obiettivo
del lavoro di Johansson era
quello di essere in grado di
identificare movimenti noti
solo a partire dall’analisi delle
traiettorie dei marker, il che ci
avvicina sempre più a quella
che è la moderna analisi del
movimento, ad esempio, tramite
stereofotogrammetria.
28

2.4 TECNICHE MOCAP DIFFERENTI
Le tecniche MoCap esistenti
per l’analisi della cinematica
di un soggetto si possono
concettualmente dividere in due
grandi categorie: le tecniche che
si basano su approcci non ottici,
e quelle che sfruttano principi
ottici. Per le tecniche “non
ottiche”, possiamo individuare
tre approcci principali:
approccio elettromeccanico,
elettromagnetico e approccio
inerziale.
Per i metodi ottici, distinguiamo
principalmente tra le tecniche
che si avvalgono dell’utilizzo di
marker e le tecniche markerless.
Tuta indossabile Mocap elettromeccanica.
2.4.1 I SISTEMI “NON OTTICI”
Nell’ambito dei sistemi
MoCap non ottici, uno tra i
primi approcci implementati
fu quello elettromeccanico: i
sistemi basati su questo tipo
di approccio consistono, ad
oggi, in speciali tute indossabili
che formano una sorta di
“esoscheletro” per il soggetto
in movimento, munite di
dispositivi di misura in alcuni
punti chiave. I sistemi di misura
presenti sono generalmente
costituiti da potenziometri uniti
a speciali dispositivi scorrevoli
(sliding rods) che misurano gli
spostamenti tra i giunti della
tuta indossabile, e da
sensori (quali ad esempio
elettrogoniometri) in grado di
misurare gli angoli tra i segmenti
adiacenti dell’esoscheletro.
Quando il soggetto si muove,
l’azione viene rilevata attraverso
piccoli cambiamenti di tensione
ai capi dei potenziometri.
Le tute ad oggi possono
integrare anche sensori di tipo
inerziale e forniscono risultati
accurati ma condizionano il
movimento perché sono pesanti
e non permettono una piena
libertà di azione: il principale
problema di queste tute è infatti
proprio il loro andare a limitare
o comunque a condizionare
il movimento che si sta
analizzando.
29

Nella MoCap basata su
approccio elettromagnetico,
la libertà di movimento
del soggetto migliora. Le
tute indossabili realizzate
rispetto a questo tipo di
approccio presentano sensori
posizionati in punti chiave del
corpo, dove ogni sensore è
fondamentalmente costituito da
un insieme di bobine orientate
secondo le tre direzioni dello
spazio. Il funzionamento del
sistema prevede inoltre la
generazione di un campo
magnetico esterno per cui alla
fine sia possibile, incrociando
i dati sul flusso del campo
magnetico attraverso ciascuna
delle bobine costituenti i
sensori, ricostruire posizione e
orientamento di ciascun sensore.
Le tute elettromagnetiche
così costituite sono più
comode e leggere di quelle
elettromeccaniche, pertanto
i movimenti del soggetto
vengono meno condizionati.
Il problema principale
legato a questi sistemi è la
difficoltà d’impiego al di fuori
dell’ambiente controllato di
laboratorio, poiché in presenza
di materiali ferromagnetici il
campo viene distorto e le misure
perdono in accuratezza. Infine, in
questo caso vi è una limitazione
rispetto all’acquisizione di
movimenti troppo ampi, data
la necessità per i sensori di
rimanere sempre all’interno
dello spazio pervaso dal
campo magnetico imposto dal
generatore.
Una terza categoria di sistemi
MoCap non ottici è quella che
utilizza sensori inerziali: l’idea
alla base di questi sistemi
è quella di poter ricostruire
il movimento del soggetto
a partire dalla misura delle
accelerazioni in gioco. Quando
si parla di sensori inerziali, ci
si riferisce comunemente ad
accelerometri e giroscopi.
L’accelerometro è uno
strumento in grado di tradurre
un’ accelerazione lineare in una
grandezza elettrica. Il dispositivo
è fondamentalmente costituito
da una massa nota, libera
di muoversi all’interno dello
strumento per effetto delle
forze inerziali: lo spostamento
compiuto dalla massa è poi
legato alla forza (e quindi
all’accelerazione) per mezzo
di una relazione nota, e viene
rilevato attraverso l’effetto
capacitivo o grazie all’uso
di estensimetri.
Ad oggi esistono
accelerometri mono-, bi- e
triassiali che, grazie alla
tecnologia MEMS (Micro
Electro-Mechanical Systems)
possono essere integrati su un
unico chip.
Il giroscopio è un dispositivo in
grado di tradurre una velocità
angolare in una grandezza
elettrica secondo una relazione
nota. Grazie alla tecnologia
MEMS, anche del giroscopio
esistono attualmente versioni
mono- o triassiali integrate
su un unico chip. Il problema
intrinsecamente legato alla
MoCap basata su sensori
inerziali è la sensibilità di queste
tecniche rispetto a offset e
derive, dato che per ricondursi
a spostamenti e velocità a
partire dalle accelerazioni
occorre effettuare processi di
integrazione numerica. Per
questo motivo, ad oggi questi
dispositivi vengono integrati in
unità multi-sensore, in modo
da poter sfruttare la ridondanza
di informazione per contenere
l’effetto degli errori.
30

2.4.2 I SISTEMI “OTTICI”
I sistemi MoCap ottici si basano
sull’utilizzo di una o di un set di
telecamere sincronizzate per
ricostruire in ogni istante la posa
3D di un soggetto in movimento.
Concettualmente, possiamo
classificare i sistemi MoCap ottici
a seconda del numero di punti di
vista assunti durante l’acquisizione
(sistemi monoculari o multiview)
e a seconda dell’impiego
o meno di marker (siano questi
attivi o passivi), distinguendo
dunque due tipi di approccio: il
marker-based e il markerless. Nei
sistemi marker-based l’obiettivo
è ricostruire la cinematica dei
segmenti ossei attraverso
l’individuazione della traiettoria
3D dei marker (piccoli oggetti
applicati alla superficie corporea
del soggetto in movimento),
mentre le tecniche markerless
mirano a estrarre i parametri
relativi al movimento a partire da
silhouettes o altre caratteristiche
del soggetto nelle immagini
(come ad esempio i contorni).
Il funzionamento delle tecniche
marker-based si basa
fondamentalmente sul principio
di triangolazione: quando almeno
due telecamere riprendono
contemporaneamente un
punto dello spazio 3D allora è
possibile, a partire dalle immagini
formatesi sui piani principali
delle telecamere, ricostruire la
posizione di quel punto tramite
semplici retroproiezioni. La tecnica
MoCap ottica marker-based
di questo tipo è detta anche
stereofotogrammetria, dove il
prefisso stereo- discende proprio
dal principio appena esposto.
Per ricostruire la posizione di
un punto tramite triangolazione
è necessario aver definito a
priori un sistema di riferimento
globale. Occorre inoltre che i
parametri dell’intero sistema
stereofotogrammetrico siano noti,
sia i parametri esterni (posizione e
orientamento dei piani principali
delle telecamere) che i parametri
interni (come lunghezza focale,
coordinate del punto nodale,
coefficienti di distorsione delle
telecamere). In altri termini,
prima di poter effettuare le
acquisizioni è necessario calibrare
lo spazio all’interno del quale
verrà eseguito il movimento. La
calibrazione avviene di norma
in due fasi. Nella prima fase
viene acquisito un oggetto
di calibrazione composto da
3 assi ortogonali con marker
attaccati in posizioni note, allo
scopo di definire il sistema di
riferimento globale e di ottenere
posizione e orientamento dei
piani delle telecamere. Nella
seconda fase della calibrazione
una barra rigida (wand) con
marker attaccati in posizioni
note viene mossa lungo le 3
direzioni dello spazio all’interno
del volume di calibrazione per
ottenere i parametri interni delle
telecamere.
Prima di poter effettuare le acquisizioni è
necessario calibrare lo spazio all’interno
del quale verrà eseguito il movimento:
nell’immagine si vede una ricostruzione della
posizione del punto P, note le sue proiezioni
P1 e P2 sui piani principali delle telecamere
e le posizioni N1 e N2 del punti nodali delle
telecamere.
31

2.5 MARKERS
32
I marker utilizzati in
stereofotogrammetria possono
essere di due tipi: passivi e
attivi. I marker passivi sono
semplicemente piccole sferette
leggere uniformemente
ricoperte da materiale
riflettente, mentre i
marker attivi sono veri e propri
LED in grado di emettere
luce propria nello spettro
infrarosso.
I sensori optoelettronici utilizzati
sono telecamere che lavorano
nello spettro infrarosso e
integrano dispositivi per la
rilevazione e trasduzione del
segnale luminoso in un segnale
elettrico, quali ad esempio i
sensori CCD (charged coupled
device) e CMOS
(complementary metal
oxide semiconductor).
Indipendentemente dalla
tecnologia, i sensori vengono
solitamente organizzati in matrici
di pixel sul piano immagine
della telecamera. Nel caso in
cui il sistema lavori con marker
passivi, le telecamere sono
inoltre costruite in modo da
emettere esse stesse fasci di
luce
infrarossa. Dato che i marker
passivi sono ricoperti da
materiale riflettente, il segnale
luminoso di ritorno proveniente
da questi sarà molto più
intenso rispetto a un’eventuale
riflessione di luce da parte del
background, permettendo
così una facile localizzazione
dei marker. Impostando infine
un’adeguata soglia di luminosità
per le telecamere, la probabilità
che vengano erroneamente
riconosciuti segnali provenienti
da pelle o vestiti del soggetto si
riduce drasticamente. Nel caso
in cui vengano impiegati marker
attivi non è necessario siano
le telecamere a illuminare lo
spazio, essendo gli stessi marker
a emettere un segnale luminoso.
Si noti che con questa seconda
modalità di acquisizione si ha
un minor consumo di potenza,
dato che il segnale luminoso
deve percorrere la metà dello
spazio per incidere sul piano
immagine della telecamera,
rispetto al caso in cui si
impiegano marker passivi. Un
altro vantaggio legato ai marker
attivi riguarda una miglior
tracciabilità degli stessi rispetto
ai marker passivi. Questa
miglior tracciabilità è dovuta
alla possibilità di diversificare
i tempi di attivazione e le
frequenze di pulsazione dei
LED: potendosi basare anche
su questi parametri, il sistema
riconosce più facilmente
ciascun marker. Nonostante
queste considerazioni positive
sui marker attivi, viene ancora
tendenzialmente preferito
l’uso dei sistemi a marker
passivi, dato che in molti casi
è ancora necessario il wiring
per l’alimentazione dei marker
attivi, il che va a limitare il
movimento del soggetto. Con
l’avvento del wireless, tuttavia,
anche questo problema sta
scomparendo.

2.6 VANTAGGI E LIMITAZIONI
Tra tutti i sistemi MoCap
visti finora, quelli che hanno
riscosso maggior successo
sono i sistemi ottici. I principali
motivi del successo riguardano
innanzitutto il ridotto ingombro
sul soggetto, e la possibilità di
acquisire, con opportuni setup,
anche movimenti ampi come il
cammino, la corsa, il ballo. Un
altro importante vantaggio di
questo tipo di MoCap sulle altre
tecniche riguarda la flessibilità
nella scelta della posizione
e del numero dei marker a
seconda del tipo di acquisizione,
anche se numerosi protocolli sul
posizionamento dei marker sono
stati sviluppati (come il SAFLo,
il VCM, il CAST). Infine, i sistemi
ottici possono raggiungere
frequenze di campionamento
tendenzialmente più elevate
rispetto alle altre tecniche,
permettendo l’analisi anche dei
movimenti rapidi, e presentano
una buona accuratezza: nei
sistemi marker-based a marker
passivi, ad esempio, l’errore di
ricostruzione della posizione
dei marker è dell’ordine dei
mm o inferiore. Nonostante la
popolarità, l’approccio ottico
presenta alcune importanti
limitazioni che devono essere
considerate. Innanzitutto, anche
se l’ingombro è limitato se
comparato agli altri sistemi, la
presenza di marker attaccati
alla pelle può influenzare il
movimento del soggetto.
Essendo inoltre i marker molto
piccoli, è possibile che in
determinate fasi del movimento
un marker venga
nascosto alle telecamere,
facendo così perdere
temporaneamente la sua traccia.
In corrispondenza di questi
eventi capita anche che le
traiettorie di marker molto
vicini vengano confuse.
Questi problemi possono
tuttavia essere parzialmente
superati con l’utilizzo di un
maggior numero di telecamere
e un adeguato posizionamento
dei marker.
33

2.7 MOCAP NEL CINEMA: L’ESEMPIO DI GOLLUM
Non sono pochi i casi in cui il
mondo del cinema e quello dei
videogames si avvalgono di tale
tecnologia.
Uno dei casi più celebri è
relativo al famosissimo Gollum
della trilogia del Signore degli
Anelli. Lasciando da parte la
qualità eccellente di texture e
filtri grafici applicati al modello
tridimensionale, ciò che stupisce
più di tutto è l’incredibile
flessuosità e morbidezza con cui
il personaggio si muove.
I movimenti dell’ attore Andy
Serkis, infatti, sono stati catturati
tramite motion capture ed
utilizzati come base per le
animazioni di Gollum. Il risultato
è qualcosa di sorprendente che
rende la creatura viva e reale
nonostante sia completamente
digitalizzata.
Il personaggio CGI è
stato creato seguendo le
caratteristiche facciali di Serkis,
mentre i suoi movimenti sulla
34

pellicola sono stati riprodotti
utilizzando un misto tra la
motion capture, in cui le
movenze dell’attore sono state
convertite in immagini digitali,
e il tradizionale processo di
keyframing, a partire da un
pupazzo digitale creato da Jason
Shleifer e Bay Raitt. Il processo
di creazione del personaggio è
stato molto lungo, e ha richiesto
il lavoro di un gran numero di
artisti digitali. Ne Il Ritorno del
Re, Serkis appare in carne ed
ossa, in un flashback, come
Sméagol prima che l’Anello lo
trasformasse in Gollum.
Fra altre produzioni
cinematografiche che utilizzano
tecniche di motion capture non
possiamo non citare il quasi
umano robot di Io Robot dalle
movenze aggraziate, quelle
feline di Angelina Jolie in
Beowulf, e le acrobazie presenti
Matrix, frutto di ore di sessioni in
studio fra marker e telecamere.
35

36

PERFORMANCE
CAPTURE
La performance capture è una tecnologia più
nuova e sofisticata rispetto alla precedente motion.
Grazie a tale tecnica, è possibile percepire ogni
minima emozione dal volto degli attori e quindi
riuscire a catturarne la performance. Il principio è
fondamentalmente lo stesso della motion e quindi
ci limitiamo a fornire degli esempi cinematografici
che risulteranno ottimi per una visione a 360 gradi
del fenomeno in questione. Abbiamo affiancato
questi esempi con un’accurata analisi che permette
una comprensione delle eccezionali potenzialità e
dei miglioramenti abissali che questa tecnologia ha
apportato al cinema d’animazione e non solo.
37

Con la cattura delle espressioni e dei movimenti più impercettibili del volto la
tecnica della performance capture ha permesso fedeltà e naturalezza umana
che fino a un paio di anni fa erano impensabili. Tutto cominciò con Zemeckis e
il suo trampolino di lancio: Polar Express
3.1 PERFORMANCE CAPTURE: THE POLAR EXPRESS
38
Ci sono nomi che in
questo momento
cinematografico
dedicato alle nuove tecnologie,
e, più in particolare, alla tecnica
di cattura dei movimenti,
ricorrono più di altri. Uno di
questi è senz’altro quello di
Robert Zemeckis.
Il regista di Chi ha incastrato
Roger Rabbit, Forrest Gump e
la saga di Ritorno al Futuro (solo
per citarne alcuni), decise nel
2004 di lanciare una nuova sfida
al mondo dell’ animazione e di
arruolare star di prima grandezza
non soltanto per doppiare i
personaggi o per crearne degli
alterego caricaturali (come era
stato fatto quello stesso anno
per Shark Tale e tanti altri) ma
per dare loro letteralmente vita.
Il film scelto per dare inizio al
nuovo trend è Polar Express,
lungometraggio nel quale
movimenti ed espressioni dei
personaggio virtuali sono stati
eseguiti e registrati da attori
reali. Zemeckis volle sul set il
suo attore feticcio Tom Hanks
(Forrest Gump e Cast Away).
Per traghettarlo sul grande

? IL TRENO
schermo e creare il suo alterego
virtuale Zemeckis utilizzò per
la prima volta la tecnica della
performance capture, evoluzione
della motion capture, diventata
nel giro di poco la sua tecnica
d’elezione.
Del tutto simile al suo
predecessore, la Performance
Capture si avvale di una
tecnologia più sofisticata
che, attraverso dei sensori
estremamente piccoli posizionati
anche sul volto degli attori,
riesce a catturare anche le
espressioni facciali oltre che
il movimento del corpo, e a
registrarli grazie alla computer
grafica per creare personaggi
animati capaci di sorridere,
piangere, parlare e muoversi
proprio come i loro interpreti
umani. Questa tecnica consentì
a Zemeckis di utilizzare il suo
protagonista Tom Hanks per ben
6 ruoli diversi, da un ragazzino
di 8 anni, a suo padre, a Hobo
(un viaggiatore solitario) fino a
Babbo Natale, e anche il suo
somigliantissimo alter ego
virtuale: il capotreno. Questo
fa capire come sia malleabile
questa tecnica, dato che può
essere applicata a personaggi
totalmente differenti pur
partendo da un singolo
soggetto, ottenendo ottimi
risultati.
Polar Express si aggiudica
il primato di film realizzato
interamente con il nuovo
sistema performance
capture ad eccezione dei
camerieri che servono
la cioccolata calda a
bordo del treno. Le loro
acrobazie sarebbero
infatti state impossibili
da compiere da attori
veri e per questo si optò
per l’animazione digitale
classica.
39

40

Polar Express
41

3.2 PERFORMANCE CAPTURE: A CHRISTMAS CAROL
L'ultimo futuristico progetto di Robert Zemeckis
Con A Christmas Carol, i passi
avanti nell’applicazione della
motion capture, rispetto ai
precedenti Polar Express e La
Leggenda di Beowoulf, sono
evidenti e riescono a dare molto
più rilevanza ai risultati raggiunti
da questa tecnica. Forse anche
per questo si è scelto di adattare
un classico della letteratura,
essendo una storia che non
ha una elevata complessità
narrativa e così ben si
predispone alla sperimentazione
digitale. Il regista preferisce così
abbandonare totalmente la sfera
narrativa per investire tutto sul
coinvolgimento emozionale,
riuscendo così attraverso
motion capture e 3D a rapire
lo sguardo non sullo schermo,
ma direttamente all’interno
della visuale stessa.
momenti di coinvolgimento
emotivo.
Cambiando i canoni con i quali
si guarda il film, cambia la
percezione stessa con cui ci si
interfaccia alla vicende.
A Christmas Carol può
sostanzialmente definirsi
un passo importante nella
sperimentazione digitale, una
tappa decisiva con la quale si è
saggiata l’influenza della tecnica
digitale sulla sfera narrativa.
Lo spettatore cambia di status.
Nelle sequenze nelle quali
Scrooge si rimpicciolisce e
viene inseguito dai cavalli,
ci si sente visceralmente in
moto, realmente circondato da
cavalli, spiriti oscuri e fiocchi
di neve. Da osservatori esterni
di un film si diventa parte
integrante della scena. I frutti
di questo processo, però, non
si riscontrano solo nelle scene
d’azione, ma soprattutto nei
42

43

3.3
POTENZIALITÀ E
MALLEABILITÀ ESPRESSIVE
Una evoluzione dei processi di motion capture che
sposta l’accento dal punto di vista tecnico a quello più
propriamente espressivo.
Se gli studi ed i primi strumenti
di acquisizione si focalizzavano
sulle singole parti del corpo
umano, acquisite in momenti
diversi e successivamente
riassemblate costringendo
l’attore a frammentare il proprio
lavoro in parti, limitandone
la potenzialità espressiva
dell’insieme, il performing
capture cerca di mantenere
unica la fase di acquisizione
del movimento di tutto il corpo
umano.
In questo modo l’attenzione
viene posta sulla performance
generale che può anche
essere realizzata da più attori
contemporanemente, mantendo
il più possibile coerente l’azione
che si stà svolgendo.
La Performance Capture si
differenzia dalla ordinaria
Motion Capture, per il fatto che
44

cattura contemporaneamente
i movimenti del corpo (come
già fa la Motion), delle mani e
le espressioni del volto così da
non frammentare e snaturare
l’atto recitativo e quindi la
performance dell’attore, punto
cardine di questa tecnica.
La tecnica di cattura dei
movimenti è la stessa che si
usa per la Motion, la differenza
sta nel fatto che per zone dove
si necessita di una precisione
maggiore nell’acquisizione,
come ad esempio per i
viso ed i suoi movimenti,
si utilizzano logicamente
marcatori di dimensioni minori e
maggiormente ravvicinati.
? ANDY
SERKIS
Lo chiamano "l'uomo scimmia"
perché nessuno meglio di lui riesce
a imitare le movenze dei primati.
Andy Serkis ne dà prova, di nuovo,
in Apes Revolution - Il pianeta delle
scimmie, sequel del fortunato L'alba
del pianeta delle scimmie del 2011,
in cui grazie alla motion capture
torna nei "panni" dello scimpanzè
Caesar. Nello stesso modo ha
interpretato Gollum nella trilogia di
Il signore degli anelli e nei vari Lo
hobbit e prima ancora King Kong,
sempre per l'amico Peter Jackson.
45

«Non ho mai fatto distinzioni nel processo
di creazione di un personaggio in computer
grafica da quello per la creazione di un ruolo
convenzionale. Per me non c'è differenza»
Andy Serkis
46

Apes Revolution
47

48

MICROSOFT KINECT
Un esempio “quotidiano” di motion capture è
di certo il Kinect. Questa periferica permette di
interagire con la consolle (e non solo) di casa
senza l’uso di strumenti aggiuntivi, superando di
gran lunga l’avvento del touch screen domestico
e primeggiando a discapito delle altre consolle
come la Sony e la NintendoWii, le quali utilizzano
controller Wi-fi o altri strumenti.
Noi abbiamo gestito la periferica connettendola
al personal computer per realizzare un’interazione
“uomo-macchina” alla Minority Report.
49

4.1 LA PRIMESENSE E L’INNOVAZIONE DI KINECT
L’uscita di Kinect ha
provocato un grande
scossone nella comunità
di sviluppo libero di software
per PC e Mac. Una moltitudine
di programmatori è infatti
attualmente al lavoro sulla
periferica, allo scopo di trovare
nuove modalità di utilizzo di
tale dispositivo che si configura
come il primo di una serie di
sistemi che potrebbero davvero
portarci in un futuro alla Minority
Report.
Nel dicembre del 2010 la società
PrimeSense, una compagnia
israeliana da tempo impegnata
in ricerca e sviluppo di sistemi di
controllo senza dispositivi fisici
e responsabile della tecnologia
del sistema di telecamere di
Kinect, ha rilasciato i driver open
source per questa innovativa
periferica, compatibili con
Windows e Linux. Questi driver
che consentono di accedere
alle funzioni audio e video
e ai sensori di profondità di
Kinect sono basati su una API
(Application Programming
Interface) completa, nota
come Open NI (Open Natural
Interactions). Quest’ultima
permette di catturare il
movimento in tempo reale,
il riconoscimento di gesti
delle mani e dei comandi
vocali e implementa anche un
“analizzatore di scena”, che
rileva figure in primo piano e le
separa dallo sfondo.
50

? PROJECT NATAL
Il Kinect, inizialmente conosciuto con il nome di Project
Natal, è un dispositivo di input per la console di gioco di
casa Microsoft, l’Xbox 360.
Tale dispositivo è sensibile al movimento del corpo umano di
modo che, a differenza dei suoi concorrenti, quali il Wiimote della
Nintendo e il PlayStation Move della Sony, esso rende il giocatore
controller della console senza l’uso di strumenti. Sebbene in origine
pensata per l’ Xbox 360, Microsoft ha reso disponibile l’uso della
periferica a tutti i PC dotati di un sistema operativo Windows (da
poco è possibile ottenere i software anche per Macintosh).
51

4.2 LE COMPONENTI INTERNE
L’ hardware di Kinect si basa
su tecnologie di 3DV, una
compagnia che Microsoft ha
prima finanziato e poi acquisito
nel 2009, nonchè sul lavoro
dell’israeliana PrimeSense,
che ha poi dato in licenza
la tecnologia a Microsoft.
Il 13 maggio 2010 è stato
pubblicato negli Stati Uniti da
PrimeSense un brevetto dal
titolo “Depth Mapping using
Projected Patterns” che spiega
esattamente la tecnologia
implementata in Kinect:
- un array di microfoni orientati
verso il basso (3 sul lato destro e
uno sul lato sinistro);
- tre apparati ottici utilizzati per
il riconoscimento visuale del
corpo in movimento;
52

- due videocamere ed un
sensore infrarossi aggiuntivo;
- una ventola per la dissipazione
del calore;
- 64MB di memoria flash DDR2;
- un accelerometro Kionix
KXSD9 a tre assi;
- Prime Sense PS1080-A2, il chip
che rappresenta il cuore della
tecnologia di Kinect.
53

4.3 FUNZIONAMENTO SOFTWARE
Il chip PS1080-A2 di PrimeSense
sovraintende tutta la
procedura di analisi della scena
controllando adeguatamente gli
apparati ottici e audio al fine di
raccogliere le informazioni di cui
necessita.
Il corredo di apparati ottici
di Kinect si compone di una
telecamera RGB e un doppio
sensore di profondità a raggi
infrarossi. Tale sensore è composto da un proiettore a infrarossi e
da una telecamera sensibile alla stessa banda, che in pratica serve
a leggere quanto rilevato dai raggi infrarossi. La telecamera RGB ha
una risoluzione di 640 × 480 pixel, mentre quella a infrarossi usa una
matrice di 320 × 240 pixel. L’array di microfoni è usato dal sistema
per la calibrazione dell’ambiente in cui ci si trova, mediante l’analisi
della riflessione del suono sulle pareti e sull’arredamento. In tal
modo il rumore di fondo e i suoni del gioco vengono eliminati ed è
possibile riconoscere correttamente i comandi vocali. La barra del
Kinect è motorizzata lungo l’asse verticale e segue i movimenti dei
giocatori, orientandosi nella posizione migliore per il riconoscimento
dei movimenti.
54

L’ultimo modello di dispositivo
kinect per la XBox 360 migliora
le prestazioni:
3 apparati ottici utilizzati per
il riconoscimento visuale del
corpo in movimento.
Telecamera RGB
640x240 pixel
Telecamera a raggi infrarossi
320x240 pixel
Sensore rilevamento dinamico
55

? MINORITY
REPORT
VS
KINECT
Tre mesi prima di iniziare
le riprese, il regista Steven
Spielberg convocò un
gruppo di futurologi perché
immaginassero per lui un
2054 credibile.
Tra costoro v'erano esperti
del MIT, del dipartimento di
ricerca biomedica alla difesa,
di software e di realtà virtuale.
Quel futuro immaginato nel
2054 si verifica invece con la
nascita del primo Microsoft
Kinect nel 2010 (inizialmente
con il nome di Project
Natal). Ben 44 anni prima
rispetto alla previsione dei
futurologhi, i quali saranno
stati poco ottimisti.
Cosa ci attende realmente
nel 2054?
56

Minority Report
57

58

AVATAR
Un viaggio che ci conduce alla scoperta totale
del film esempio indiscusso della motion capture
e più in generale padre della Tecnologia (con la
“T” maiuscola). Il gigante del cinema dei nostri
tempi: Avatar. Dalle idee che lo hanno generato
alle tecniche e tecnologie grazie alle quali è stato
possibile realizzarlo. Un lavoro colossale che ha
aperto la strada al cinema del futuro.
59

Uno dei più importanti maestri
della storia del cinema che,
fra tripudi di effetti visivi ad
alto livello, sufficienti sviluppi
narrativi e la presenza rocciosa
e impenetrabile di capitani
spaziali inseguite da alieni
parassiti, transatlantici sul punto
di affondare e abissi esplorati
in 3D, ha scritto un’importante
pagina nel mondo della settima
arte.
60

James Francis
Cameron (Kapuskasing,
16 agosto 1954) è un
regista, sceneggiatore,
produttore
cinematografico e
esploratore canadese.
JAMES
CAMERON
?
NUMERI
NELLA STORIA
I suoi due ultimi film (Titanic e
Avatar) sono rispettivamente
il secondo e il primo film
di maggiore incasso della
storia del cinema. In totale i
suoi lavori da regista hanno
incassato complessivamente
1,5 miliardi di dollari negli
Stati Uniti e altri 3,68 miliardi
di dollari nel resto del mondo.
Parallelamente all’attività di
cineasta Cameron si è cimentato
nella produzione di documentari
e, in seguito, nell’ideazione e nella
realizzazione di nuove tecnologie
cinematografiche. Cameron ha
anche contributo alla realizzazione
di riprese sottomarine, allo
sviluppo della computer grafica e
del cinema tridimensionale.
61

62
«Ho aspettato che la tecnologia della grafica
computerizzata avanzasse sempre più, facendo sì
che i costi del film non sarebbero lievitati troppo,
cosa che sarebbe accaduta dieci anni fa!
Voglio creare un nuovo tipo di grafica virtuale
aiutandomi con l’ animazione del motion capture.
Con il mio Reality Camera System, il digitale sembra
reale e viceversa»
James Cameron

63

Dalle idee alle tecniche che hanno dato origine ad un film unico nella storia del cinema
grazie allo straordinario contributo delle nuove tecnologie in particolare grazie all’aiuto
della Performance Capture
5.1 AVATAR: UN LAVORO COLOSSALE
Avatar è il film nel quale si fa il maggiore utilizzo della
Motion Capture Technology e più in generale è il film nel
quale si fa più uso di tecniche cinematografiche.
Avatar è il film frutto della mente geniale di James Cameron, il quale
aveva avuto la prima idea di questo film nel lontano 1995 ma non ne
aveva fatto niente in quanto, all’ epoca, non c’ era la possibilità di
realizzare gli effetti speciali che lui tanto desiderava.
Nonostante avesse pronta la sceneggiatura e moltissimi bozzetti
ha dovuto tenere tutto nel cassetto fino a che gli esperti di effetti
speciali non gli hanno dato il via libera.
Per rendere l’idea della grandezza e dell’ unicità del capolavoro
si pensi al fatto che la lavorazione sia durata 7 anni e che il regista
abbia affidato la realizzazione degli effetti digitali del “film più
complesso che abbia mai girato (J. Cameron)” sia alla Weta Digital
Film che alla ILM 1 , le quali si sono spartite il lavoro per dare vita al
mondo in Computer Generated Imagery di Pandora.
Per poter comprendere ancora meglio la mole di lavoro dietro a
questo progetto basti pensare che la Weta ha dovuto utilizzare un
petabyte (mille terabyte) di memoria digitale per tutti gli elementi
del film realizzati con la CGI (la miriade di piante, animali, insetti,
rocce ecc..). Per fare un paragone comprensibile ai comuni mortali
che non parlano la “lingua binaria” si può dire che Titanic ha
richiesto due terabyte di memoria per creare (e affondare) la nave
e le migliaia di passeggeri, circa 1/500 della memoria utilizzata per
Avatar.
64
1 Industrial Light & Magic

5.2 RIVOLUZIONE TECNOLOGICA
Per Avatar, J. Cameron ha
rivoluzionato il modo di fare le
riprese. Molte delle faccende
che solitamente sono assegnate
alla fase di post-produzione,
infatti, sono state risolte in
contemporanea alla fase di
ripresa (circa l’ 80% di lavoro
di post-produzione in meno).
Molte delle virtualità digitali che
necessitavano un’ elaborazione
per essere viste e maneggiate
grazie alla nuova tecnologia
possono essere gestite in Real
Time. Grazie alla tecnologia
della Simulcam è possibile
ottenere immediatamente
il risultato delle riprese in
Performance Capture. Gran
parte del girato, infatti, è basato
sull’adozione della Performance
Capture degli attori, i cui
movimenti corporei risultano
generati in tempo reale sulla
riproduzione virtuale della scena
attraverso le tute XSens (in lycra)
da Motion Capture indossate
dagli attori stessi.
Ed è qui che entra in gioco
la Simulcam che consente di
sovrapporre in tempo reale le
riprese in Performance Capture
con vere e proprie sequenze in
live-action. Ad esempio, se una
scena prevede un personaggio
reale e uno virtuale su un
background alieno, è possibile
fornire in tempo reale al regista
una ripresa in tempo reale e
in perfetta simultaneità con la
camera principale con i due
personaggi, quello reale e
quello virtuale.
65

5.3
RIPRESE: LA
FUSION 3-D
La maggior parte delle riprese
sono state realizzate tra le
Hawaii e Los Angeles. Quelle
legate agli effetti speciali sono
state prodotte negli studi di
Weta Digital e ILM.
Le riprese delle scene
ambientate su Pandora, si sono
svolte in un grande magazzino
(chiamato il “Volume”) svuotato
e riempito di pareti verdi e
sensori. Tutto è stato organizzato
di modo che le camere puntate
sugli attori (che indossano tute
anch’esse piene di sensori)
possano mostrare in tempo
reale al regista una versione in
bassa qualità dei personaggi
digitali che si muovono come gli
attori nell’ ambiente virtuale.
Cosi Cameron dirige le scene
vedendo subito il risultato.
A tal fine James Cameron ha
ideato una nuova telecamera
per garantire la migliore resa
66
LA SIMULCAM.
Zoe Saldana tra avatar e realtà;
la recitazione e la visualizzazione
virtuale nel medesimo istante.
Visione in tempo reale del
personaggio virtuale di Zoe
Saldana (Neytiri).
Grazie alla tecnologia della
Simulcam è possibile ottenere
immediatamente il risultato delle
riprese visualizzando le immagini in
bassa qualità.
Tanta tecnologia e tanta
innovazione, che confluiscono
nella virtual camera, l’invenzione
probabilmente più originale
avvenuta durante le riprese del
film. La virtual camera permetteva
a James Cameron di ‘girare’ le
scene vedendole già modificate
con gli effetti speciali: per fare
un esempio, Cameron vedeva
Zoe Saldana nei panni del suo
avatar e non vedeva l’attrice
coperta di strumenti e accessori
per trasformare la sua figura in
post-produzione. In breve, la
virtual camera permette di girare
all’interno di un mondo realizzato
al computer, una comodità non da
poco per il regista.
visiva in funzione degli effetti
speciali e del 3D.
Questa nuova macchina da
presa è dotata di due obiettivi
capaci di girare immagini in alta
definizione e separatamente
per ogni obiettivo. In questo
modo gli obiettivi simulano il
comportamenti del sistema
visivo umano: infatti, la distanza
tra i due obiettivi è la medesima
di quella tra gli occhi umani. Per
fare ciò Cameron ha brevettato
un sistema di ripresa chiamato
Fusion 3-D Camera System
ottenuto mettendo insieme due
Sony HDCF950 HD. Il regista ha
convinto la Sony Entertainment
a ratificare il nuovo sistema.

SONY HDCF950 HD.
Il sistema di telecamere Fusion fatto
il primo utilizzo di Sony HDC - F950 e
poi di telecamere Sony HDC -1500 HD
quando si sono resi disponibili .
Le telecamere sono dotate di lenti
Fujinon da Fujifilm.
INVENZIONI e INVENTORI.
James Cameron e le sue più
nuove invenzioni. Il regista al
centro regge la Fusion 3-D
Camera System.
FUSION 3-D CAMERA SYSTEM.
Il regista di Avatar con la sua Fusion
3-D Camera System con due
obiettivi separati che simulano il
comportamento del sistema visivo
umano.
Sistema Fusion Camera è un sistema
di cinepresa digitale sviluppata da
James Cameron e Vince Pace . È stato
sviluppato come un modo per sparare
funzioni stereoscopiche in 3D.
67

«Cameron è effetti speciali.
Cameron è una fotografia
spettacolare.
Cameron è l’impiego di mezzi
grandissimi.
Cameron è anche un lungo film.
Cameron è cura maniacale per i
particolari, ma anche una colonna
sonora efficacissima»
Avatar - STAFF Cameron
68

PERFORMANCE
CAPTURE
69

?
SEQUEL
Dopo lo straordinario
successo di Avatar, il
regista James Cameron
ha annunciato la
realizzazione di ben due
sequel del suo film.
5.4 NATURALEZZA DEI VOLTI
Per quanto riguarda le
espressioni facciali dei
personaggi è stata adottata
una nuova tecnica: tutti gli
attori sono equipaggiati con
un braccio rigido attaccato al
loro corpo, sulla cui estremità
è montata una telecamera
che riprende i movimenti e le
espressioni del viso.
Le fasi di ripresa vera e propria
sono due:
inizialmente vengono catturati
i movimenti degli attori, sul cui
corpo sono stati posizionati
dei led che emanano una luce
infrarossa che viene registrata
da alcune telecamere poste in
specifici punti del magazzino.
I dati aggregati di queste
telecamere restituiranno
con precisione il movimento
tridimensionale. I led sono
applicati sul corpo degli attori e
anche sui loro volti.
Il sistema, come detto, opera
in tempo reale, facendo in
modo che Cameron possa
vedere immediatamente il
risultato delle riprese e, qualora
fosse necessario o ne avesse il
desiderio, apportare modifiche
e correzioni o rigirare l’intera
scena.
Quello che Cameron vede è
un framework digitale con dei
marcatori che gli permettono di
capire la posizione degli attori
all’ interno della scena.
Uno degli strumenti più potenti
che la tecnologia gli mette a
disposizione è di modificare la
posizione dei marcatori posti
sui volti e di generare in questo
modo in maniera dinamica tipi di
espressione che nella realtà non
sono stati eseguiti dagli attori.
Ma quest’ ultima possibilità
non è mai stata esercitata da
Cameron, perchè non ha voluto
perdere la naturalezza della
recitazione degli attori che è
proprio lo scopo per cui viene
utilizzato il sistema di Motion e
Performance Capture.
70

«Il modo in cui abbiamo
sviluppato la performance
capture lavorando ad Avatar
dipende dalla nostra virtual
camera che mi permette di
tenere in mano una telecamera
in tempo reale, in realtà è un
monitor, e puntarla verso gli
attori, così da poterli vedere
come se fossero i loro Avatar.
È straordinaria questa capacità
di far apparire velocemente
scene, immagini e bellissimi
paesaggi di fantasia… Quando
ricorri alla performance capture,
da un punto di vista creativo
è scoraggiante. È difficile
immaginarsi come sarà la scena.
Ma se puoi vederla, se puoi
avere un’immagine virtuale di
come sarà, allora è fatta»
James Cameron
71

«Quello che stiamo cercando di eliminare sono le cinque ore di trucco, che è il modo in cui venivano
creati personaggi quali gli alieni, i lupi mannari, le streghe, i demoni e così via.
Ora è possibile essere chiunque o qualunque cosa si voglia, a qualunque età, si può perfino cambiare
sesso, senza le lungaggini e il fastidio di un trucco complicato»
James Cameron
72

5.5 REALTÀ
SENZA TRUCCO
A James Cameron non
interessava usare il trucco per
creare la sua specie aliena.
Gli alieni umanoidi sono stati
interpretati per anni dagli attori
grazie al trucco, fin dai tempi
dei film a basso costo degli
anni ’50 e, nei successivi quattro
decenni, negli spin-off di “Star
Trek”, nei film e programmi TV
di fantascienza. Ad oggi, sono
praticamente stati studiati e
sperimentati tutti i metodi per
applicare gomma sui volti degli
attori, senza trascurare il fatto
che, in sé, la tecnica pone dei
limiti. La grandezza e la distanza
tra gli occhi non può essere
cambiata. Le proporzioni del
corpo non possono essere
modificate, né può esserlo nel
complesso la dimensione del
personaggio. Da ultimo, il trucco
fino ad oggi utilizzato limita l’
interpretazione
dell’attore, perché frappone una
barriera tra lui e la macchina da
presa.
Con il processo di “performance
capture” tutti questi limiti
vengono superati. Sebbene i
personaggi realizzati per Avatar
con la Computer Grafica (CG)
somiglino agli attori che li
interpretano, le loro proporzioni
sono fondamentalmente
diverse. Gli occhi dei Na’ vi
hanno un diametro doppio
rispetto a quelli umani e sono
più distanziati tra loro. Come
corporatura gli alieni sono più
longilinei degli umani, hanno
il collo più lungo e strutture
muscolari e ossee differenti, ad
esempio le mani hanno solo
quattro dita. Con la CG i Na’
vi e gli avatar possono avere
dimensioni molto maggiori
rispetto agli umani. Mentre
il trucco blu avrebbe reso la
pelle opaca, la CG dona ai
personaggi una pelle traslucida
che si comporta proprio come
quella vera, la cui pigmentazione
superficiale non maschera il
bagliore sottostante del sangue,
come ad esempio quando la
forte luce del sole colpisce la
parte posteriore delle orecchie.
Tutte queste sfumature si
mescolano permettendo di
ottenere delle creature che
sembrano vive.
73

5.6 EFFETTO “DEAD EYE”
Come già accennato nei
paragrafi precedenti, Cameron
era da tempo in cerca di
un modo per trasportare la
creazione di figure aliene nel
XXI secolo. Nel 1995 ha assistito
ai rapidi progressi compiuti
dagli esperti CG, Cameron
ha capito che le tecnologie
necessarie per avere il
fotorealismo a cui ambiva
erano ancora lontane, quindi
ha accantonato il progetto.
Quando il regista lo ha ripreso
messo a punto un nuovo sistema
di performance capture delle
espressioni del viso basato sulle
immagini, usando un dispositivo
da far indossare agli attori sulla
testa, munito di una piccola
telecamera, che ha permesso di
dalla CG nella realizzazione
di creature e ha pensato che
il progetto dei suoi sogni,
ambientato in un altro mondo,
avrebbe forse potuto vedere la
luce. Avendo già
creato alcuni personaggi
che possono considerarsi
delle pietre miliari della
CG in “Abyss” (The Abyss)
e “Terminator 2: Il giorno
del giudizio” (Terminator 2:
Judgment Day), Cameron voleva
spingere l’ arte della CG verso
nuovi traguardi e così ha scritto il
visivamente ambizioso Avatar.
Ma quando le sue idee sono
state analizzate e poi bocciate
in mano nel 2005, sembrava
che le tecnologie richieste
fossero a portata di mano. All’
epoca, c’ era ancora qualche
perplessità riguardo al fatto
che i personaggi potessero
apparire totalmente reali,
perché avrebbero sofferto dello
sgradevole effetto “Dead eye”,
cioè la mancanza di luminosità
osservata in alcuni dei primi
film realizzati con la tecnica
del performance capture. Il
team di Cameron ha provato
ad andare oltre e migliorare
questi primi tentativi, in modo
da assicurare la totale realtà
dei personaggi. Per fare ciò, ha
5.7
ANIMAZIONE
Ci sono volute competenze
eccezionali nel campo dell’
animazione per assicurare che
i personaggi CG recitassero
esattamente come gli attori.
Ma, al tempo stesso, le
interpretazioni non sono
state alterate, né abbellite
né esagerate. Gli animatori
si sono impegnati a
rappresentare in modo
74

autentico il lavoro degli attori,
senza nulla aggiungere e nulla
togliere a quanto Sam, Zoë o
Sigourney avevano fatto nel
“Volume”. Ovviamente, gli
animatori hanno apportato
qualche modifica, ad esempio
nel movimento della coda o
delle orecchie, laddove gli attori
non potevano compiere queste
azioni. Anche in questo caso,
comunque, l’ obiettivo era di
essere coerenti con le emozioni
manifestate dagli attori durante
le riprese originali. Così, quando
Neytiri sferza l’ aria con la coda
o abbassa le orecchie per la
rabbia, gli animatori si limitano
ad accentuare l’espressione
collerica manifestata da Zoë
Saldana durante la ripresa della
scena.
75

catturare anche le sfumature
più impercettibili dei loro volti.
Invece di ricorrere alla tecnica
della motion capture, basata
su marcatori riflettenti sul volto
per cogliere le espressioni, gli
attori hanno indossato una sorta
di casco a cui era collegata una
piccola telecamera. Questa
era rivolta verso il viso degli
attori, in modo da registrare le
loro espressioni e i movimenti
?
Avatar è arrivato per la
prima volta nelle sale
italiane il 15 Gennaio 2010
(20th Century Fox); la data
di uscita originale è: 17
Dicembre 2009 (UK).
Le riprese del film si sono
svolte nel periodo 16 Aprile
2007 - 01 Dicembre 2007 in
Nuova Zelanda e USA.
Di seguito alcune delle
location in cui è stato girato
il film:
Stone Street Studios, Stone
Street, Miramar, Wellington,
Nuova Zelanda Wellington,
Nuova Zelanda
RIPRESE E
LOCATION
Hamakua Coast, Hawaii,
USA Hughes Aircraft - 909
N. Sepulveda Boulevard, El
Segundo, California, USA
Kaua'i, Hawaii, USA
Los Angeles, California,
USA O'ahu, Hawaii, USA
Playa Vista, California, USA
dei muscoli con un livello di
dettaglio mai ottenuto fino
ad allora ma, soprattutto, ha
registrato il movimento degli
occhi, cosa che non era mai
stata fatta con i sistemi utilizzati
in precedenza.
Questo dispositivo a casco
ha permesso di catturare le
espressioni del viso con una
chiarezza e una precisione senza
precedenti.
Inoltre, non utilizzando le
macchine da presa del motion
capture, queste ultime sono
state usate per catturare i
movimenti del corpo, quindi
sono state posizionate a una
maggiore distanza dagli attori.
In questo modo, il team di
Avatar ha potuto disporre nel
Capture Environment (ambiente
di cattura) di uno spazio (detto
“Volume” - come già citato
prima), molto più ampio di
quanto non si sia mai avuto in
precedenza. Con un capture
environment sei volte più grande
rispetto al passato, il “Volume”
di Avatar è stato usato per
cogliere dal vivo il movimento di
cavalli al galoppo, per sequenze
acrobatiche piuttosto complesse
e perfino per i combattimenti
tra apparecchi aerei e creature
volanti. Quindi, la rivoluzionaria
tecnica adoperata è stata la
chiave non solo per ottenere
le sfumature più sottili delle
emozioni espresse dai
personaggi, ma anche per
amplificare la grandiosità dello
spettacolo cinematografico.
76

«Ho ringraziato Jim.
Neytiri era sexy, bella e longilinea,
ma l’interprete ero solo e soltanto
io!»
Zoe Saldana
77

78

Avatar
79

80

Fotogallery - Avatar
81

82

MOCAP TEATRALE
Le sperimentazioni della motion capture live
realizzate nel teatro sono rarissime. L’Ubù
incatenato come esempio in ambito teatrale per
dimostrare le tante possibilità della motion capture,
capace di accostarsi, attraverso vari e differenti
metodi, a mondi molto diversi fra loro.
83

Un teatro digitale composto da cyberattori e supermarionette.
L’attore domina la tecnologia e si fa dominare creando un’interazione tra uomo e macchina
senza precedenti.
6.1 RE UBÙ INCATENATO
Sono rarissimi gli esempi di utilizzo della tecnologia Motion Capture in una
rappresentazione teatrale dal vivo, essendo questa una modalità più frequentata dalla
coreografia digitale o dalla cinematografia degli “effetti speciali”.
Per sperimentare le
potenzialità espressive
del corpo in-macchinato
(armatura esoscheletrica o
meccanico-protesica di cattura
del movimento) associato ai
data glove , occorreva un artista
davvero eclettico come Roberto
Latini, riconosciuto talento del
nuovo teatro di ricerca italiano.
Latini crea ed interpreta solo
in scena un insolito Ubu
incatenato, continuazione
o “contropartita” del più
famoso Ubu re del dissacrante
e pungente pre-surrealista (o
protodadaista come lo definisce
lo storico Henri Béhar) Alfred
Jarry.
Messo in scena nel 1937 (ovvero
47 anni dopo la memorabile
rappresentazione dell’ Ubu Roi
al Theatre de louvre di Parigi)
con le scenografie di Max Ernst,
questo testo racconta con un
humour moderno, le vicende
di Re Ubu che dopo essere
stato Re di Polonia si accinge
a liberarsi dall’alienazione
collettiva diventando
volontariamente schiavo, ovvero
il più libero tra gli uomini. Un
tema questo, della mitizzazione
della schiavitù che si presta a
interessanti attualizzazioni e
sfumature interpretative, come
ricorda lo stesso Latini:
«Padre Ubu diventa un esempio
per molti, che da liberi cercano
di ferrarsi a una qualche catena.
Libertà e Schiavitù sono dentro
un solo concetto».
84

Roberto Latini è l’attore
teatrale più eclettico
del panorama italiano in
questo momento. In figura
(a sinistra) lo si vede in
azione sul palco, mentre
indossa una speciale tuta
Motion Capture.
(In basso) L’attore, in
una delle scene più
indimenticabili della
rappresentazione di Re ubù
Incatenato.
85

6.2 COMPOSIZIONE DELLA SCENA
Una scenografia molto
meccanica (alla Ernst) a due
piani, ingombra di vecchi
elettrodomestici, di ferraglia,
di binari, di cessi, che ricorda
l’assemblaggio artistico secondo
il metodo della casualità,
tipicamente surrealista, fa da
sottofondo a questa piéce per
attore e macchine.
La scena è composta da
tre pannelli su cui vengono
proiettati ambienti 3D,
immagini da una webcam, video
pre registrati e personaggi
computer-animated gestiti Real
Time direttamente da Latini
(tra cui un manichino per il
crash test) grazie alla tuta per
Motion Capture con la quale
Re Ubu con il suo asservimento
autoimposto per ottenere la
vera libertà, diventa incatenato
alla macchina tecnologica; altri
personaggi sono poi creati
con la grafica computerizzata e
mossi dal guanto virtuale o con
alterazioni dei toni di voce.
«È un paradosso che ha determinato le
modalità di ricerca.
Forse per la cara riflessione sull’attore, sullo
stare in scena, sull’essere autori di sé, e
forse anche per Jarry rispetto a Ubu, per
il loro grado di relazione, appartenenza e
dipendenza, la questione più interessante ci è
sembrata quella dell’identità, dal punto di
86

?
L’ATTORE
MECCANICO
vista dei ruoli abbiamo cercato un modo
per essere allo stesso tempo Ubu e Jarry,
quindi non solo la marionetta, e la mano che
la anima, non solo il burattino e colui che
tira i fili, ma anche l’autore di fronte a quelle
forme di se stesso che diventano le proprie
opere».
Roberto Latini
Una prova davvero superba
che evidentemente colloca
questo Ubu tra gli esempi più
significativi del teatro nell’era
digitale; un teatro che afferma
la centralità dell’attore, fulcro
vitale dell’esperienza scenica il
cui corpo interfacciato permette
di far funzionare, per contagio
tecnologico, l’intero spettacolo.
Il cyberattore assume i caratteri
della supermarionetta,
dell’uomo-architettura ambulante
e dell’attore biomeccanico:
«il corpo è la macchina e l’attore
il meccanico»
V. E. Mejerchol’d 1
1 Regista teatrale russo (1874 - 1940)
87

6.3 REALAZIONE TRA SPAZIO DIGITALE E ATTORE
La bellezza dello spazio
teatrale è proprio quello di
non avere limitazioni su cosa
e come rappresentare. La
relazione vivente che si instaura
fra lo spazio digitale e l’attore
ha un aspetto particolare, è
molto diversa rispetto quella
che si può realizzare in una
installazione fruita direttamente
dallo spettatore.
Con l’installazione bisogna
per forza limitare e rendere
abbastanza intuitive le
modalità interattive in modo
che l’utente sia veramente in
grado di relazionarsi con lo
spazio e quindi in grado di fare
una esperienza costruttiva. In
teatro invece lavorando con gli
attori, si possono costruire
sistemi relazionali molto
88
più complessi, a volte se si
vuole anche più difficili da
gestire, dove però si possono
veramente sperimentare
forme interattive molto
evolute. Quando lo spettacolo
va in scena l’attore conosce
alla perfezione lo spazio che
lo circonda, è effettivamente
“come un abito di scena che
gli è stato cucito addosso”
(Roberto Latini), in cui si deve
sentire a suo agio e di cui deve
avere la piena padronanza. E’
quindi qualcosa di più di una
scenografia tradizionale e non
può essere costruita all’ultimo
momento.
Per fare questo è necessario che
l’ambiente digitale all’interno
del quale dovrà muoversi
l’attore, venga progettato in
un processo organico fin dalle
prime fasi progettuali dello
spettacolo stesso; sono in molti
a sostenere che già la scrittura
del testo, quando si può lavorare
su testi originali, ne dovrebbe
tenere in considerazione.
Bisogna che l’attenzione sia
sempre concentrata sulle
necessità espressive dell’attore
in modo da far diventare
l’ambiente virtuale una sorta di
estensione del suo corpo e della
sua gestualità.
Prima quindi si progetta
l’aspetto interattivo che
l’attore deve avere con la
scena, dopodiché si scelgono
le tecnologie adatte e si inizia
la fase di sperimentazione con
l’attore.

6.4 MOCAP PER UN TEATRO SPERIMENTALE
La presenza nelle sale
cinematografiche di produzioni
in animazione digitale (dal
cartoon 3D ai film pieni di
effetti visuali) sempre più
numerose dimostra quanto
questa tecnologia non abbia
limiti espressivi. Nel cinema il
motion capture naturalmente
viene utilizzato per animare
creature fantastiche, personaggi
digitali in un rapporto diretto
attore/rappresentazione che
mostra solo la rappresentazione
nascondendo la fase di
costruzione. In teatro però
l’attore è in scena,
visibile sul palco, perno
centrale della narrazione
e il suo rapporto con la
rappresentazione digitale
cambia completamente
statuto. Naturalmente non è
questa una tecnologia che possa
essere usata indifferentemente
per qualsiasi spettacolo di
prosa ma al contrario non
è nemmeno vero che sia
utilizzabile solo per certe
forme di teatro sperimentale.
Risulta fondamentale un lavoro
sinergico sia con il testo che con
l’attore, è necessario che il testo
sia adatto ma anche che l’attore
sia in grado di mettersi in gioco
studiando e lavorando su nuove
tecniche espressive che partono
dal suo corpo e si amplificano
nello spazio rappresentativo che
lo circonda.
Il rischio se non si ha una
approfondita conoscenza della
tecnologia è quello di fare
un teatrino delle marionette,
che può risultare non così
interessante. Se si usano
queste tecnologie per svolgere
i compiti per cui sono state
progettate, ed è quindi facile
usarle, ci si limita a costruire ed
animare dei personaggi digitali.
La macchina scenica digitale
diventa importante non
tanto per l’oggetto che è o
che rappresenta ma come
infrastruttura dinamica
strettamente legata alla
narrazione.
«La ricerca e la sperimentazione diventa interessante invece quando si usano queste
tecnologie in modo improprio, si sottomettono agli aspetti narrativi e rappresentativi, se
ne stravolgono le loro funzioni originali o le si fanno diventare linguaggio puro».
Andrea Brogi 1
1 Architetto digitale è attualmente uno dei massimi esperti italiani in materia di animazione grafica 3D Real time.
89

6.5 18 INTERPRETAZIONI PER UN SOLO ATTORE
Ubu si incatena
tecnologicamente (sia nel senso
fisico che in quello patafisico),
in un percorso evolutivo tale
da trasformarlo solo alla fine
nella supermarionetta che
lascerà nuda in scena per
prendere ordini solo dalla sua
pancia. In questo percorso
infatti le varie tappe della sua
carriera di schiavo (lustrascarpe,
maggiordomo tuttofare,
prigioniero, vogatore su di una
galera del Solimano) sono messe
in relazione con un evolversi del
suo incatenamento tecnologico
che lo lega alle macchine digitali
in grado di rilevare qualsiasi
aspetto espressivo dell’attore,
al quale vengono attribuiti,
volutamente, diciotto ruoli
differenti tra schiavi e uomini
liberi. Prima la voce ripresa con
un microfono, poi il movimento
delle dita delle mani, poi quello
delle braccia e del busto per
arrivare infine anche alle gambe
e racchiuderlo completamente
all’interno di uno spazio virtuale
che non trascura nessun aspetto
dell’espressione corporea
dell’attore. Ed ancora giocando
sul ruolo avuto dagli schiavi
e dagli uomini liberi, che
disobbediscono di default a tutti
gli ordini che ricevono (altrimenti
che uomini liberi sarebbero!)
così fedelmente tanto da
costringersi a ordinarsi cosa non
vogliono fare per poter fare il
contrario, ci siamo immaginati
due forme rappresentative
diverse: gli uomini liberi sono
sempre raffigurati tramite delle
riprese video live o preregistrate
che mettono in evidenza gli
aspetti più assurdi della figura
umana (dalla la pianta del
piede alla pancia bucata che
gira vorticosamente come
il cestello di una lavatrice)
mentre gli schiavi sono sempre
e soltanto rappresentazioni
virtuali che hanno la loro stessa
essenza all’interno dello spazio
cibernetico e prendono vita
tramite una complessa rete
di associazioni che le lega
strettamente al movimento del
corpo dell’attore.
90

6.6 L’ESEMPIO DI DOMINIQUE BULGIN
Una performance alla Fortezza da Basso di Firenze per il festival della creatività
“Nuovo e Utile”. Dominique Bulgin (ballerina francese) si esibisce in un ballo del tutto
innovativo.
Dominique Bulgin indossa la
parte superiore dell’esoscheletro
usato per fare motion capture.
I suoi movimenti possono così
essere catturati ed elaborati
dai computer in modo tale che
i suoi armoniosi movimenti, da
ballerina professionista, possano
generare l’ambiente sonoro
all’interno del quale lei stessa
ballava.
Per la prima volta l’ambiente che
viene generato dal movimento
del corpo non era visuale,
luminoso, fatto di pixel (come in
tante altre sperimentazioni) ma
costruito da onde sonore che si
propagano liberamente nell’aria.
La bellezza di questo spazio
sonoro veniva inoltre esaltato
dalla sua tridimensionalità;
usando infatti un apposito
sistema hardware/software di
nome ImEasy le fonti sonore
(sia l’environment di base che
gli interventi di Dominique)
possono essere posizionate
esattamente in punti precisi
dello spazio e manipolate non
solo come onde sonore ma
anche come movimento spaziale
percepibile, un movimento che
è la stessa ballerina a gestire
quasi inconsapevolmente.
I suoni che la ballerina genera
e manipola con il movimento
delle braccia stanno di fronte
a lei, a circa 5 o 6 metri e
seguono esattamente il suo
corpo quando questo volteggia
nell’aria. Lo spettatore si
trova cosi all’interno di uno
spazio virtuale dove ballerina
ed ambiente sonoro sono un
tutt’uno dimenticandosi se sia la
ballerina a guidare o viceversa
sia l’ambiente a farla muovere.
91

CONCLUSIONI
Il Motion Capture, forse, rappresenta una delle innovazioni più
importanti in ambito videoludico e non solo. Molto del realismo
delle animazioni odierne, è dovuto all'utilizzo accurato ed efficace
di questa tecnica che, se sfruttata a dovere, regala ad un film o un
gioco quel qualcosa in più rispetto agli altri che non lo utilizzano.
Nonostante i limiti logistici ed economici, sono sempre più le
case di produzioni che si affidano al mocap per rendere realistici
i movimenti dei propri modelli virtuali, in virtù del sorprendente
risultato in termini di fluidità ed armonia ottenuti. La nuova
frontiera, inoltre, è in grado di abbassare drasticamente i costi di
produzione e renderne ancora più attuabile la diffusione su larga
scala a tutto beneficio della simulazione dei movimenti.
E' indubbio, dunque, che il futuro delle animazioni e della ricerca
del movimento perfetto appaia sempre più rosa.
LIMITI...
Sebbene esistano diverse
tecniche di motion capture
principalmente individuate
dalla tecnologia di sensori
e telecamere utilizzate, il
sistema attuale presenta non
pochi limiti. Il primo di tutti
è ovviamente quello di uno
studio dedicato, necessario per
le sessioni di capture per gli
attori. Questo oltre a richiedere
spazio e costi aggiuntivi, limita
l’azione eseguibile a poche
operazioni semplici facilmente
simulabili dal vivo. Contesti
troppo complessi non possono
essere rappresentati poiché
non si hanno ancora le strutture
necessarie flessibili quanto
basta.
...e SVILUPPI
Invenzione recente di un gruppo
formato da Swiss Federal
institute of Technology, MIT
e Mitsubishi Electric Research
Laboratories, è proprio quella
di un nuovo sistema di motion
capture flessibile, che non
richiede attrezzature o spazi
eccessivi. Il sistema è ancora
in fase di sperimentazione,
tuttavia i prototipi rilasciati
hanno già dimostrato di
poter inaugurare una nuova
era per questa affascinante
tecnologia. Per abbattere il
costo si è lavorato soprattutto
sugli elementi di base, ovvero
sullo studio apposito e le
telecamere specializzate.
Sono state, infatti, sostituite
entrambe grazie a particolari
92

sensori dotati di giroscopi
ed accelerometri, in grado di
fornire autonomamente i dati
relativi a coordinate spaziali
ed angolari, oltre che velocità
di spostamento. Per catturare
questi dati, ogni sensore è
dotato di un emettitore di
ultrasuoni necessario per
captare la distanza dei sensori
dal resto del corpo. I suoni
sono catturati da un particolare
microfono posto vicino al plesso
solare ed il tutto è gestito in
tempo reale da un sistema
portatile applicato a mò di zaino
dietro la schiena.
Riassumendo : diminuisce
il numero di sensori (posti
soltanto sugli arti), i dati relativi
ad angolazione, velocità di
movimento sono dati dagli
stessi sensori quindi non c'è
necessità di ulteriori elementi
esterni come le telecamere,
ed infine la precisione nella
realizzazione dello scheletro
digitale risulta più accurata
rispetto al passato, grazie
alla distanza percepita dai
sensori tramite ultrasuoni. Con
questo sistema i costi maggiori
relativi all’applicazione del
motion capture sono stati
abbattuti come pure il range
di applicabilità. Essendo
un dispositivo portatile
ed autonomo, lo si potrà
utilizzare in tutte le situazioni
immaginabili, anche quelle più
complesse. Il futuro del motion
capture è fortemente legato
alla diffusione di questa ed altre
tecnologie simili.
93

BIBLIOGRAFIA
Andriacchi, E. J. Alexander, Studies of human locomotion: past, present and
future, 2000.
Benedetti, A. Cappozzo. Anatomical Landmark Definition and Identification,
1994.
Borghese, P. Cerveri, A fast method for calibrating video-based motion
analysers using only a rigid bar, 2001.
J. Bray, Markerless Based Human Motion Capture: A Survey. Vision and VR
Group, Brunel University, 2001.
Cappello, P. F. La Palombara, Optimization and smoothing techniques in
movement analysis, 1996.
A. Cappozzo, A. Cappello, Surface-marker cluster design criteria for 3-D
bone movement reconstruction, 1997.
A. Cappozzo, U. Della Croce, Stereometric system accuracy tests:
Measurement and data processing methodology in clinical movement analysis
preliminary, 1993.
U. Della Croce, A. Leardini, Human movement analysis using
stereophotogrammetry and assessment of anatomical landmark
misplacement and its effects on joint kinematics, 2005.
L., L., Morando Morandini, IlMorandini - Dizionario del Cinema, Bologna,
Zanichelli Editore, 2013.
94

M. Donati, 3-D Reconstruction of the Human Skeleton during Motion, 2005.
G. Ferrigno, N. A. Borghese, Pattern-recognition in 3-D automatic
human motion analysis, 1990.
H. Furnée, Real-time motion capture systems. Three-dimensional analysis of
human locomotion. New York, Wiley & Sons, 1997.
J.O. Greaves, Instrumentation in video-based three-dimensional systems.
Three-dimensional analysis of human movement, P. Allard e J. Blanchi editors,
1995.
D. Karlsson, A. Lundberg, Accuracy estimation of kinematic data derived from
bone anchored external markers, Stockholm, 1994.
A. Menache, Understamding Motion Capture for Computer Animation and
Video Games. Morgan Kaufmann, 2000.
Edward Muybridge, The Human Figure in Motion. Douer Publications, 1955.
J.C Sabel, Camera calibration with a single marker, Stockholm, 1994.
W. P. Stevens, Reconstruction of three-dimensional anatomical landmark
coordinates using video-based stereophotogrammetry, 1997.
Van Sint Jan, I. Hilal, Data representation for joint kinematics simulation of the
lower limb within an educational context, 2003.
95

SITOGRAFIA
BESTMOVIE. IT
CINEBLOG. IT
CINEBAZAR. IT
DIGICULT. IT
EVOLUCE. COM
GPEMMOCAP. COM
IPISOFT. COM
KEYSOUL. IT
LACOMUNICAZIONE. IT
MOTION.CAPTURE. FR
NATURALPOINT. COM
NETZSPANNING. ORG
NEXT. IT
PREZI. COM
SPAZIOGAMES. IT
TECNOLOGICAMENTE.
INFO
VENUS. IT
XLAB. IT
WIRED. IT
96

RIVISTE
ARC DESIGN
ARCHITECTURE
ART & ADVERTISING
COMPUTER ARTS
COMPUTER DESIGN
CONNECT
DIGIT
DIGITAL
DIGITAL CREATIVE
ELETTRONICA IN
LINK
MAXIMUM PC
MY MOBILE
ONVIEW
PC MAGAZINE
PC WORLD
PHOTOGRAPHER
PRINT
TECH SMART
TECHNOVOIZE
THE BLOGGER BOOK
WEB DESIGN
WINDOWS
WIRED
97

98

99

In un futuro non lontano, mouse
e tastiere non serviranno più:
si potrà lavorare in modalità
multischermo, trasferendo
immagini con semplici gesti delle
mani.
Il futuro alla Minority Report è
sempre più vicino.
John Underkoffler
100

101

102

Si ringraziano
il Professore, nonché relatore, Michele Cafarelli per la passione e
la disponibilità con le quali ci ha accompagnato e seguito durante
l’intero percorso accademico
le nostre care Famiglie che ci hanno supportato, sopportato,
finanziato e sostenuto moralmente in ogni momento
i nostri Amici con i quali abbiamo condiviso idee, collaborazioni e
che hanno sviluppato insieme a noi un percorso di crescita umana e
professionale
103

Marco
Eccomi qui, dopo 3 anni a
scrivere i ringraziamenti.
La sensazione che si prova
è piacevole, perchè questo
momento segna la fine di un
percorso e chissà, l’inizio di un
qualcosa di nuovo, di stimolante.
In queste righe colgo
l’occasione di ringraziare tutte le
persone che mi son state vicine
nel raggiungimento di questo
traguardo nella speranza di non
dimenticar nessuno.
Ringrazio i miei “Colleghi di
Avventura”, Eugenio C per la
sua innata positività, amicizia e
per la sua capacità produttiva in
team. Da notare che nel Design
è bravino, mala musica è il suo
mondo,
CANTAUTORE NATO
Filippo F uno “Statup Designer”,
ha sempre 10 progetti differenti
in mente che non sempre
vengono realizzati, ma quando
accade che successone. SCUSA
U TRAM A MURO
Marta B e Martina R per la loro
presenza, amiche colleghe
e non solo, compagne vere
di avventure, grazie di tutto
SBIELLATE
Ultimi in elenco non per
importanza anzi tutto il
contrario, ringrazio e saluto
i colleghi di Believe®, un
agenzia visuale torinese nel
quale sono cresciuto, col quale
sono entrato nel mondo del
lavoro cominciando a vedere
il mondo con gli occhi di un
professionista.
PierPaolo V grazie per l’immenso
esempio di vita, di capo e di
amico che sei stato per me,
Believe for President
Filippo M un amico e collega
che tutti vorrebbero avere,
ha una soluzione per tutto,
indistruttibile
Nicoletta B.un’amica e
collega, la piu folle del
gruppo, genovese ma torinese
di adozione, alternativa e
intelligente.
Believe thank you for everything
E non poteva mancare il mio compango di tesi Federico, un
collega, un coinquilino, un conquistatore. Conserviamo ricordi di
situazioni stupende, bei momenti passati che ricorderemo tutta la
vita, conquiste e traguardi incredibili, che mai e poi mai mi sarei
aspettato di vivere così bene. Abbiamo sconfinato sino a Barcellona,
conquistata pure lei, ora ci manca solo più la tesi.
CONQUISTATORE
104

Federico
Un percorso accademico è
giunto al capolinea.
Sorge una leggera nostalgia,
suscitata da ricordi ed emozioni
di questi intensissimi anni.
Affiorano alla mente quei tanti
momenti trascorsi in compagnia
di amici formidabili, i quali
hanno partecipato attivamente
e simpaticamente all’evoluzione
di una storia, una grandissima
storia di vita:
Al mitico e famigeratissimo
Carlone, pilastro insostituibile
(1,90 m) di un attacco che,
insieme al sottoscritto, ha
condotto la squadra verso il
successo. Con le sue freddure e
i suoi racconti ha caratterizzato
momenti pazzeschi che
rimangono vivi in quella che
è stata, è e sarà una grande e
gloriosa storia.
JUVENTINO FALLITO
Ai grandissimi e intramontabili
Boucheroniani coinquilini e
compagni di vita che vanno di
certo menzionati per la loro
peculiarissima tendenza al
fancazzismo. I 3 Galli colpiranno
nel segno, sempre.
STREPITOSI
All’incontenibile miglior cugino
tedesco che pur di assistere
alla discussione della tesi ha
affrontato 7 ore di macchina,
è stato plurimultato in svizzera
causa eccesso di velocità;
aveva evidentemente fretta di
vedere il cugino.
PAZZO
Grazie
Un ringraziamento particolare è, rivolto al mio grande amico, collega
e compagno d’avventura Marco, con il quale ho condiviso emozioni
e affrontato argutissime sfide variopinte. A partire da un memorabile
periodo di mobilità erasmus fino alla realizzazione di questo
meraviglioso lavoro di tesi.
INFALLIBILE
105