Come il motion capture (mocap) ha ridefinito i personaggi VFX a Hollywood

Erik Winquist, supervisore VFX di Wētā FX, spiega come il motion capture (mocap) abbia introdotto nuovi livelli di realismo negli effetti visivi, come dimostrato nel film del 2024 Il regno del pianeta delle scimmie.

Gli attori Owen Teague e Peter Macon sono seduti accanto ad un falò, indossando tute e copricapi con sensori per il motion capture, nel metraggio grezzo di una scena del film "Il regno del pianeta delle scimmie".

Drew Turney

21 agosto 2024

minuti di lettura

Performance capture e motion capture sono termini utilizzati per indicare il processo digitale di registrazione dei movimenti o delle espressioni facciali di un attore che indossa una tuta speciale ricoperta di marker.
Per franchise di successo come Il Signore degli Anelli, Il pianeta delle scimmie e Avatar, la società di effetti visivi Wētā FX ha innovato i metodi di performance capture per aumentare il realismo.
Poiché è una delle aree più ricche di dati nell'ambito degli effetti visivi moderni, la performance capture rappresenta la scelta ideale per l'apprendimento automatico e aiuterà gli animatori a soddisfare le esigenze della produzione cinematografica contemporanea.

Nel film Il Signore degli Anelli: Le due torri, il personaggio di Gollum è una creazione interamente digitale basata sulla performance dell'attore Andy Serkis. Inizialmente, Serkis era stato scelto solo per dare la voce a Gollum, ma mentre lavorava, il regista Peter Jackson si è reso conto che i suoi movimenti sarebbero stati riportati magnificamente sullo schermo. Questo processo, chiamato motion capture (mocap) o performance capture (inglese), non è stato inventato dal regista Jackson. Una sua versione primitiva, il rotoscoping, fu utilizzata in particolare nel 1937 per il film d'animazione Biancaneve della Disney.

Nel film Le due torri, così come in Biancaneve, il metraggio delle performance è stato utilizzato dagli animatori come riferimento per abbinare il ritmo e i movimenti di Serkis nel metraggio dal vivo. I film di Jackson hanno raggiunto nuovi livelli di realismo e dettaglio due decenni fa con la trilogia Il Signore degli Anelli e King Kong, vincendo premi Oscar per gli effetti visivi (VFX) in Le due torri e Il ritorno del re.

Gli elementi essenziali della tecnologia di performance capture non sono cambiati da allora, secondo Erik Winquist, supervisore VFX di Wētā FX, la società che ha rivoluzionato la performance capture nei film citati, così come nelle serie Avatar e Il pianeta delle scimmie, tra gli altri. "In sostanza, prendiamo un attore di talento, lo ricopriamo di sensori, lo posizioniamo su un set virtuale e registriamo tutto ciò che fa", racconta Winquist.

Scimmie nuove e migliorate

Un fotogramma tratto dal film "Il regno del pianeta delle scimmie" mostra il personaggio di una scimmia a cavallo.

Grazie alle più recenti tecnologie di mocap, i team di Wētā FX possono catturare azioni filmate all'aperto in pieno giorno o persino in condizioni ambientali difficili. Immagine © Disney.

Gli artisti VFX affermano che il loro lavoro migliore è invisibile. L'asticella del realismo è alta e il pubblico può essere spietato quando gli effetti visivi sono anche solo leggermente imprecisi. Nel film Il regno del pianeta delle scimmie di quest'anno, la performance capture è impeccabile. Gli spettatori possono vedere scimmie parlanti realistiche sullo schermo, che interagiscono con oggetti di scena, personaggi in live-action e tra di loro.

Una delle sfide più difficili che Winquist e il suo team tecnico hanno dovuto affrontare per il film L'alba del pianeta delle scimmie del 2011 è stata la possibilità di portare il mocap all'aperto, fuori dal set. "La tecnologia Mocap si basa sull'infrarosso e la luce solare contiene una notevole componente infrarossa", afferma. "Quando sei all'esterno, devi gestire la luce infrarossa che si riflette su ogni superficie."

Il team di mocap ha bisogno di quelli che Winquist descrive come "punti bianchi in un mare di nero" per una cattura dettagliata, dove i punti si riferiscono ai marker attaccati alle tute mocap indossate dagli attori. Su un palco al chiuso, è possibile utilizzare luci artificiali prive di infrarossi, in modo che la telecamera possa facilmente rilevare i marker sulle tute. Per poter estendere la performance capture anche agli ambienti esterni è stato necessario migliorare i marker.

I marker di ultima generazione sono piccole sorgenti di luce LED che si attivano in sincronia con l'otturatore della telecamera, isolandosi e filtrando tutte le altre fonti di infrarossi. Gli operatori della telecamera possono regolare le impostazioni di esposizione in modo che gli infrarossi della luce solare non vengano nemmeno rilevati.

Tuttavia, le luci LED attive possono essere fragili. Per L'alba del pianeta delle scimmie del 2014, Wētā FX ha racchiuso i cablaggi in fili protettivi in gomma in modo da poter girare le scene all'aperto nelle foreste umide di Vancouver, in Canada. Per The War - Il pianeta delle scimmie del 2017, gli involucri protettivi hanno permesso a Wētā FX di catturare performance in ambienti ancora più difficili come la neve e l'acqua.

Effetto parallasse

Un fotogramma in fase di lavorazione di una scena del film "Il regno del pianeta delle scimmie" mostra le mesh 3D di scimmie modellate su attori umani.

L'acquisizione stereo delle performance e delle espressioni facciali degli attori semplifica l'applicazione delle mesh 3D dei personaggi agli attori in un fotogramma live-action. Immagine © 2024 20th Century Studios, per gentile concessione di Wētā FX.

Altri progressi nei processi di motion capture di Wētā FX includono il maggiore impiego di tecnologia nel rigging facciale per acquisire maggiori dettagli e l'utilizzo di due telecamere per catturare meglio tali dettagli. Nello stesso modo in cui i film 3D creano l'illusione della profondità grazie a differenze quasi impercettibili tra due immagini, l'utilizzo di due telecamere offre agli animatori una mesh 3D più accurata del volto dell'attore, fornendo dettagli molto più particolareggiati rispetto ad un solo obiettivo.

Questa scoperta è stata fondamentale per Il regno del pianeta delle scimmie per il modo unico in cui i primati muovono i loro volti. "Quando un attore arriccia le labbra o le protende per emettere un verso, soprattutto nel caso delle scimmie, catturare tutti questi dettagli con una singola telecamera diventa estremamente complesso, perché è un processo che richiede molte congetture", spiega Winquist. "Una mesh 3D offre molta più precisione." L'animazione corretta di tali movimenti e la creazione di personaggi che vivono, respirano e parlano in modo fedele alle scimmie reali, dimostra quanto sia avanzata la performance capture.

La nuova tecnologia elimina anche la necessità di compositing manuale della profondità 3D. L'acquisizione stereo sui rig facciali e sulle telecamere tradizionali ha permesso a Wētā FX di creare una mesh 3D di qualsiasi elemento presente nell'inquadratura, non solo degli attori. Questo ha notevolmente migliorato il processo di match-moving, in cui un oggetto animato in 2D viene inserito in una ripresa live-action. "Otto personaggi principali interagivano con oggetti di scena reali come le armi o sfogliando le pagine di un libro", racconta Winquist. "Conservare quei movimenti dal metraggio principale ma sostituendo il personaggio che esegue l'interazione con un elemento animato diventa molto più semplice quando sai esattamente dove si troverà nello spazio 3D."

Catturare l'essenza di un attore

Un fotogramma del film "Il regno del pianeta delle scimmie" mostra il personaggio di Owen Teague, Noa, con uno sguardo determinato.

Grazie alla performance capture e all'animazione CG, il personaggio di Noa in "Il regno del pianeta delle scimmie" conserva tutti gli elementi distintivi della performance dell'attore Owen Teague. Immagine © Disney.

L'elemento chiave nel processo di performance capture rimane sempre la performance: un attore che si muove e si comporta come un personaggio. È stata soprattutto l'esplorazione da parte di Serkis di una personalità nervosa e spigolosa a far sì che il personaggio di Gollum funzionasse così bene in Le due torri e Il ritorno del re. Per Il regno del pianeta delle scimmie, la star Owen Teague ha studiato il movimento delle scimmie in un'area protetta per primati per conferire autenticità alla sua performance.

Parlando ai media dell'imminente uscita del nuovo capitolo della saga Il Signore degli Anelli dal titolo La caccia a Gollum, Serkis ha sottolineato come la tecnologia sia uno strumento di liberazione creativa. "Ha ora raggiunto un livello tale che la paternità delle performance consente di interiorizzare di più senza alcun senso di recitazione eccessiva", ha detto. "Si tratta di qualcosa che ora funziona chiaramente ad un livello molto più profondo."

Tuttavia, c'è una piccola precisazione da fare. Oggi, un regista può osservare una scena su un tablet mentre vene eseguita, con il rig del personaggio applicato ai dati di performance capture in tempo reale. Come spiega Winquist: "Un regista non deve più preoccuparsi di rendere in modo ottimale i tratti del personaggio della scimmia, perché possiamo intervenire in post-produzione per perfezionare ogni dettaglio, dall'altezza all'inquadratura. L'aspetto più importante è concentrarsi sulle piccole sfumature dell'espressione facciale dell'attore. È fondamentale smussare gli angoli che rendono una performance umana quello che è. Se il regista non riesce ad osservare queste piccole sfumature a causa della bassa risoluzione del rig facciale in tempo reale, non sarà in grado di valutare con precisione le differenze tra una ripresa e l'altra e prendere decisioni informate."

Winquist sottolinea che, nonostante i progressi tecnologici, regista e animatori devono saper cogliere le sfumature più sottili dell'interpretazione dell'attore: un minuscolo movimento degli occhi, appena un paio di pixel sullo schermo, può tradire l'artificialità della performance.

C'è un equilibrio in cui la performance capture sul set e l'amplificazione della CGI durante la postproduzione coesistono. "Ci sono momenti in cui dobbiamo inventare qualcosa che il regista non ha ottenuto il giorno delle riprese, per un motivo qualsiasi", racconta Winquist. "Si dice spesso che un film venga davvero creato in sala di montaggio. Quanti registi avranno pensato che sapendo cosa avrebbero potuto fare in post-produzione, avrebbero girato alcune scene in modo diverso. Ma per fortuna c'è Wētā FX che risolve i loro problemi!"

Ancora una volta, tutto ruota attorno alla performance. "I nostri animatori sono bravissimi, ma c'è una magia speciale che nasce dall'interazione diretta tra regista e attore", continua. "La sperimentazione avviene proprio in quel momento. Quell'attimo di creazione spontanea si perde quando si delega tutto alla grafica computerizzata. Anche con tempi di risposta rapidi, non si può replicare la freschezza e l'energia di una scena girata sul momento."

Velocità e scala

Un fotogramma del film "Il regno del pianeta delle scimmie" mostra i personaggi di Soona, interpretata da Lydia Peckham, e Noa, interpretato da Owen Teague, che si toccano le fronti in un momento di tenerezza.

Wētā FX ha utilizzato una soluzione FDLS (Facial Deep Learning Solver) per generare in modo efficiente i render iniziali della performance capture, consentendo agli artisti di concentrarsi maggiormente sulla complessa resa artistica delle espressioni facciali, in particolare nel dialogo tra le scimmie. Immagine © Disney.

Dopo molti anni in questo campo, Winquist afferma che la pipeline di rendering dell'azienda è ormai consolidata e ottimizzata e permette al suo team di ottenere risultati visivi che sembrano "assolutamente, indiscutibilmente reali". I progressi significativi nella CGI durante gli anni 2000 hanno permesso di rappresentare in modo realistico elementi come l'acqua (inglese), il fuoco e i capelli. Oggi, l'attenzione è rivolta a come rendere la produzione CGI e VFX più efficiente. "In una certa misura, è come quando si acquista un nuovo disco rigido e si continua a riempirlo", afferma.

La performance capture rappresenta una delle aree più ricche di dati nell'ambito degli effetti visivi moderni e questo la rende un campo di applicazione ideale per l'apprendimento automatico. Il regno del pianeta delle scimmie ha superato i 1.500 effetti visivi (VFX), la maggior parte dei quali contenenti dati di performance capture. Ci sono solo 38 inquadrature senza alcun effetto visivo, un'enorme differenza rispetto al 2002, quando Gollum aveva 17 minuti di presenza sullo schermo in Le due torri.

Utilizzando l'apprendimento automatico, Wētā FX ha sviluppato una soluzione Facial Deep Learning Solver (FDLS), in cui i rendering di performance capture guidati da algoritmi sono verificabili dagli esseri umani durante tutto il processo, eliminando la natura di "scatola nera" che caratterizza la maggior parte degli strumenti di apprendimento automatico. Dopo l'approvazione delle riprese, consente agli animatori di trasmettere i risultati direttamente agli strumenti all'interno di un'applicazione di editing o animazione. Wētā FX utilizza Autodesk Maya come piattaforma per ospitare alcuni dei suoi strumenti proprietari per gli effetti visivi e l'animazione.

I progressi di Wētā FX nella tecnologia di apprendimento automatico nascono dall'obbiettivo aiutare gli artisti a fare di più. "Volevamo affidarci alla stessa troupe che collabora con noi da tempo, ma la creazione di dialoghi parlati sui volti delle scimmie ha richiesto uno sforzo considerevole", racconta Winquist. Winquist aggiunge che la soluzione FDLS ha aiutato gli animatori del film Il regno del pianeta delle scimmie ad ottenere una base coerente per ogni personaggio che poteva essere applicata a più sequenze.

In un workflow di performance capture, tutto ruota attorno alla natura della storia e allo stile di produzione. "Avere un personaggio in alcune decine di riprese cambia radicalmente l'approccio alla produzione. La performance capture richiede sforzi notevoli e all'improvviso ti ritrovi con una troupe di 40 persone da gestire", spiega Winquist. "Con un solo personaggio, la produzione diventa molto più agile, il numero di persone sul set è inferiore e si può lavorare in modo più efficiente. Ecco perché una delle principali considerazioni quando iniziamo un progetto è la selezione della tecnologia più adatta alle specifiche esigenze dello spettacolo e del budget.

"Valutiamo le esigenze di un particolare progetto ed eseguiamo la pianificazione di conseguenza", continua. "Possiamo installare un sistema di acquisizione in piena regola in uno studio di registrazione insonorizzato o in una location esterna oppure possiamo semplicemente arrivare con un paio di videocamere, applicare marker leggermente diversi sugli artisti, dire 'Azione' e risolvere il problema in un secondo momento."

Informazioni su Drew Turney

Dopo essere cresciuto con il desiderio di cambiare il mondo, Drew Turney ha capito che sarebbe stato più semplice raccontare le storie di altre persone che lo stavano cambiando. Scrive di tecnologia, cinema, scienza, libri e molto altro.