Liikkeenkaappauksesta Hollywoodin suosituin VFX-hahmoteknologia

Wētā FX:n VFX-päällikkö Erik Winquist kertoo, miten liikkeenkaappaus on tuonut tehosteisiin uusia realismin tasoja, mistä on esimerkkinä vuoden 2024 Kingdom of the Planet of the Apes -elokuva.


Kuva © 2024 20th Century Studios, Wētā FX:n luvalla.

Näyttelijät Owen Teague ja Peter Macon istuvat nuotion ääressä yllään liikkeenkaappauspuvut ja antureilla varustetut päähineet Kingdom of the Planet of the Apes -elokuvan kohtauksen raakamateriaalissa.

Drew Turney

21. elokuuta 2024

min lukuaika
  • Esiintymisen taltiointi ja liikkeenkaappaus ovat nimiä digitaaliselle prosessille, jossa tallennetaan markkereilla varustettua erityistä pukua pitävän näyttelijän liikkeitä tai ilmeitä.

  • Menestysbrändeille, kuten Taru sormusten herrasta, Planet of the Apes ja Avatar, visuaalisia tehosteita tuottava Wētā FX on edistänyt esiintymisen taltiointimenetelmiä realistisuuden lisäämiseksi.

  • Esiintymisen taltiointi on yksi nykyaikaisten visuaalisten tehosteiden datakeskeisimmistä osa-alueista, joten se sopii hyvin koneoppimisen hyödyntämiseen, mikä puolestaan auttaa animaattoreita täyttämään nykyaikaisen elokuvanteon vaatimukset.

 

Taru sormusten herrasta: Kaksi tornia -elokuvan Klonkku-hahmo on täysin digitaalinen luomus, joka perustuu Andy Serkisin näyttelijäntyöhön. Serkis valittiin alun perin antamaan Klonkulle vain äänensä, mutta seuratessaan hänen työskentelyään ohjaaja Peter Jackson tajusi, että myös hänen liikkeensä voisivat muuntua valkokankaalle sopiviksi. Tätä prosessia, jota kutsutaan liikkeenkaappaukseksi (englanniksi) tai esiintymisen taltioinniksi (englanniksi), ei keksinyt ohjaaja Jackson – sen varhaista versiota, rotoscopingia, käytettiin jo vuonna 1937 Disneyn Lumikki-elokuvassa.

Kaksi tornia -elokuvassa, kuten Lumikissakin, animaattorit käyttivät esiintymisen kuvamateriaalia viitepisteenä, kun he sovittivat Serkisin ajoitusta ja liikettä live-action-kuvamateriaaliin. Jackson saavutti uusia realismin ja yksityiskohtien tasoja kaksi vuosikymmentä sitten Taru sormusten herrasta -trilogiassa ja King Kong -elokuvassa, joista Kaksi tornia ja Kuninkaan paluu voittivat visuaalisten tehosteiden Oscar-palkinnot.

Esiintymisen taltiointitekniikan olennaiset elementit eivät ole muuttuneet sen jälkeen, sanoo Erik Winquist, VFX-päällikkö Wētā FX: ssä, yrityksessä, joka on edistänyt esiintymisen taltiointia edellä mainituissa elokuvissa sekä muun muassa Avatar- ja Planet of the Apes -elokuvasarjoissa. ”Otamme edelleen lahjakkaan ihmisnäyttelijän, kiinnitämme heihin jonkinlaisia markkereita, asetamme heidät lavalle ja tallennamme, mitä he tekevät”, Winquist sanoo.

Uudet ja parannetut apinahahmot

Stillkuva Kingdom of the Planet of the Apes -elokuvasta näyttää apinahahmon hevosen selässä.

Uusimpien liikkeenkaappaustekniikoiden avulla Wētā FX -tiimit voivat taltioida esityksiä, jotka on kuvattu ulkona päivänvalossa tai jopa ankarissa ympäristöolosuhteissa. Kuva: © Disney.

Tehostetaiteilijat sanovat, että heidän paras työnsä on näkymätöntä. Realistisuuden rima on korkealla, ja yleisö voi olla anteeksiantamatonta, jos visuaalisissa tehosteissa on vähänkin puutteita. Tämän vuoden Kingdom of the Planet of the Apes -elokuvassa esiintymisen taltiointi on saumatonta – katsojat voivat nähdä realistisia puhuvia apinoita valkokankaalla vuorovaikutuksessa rekvisiitan, live-action-hahmojen ja toistensa kanssa.

Yksi suurimmista haasteista, joita Winquist ja hänen tekninen tiiminsä ratkaisivat vuoden 2011 Rise of the Planet of the Apes -elokuvassa, oli mahdollisuus viedä liikkeenkaappaus ulkoilmaan, pois studiosta. ”Liikkeenkaappaustekniikka perustuu infrapunaan, ja auringonvalossa on massiivinen infrapunakomponentti”, hän kertoo. ”Heti kun menet ulos, taistelet kaiken pois heijastavaa infrapunavaloa vastaan.”

Liikkeenkaappaustiimi tarvitsee yksityiskohtaiseen taltiointiin kiintopisteitä, joita Winquist kuvailee ”valkoisiksi pisteiksi mustassa meressä”; pisteitä, jotka viittaavat näyttelijöiden käyttämiin liikkeenkaappauspukuihin kiinnitettyihin markkereihin. Sisälavalla voidaan käyttää keinovaloa, jossa ei ole infrapunaa, jotta kamera voi helposti poimia pukujen markkerit. Ratkaisu esiintymisen taltiointiin ulkona on parannetut markkerit.

Uusimman sukupolven markkerit ovat pieniä LED-valonlähteitä, jotka syttyvät synkronoidusti kameran sulkimen kanssa, mikä eristää markkerit ja suodattaa pois kaikki muut infrapunalähteet. Kameraoperaattorit voivat säätää valotusasetuksia siten, että auringonvalon infrapuna ei edes taltioidu.

Aktiiviset LED-valot voivat kuitenkin olla hauraita. Vuoden 2014 Dawn of the Planet of the Apes -elokuvassa Wētā FX koteloi johdot suojaaviin kumisiin nauhoihin, jotta ne voitaisiin viedä ulos Kanadan Vancouverin kosteisiin metsiin. Vuoden 2017 War for the Planet of the Apes -elokuvassa Wētā FX pystyi suojakoteloiden avulla taltioimaan esityksiä vielä ankarammissa ympäristöissä kuten lumessa ja vedessä.

Parallaksinäkymä

Stillkuva Kingdom of the Planet of the Apes -elokuvan kohtauksen teosta näyttää apinoiden 3D-hahmoverkot, jotka on mallinnettu ihmisnäyttelijöiden päälle.

Näyttelijöiden esitysten ja ilmeiden stereokuvauksen ansiosta Wētā FX:n animaattoreiden on helpompi käyttää 3D-hahmoverkkoja näyttelijöihin live-action-kehyksessä. Kuva © 2024 20th Century Studios, Wētā FX:n luvalla.

Muita parannuksia Wētā FX:n liikkeenkaappausprosesseihin ovat tekniikan lisääminen kasvokuvauslaitteistoon yksityiskohtien poimimiseksi ja kahden kameran käyttäminen näiden yksityiskohtien taltioimiseksi entistä paremmin. Samalla tavalla kuin 3D-elokuvat antavat illuusion syvyydestä, koska kahden kuvan välillä on tuskin havaittavia eroja, kahden kameran käyttö antaa animaattoreille tarkemman 3D-verkon näyttelijän kasvoista, mikä tarjoaa paljon hienojakoisempia yksityiskohtia kuin yksi linssi.

Tämä läpimurto oli ratkaisevan tärkeä Kingdom of the Planet of the Apes -elokuvalle, koska kädellisten kasvot liikkuvat ainutlaatuisella tavalla. ”Kun näyttelijä puristaa huulensa yhteen tai huulet työntyvät ulos, etenkin kohtauksissa, joissa elokuvan apinat tuottavat ominaisääntään, kaikki nämä asiat voivat olla hankalia vain yhdellä kameralla, sillä paljon jää arvailun varaan”, Winquist sanoo. ”3D-verkko antaa meille paljon enemmän tarkkuutta.” Tällaisten liikkeiden onnistunut animointi – sellaisten apinahahmojen luominen, jotka elävät, hengittävät ja puhuvat oikeiden apinoiden tavalla – osoittaa, kuinka pitkälle esityksen taltiointitekniikka on edennyt.

Uusi tekniikka poistaa myös manuaalisen 3D-syvyyssommittelun tarpeen. Stereotaltiointi kasvokuvauslaitteistolla ja tavallisilla kameroilla tarkoitti, että Wētā FX pystyi luomaan 3D-verkon mistä tahansa kohteesta kehyksessä, ei vain näyttelijöistä. Tämä paransi huomattavasti yhdistämisen siirtoprosessia, jossa 2D-animoitu objekti asetetaan live-action-kehykseen. ”Kahdeksan päähenkilöä oli vuorovaikutuksessa todellisen rekvisiitan, kuten aseiden, kanssa ja saattoi vaikkapa kääntää kirjan sivuja”, Winquist sanoo. ”Näiden liikkeiden pitäminen poissa pääkuvamateriaalista ja vuorovaikutuksessa olevan hahmon korvaaminen animoidulla elementillä on paljon helpompaa, kun tiedetään tarkalleen, missä se tulee olemaan 3D-tilassa.”

Näyttelijän olemuksen taltioiminen

Stillkuva Kingdom of the Planet of the Apes -elokuvasta näyttää Owen Teaguen hahmon Noan päättäväisenä.

Esityksen taltioinnin ja CG-animaation avulla Noan hahmo Kingdom of the Planet of the Apes -elokuvassa säilyttää kaikki näyttelijä Owen Teaguen esityksen hienovaraiset elementit. Kuva: © Disney.

Keskeinen elementti esityksen taltiointiprosessissa on edelleen itse esitys – näyttelijä, joka liikkuu ja käyttäytyy hahmona. Se, että Klonkku-hahmo saatiin toimimaan niin hyvin Kaksi tornia- ja Kuninkaan paluu -elokuvissa, oli suurelta osin Serkisin ansiota, kun hän paneutui Klonkun säikkyyn ja piikikkääseen persoonallisuuteen. Kingdom of the Planet of the Apes -elokuvassa tähti Owen Teague tutki apinoiden liikkeitä kädellisten suojelualueella tuodakseen aitoutta esitykseensä.

Kun Serkis kertoi medialle tulevasta Taru sormusten herrasta -projektista The Hunt for Gollum, hän sanoi, että tekniikka on itse asiassa vapauttavaa. ”Se on nyt saavuttanut tason, jossa esitysten tekijyys antaa näyttelijöille mahdollisuuden tuoda esiin enemmän sisäisyyttä ilman ylinäyttelemisen tunnetta”, hän sanoi. ”Tämä on jotain, joka toimii nyt selvästi paljon vaikuttavammalla ja syvemmällä tasolla.”

Mutta nyt on olemassa se vaara, että ohjaaja voi katsella kohtausta tabletilla sen esittämisen aikana käyttäen hahmolaitteistoa esityksen taltiointidataan reaaliajassa. Winquistin jatkaa: ”Elokuvantekijän ei tarvitse keskittyä hahmon 'apinuuteen' – voimme tehdä kaikenlaisia jälkituotannon säätöjä, kuten tehdä hahmosta pidemmän tai sovittaa sen kehykseen paremmin. Tärkein asia, johon on keskityttävä, on näyttelijän kasvoilla näkyvät vivahteet, kaikkien hienovaraisimmat mikroilmeet. Olisin huolissani, jos hiotaan pois karkeat reunat, jotka tekevät näyttelijän esityksestä sen, mitä se lopulta on. Jos ohjaaja ei näe sitä, koska hän katsoo kasvonkuvauslaitteiston avulla muodostettua approksimaatiota reaaliaikaisessa matalaresoluutioisessa kuvassa, hänellä ei ole tarvittavia tietoja päättääkseen, onko otto 5 vai 6 parempi.

Winquist lisää, että riippumatta siitä, kuinka hyväksi tekniikka tulee, ohjaajan ja animaattoreiden on todella nähtävä, mitä näyttelijä antaa – vain muutaman pikselin kokoiset hienovaraiset silmänliikkeet tarkoittavat, että kaikki voivat nähdä hahmon olemuksen.

On olemassa tasapaino, jossa esityksen taltiointi kuvauspaikalla ja CGI-käsittely jälkituotannon aikana elävät rinnakkain. ”On hetkiä, jolloin meidän on keksittävä jotain, mitä ohjaaja ei jostain syystä saanut taltioitua kuvauspäivänä”, Winquist sanoo. ”Sanotaan, että elokuva tehdään todellisuudessa leikkaushuoneessa, ja joku usein pyytääkin: 'Jos olisimme tienneet silloin, mitä tiedämme nyt, olisimme voineet kuvata tämän eri tavalla – mutta hei Wētā FX, voitteko auttaa?”

Jälleen kaikki palaa esitykseen. ”Animaattorimme ovat mielettömän lahjakkaita, mutta ohjaajan ja näyttelijän välillä olevassa tilassa on se jokin”, hän jatkaa. ”Se kokeilu tapahtuu silloin ja siellä. Jos toimitat materiaalin tehostetiimille, päivityksen tekemisestä tulee edelleen viivettä, vaikka se olisi vain pari tuntia. Siihen mennessä se taika, joka tapahtuu vain kuvauksissa, spontaanius, on poissa.”

Nopeutta suuressa mittakaavassa

Stillkuva Kingdom of the Planet of the Apes -elokuvasta näyttää Lydia Peckhamin hahmon Soonan ja Owen Teaguen hahmon Noan koskettavan otsillaan toisiaan herkällä hetkellä.

Wētā FX käytti kasvojen syväoppimisen ratkaisijaa (FDLS) luodakseen tehokkaasti alustavia esityksen taltioinnin renderointeja, vapauttaen taiteilijansa keskittymään haastavampaan työhön, puhutun vuoropuhelun ilmaisemiseen apinoiden kasvoilla. Kuva: © Disney.

Monien vuosien jälkeen tällä alalla Winquist voi sanoa, että yrityksen renderointiputki on vakiintunut ja virtaviivainen, joten hänen tiiminsä voi tehdä asioista ”ehdottomasti ja kiistatta realistisia”. CGI:n virstanpylväitä 2000-luvulla olivat erilaisten pintojen, kuten veden (englanniksi), tulen ja karvapeitteen renderointi. Nyt keskitytään siihen, miten CGI:stä ja tehosteista saadaan tehokkaampia tuottamisen kannalta. ”Jossain määrin kyse samasta asiasta kuin silloin, kun hankit uuden kiintolevyn ja vain täytät sitä jatkuvasti”, hän sanoo.

Esityksen taltiointi on yksi nykyaikaisen tehostetuotannon datakeskeisimmistä osa-alueista, joten se soveltuu hyvin koneoppimisen hyödyntämiseen.  Kingdom of the Planet of the Apes -elokuvassa oli yli 1 500 VFX-otosta, joista useimmat sisälsivät esityksen taltiointidataa. Vain 38 otosta ei sisällä lainkaan tehosteita – ollaan kaukana vuodesta 2002, jolloin Klonkku sai vain 17 minuuttia ruutuaikaa Kaksi tornia -elokuvassa.

Koneoppimisen avulla Wētā FX kehitti kasvojen syväoppimisen ratkaisijan (FDLS), jossa algoritmiohjatut esiintymisen taltioinnin renderoinnit ovat kokonaisuudessaan ihmisten todennettavissa, mikä poikkeaa useimpien koneoppimistyökalujen ”mustan laatikon” filosofiasta. Kun otokset on hyväksytty, animaattorit voivat suoratoistaa tulokset suoraan muokkaus- tai animaatiosovelluksen työkaluihin. Wētā FX käyttää Autodeskin Mayaa alustana joidenkin sen omistamien visuaalisten tehosteiden ja animaatiotyökalujen sijoittamiseen.

Wētā FX:n koneoppimisteknologian edistysaskeleiden tavoitteena on antaa taiteilijoille mahdollisuus tehdä enemmän. ”Halusimme luottaa samaan ydintiimiin, jota olemme käyttäneet, mutta puhutun vuoropuhelun luominen apinoiden kasvoille antoi heille paljon enemmän työtä”, Winquist sanoo. Hän lisää, että FDLS auttoi Kingdom of the Planet of the Apes -elokuvan animaattoreita luomaan jokaiselle hahmolle johdonmukaisen perusmallinnuksen, jota voidaan soveltaa useisiin otoksiin.

Esiintymisen taltioinnin työnkulussa kaikki palaa tarinan luonteeseen ja tuotannon tyyliin. ”Jos sinulla on hahmo, jolla on enemmän kuin muutama kymmenen otosta, se muuttaa lähestymistapaasi, koska liikkeenkaappauksella on erittäin suuret resurssivaatimukset – yhtäkkiä sinulla on 40 tiimiläistä mukanasi”, Winquist sanoo. ”Jos hahmoja on vain yksi, kuvausten resurssivaatimukset ovat paljon pienemmät ja voit työskennellä paljon tehokkaammin. Joten tärkeä pohdittava seikka, kun tulemme mukaan projektiin, on tekniikka, joka sopii parhaiten tiettyyn esitykseen ja budjettiin.”

”Arvioimme kunkin projektin tarpeet ja teemme suunnitelmamme sen mukaan”, hän jatkaa. ”Voimme tuoda täysimittaisen liikkeenkaappausjärjestelmän äänilavalle tai ulkotiloihin, tai voimme kuvata vain parilla videokameralla, heittää hieman erilaisia markkereita esiintyjille, sanoa 'Action!' ja selvittää materiaalin myöhemmin.”

Drew Turney

Tietoja Drew Turneysta

Vartuttuaan tietäen, että hän halusi muuttaa maailmaa, Drew Turney myöhemmin tajusi, että oli helpompaa kirjoittaa siitä, miten muut ihmiset muuttavat sitä. Hän kirjoittaa muun muassa teknologiasta, elokuvista, tieteestä ja kirjoista.