I Ringenes herre: To tårn er karakteren Gollum en helt digital kreasjon basert på skuespilleren Andy Serkis’ prestasjon. Serkis ble opprinnelig bare leid inn for å gi Gollum stemmen sin, men mens han jobbet, innså regissør Peter Jackson at bevegelsene hans ville gi et flott resultat på skjermen. Denne prosessen, kalt bevegelsessporing (engelsk) (motion capture, mocap) eller karaktersporing (engelsk), ble ikke oppfunnet av regissør Jackson. En tidlig versjon av den, rotoscoping, ble brukt allerede i 1937 til Disneys Snøhvit.
Både i To tårn og i Snøhvit ble opptakene registrert av animatører for å matche Serkis’ timing og bevegelser i live-action-opptak. Jacksons filmer oppnådde nye nivåer av realisme og detaljer for to tiår siden med Ringenes herre-trilogien og King Kong, og vant Oscarer for visuelle effekter (VFX) for To tårn og Atter en konge.
De essensielle elementene i karaktersporingsteknologien har ikke endret seg siden den gang, ifølge Erik Winquist, VFX-veileder hos Wētā FX, selskapet som har drevet karaktersporing fremover i de nevnte filmene, samt Avatar og Planet of the Apes-serien, blant andre. «I utgangspunktet tar vi fortsatt en talentfull menneskelig skuespiller, setter markører av en eller annen type på vedkommende, setter ham eller henne i en scene og registrerer hva de gjør», sier Winquist.
Med den nyeste teknologien for bevegelsessporing, kan Wētā FX-mannskapet fange opptredener filmet utendørs i dagslys eller til og med under vanskelige miljøforhold. Bilde © Disney.
VFX-artister sier at det beste arbeidet deres er usynlig. Listen for realisme ligger høyt, og publikum kan være nådeløse når de visuelle effektene ikke er helt riktige. I årets Kingdom of the Planet of the Apes er karaktersporingen sømløs – seerne kan oppleve realistiske snakkende aper på skjermen, i samspill med rekvisitter, live-action-karakterer og hverandre.
En av de største utfordringene Winquist og hans tekniske mannskap løste for Rise of the Planet of the Apes i 2011, var muligheten til å utføre bevegelsessporing (mocap) utendørs, utenfor kulissene. «Mocap-teknologien er basert på infrarødt lys, og sollys har en massiv infrarød komponent i seg», sier han. «Så snart du går ut, kjemper du mot det infrarøde lyset som reflekteres av alt.»
Mocap-teamet trenger det Winquist beskriver som «hvite prikker i et hav av svart» for et detaljert opptak. Prikkene refererer til markørene som er festet til mocap-draktene som skuespillerne har på seg. På en innendørs scene kan du bruke kunstig lys uten infrarødt, slik at kameraet enkelt kan fange opp draktmarkørene. Løsningen for karaktersporing ute ble forbedrede markører.
Den nyeste generasjonen markører er små LED-lyskilder som utløser seg synkronisert med lukkeren på kameraet, noe som isolerer dem og filtrerer ut alle andre kilder til infrarødt lys. Kameraoperatørene kan justere eksponeringsinnstillingene slik at infrarødt i sollyset ikke engang fanges opp.
Aktive LED-lys kan imidlertid være skjøre. For Dawn of the Planet of the Apes fra 2014 innkapslet Wētā FX ledninger i beskyttende gummibelagte tråder, slik at de kunne tas utendørs i de fuktige skogene i Vancouver i Canada. Til War for the Planet of the Apes i 2017 gjorde beskyttelseshylsteret det mulig for Wētā FX å ta opptak i enda mer utfordrende miljøer med både snø og vann.
Stereoopptak av skuespillernes opptredener og ansiktsuttrykk gjør det enklere for Wētā FX-animatører å bruke 3D-karakternett på skuespillere i en live-action-ramme. Bilde © 2024 20th Century Studios, gjengitt med tillatelse fra Wētā FX.
Andre fremskritt i Wētā FXs bevegelsessporingsprosesser omfatter å montere mer teknologi i ansiktsriggen for å plukke opp flere detaljer og bruke to kameraer for bedre å fange de detaljene. På samme måte som 3D-filmer gir en illusjon av dybde på grunn av knapt merkbare forskjeller mellom to bilder, gir bruk av to kameraer animatørene et mer nøyaktig 3D-nett av skuespillerens ansikt, noe som gir mer presise detaljer enn en enkelt linse.
Dette gjennombruddet var avgjørende for Kingdom of the Planet of the Apes på grunn av den unike måten primater beveger ansiktene sine på. «Når en skuespiller snurper sammen leppene eller leppene strekker seg eller stikker ut, spesielt med aper når de lager «hoo»-lyden sin, kan alle disse tingene være vanskelige med bare ett kamera. Det er mye gjetting», sier Winquist. «Et 3D-nett gir oss mye større presisjon.» Vellykket animering av slike bevegelser, som skaper apefigurer som lever, puster og snakker på en måte som ligner på virkelige aper, viser hvor langt karaktersporing har kommet.
Den nye teknologien fjerner også behovet for manuell 3D-dybdebearbeiding. Stereoopptak på ansiktsriggene og de vanlige kameraene betydde at Wētā FX kunne lage et 3D-nett av hva som helst i rammen, ikke bare skuespillerne. Dette forbedret prosessen for matchflytting betraktelig, der et 2D-animert objekt plasseres i en live-action-ramme. «Åtte hovedpersoner samhandlet med ekte rekvisitter som våpen eller bladde i sider i en bok», sier Winquist. «Det blir mye enklere å beholde disse bevegelsene fra hovedopptakene, men erstatte karakteren som samhandler med et animert element, når du vet nøyaktig hvor det kommer til å være i 3D-rommet.»
Gjennom karaktersporing og CG-animasjon beholder karakteren Noa i Kingdom of the Planet of the Apes alle de subtile elementene i skuespilleren Owen Teagues forestilling. Bilde © Disney.
Nøkkelelementet i karaktersporingsprosessen er fortsatt en opptreden – en skuespiller som beveger seg og oppfører seg som en karakter. Det var i stor grad Serkis utforskning av en skvetten, vekslende personlighet som fikk karakteren Gollum til å fungere så bra i To tårn og Atter en konge. I Kingdom of the Planet of the Apes studerte stjernen Owen Teague apebevegelser i et primatreservat for å bringe autentisitet til sin opptreden.
Da Serkis fortalte media om det kommende Ringenes herre-prosjektet The Hunt for Gollum, sa han at teknologien faktisk er frigjørende. «Det har nå nådd et nivå der eierskapet av rolletolkningen faktisk lar deg innlemme mer, uten å ha følelsen av å overspille», sa han. «Dette er noe som helt klart fungerer på et mye større og dypere nivå nå.»
Men det er et forbehold nå om at en regissør kan se en scene på et nettbrett mens den spilles, med karakterriggen brukt på karaktersporingsdata i sanntid. Winquist sier: «En filmskaper trenger ikke å fokusere på ’apeaktigheten’ i det – vi kan foreta alle slags justeringer etter produksjonen, som å gjøre en karakter høyere eller sikre at den passer bedre inn i rammen. Det viktigste man må fokusere på, er nyansene i hva som skjer i skuespillerens ansikt, de mest subtile, små mikrojusteringene. Jeg ville vært bekymret for å polere bort ujevnhetene som gjør en menneskelig rolletolkning til det den er. Hvis regissøren ikke kan se dette fordi han/hun ser på en tilnærming med en stedfortredende ansiktsrigg med lav oppløsning påført i sanntid, vil ikke vedkommende ha den informasjonen som trengs for å avgjøre om kutt 5 eller kutt 6 er bedre. "
Winquist legger til at uansett hvor god teknologien blir, må regissøren og animatørene virkelig se hva skuespillerne gir – subtile øyebevegelser på bare et par piksler betyr at alle kan se «tannhjulene som beveger seg».
Det er en balanse der karaktersporing på sett og CGI-forstørrelse under postproduksjon sameksisterer. «Det finnes øyeblikk der vi må finne på noe regissøren ikke fikk spilt inn på selve dagen av en eller annen grunn», sier Winquist. «De sier at filmen i virkeligheten er laget i redigeringsrommet, og noen sier ofte: ’Hvis vi visste det vi vet nå, kunne vi ha filmet dette annerledes – men, hei Wētā FX, kan dere hjelpe oss?’»
Nok en gang er alt avhengig av opptredenen. «Animatørene våre er vanvittig dyktige, men det er noe med det rommet mellom en regissør og en skuespiller», fortsetter han. «Den eksperimenteringen finner sted der og da. Hvis du sender den til VFX, er det fortsatt en forsinkelse i gjennomføringen av en oppdatering, selv om det bare er et par timer. Innen den tid er magien som bare skjer på settet, den spontaniteten, borte.»
Wētā FX brukte en dyp læringsløser for ansikt (FDLS) for å effektivt generere innledende gjengivelser av karaktersporing, noe som frigjorde tid slik at kunstnerne kunne bruke mer tid på det utfordrende arbeidet med å uttrykke muntlig dialog i apenes ansikter. Bilde © Disney.
Etter mange år på dette feltet sier Winquist at selskapets arbeidsforløp for rendering er veletablert og strømlinjeformet, slik at teamet hans kan få ting til å se «fullstendig og utvilsomt ekte ut ». På 2000-tallet ble CGI-milepæler med overflater som vann (engelsk), ild og hår endelig «erobret». Nå fokuserer man på hvordan det kan bli mer effektivt å produsere CGI og VFX. «Til en viss grad er det det samme som når du får en ny harddisk, og du bare fortsetter å fylle den opp», sier han.
Karaktersporing er et av de mest dataintensive områdene i moderne VFX, noe som gjør at det passer godt for maskinlæring. Kingdom of the Planet of the Apes hadde mer enn 1 500 VFX-bilder, de fleste med karaktersporingsdata. Det er bare 38 bilder som ikke inneholder VFX i det hele tatt – til stor forskjell fra 2002, da Gollum hadde 17 minutters skjermtid i To tårn.
Ved hjelp av maskinlæring utviklet Wētā FX en dyp læringsløser for ansikt (FDLS), der algoritmestyrte karaktersporingsrendere kan verifiseres av mennesker hele veien, noe som forhindrer «svart boks»-følelsen man finner ved bruk av de fleste maskinlæringsverktøy. Når bildene er godkjent, lar den animatører strømme resultatene direkte til verktøy i et redigerings- eller animasjonsprogram. Wētā FX bruker Autodesk Maya som plattform for å huse noen av sine proprietære verktøy for visuelle effekter og animasjon.
Wētā FXs fremskritt innen maskinlæringsteknologi skjer med mål om å gi kunstnerne mulighet til å gjøre mer. «Vi ønsket å bruke det samme kjernemannskapet vi har brukt, men arbeidet med å skape muntlig dialog på apenes ansikter ga dem mye mer å gjøre», sier Winquist. Han legger til at FDLS hjalp animatørene av Kingdom of the Planet of the Apes med å få en konsekvent grunnlinje for hver karakter som kunne brukes på flere bilder.
I arbeidsflyter for opptak av skuespill, er alt avhengig av historiens natur og produksjonsstilen. «Hvis du har en karakter over et par dusin bilder, endrer det tilnærmingen din fordi bevegelsessporing kommer med et veldig stort fotavtrykk – plutselig har du 40 medlemmer av mannskapet du må ta med deg», sier Winquist. «Hvis du har en enkelt karakter, kan du ha et mye lettere fotavtrykk på settet og jobbe mye mer effektivt. Derfor er en stor vurdering når vi kommer inn hvilken teknologi som passer best for et bestemt show og budsjett.»
«Vi vurderer behovene for et spesifikt prosjekt og legger planen deretter», fortsetter han. «Vi kan ta med et helt opptakssystem til et lydbilde eller et sted utendørs, eller vi kan bare sette opp et par videokameraer, slenge litt forskjellige markører på utøverne, si ’Action’ og rydde opp i det senere.»
Etter å ha vokst opp med visshet om at han ønsket å forandre verden, innså Drew Turney at det var lettere å skrive om andre mennesker som endret den i stedet. Han skriver om teknologi, film, vitenskap, bøker og mer.
