I Ringenes herre : De to tårne er figuren Gollum en helt digital skabelse, der er baseret på skuespilleren Andy Serkis' præstation. Serkis blev oprindeligt castet for at give Gollum sin stemme alene, men mens han arbejdede, indså instruktør Peter Jackson, at hans bevægelser ville kunne overføres smukt til skærmen. Denne proces, der kaldes bevægelsesindfangning (engelsk) (motion capture – mocap) eller effektiv gengivelse (engelsk), blev ikke opfundet af instruktør Jackson – en tidlig version af den, rotoskopering, blev især brugt tilbage i 1937 til Disney's Snehvide.
I De to tårne, som i Snehvide, blev der refereret til performanceoptagelser af animatorer for at eftergøre timingen og bevægelsen af Serkis i live-action-optagelser. Jacksons film opnåede nye niveauer af realisme og detaljer for to årtier siden for Ringenes herre-trilogien og King Kong og vandt Oscar-priser for bedste visuelle effekter (VFX) for De to tårne og Kongen vender tilbage.
De væsentlige elementer i teknologien til effektiv gengivelse har ikke ændret sig siden da, ifølge Erik Winquist, VFX-supervisor hos Wētā FX, det firma, der har drevet effektiv gengivelse fremad i de førnævnte film, samt Avatar og Abernes planet-serien, blandt andre. "Grundlæggende set tager vi stadig en talentrig menneskelig skuespiller, sætter markører af en slags på dem, sætter dem på en scene og optager, hvad de laver," siger Winquist.
Med de nyeste mocap-teknologier kan Wētā FX-filmhold optage handling, der er filmet udendørs i dagslys eller endda under barske miljøforhold. Billede © Disney.
VFX-kunstnere siger, at deres bedste arbejde er usynligt. Barren for realisme er høj, og publikum kan være nådesløse, når VFX er bare det mindste ved siden af. Til dette års Abernes Planet: Kongeriget er effektiv gengivelse problemfri – seerne kan opleve realistiske talende aber på skærmen, der interagerer med rekvisitter, live-action-figurer og hinanden.
En af de største udfordringer, Winquist og hans tekniske hold løste til Abernes planet: Oprindelsen fra 2011, var muligheden for at optage mocap udendørs fra et scenesæt. "Mocap-teknologien er baseret på infrarød, og sollys har en massiv infrarød komponent," siger han. "Så snart du går udenfor, kæmper du mod det infrarøde lys, der reflekteres fra alt."
Mocap-holdet har brug for, hvad Winquist beskriver som "hvide prikker i et hav af sort" for at kunne lave en detaljeret optagelse. Prikkerne henviser til de markører, der er fastgjort på mocap-dragter, der bæres af skuespillere. Under en indendørs scene kan du bruge kunstigt lys uden infrarød, så kameraet nemt kan opfange dragtmarkørerne. Svaret på at opnå effektiv optagelse udendørs har været forbedrede markører.
Den nyeste generation af markører er små LED-lyskilder, der affyres synkroniseret med kameralukkeren, isolerer dem og filtrerer alle andre infrarøde kilder ud. Kameraoperatører kan justere eksponeringsindstillingerne, så infrarød i sollyset ikke engang opfanges.
Aktive LED-lys kan dog være skrøbelige. Til Abernes Planet: Revolutionen fra 2014 indkapslede Wētā FX ledninger i beskyttende gummibelagte tråde, så det kunne tages udendørs i de fugtige skove i Vancouver, Canada. Til Abernes planet: Opgøret fra 2017 gjorde beskyttelseshylstrene det muligt for Wētā FX at optage handling i endnu barskere miljøer såsom sne og vand.
Stereooptagelse af skuespilleres præstationer og ansigtsudtryk gør det nemmere for Wētā FX-animatorer at anvende 3D-figurnet på skuespillere i et live-action-billede. Billedet er © 2024 20th Century Studios, stillet til rådighed af Wētā FX.
Andre fremskridt i Wētā FX's mocap-processer omfatter brug af mere teknologi i ansigtsudstyret for at opfange flere detaljer og brug af to kameraer til bedre at fange denne detalje. På samme måde som 3D-film giver illusionen af dybde på grund af næppe mærkbare forskelle mellem to billeder, giver brug af to kameraer animatorer et mere nøjagtigt 3D-net af skuespillerens ansigt, hvilket giver meget finere detaljer end et enkelt objektiv.
Dette gennembrud var afgørende for Abernes Planet: Kongeriget på grund af den unikke måde, som primater bevæger deres ansigter på. "Når en skuespiller spidser sine læber eller personens læber strækker sig eller stikker ud, især med aber, når de laver deres hoo-lyd, kan alle disse ting være vanskelige med kun et kamera. Der er meget gætteri," siger Winquist. "Et 3D-net giver os meget større præcision." Vellykket animering af sådanne bevægelser – skabelse af primatfigurer, der lever, ånder og taler på en måde, der er tro mod rigtige aber – viser, hvor langt effektiv gengivelse er kommet.
Den nye teknologi fjerner også behovet for manuel 3D-dybdekomposition. Stereooptagelse på ansigtsudstyret og de almindelige kameraer betød, at Wētā FX kunne skabe et 3D-net af alt i billedet, ikke kun skuespillerne. Dette forbedrede i høj grad processen til bevægelseseftergørelse, hvor et 2D-animeret objekt placeres i et live-action-billede. "Otte hovedpersoner interagerede med rigtige rekvisitter såsom våben eller vende sider i en bog," siger Winquist. "Det bliver meget nemmere at bevare disse bevægelser fra hovedoptagelserne, men erstatte den figur, der interagerer, med et animeret element, når du ved præcis, hvor det vil være i 3D-rummet."
Gennem effektiv gengivelse og CG-animation bevarer figuren Noa i Abernes Planet: Kongeriget alle de subtile elementer i skuespilleren Owen Teagues præstation. Billede © Disney.
Nøgleelementet i processen til effektiv gengivelse er stadig en præstation – en skuespiller, der bevæger og opfører sig som en figur. Det var i høj grad Serkis' udforskning af en flyvst, skarpsindig personlighed, der fik figuren Gollum til at fungere så godt i De to tårne og Kongen vender tilbage. Til Abernes Planet: Kongeriget studerede stjernen Owen Teague abebevægelser i et primatreservat for at give sin præstation autenticitet.
Da Serkis fortalte medierne om det kommende Ringene-projekt The Hunt for Gollum (Søgningen efter Gollum), sagde han, at teknologien faktisk er frigørende. "Det har nu nået et niveau, hvor forfatterskabet til handlingen giver dig mulighed for faktisk at internalisere mere uden nogen følelse af at overreagere," sagde han. "Dette er noget, der helt klart arbejder på et meget større og dybere niveau nu."
Men der er nu en advarsel om, at en instruktør kan se en scene på en tablet, mens den udføres, med figurudstyret anvendt tidstro på dataene fra effektiv gengivelse. Winquist siger: "En filmskaber behøver ikke at fokusere på 'abeligheden' af det. Vi kan foretage alle mulige efterproduktionsjusteringer såsom at gøre en figur højere eller få den til at passe bedre ind i billedet. Den største ting at fokusere på er nuancen af, hvad der sker på skuespillerens ansigt, de subtile små mikrojusteringer. Jeg ville være bekymret for at slibe de ru kanter af, som gør en menneskelig præstation til, hvad den er. Hvis instruktøren ikke kan se det, fordi de ser på en tilnærmelse med tidstro anvendt proxyansigtsudstyr med lav opløsning, har de ikke de oplysninger, de har brug for til at beslutte, om optagelse 5 eller optagelse 6 er bedst."
Winquist tilføjer, at uanset hvor god teknologien bliver, skal instruktøren og animatorerne virkelig kunne se, hvad skuespilleren udstråler – subtile øjenbevægelser på blot et par pixel betyder, at alle kan se "tandhjulene dreje".
Der er en balance, hvor effektiv gengivelse på optagelsesstedet og CGI-forstærkning under postproduktion eksisterer side om side. "Der er øjeblikke, hvor vi er nødt til at opfinde noget, som instruktøren af en eller anden grund ikke fik på optagelsesdagen," siger Winquist. "De siger, at filmen virkelig er lavet i redigeringsrummet, og nogen siger ofte: 'Hvis vi vidste dengang, hvad vi ved nu, kunne vi have optaget dette anderledes – men, hør Wētā FX, kan du hjælpe os?'"
Igen afhænger alt af præstationen. "Vores animatorer er sindssygt talentfulde, men der er noget i det rum mellem en instruktør og en skuespiller," fortsætter han. "Den eksperimentering sker der og da. Hvis du sender det til VFX, er der en forsinkelse, før det kan gøres om, selvom det kun er et par timer. På det tidspunkt er den magi, der kun opstår på optagelsesstedet, den spontanitet er væk."
Wētā FX brugte et ansigtsbaseret dyblæringsprogram (FDLS) til effektivt at generere indledende gengivelser med effektiv gengivelse, hvilket gjorde kunstnerne fri til at fokusere mere på det udfordrende arbejde med at udtrykke talt dialog på abernes ansigter. Billede © Disney.
Efter mange år på dette område siger Winquist, at virksomhedens gengivelsesforsyningslinje er veletableret og strømlinet, så hans team kan få tingene til at se "absolut, utvivlsomt ægte ud". I løbet af 2000'erne blev CGI-milepæle for vand (engelsk), ild og hår endelig "erobret". Nu er fokus på, hvordan man kan gøre CGI og VFX mere effektive at producere. "Til en vis grad er det det samme, som når du får en ny harddisk, og du bare bliver ved med at fylde den op," siger han.
Effektiv gengivelse er et af de mest dataintensive områder inden for moderne VFX, hvilket gør det perfekt til maskinlæring. Abernes Planet: Kongeriget havde mere end 1500 VFX-optagelser, hvoraf de fleste indeholdt data til effektiv gengivelse. Der er kun 38 billeder, der slet ikke indeholder VFX – langt fra 2002, da Gollum havde 17 minutters skærmtid i De to tårne.
Ved hjælp af maskinlæring udviklede Wētā FX et ansigtsbaseret dyblæringsprogram (FDLS), hvor algoritmestyrede effektiv gengivelse kan verificeres af mennesker hele vejen, hvilket eliminerer de fleste maskinlæringsværktøjers "sorte boks"-karakter. Når optagelserne er godkendt, kan animatorer løbende overføre resultaterne direkte til værktøjer i et redigerings- eller animationsprogram. Wētā FX bruger Autodesk Maya som platform til at rumme nogle af sine ophavsretligt beskyttede visuelle effekter og animationsværktøjer.
Wētā FX's fremskridt inden for maskinlæringsteknologi er lavet med det formål at give sine kunstnere mulighed for at gøre mere. "Vi ønskede at stole på den samme kernebesætning, som vi har brugt, men at skabe talt dialog på abernes ansigter gav dem meget mere arbejde at gøre," siger Winquist. Han tilføjer, at FDLS hjalp animatorerne på Abernes Planet: Kongeriget med at opnå en ensartet basislinje for hver figur, som kunne anvendes på flere optagelser.
I en arbejdsgang med effektiv gengivelse afhænger det hele af historiens natur og produktionsstilen. "Hvis du har en figur over et par dusin billeder, ændrer det din tilgang, fordi bevægelsesindfangning har et meget stort fodaftryk – pludselig har du 40 medlemmer af filmholdet at bære rundt med dig," siger Winquist. "Hvis du har en enkelt figur, kan du have et meget lettere fodaftryk på optagelsesstedet og arbejde meget mere effektivt. Så en stor overvejelse, når vi kommer ind, er den teknologi, der passer bedst til et bestemt show og budget.
"Vi evaluerer behovene i et bestemt projekt og laver vores plan i overensstemmelse hermed," fortsætter han. "Vi kan bringe et komplet optagelsessystem til et lydstudio eller en udendørs lokation, eller vi kan bare rulle op til stedet med et par videokameraer, kaste lidt forskellige markører på kunstnerne, sige 'Action' og ordne det senere."
Efter sin opvækst med ønske om at ændre verden indså Drew Turney, at det var lettere at skrive om andre mennesker, der ændrede den i stedet. Han skriver om teknologi, biograf, videnskab, bøger og meget mere.
