I Sagan om ringen: De två tornen är karaktären Gollum en helt och hållet digital skapelse som baseras på skådespelaren Andy Serkis prestation. Serkis valdes från början enbart för att ge sin röst åt Gollum, men under arbetets gång insåg regissören Peter Jackson att hans rörelser skulle passa perfekt på filmduken. Denna process som kallas motion capture (engelska) (mocap) eller performance capture (engelska), uppfanns inte av regissören Jackson – en tidig version av den, rotoscoping, användes redan 1937 i Disneys Snövit.
I De två tornen, liksom i Snövit, refererades performancebilder av animatörer för att matcha Serkis timing och rörelser i live-action-filmer. Jacksons filmer nådde nya nivåer av realism och detaljrikedom för två decennier sedan med Sagan om ringen-trilogin och King Kong och vann flera Oscarspriser för de visuella effekterna i dessa filmer.
De grundläggande delarna av performance capture-tekniken har inte förändrats sedan dess, enligt Erik Winquist, VFX supervisor på Wētā FX. Det är företaget som har drivit performance capture framåt i de tidigare nämnda filmerna samt i bland annat Avatar och Planet of the Apes-serierna. ”I princip tar vi fortfarande en begåvad mänsklig skådespelare, klär hen med markörer av något slag, ställer hen på en scen och spelar in allt hen gör”, säger Winquist.
Med den senaste mocap-tekniken kan Wētā FX-teamen spela in föreställningar som filmats utomhus i dagsljus eller till och med under tuffa miljöförhållanden. Bild © Disney.
VFX-kreatörer säger att deras bästa arbete inte syns. Ribban för realism ligger högt och publiken kan vara skoningslös när visuella effekter inte ser 100 % rätt ut. I årets Kingdom of the Planet of the Apes är performance capture sömlös – tittarna kan uppleva realistiska talande apor på skärmen som interagerar med rekvisita, live-action-karaktärer och varandra.
En av de största utmaningarna som Winquist och hans tekniska team löste för 2011 års Rise of the Planet of the Apes var möjligheten att ta mocap utomhus från en scenkuliss. ”Mocap-tekniken är baserad på infrarött ljus och solljus har en massiv infraröd komponent”, förklarar han. ”Så fort du går ut kämpar du mot det infraröda ljuset som reflekteras från allt.”
Mocap-teamet behöver vad Winquist beskriver som ”vita prickar i ett hav av svart” för en detaljerad bild, där prickarna hänvisar till de markörer som fästs på skådespelarnas mocap-dräkter. På en inomhusscen kan man använda artificiellt ljus utan infraröda inslag där kameran enkelt kan fånga upp dräktmarkörerna. Lösningen för att göra performance capture utomhus har blivit förbättrade markörer.
Den senaste generationens markörer är små LED-ljuskällor som avfyras synkroniserat med kamerans slutare, vilket isolerar dem och filtrerar bort alla andra infraröda källor. Kameraoperatörer kan justera exponeringsinställningarna så att infrarött ljus i solljus inte ens fångas upp.
Aktiva LED-lampor kan dock vara ömtåliga. För Dawn of the Planet of the Apes från 2014 kapslade Wētā FX in ledningar i skyddande gummerade trådar så att den kunde filmas utomhus i de fuktiga skogarna i Vancouver, Kanada. Under inspelningen av War for the Planet of the Apes 2017 gjorde de skyddande höljena att Wētā FX kunde arbeta i ännu tuffare miljöer, som snö och vatten.
Stereoinspelning av skådespelarnas prestationer och ansiktsuttryck gör det enklare för Wētā FX-animatörer att tillämpa 3D-karaktärsnät på skådespelare i en live action-ruta. Bild © 2024 20th Century Studios, med tillstånd av Wētā FX.
Andra förbättringar av Wētā FX:s mocap-processer är att använda fler tekniska lösningar vid ansiktsriggningen för att registrera fler detaljer, och att använda två kameror som fångar dem på ett bättre sätt. På samma sätt som 3D-filmer ger en illusion av djup på grund av knappt märkbara skillnader mellan två bilder, ger användningen av två kameror animatörer ett mer exakt 3D-nät av skådespelarens ansikte med mycket finare detaljer än med ett enda objektiv.
Detta genombrott var avgörande för Kingdom of the Planet of the Apes på grund av det unika sätt på vilket primater rör sina ansikten. ”En skådespelare som kniper ihop läpparna eller putar med dem, särskilt då apor tjuter, kan vara knepigt att hantera med bara en kamera; det blir mycket gissningar”, säger Winquist. ”Ett 3D-nät ger oss mycket mer precision.” Lyckade animeringar av sådana rörelser – att skapa karaktärer som lever, andas och talar på ett sätt som stämmer överens med riktiga apor – visar hur långt performance capture har kommit.
Den nya tekniken undanröjer också behovet av manuell 3D-djupkompositering. Med stereoinspelning på ansiktsriggarna och de vanliga kamerorna kunde Wētā FX skapa ett 3D-nät av vad som helst i bilden, inte bara av skådespelarna. Detta förbättrade avsevärt processen att matcha rörelser där ett 2D-animerat objekt placeras i en live-action-ram. ”Åtta huvudpersoner interagerade med riktig rekvisita som vapen, eller bläddrade i en bok”, säger Winquist. ”Det blir mycket enklare att behålla rörelserna från huvudinspelningen men byta ut karaktären som interagerar med ett animerat objekt när man vet exakt var det kommer att hamna i 3D-utrymmet.”
Med hjälp av performance capture och CG-animation behåller karaktären Noa i Kingdom of the Planet of the Apes alla de små detaljerna i skådespelaren Owen Teagues skådespel. Bild © Disney.
Nyckelelementet i performance capture-processen är fortfarande en skådespelarinsats – en skådespelare som rör sig och beter sig som en karaktär. Det var till stor del Serkis utforskande av en skygg och ovänlig personlighet som gjorde att karaktären Gollum fungerade så bra i De två tornen och Konungens återkomst. Inför Kingdom of the Planet of the Apes studerade stjärnan Owen Teague hur apor rörde sig i ett reservat för att ge autenticitet till sina insatser.
När Serkis berättade för media om det kommande Sagan om ringen-projektet Jakten på Gollum sa han att tekniken faktiskt är befriande. ”Den har nu nått en nivå där upphovsmannaskapet till skådespelarinsatserna gör att du faktiskt kan internalisera mer utan att ge någon som helst känsla av att ta i för mycket”, säger han. ”Det är något som helt klart fungerar på en mycket större och djupare nivå nu.”
Det finns dock en invändning mot att en regissör kan titta på en scen på en surfplatta medan den framförs, med karaktärsriggningen tillämpad på performance capture-inspelningen i realtid. Winquist säger: ”En filmskapare behöver inte fokusera på det ’apiga’ i det – vi kan göra alla möjliga justeringar i efterproduktionen, som att göra en karaktär längre eller positionera den bättre i bild. Vårt främsta fokus är nyanserna i det som händer i skådespelarens ansikte, de mest subtila små mikrojusteringarna. Jag skulle inte vilja slipa bort det kantiga som gör en mänsklig skådespelarinsats till vad den är. Om regissören inte kan se det eftersom hen tittar på en approximation med en proxy-ansiktsrigg i realtid med låg upplösning, kommer hen inte heller att ha den information som krävs för att avgöra om tagning 5 eller tagning 6 är bättre.”
Winquist tillägger att oavsett hur bra tekniken blir, måste regissören och animatörerna verkligen se vad skådespelaren ger – minimala ögonrörelser på bara några pixlar innebär att alla kan se att ”kugghjulen snurrar i huvudet”.
Det finns en balans där performance capture på inspelningsplatsen och CGI-förstärkning under efterproduktionen samexisterar. ”Det händer att vi måste hitta på något som regissören av någon anledning inte fick med på inspelningsdagen”, säger Winquist. ”Det sägs att filmen i själva verket görs i klipprummet och ofta händer det att någon säger: ’Om vi hade vetat vad vi vet nu så kunde vi ha spelat in det här annorlunda – men Wētā FX, ni kanske kan hjälpa oss?’”
Återigen är vi tillbaka till prestationen. ”Våra animatörer är vansinnigt begåvade, men det finns något i just det utrymmet mellan en regissör och en skådespelare”, fortsätter han. ”Just det experimenterandet sker där och då. Om du skickar det till VFX blir det ändå en fördröjning avseende när det går att leverera en uppdatering. Även om det bara handlar om ett par timmar. Vid det laget har magin som bara uppstår på inspelningsplatsen och spontaniteten försvunnit.”
Wētā FX använde ansiktsbaserad djupinlärning (FDLS) för att effektivt generera initiala performance capture-renderingar. Detta frigjorde mer tid för utmanande arbete med att uttrycka talad dialog i apornas ansikten. Bild © Disney.
Efter många år i branschen säger Winquist att företagets renderingspipeline är väletablerad och strömlinjeformad så att hans team kan få saker och ting att se ”absolut, otvivelaktigt verkliga ut”. CGI-milstolpar under 2000-talet innebar att ytor som vatten (engelska), eld och hår äntligen kunde framställas trovärdigt. Nu ligger fokus på hur man kan göra CGI och VFX mer effektiva att producera. ”Till viss del är det samma sak som när du skaffar en ny hårddisk och bara fortsätter att fylla på den”, säger han.
Performance capture är ett av de mest dataintensiva områdena inom modern VFX. Det är därför naturligt anpassat för maskininlärning. Kingdom of the Planet of the Apes omfattade mer än 1 500 VFX-bilder, varav de flesta innehöll performance capture-data. Det finns bara 38 scener som helt saknar VFX – det är långt ifrån 2002, då Gollum hade 17 minuters skärmtid i De två tornen.
Med hjälp av maskininlärning har Wētā FX utvecklat en ansiktsbaserad djupinlärning (FDLS), där algoritmstyrda performance capture-renderingar kontinuerligt kan verifieras av människor, och därmed har man tagit tillbaka kontrollen över sådant som i de flesta maskininlärningsverktyg inte går att styra. När tagningarna har godkänts kan animatörerna skicka resultaten direkt till verktyg i ett redigerings- eller animeringsprogram. Wētā FX använder Autodesk Maya som plattform för några av sina egenutvecklade verktyg för visuella effekter och animering.
Wētā FX:s framsteg inom maskininlärningsteknik görs med målet att stärka kreatörerna till ytterligare prestationer. ”Vi ville utgå från samma huvudsakliga kreatörer som vi tidigare använt, men att skapa talad dialog i apornas ansikten gav dem mycket mer arbete”, säger Winquist. Han tillägger att FDLS hjälpte animatörerna av Kingdom of the Planet of the Apes att få en konsekvent baslinje för varje karaktär som kunde tillämpas på flera tagningar.
I ett performance capture-arbetsflöde handlar allt om berättelsens karaktär och produktionsstilen. ”Om en karaktär förekommer i några dussin tagningar förändrar det din taktik eftersom motion capture kräver en stor arbetsinsats – plötsligt ska du ha med dig 40 teammedlemmar”, säger Winquist. ”Om du har en enda karaktär kan du ha ett mycket mindre fotavtryck på inspelningen och arbeta mycket effektivare. En betydande faktor när vi kommer in är således den teknik som passar bäst för en viss show och budget.
”Vi utvärderar behoven i ett visst projekt och formulerar vår plan därefter”, fortsätter han. ”Vi kan ta med ett fullständigt inspelningssystem till en ljudscen eller en plats utomhus, eller så kan vi bara ta med oss ett par videokameror, placera något annorlunda markörer på skådespelarna, säga ’Tagning’ och fixa till det senare.”
Efter att ha vuxit upp med insikten om att han ville förändra världen, insåg Drew Turney att det var enklare att skriva om andra människor som gjorde det. Han skriver om teknik, film, vetenskap, böcker och mycket mer.
