In The Lord of the Rings: The Two Towers is het personage Gollum een volledig digitale creatie, gebaseerd op het acteerwerk van acteur Andy Serkis. Serkis werd aanvankelijk alleen gecast om Gollum zijn stem te verlenen, maar tijdens het draaien realiseerde regisseur Peter Jackson zich dat de bewegingen van Serkis ook prima naar het scherm zouden kunnen worden vertaald. Het betreffende proces, motion capture (mocap) of performance capture (Engels) genoemd, is trouwens niet uitgevonden door regisseur Jackson. Een voorloper van het proces, rotoscoping, werd al in 1937 gebruikt voor de Disney-film Sneeuwwitje.
Vergelijkbaar met hoe het in Sneeuwwitje ging, baseerden animators zich voor The Two Towers op de timing en bewegingen van Serkis in live beelden om Gollum tot leven te brengen. De films van Jackson bereikten hiermee al twee decennia geleden een nieuw niveau van realisme en detail voor de Rings-trilogie en King Kong. De Oscars voor visuele effecten (VFX) voor The Two Towers en The Return of the King kwamen dan ook niet uit de lucht vallen.
Volgens Erik Winquist, VFX-supervisor bij Wētā FX, het bedrijf verantwoordelijk voor performance capture voor de bovengenoemde films (evenals voor onder meer de Avatar- en Planet of the Apes-franchises), zijn de kernelementen van de performance capture-technologie sindsdien niet principieel veranderd. "In wezen werken we nog steeds met getalenteerde menselijke acteurs, voorzien we deze van markeringen, plaatsen we ze op een toneel en nemen we op wat ze doen", vertelt Winquist.
Met de nieuwste mocap-technologieën kunnen Wētā FX-animators ook overweg met scènes die buiten bij daglicht of zelfs in barre omgevingsomstandigheden worden gefilmd. Image © Disney.
VFX-specialisten weten dat hun beste werk onzichtbaar is. De lat voor realisme ligt hoog en het publiek kan meedogenloos zijn als de VFX-beelden er ook maar een beetje naast zitten. Bij de film Kingdom of the Planet of the Apes uit dit jaar is de performance capture naadloos: kijkers zien op het scherm realistische pratende apen die interactie hebben met elkaar, met rekwisieten en met andere personages.
Een van de grootste uitdagingen waarvoor Winquist en zijn technische team zich in 2011 zagen gesteld bij het opnemen van de film Rise of the Planet of the Apes, was de noodzaak om mocap ook buiten te gebruiken, niet alleen op sets binnen. "De mocap-technologie is gebaseerd op infrarood en zonlicht heeft een enorme infraroodcomponent", verklaart hij. "Zodra je naar buiten gaat, vecht je tegen het infraroodlicht dat overal op weerkaatst."
Het mocap-team heeft, in de woorden van Winquist, behoefte aan "witte stippen in een zee van zwart" om een gedetailleerde opname te maken. De stippen verwijzen naar de markeringen op de mocap-pakken die de acteurs dragen. Bij binnen opgenomen scènes kan kunstlicht zonder infrarood worden gebruikt, zodat de camera de markeringen op de pakken makkelijk oppikt. De oplossing voor opnamen buiten? Betere markeringen.
De markeringen van de nieuwste generatie zijn kleine LED-lichtbronnen die synchroon met de sluiter van de camera worden geactiveerd. Dit leidt tot een geïsoleerde communicatie waaruit alle andere infraroodbronnen zijn weggefilterd. Cameramensen kunnen de belichtingsinstellingen zo aanpassen dat de infraroodstraling in het zonlicht niet eens wordt opgepikt.
Actieve LED-lampen kunnen echter kwetsbaar zijn. Voor Dawn of the Planet of the Apes uit 2014 omhulde Wētā FX de bedrading met beschermende rubberen strengen, zodat deze ook bruikbaar was in de vochtige bossen van Vancouver, Canada. Voor War for the Planet of the Apes uit 2017 kon Wētā FX dankzij deze beschermende omhulsels scènes vastleggen in nog lastigere omgevingen, zoals sneeuw en water.
Stereo-opnamen van de bewegingen en gelaatsuitdrukkingen van acteurs maken het voor de Wētā FX-animators eenvoudiger om 3D-personagemeshes toe te passen op acteurs in live-actieframes. Afbeelding © 2024 20th Century Studios, ter beschikking gesteld door Wētā FX.
Andere verbeteringen aan de mocap-processen van Wētā FX zijn onder andere toevoeging van extra technologie in de facial rig om meer details op te pikken en het gebruik van twee camera's om deze details optimaal vast te leggen. Analoog aan de manier waarop 3D-films de illusie van diepte geven vanwege nauwelijks waarneembare verschillen tussen twee beelden, biedt het gebruik van twee camera's animators een nauwkeuriger 3D-netwerk van het gezicht van de acteur, wat veel fijnere details oplevert dan bij gebruik van één camera.
Deze doorbraak was cruciaal voor Kingdom of the Planet of the Apes omdat primaten hun gezicht op een unieke manier bewegen. "Als een acteur bijvoorbeeld zijn lippen tuit of uitsteekt, vooral om de kreet van een aap te simuleren, leg je dat lastig vast met slechts één camera. Je blijft zitten met veel giswerk", vertelt Winquist. "Een 3D-mesh biedt veel meer precisie." Dat dergelijke bewegingen nu goed kunnen worden geanimeerd – resulterend in aapachtige personages die leven, ademen en spreken op een manier die aansluit bij het gedrag van echte apen – laat zien hoe ver performance capture zich inmiddels heeft ontwikkeld.
De nieuwe technologie maakt ook handmatige 3D-dieptecomposities overbodig. Dankzij stereo-opnamen op de facial rigs en de gewone camera's kon Wētā FX een 3D-mesh maken van alle elementen in het frame, niet alleen van de acteurs. Dit had een sterk positieve invloed op het match moving-proces, waarbij een 2D-geanimeerd object in een live-actieframe wordt geplaatst. Winquist: "Acht hoofdpersonages hadden interactie met echte rekwisieten. Ze hanteerden bijvoorbeeld een wapen of sloegen pagina's in een boek om. Het behouden van die bewegingen uit de opgenomen beelden terwijl het personage dat de interactie uitvoert, wordt vervangen door een geanimeerd element, is een stuk eenvoudiger als je precies weet waar het zich in een 3D-ruimte gaat bevinden."
Dankzij performance capture en CG-animatie heeft het personage Noa in 'Kingdom of the Planet of the Apes' alle subtiele elementen uit het acteerwerk van acteur Owen Teague behouden. Image © Disney.
Centraal in het performance capture-proces is nog steeds daadwerkelijk acteren: een acteur die beweegt en zich gedraagt als een personage. Het was grotendeels Serkis' interpretatie van een schichtig, opvliegend wezen die ervoor zorgde dat het personage Gollum het zo goed deed in The Two Towers en The Return of the King. Voor Kingdom of the Planet of the Apes bestudeerde acteur Owen Teague in een primatenreservaat hoe apen zich bewegen om zijn optreden zo geloofwaardig mogelijk te maken.
Toen Serkis in de media vertelde over het aanstaande Rings-project The Hunt for Gollum, gaf hij aan dat de moderne technologie veel ruimte biedt. "De technologie heeft nu een niveau bereikt waarop acteurs hun eigen stijl de vrije loop kunnen geven zonder dat overacteren nodig is", vertelde hij. "Dit werkt uitstekend en biedt veel meer diepgang."
Een mogelijke valkuil is wel dat de regisseur scènes al tijdens de uitvoering op een tablet kan bekijken terwijl de character rig in realtime wordt toegepast op de performance capture-gegevens. Winquist: "Een filmmaker hoeft zich niet te focussen op de 'aapachtigheid' van de scène. We kunnen tijdens de postproductie allerlei aanpassingen doorvoeren, zoals een personage groter maken of beter in het frame plaatsen. De focus moet vooral liggen op de nuance van de gezichtsexpressie van de acteur, op subtiele microaanpassingen. Het is geen goed idee om de ruwe randjes die zo kenmerkend zijn voor menselijk acteerspel weg te poetsen. Als de regisseur hier geen goed zicht op heeft en kijkt naar een beeld waarop een realtime facial rig met lage resolutie is toegepast, is het lastig om te beslissen of take 5 of juist take 6 beter is.
Winquist voegt eraan toe dat hoe goed de technologie ook wordt, de regisseur en animators altijd het 'echte' acteerwerk van de acteur moeten bekijken. Zelfs subtiele oogbewegingen van slechts een paar pixels kunnen heel veel zeggen.
Er bestaat een balans tussen performance capture op de set en CGI-vergroting tijdens de postproductie. "Het komt voor dat we iets moeten verzinnen wat de regisseur om wat voor reden dan ook niet heeft kunnen vastleggen op de dag van de opnamen", vertelt Winquist. "Er wordt wel gezegd dat films eigenlijk in de montagekamer tot stand komen. We krijgen dan ook regelmatig dingen te horen als 'Hadden we daar toen maar aan gedacht. Dan hadden we dit anders gefilmd. Kunnen jullie bij Wētā FX ons helpen?'"
Ook hier is alles weer terug te leiden tot het acteren zelf. "Onze animators zijn ontzettend getalenteerd, maar er is altijd een spanningsveld tussen wat de regisseur wil en hoe de acteurs spelen", vervolgt hij. "Dat leidt tot experimenteren op de set zelf. Als je in de VFX-fase concludeert dat iets niet goed werkt, is er soms nog tijd voor een andere insteek, ook al heb je maar een paar uur. Maar vaak is de magie, de spontaniteit die zich alleen op de set manifesteert dan al verdwenen."
Wētā FX heeft een Facial Deep Learning Solver (FDLS) gebruikt om op efficiënte wijze de initiële performance capture-renders te genereren, zodat de acteurs meer tijd hadden om zich te richten op de gezichtsuitdrukkingen van apen tijdens het praten; een hele uitdaging. Image © Disney.
Winquist is al jaren actief in dit vakgebied en vertelt dat de renderingpipeline van het bedrijf robuust en gestroomlijnd is. Zijn team kan elementen zo renderen dat ze er 100% levensecht uitzien. CGI-mijlpalen vanaf begin deze eeuw zijn onder meer de realistische weergave van wateroppervlakken (Engels) en – eindelijk! – die van haar. De focus ligt nu vooral op het efficiënter maken van CGI en VFX in productieomgevingen. Winquist: "Het is eigenlijk vergelijkbaar met wanneer je een nieuwe vaste schijf in gebruik neemt en je die maar blijft vullen."
Performance capture is een van de meest gegevensintensieve functies binnen moderne VFX. Machine learning sluit daar dan ook prima bij aan. Voor Kingdom of the Planet of the Apes zijn meer dan 1.500 VFX-opnamen geschoten, waarvan de meeste performance capture-gegevens bevatten. Er zijn slechts 38 shots die helemaal geen VFX bevatten. Heel anders dus dan in 2002, toen Gollum 17 minuten schermtijd had in The Two Towers.
Op basis van machine learning heeft Wētā FX een Facial Deep Learning Solver (FDLS) ontwikkeld. Hierin kunnen algoritmegestuurde performance capture-renders steeds handmatig worden geverifieerd. Er is dus geen sprake van een 'black box', zo typisch voor de meeste machine learning-tools. Nadat de opnamen zijn goedgekeurd, kunnen animators de resultaten rechtstreeks streamen naar tools binnen een bewerkings- of animatietoepassing. Wētā FX gebruikt Autodesk Maya als platform om diverse van de eigen visuele effecten en animatietools onder te brengen.
Wētā FX zet vooral in op machine learning-technologie om animators meer mogelijkheden te bieden. "We wilden blijven werken met dezelfde mensen als altijd, maar spraak weergeven op apengezichten verhoogde de workload behoorlijk", zegt Winquist. Hij voegt eraan toe dat FDLS de animators van Kingdom of the Planet of the Apes in staat heeft gesteld om voor elk personage een consistente basislijn te formuleren die op meerdere shots kan worden toegepast.
In een performance capture-workflow komt alles aan op de aard van het verhaal en de productiestijl. "Als je verschillende personages hebt in tientallen shots, heeft dat invloed op je aanpak. Motion capture brengt veel werk met zich mee. Voor je het weet, heb je 40 mensen nodig", aldus Winquist. "Is er slechts één personage, dan is de set een stuk makkelijker te behappen. Je werkt veel efficiënter. Wanneer we worden ingehuurd, kijken we eerst naar de technologie die het beste aansluit bij de film in kwestie en het budget."
"We evalueren de behoeften voor een bepaald project en stellen dienovereenkomstig een plan op", vervolgt hij. "We kunnen een volwaardig capture-systeem op een soundstage of een buitenlocatie inrichten, maar ons ook beperken tot een paar videocamera's, de acteurs voorzien van markeringen, 'Actie!' roepen en er daarna wat moois van maken."
Nadat hij was opgegroeid in de stellige overtuiging dat hij zelf de wereld wilde veranderen, realiseerde Drew Turney zich dat het makkelijker was om te schrijven over andere mensen die dat daadwerkelijk deden. Hij schrijft over technologie, film, wetenschap, boeken en meer.
