In Der Herr der Ringe: Die zwei Türme ist die Figur Gollum eine vollständig digitale Schöpfung, die auf der Darstellung des Schauspielers Andy Serkis basiert. Ursprünglich sollte Serkis Gollum nur seine Stimme leihen, aber während der Arbeiten erkannte Regisseur Peter Jackson, dass sich seine Bewegungen wunderbar auf die Leinwand übertragen lassen würden. Dieses Verfahren, das als Motion Capture (Mocap) oder Performance Capture (Englisch) bezeichnet wird, wurde nicht von Regisseur Jackson erfunden. Eine frühe Version davon, das Rotoscoping, wurde bereits 1937 für Disneys Schneewittchen verwendet.
Wie schon bei Schneewittchen wurden in Die zwei Türme Performance-Aufnahmen von Animatoren verwendet, um das Timing und die Bewegungen von Serkis in Live-Action-Aufnahmen abzugleichen. Jacksons Filme erreichten vor zwei Jahrzehnten ein neues Maß an Realismus und Detailreichtum mit der Filmtrilogie Der Herr der Ringe und dem Film King Kong. Er gewann den Oscar für Beste visuelle Effekte für Die zwei Türme und Die Rückkehr des Königs.
Die wesentlichen Elemente der Performance-Capture-Technologie hätten sich seitdem nicht verändert, so Erik Winquist, VFX-Supervisor bei Wētā FX – eben jenem Unternehmen, das Performance Capture unter anderem in den oben genannten Filmen sowie in Avatar und der Filmreihe Planet der Affen vorangetrieben hat. „Im Grunde genommen nehmen wir immer noch einen talentierten menschlichen Schauspieler, versehen ihn mit bestimmten Markierungen, stellen ihn auf eine Bühne und zeichnen auf, was er tut“, erklärt Winquist.
Mit den neuesten Mocap-Technologien können die Crews von Wētā FX Performances erfassen, die bei Tageslicht oder sogar unter rauen Umgebungsbedingungen im Freien gefilmt wurden. Bild © Disney.
VFX-Künstler sagen, ihre besten Arbeiten seien nicht sichtbar. Die Messlatte für realistische Darstellungen liegt hoch, und das Publikum verzeiht es oft nicht wenn die visuellen Effekte auch nur ein wenig danebenliegen. Im aktuellen Film Planet der Affen: New Kingdom ist die Performance Capture nahezu perfekt: Die Zuschauer können realistische sprechende Affen auf dem Bildschirm erleben, die mit Requisiten, mit Live-Action-Figuren und auch miteinander interagieren.
Eine der größten Herausforderungen, die Winquist und sein Team 2011 für Planet der Affen: Prevolution lösten, war die Möglichkeit, Mocap ins Freie zu bringen, weg von der Bühne. „Die Mocap-Technologie basiert auf Infrarot, und Sonnenlicht hat eine massive Infrarotkomponente“, erklärt er. „Sobald man nach draußen geht, kämpft man gegen das Infrarotlicht, das von überall her reflektiert wird.“
Für eine detaillierte Aufnahme benötigt das Mocap-Team etwas, das Winquist als „weiße Punkte in einem Meer aus Schwarz“ beschreibt, wobei sich die Punkte auf die Markierungen beziehen, die an den Mocap-Anzügen der Schauspieler angebracht sind. Auf einer Indoor-Bühne kann man künstliches Licht ohne Infrarot verwenden, sodass die Kamera die Anzugmarkierungen leicht erkennen kann. Die Lösung für eine Verlegung der Bewegungserfassung nach draußen sind verbesserte Markierungen.
Bei den Markierungen der neuesten Generation handelt es sich um winzige LED-Lichtquellen, die synchron mit dem Kameraverschluss aufleuchten, sodass sie isoliert sind und alle anderen Infrarotquellen herausgefiltert werden. Kameraleute können die Belichtungseinstellungen so anpassen, dass der Infrarotanteil des Sonnenlichts gar nicht erst aufgenommen wird.
Aktive LED-Leuchten können jedoch zerbrechlich sein. Für Planet der Affen: Revolution aus dem Jahr 2014 ummantelte Wētā FX die Kabel mit gummierten Schutzlitzen, damit sie nach draußen in die feuchten Wälder von Vancouver, Kanada, gebracht werden konnten. Für Planet der Affen: Survival aus dem Jahr 2017 konnte Wētā FX dank der Schutzhüllen Bewegungen in noch raueren Umgebungen wie Schnee und Wasser festhalten.
Die Stereoerfassung der Bewegungen und Gesichtsausdrücke der Schauspieler erleichtert den Animatoren von Wētā FX die Anwendung von 3D-Figurennetzen auf die Schauspieler in einem Live-Action-Bild. Bild © 2024 20th Century Studios, mit freundlicher Genehmigung von Wētā FX.
Zu den weiteren Verbesserungen der Mocap-Prozesse von Wētā FX gehören der Einbau von mehr Technologie in das Gesichts-Rig, um mehr Details aufzunehmen, und der Einsatz von zwei Kameras, um diese Details besser zu erfassen. So wie 3D-Filme aufgrund kaum wahrnehmbarer Unterschiede zwischen zwei Bildern die Illusion von Tiefe vermitteln, erhalten Animatoren durch die Verwendung von zwei Kameras ein genaueres 3D-Netz des Gesichts eines Schauspielers, das viel feinere Details liefert als eine einzelne Linse.
Dieser Durchbruch war für Planet der Affen: New Kingdom von entscheidender Bedeutung aufgrund der einzigartigen Art und Weise, wie Primaten ihre Gesichter bewegen. „Wenn ein Schauspieler die Lippen spitzt oder seine Lippen sich strecken oder hervorstehen, kann dies insbesondere bei Affen, die einen Schrei von sich geben, mit einer Kamera nur schwierig eingefangen werden, und es ist viel Rätselraten involviert“, so Winquist. „Ein 3D-Netz ermöglicht uns viel mehr Präzision.“ Die erfolgreiche Animation solcher Bewegungen – die Erschaffung von affenartigen Figuren, die realistisch leben, atmen und sprechen – verdeutlicht, wie weit sich Performance Capture entwickelt hat.
Durch die neue Technologie entfällt auch die Notwendigkeit für das manuelle Zusammenstellen von 3D-Tiefen. Durch die gleichzeitige Aufnahme mit Gesichts-Rigs und normalen Kameras konnte Wētā FX ein 3D-Netz aller Elemente im Bild erstellen, nicht nur von den Schauspielern. Das hat den Match-Moving-Prozess, bei dem ein animiertes 2D-Objekt in ein Live-Action-Bild versetzt wird, erheblich verbessert. „Acht Hauptfiguren interagierten mit echten Requisiten wie Waffen oder blätterten Seiten in einem Buch um“, so Winquist. „Es ist viel einfacher, diese Bewegungen aus dem Hauptmaterial beizubehalten und die Figur, die mit einem animierten Element interagiert, zu ersetzen, wenn man genau weiß, wo es sich im 3D-Raum befinden wird.“
Dank Performance Capture und CG-Animation behält die Figur Noa in „Planet der Affen: New Kingdom“ alle subtilen Elemente der Darstellung von Schauspieler Owen Teague. Bild © Disney.
Das Schlüsselelement beim Performance Capture-Prozess ist immer noch eine Darstellung – ein Schauspieler, der sich wie eine bestimmte Figur bewegt und verhält. Es war vor allem Serkis’ Erkundung einer wilden, sprunghaften Persönlichkeit, die dafür sorgte, dass die Figur Gollum in Der Herr der Ringe: Die zwei Türme und Der Herr der Ringe: Die Rückkehr des Königs so gut funktionierte. Für Planet der Affen: New Kingdom studierte Hauptdarsteller Owen Teague die Bewegungen der Affen in einem Primatenschutzgebiet, um seiner Darstellung Authentizität zu verleihen.
Als Serkis den Medien von dem bevorstehenden Ringe-Projekt The Hunt for Gollum erzählte, sagte er, dass die Technologie tatsächlich befreiend sei. „Die Technologie hat nun ein Niveau erreicht, auf dem man die Darstellung mehr verinnerlichen kann, ohne das Gefühl zu haben, es zu übertreiben“, sagte er. „Das ist etwas, das nun auf einer viel größeren und tieferen Ebene funktioniert.“
Nun kann der Regisseur eine Szene während des Filmens auf einem Tablet verfolgen, wobei das Figuren-Rig in Echtzeit auf die Performance-Capture-Daten angewendet wird. Winquist erklärt: „Ein Filmemacher muss sich nicht auf die ‚Affenhaftigkeit‘ konzentrieren – wir können alle möglichen Anpassungen in der Postproduktion vornehmen und eine Figur z. B. größer machen oder besser in das Bild einpassen. Das Wichtigste, worauf man sich konzentrieren muss, sind die Nuancen dessen, was auf dem Gesicht des Schauspielers passiert, die subtilsten kleinen Mikroanpassungen. Ich würde keine groben Ecken und Kanten abschleifen, die eine menschliche Leistung zu dem machen, was sie ist. Wenn der Regisseur das nicht sehen kann, weil er in Echtzeit nur ein ungenaues Gesichts-Rig in niedriger Auflösung betrachtet, hat er nicht die Informationen, die er braucht, um zu entscheiden, ob Take 5 oder Take 6 besser ist.“
Winquist fügt hinzu, dass der Regisseur und die Animatoren unabhängig von der tollen Technologie sehen müssen, was der Schauspieler bietet – subtile Augenbewegungen von nur ein paar Pixeln bedeuten, dass jeder sehen kann, „wie sich die Räder drehen“.
Man muss eine Balance finden zwischen Performance Capture am Set und CGI-Erweiterung in der Postproduktion. „Es gibt Momente, in denen wir etwas erfinden müssen, das der Regisseur am Drehtag aus irgendeinem Grund nicht aufgenommen hat“, so Winquist. „Man sagt, dass Filme im Schneideraum gemacht werden, und oft bemerkt jemand: ‚Wenn wir damals gewusst hätten, was wir heute wissen, hätten wir das anders drehen können – aber hey, Wētā FX, könnt ihr uns helfen?‘“
Auch hier führt alles auf die Darstellung des Schauspielers zurück. „Unsere Animatoren sind wahnsinnig talentiert, aber zwischen einem Regisseur und einem Schauspieler entsteht etwas Besonderes“, fährt er fort. „Dieses Experimentieren findet dann und dort statt. Selbst wenn man es an VFX weitergibt, bedeutet ein Update immer noch eine Verzögerung, auch wenn es nur ein paar Stunden sind. Bis dahin ist diese Magie, die nur am Set entsteht, diese Spontaneität verschwunden.“
Wētā FX verwendete einen Facial Deep Learning Solver (FDLS) zur effizienten Generierung erster Performance-Capture-Renderings, wodurch die Künstler mehr Zeit für die anspruchsvolle Arbeit hatten, gesprochene Dialoge auf den Gesichtern der Affen auszudrücken. Bild © Disney.
Nach vielen Jahren in diesem Bereich sagt Winquist, dass die Rendering-Pipeline des Unternehmens gut etabliert und optimiert ist, sodass sein Team Dinge so rendern kann, dass sie „absolut, zweifellos echt“ aussehen. CGI-Meilensteine in den 2000er-Jahren führten dazu, dass Oberflächen wie Wasser (Englisch), Feuer und Haare endlich „gemeistert“ werden können. Der Fokus liegt nun auf der Frage, wie CGI und VFX für die Produktion effizienter gemacht werden können. „Bis zu einem gewissen Grad ist es dasselbe, wie wenn man sich eine neue Festplatte anschafft und sie einfach immer weiter auffüllt“, erklärt er.
Performance Capture ist einer der datenintensivsten Bereiche der modernen VFX-Produktion und eignet sich daher hervorragend für maschinelles Lernen. Bei Planet der Affen: New Kingdom wurden über 1.500 VFX-Aufnahmen erstellt, von denen die meisten Performance-Capture-Daten enthielten. Es gibt nur 38 Aufnahmen, die überhaupt keine visuellen Effekte enthalten – weit entfernt von 2002, als Gollum in Der Herr der Ringe: Die zwei Türme ganze 17 Minuten zu sehen war.
Mithilfe von maschinellem Lernen entwickelte Wētā FX einen Facial-Deep-Learning-Solver (FDLS), bei dem algorithmusgesteuerte Performance-Capture-Renderings durchgängig von Menschen überprüfbar sind, sodass keine „Blackbox“ wie bei den meisten Tools für maschinelles Lernen entsteht. Nachdem die Shots genehmigt wurden, können Animatoren die Ergebnisse direkt an die Werkzeuge einer Bearbeitungs- oder Animationsanwendung streamen. Wētā FX nutzt Autodesk Maya als Plattform für einige seiner proprietären Tools für visuelle Effekte und Animationen.
Mit den Fortschritten von Wētā FX im Bereich des maschinellen Lernens sollen die Künstler in die Lage versetzt werden, mehr zu erreichen. „Wir wollten mit der gleichen Kerncrew arbeiten wie bisher, aber die Erstellung von gesprochenen Dialogen auf den Gesichtern der Affen bedeutete für alle viel mehr Arbeit“, so Winquist. Er ergänzt, dass FDLS den Animatoren von Planet der Affen: New Kingdom geholfen hat, eine konsistente Grundlinie für jede Figur zu erhalten, die auf mehrere Szenen angewendet werden konnte.
Der Performance-Capture-Arbeitsablauf basiert stets auf der Art der Geschichte und dem Produktionsstil. „Wenn eine Figur in mehr als ein paar Dutzend Szenen erscheint, ändert sich die Herangehensweise, da Motion Capture mit großem Aufwand verbunden ist – plötzlich hat man 40 Crewmitglieder, die man überall hin mitnimmt“, so Winquist. „Wenn man nur eine einzige Figur hat, ist der Aufwand am Set geringer und man kann viel effizienter arbeiten. Eine wichtige Überlegung bei unserer Arbeit ist also, welche Technologie am besten zu einer bestimmten Show und einem bestimmten Budget passt.“
„Wir evaluieren die Anforderungen eines bestimmten Projekts und planen entsprechend“, fährt er fort. „Wir können ein komplettes Aufnahmesystem auf eine Tonbühne oder eine Location im Freien bringen, oder wir tauchen einfach mit ein paar Videokameras auf, versehen die Darsteller mit etwas anderen Markierungen, sagen ‚Action‘ und klären alles Weitere später.“
Als er jünger war, wollte er die Welt verändern. Später stellte Drew Turney fest, dass es einfacher ist, darüber zu berichten, wie andere Menschen dies tun. Er schreibt über Technologie, Kino, Wissenschaft, Bücher und mehr.
