Postać Golluma w filmie Władca Pierścieni: Dwie wieże jest całkowicie cyfrową kreacją opartą na występie aktora Andy'ego Serkisa. Serkis początkowo miał jedynie użyczyć Gollumowi głosu, ale w trakcie pracy reżyser Peter Jackson zdał sobie sprawę, że jego ruchy można pięknie przedstawić na ekranie. Proces ten, zwany przechwytywaniem ruchu (angielski) lub rejestrowaniem gry aktorskiej (angielski), nie został wynaleziony przez Jacksona — jego wczesną wersję, rotoskopię, wykorzystano już w 1937 roku w Królewnie Śnieżce Disneya.
W Dwóch wieżach, podobnie jak w Królewnie Śnieżce, animatorzy odwoływali się do nagrań z występów, aby dopasować czas i ruch Serkisa w materiale filmowym. Filmy Jacksona osiągnęły nowy poziom realizmu i szczegółowości dwie dekady temu dzięki trylogii Pierścienia i King Kongowi, co przyniosło im Oskary za efekty wizualne za Dwie wieże i Powrót króla.
Jak twierdzi Erik Winquist, kierownik ds. efektów wizualnych w Wētā FX, firmie, która przyczyniła się do rozwoju procesu rejestrowania gry aktorskiej we wspomnianych filmach, a także w seriach Avatar i Planeta Małp, zasadnicze elementy technologii rejestrowania gry aktorskiej od tego czasu się nie zmieniły. „Zasadniczo wciąż bierzemy utalentowanego aktora, nakładamy na niego markery, ustawiamy go na scenie i nagrywamy to, co robi” — mówi Winquist.
Dzięki najnowszym technologiom przechwytywania ruchu ekipy Wētā FX mogą rejestrować grę aktorską na zewnątrz w świetle dziennym, a nawet w trudnych warunkach środowiskowych. Zdjęcie © Disney.
Artyści tworzący efekty wizualne twierdzą, że ich najlepszych prac nie widać. Poprzeczka realizmu jest zawieszona wysoko, a widzowie mogą być bezlitośni, gdy efekty wizualne są choćby trochę niedopracowane. W przypadku tegorocznego Królestwa Planety Małp rejestracja gry aktorskiej przebiegła bezproblemowo — na ekranie widać realistyczne gadające małpy, wchodzące w interakcje z rekwizytami, postaciami aktorskimi i sobą nawzajem.
Jednym z największych wyzwań, jakie Winquist i jego ekipa techniczna rozwiązali w Genezie Planty Małp z 2011 roku, było przeniesienie sesji przechwytywania ruchu ze studia w plener. „Technologia przechwytywania ruchu opiera się na podczerwieni, a światło słoneczne zawiera jej bardzo dużo” — mówi. „Gdy tylko wyjdziesz na zewnątrz, musisz walczyć z odbijającym się od wszystkiego światłem podczerwonym”.
Do szczegółowego przechwytywania ruchu zespół potrzebuje tego, co Winquist opisuje jako „białe kropki w morzu czerni”. Kropki oznaczają tu markery przymocowane do kombinezonów noszonych przez aktorów. W zamkniętym studiu filmowym można użyć sztucznego światła bez podczerwieni, tak aby kamera mogła łatwo wychwycić markery na kombinezonie. Rozwiązaniem umożliwiającym rejestrowanie gry aktorskiej na zewnątrz okazały się ulepszone markery.
Markery najnowszej generacji to maleńkie źródła światła LED, które działają synchronicznie z migawką aparatu, izolując i odfiltrowując wszystkie inne źródła podczerwieni. Operatorzy kamer mogą dostosować ustawienia ekspozycji tak, aby podczerwień ze światła słonecznego nie była w ogóle odbierana.
Jednocześnie jednak aktywne światła LED są bardzo delikatne. Na potrzeby Ewolucji planety małp z 2014 roku firma Wētā FX pokryła przewody ochronnymi, gumowanych włóknami, aby można je było zabrać do wilgotnych lasów Vancouver w Kanadzie. W przypadku filmu Wojna o planetę małp z 2017 roku osłony ochronne pozwoliły firmie Wētā FX rejestrować grę aktorską w jeszcze trudniejszych warunkach, takich jak śnieg i woda.
Stereofoniczna rejestracja gry aktorów i ich mimiki ułatwia animatorom efektów specjalnych z firmy Wētā nakładanie trójwymiarowych siatek postaci na aktorów w kadrze filmowym. Zdjęcie © 2024 20th Century Studios, za zgodą firmy Wētā FX.
Inne ulepszenia w procesach przechwytywania ruchu używanych w firmie Wētā FX obejmują stosowanie dodatkowej technologii w siatkach twarzy w celu uchwycenia większej liczby szczegółów, a także użycie dwóch kamer w celu ich lepszego zarejestrowania. W taki sam sposób, w jaki filmy 3D dają złudzenie głębi dzięki ledwo dostrzegalnym różnicom między dwoma obrazami, użycie dwóch kamer zapewnia animatorom dokładniejszą siatkę 3D twarzy aktora i znacznie więcej szczegółów, niż jest to możliwe w przypadku użycia pojedynczego obiektywu.
Ten przełom był kluczowy dla Królestwa Planety Małp ze względu na unikalną mimikę naczelnych. „Kiedy aktor zaciska usta lub rozciąga bądź wydyma wargi, zwłaszcza gdy małpy człekokształtne wydają swój dźwięk pohukiwania, zarejestrowanie tego tylko jedną kamerą może być trudne, a od animatorów może wymagać dużo zgadywania” — mówi Winquist. „Siatka 3D zapewnia nam dużo większą precyzję”. Udane animowanie takich ruchów — tworzenie małpich postaci, które żyją, oddychają i mówią identycznie jak prawdziwe małpy człekokształtne — pokazuje, jak bardzo rozwinęła się technika rejestrowania gry aktorskiej.
Nowa technologia eliminuje również potrzebę ręcznego komponowania głębi 3D. Przechwytywanie stereo siatek twarzy przy użyciu zwykłych kamer pozwoliło firmie Wētā FX stworzyć siatkę 3D wszystkiego w kadrze, nie tylko aktorów. To znacznie usprawniło proces przenoszenia i dopasowywania, w którym animowany obiekt 2D jest umieszczany w klatce akcji na żywo. „Ośmiu głównych bohaterów wchodziło w interakcję z prawdziwymi rekwizytami, takimi jak broń, lub przewracało strony w książce” — mówi Winquist. „Zachowanie tych ruchów z głównego materiału filmowego przy jednoczesnym zastąpieniu postaci, która wchodzi w interakcję, animowanym elementem staje się o wiele łatwiejsze, gdy wiesz dokładnie, gdzie będzie się znajdował w przestrzeni 3D”.
Dzięki rejestrowaniu gry aktorskiej i animacji komputerowej postać Noa w Królestwie Planety Małp zachowuje wszystkie subtelne elementy występu aktora Owena Teague'a. Zdjęcie © Disney.
Kluczowym elementem w procesie rejestrowania gry aktorskiej jest nadal gra aktorska — aktor poruszający się i zachowujący jak postać. To w dużej mierze dzięki dokonanej przez Serkisa analizie płochliwej i kolczastej osobowości Golluma postać ta tak dobrze wypadła w Dwóch wieżach i Powrocie króla. Na potrzeby Królestwa Planety Małp Owen Teague obserwował małpy w azylu ssaków naczelnych, aby zapewnić autentyczność swojej kreacji.
Kiedy Serkis opowiedział mediom o nadchodzącym projekcie z uniwersum Władcy Pierścieni, Polowaniu na Golluma, wyznał, że technologia rzeczywiście uwalnia i pozwala na wiele. „Osiągnęliśmy już poziom, na którym autorstwo gry aktorskiej pozwala na większą internalizację bez poczucia przesady” — powiedział. „To jest coś, co wyraźnie działa teraz na znacznie wyższym i głębszym poziomie”.
Druga strona medalu jest jednak taka, że obecnie reżyser może oglądać scenę na tablecie w trakcie jej odgrywania, wraz z siatką postaci, która w czasie rzeczywistym przechwytuje dane do rejestracji gry aktorskiej. Winquist mówi: „filmowiec wcale nie musi skupiać się na małpie — możemy w postprodukcji wprowadzić najróżniejsze poprawki, na przykład zwiększyć wysokość postaci lub dopasować ją do kadru. Najważniejszą rzeczą, na której należy się skoncentrować, są niuanse mimiki twarzy aktora, najsubtelniejsze mikrokorekty. Byłbym zaniepokojony wygładzaniem chropowatości, które sprawiają, że ludzki występ jest tym, czym jest. Jeśli reżyser tego nie widzi, ponieważ patrzy w czasie rzeczywistym na przybliżenie siatki twarzy o niskiej rozdzielczości, nie będzie miał informacji, których potrzebuje, aby zdecydować, czy lepsze jest ujęcie 5, czy 6”.
Winquist dodaje, że bez względu na to, jak dobra jest technologia, reżyser i animatorzy muszą naprawdę widzieć, co daje z siebie aktor — subtelne ruchy gałek ocznych o zakresie zaledwie kilku pikseli pokazują widzom, że „czacha pracuje”.
Jednocześnie trzeba znaleźć równowagę między rejestracją gry aktorskiej na planie a ulepszaniem obrazów generowanych komputerowo podczas postprodukcji. „Czasami musimy wymyślić coś, czego reżyser z jakiegoś powodu nie uzyskał w dniu zdjęciowym” — mówi Winquist. „Mówi się, że film tak naprawdę powstaje w montażowni. Często słyszymy «gdybyśmy wiedzieli wtedy to, co wiemy teraz, moglibyśmy nakręcić wszystko inaczej, Wētā FX, możecie nam pomóc?»”
I znowu wszystko sprowadza się do gry aktorskiej. „Nasi animatorzy są szalenie utalentowani, ale to między reżyserem a aktorem jest ta chemia” — kontynuuje. „To w trakcie kręcenia scen dzieją się wszystkie eksperymenty. Po przekazaniu materiału do działu efektów wizualnych powstaje opóźnienie w realizacji, nawet jeśli jest to tylko kilka godzin. Do tego czasu magia, która istniała na planie, ta spontaniczność, już znika”.
Firma Wētā FX wykorzystała rozwiązanie Facial Deep Learning Solver (FDLS), aby efektywnie wygenerować wstępne renderingi zarejestrowanej gry aktorskiej, dzięki czemu artyści mogli poświęcić więcej czasu na wymagającą pracę nad ekspresją dialogów na twarzach małp. Zdjęcie © Disney.
Po wielu latach pracy w tej dziedzinie Winquist mówi, że proces renderowania realizowany w jego firmie jest dobrze ugruntowany i usprawniony, dzięki czemu jego zespół może renderować rzeczy tak, aby wyglądały „bezwzględnie i bezsprzecznie realistycznie”. Postępy na polu komputerowego generowania obrazów w pierwszej dekadzie XXI wieku sprawiły, że udało się w końcu „ujarzmić” takie powierzchnie, jak woda (angielski), ogień czy włosy. Teraz skupiamy się na zwiększaniu wydajności komputerowego generowania obrazów i tworzenia efektów wizualnych. „Do pewnego stopnia przypomina to zapełnianie nowego dysku twardego” — mówi.
Rejestrowanie gry aktorskiej jest jedną z dziedzin związanych z nowoczesnymi efektami wizualnymi najbardziej zależnych od danych, dzięki czemu w naturalny sposób nadaje się do wykorzystania uczenia maszynowego. Królestwa Planety Małp zawierało ponad 1500 ujęć efektów wizualnych, z których większość obejmowała dane pochodzące z rejestracji gry aktorskiej. Tylko 38 ujęć w ogóle nie zawierało efektów wizualnych — wiele zmieniło się więc od 2002 roku, kiedy Gollum miał 17 minut czasu ekranowego w Dwóch wieżach.
Korzystając z uczenia maszynowego, firma Wētā FX opracowała rozwiązanie Facial Deep Learning Solver (FDLS), w którym sterowane algorytmem renderowanie zarejestrowanej gry aktorskiej jest przez cały czas weryfikowane przez ludzi, w odróżnieniu od większości narzędzi uczenia maszynowego charakteryzujących się pełną automatyką. Po zatwierdzeniu ujęć animatorzy mogą przesyłać wyniki bezpośrednio do narzędzi w aplikacji do edycji lub animacji. Jako platformy do przechowywania niektórych własnych narzędzi do tworzenia efektów wizualnych i animacji studio Wētā FX używa programu Autodesk Maya.
Postępy firmy Wētā FX na polu technologii uczenia maszynowego docelowo mają poszerzyć możliwości artystów. „Chcieliśmy oprzeć się na tej samej podstawowej ekipie, z którą współpracowaliśmy do tej pory, ale tworzenie dialogów mówionych na twarzach małp wymagało dużo więcej pracy” — wyjaśnia Winquist. Dodaje, że FDLS pomógł animatorom Królestwa Planety Małp uzyskać spójny punkt odniesienia dla każdej postaci, który można zastosować do wielu ujęć.
W procesie rejestrowania gry aktorskiej wszystko sprowadza się do charakteru historii i stylu produkcji. „Jeśli masz postać w kilkudziesięciu ujęciach, zmienia się podejście, ponieważ przechwytywanie ruchu odbywa się na bardzo dużej powierzchni — nagle musisz mieć przy sobie 40 członków ekipy” — mówi Winquist. „Jeśli masz jedną postać, potrzebujesz znacznie mniej miejsca na planie i możesz pracować o wiele wydajniej. Tak więc dużą kwestią, którą należy wziąć pod uwagę, gdy rozpoczynamy, jest technologia, która najlepiej pasuje do konkretnej produkcji i budżetu”.
„Oceniamy potrzeby danego projektu i opracowujemy odpowiedni plan” — kontynuuje. „Możemy przenieść pełnowymiarowy system przechwytywania na scenę dźwiękową lub w plener albo możemy po prostu dać czadu z kilkoma kamerami wideo, rzucić kolejne markery na wykonawców, krzyknąć «akcja!» i kombinować później”.
Dorastając, Drew Turney był przekonany, że pragnie zmienić świat. Później zdał sobie sprawę, że woli pisać o innych ludziach, którzy go zmieniają. Pisze o technologii, kinie, nauce, książkach i nie tylko.
