Ve filmu Pán prstenů: Dvě věže je postava Gluma vytvořena zcela digitálně a je založena na výkonu herce Andyho Serkise. Serkis byl původně obsazen jen proto, aby dal Glumovi hlas, ale během práce na filmu si režisér Peter Jackson uvědomil, že by šlo hercovy pohyby krásně přenést na plátno. Tento proces označovaný jako motion capture (mocap) (v angličtině) nebo performance capture (v angličtině) nevynalezl režisér Jackson – jeho raná verze, rotoskopie, byla použita v roce 1937 v Disneyho filmu Sněhurka.
Stejně jako ve Sněhurce se animátoři ve filmu Dvě věže řídili záznamem výkonu tak, aby animace odpovídaly načasování a pohybu Serkise v hraných záběrech. Filmová trilogie Pán prstenů a snímek King Kong režiséra Jacksona dosáhly před dvěma desetiletími nové úrovně realismu a detailů a byly oceněny Oscarem za vizuální efekty (VFX) – konkrétně šlo o filmy Dvě věže a Návrat krále.
Základní prvky technologie performance capture se od té doby nezměnily, tvrdí Erik Winquist, supervizor vizuálních efektů ve společnosti Wētā FX, která ve výše zmíněných filmech, stejně jako ve filmu Avatar, v sérii Planeta opic a dalších posunula způsob zachycení hereckého výkonu kupředu. „V podstatě pořád máme nějakého talentovaného skutečného herce, na kterého dáme nějaké značky, strčíme ho na plac a nahrajeme, co dělá,“ vysvětluje Winquist.
Díky nejnovějším technologiím mocap mohou štáby Wētā FX zachytit herecké výkony natočené venku za denního světla nebo dokonce za drsných povětrnostních podmínek. Obrázek © Disney.
Tvůrci vizuálních efektů říkají, že jejich nejlepší práce je ta, která nejde vidět. Laťka realismu je nastavená vysoko, a pokud se vizuální efekty třeba jen malinko nepovedou, dokáží být diváci nemilosrdní. V případě letošního snímku Království Planeta opic se zachycení výkonu povedlo – diváci mohou zažít realistické opice, které na plátně mluví, a jejich interakci s rekvizitami, živými akčními postavami i mezi sebou navzájem.
Jednou z největších výzev, které Winquist a jeho technický tým řešili v roce 2011 při natáčení filmu Zrození Planety opic, byla možnost přenést technologii mocap ven, mimo studio. „Technologie mocap je založena na infračerveném záření a sluneční světlo obsahuje velké množství infračerveného záření,“ vysvětluje. „Jakmile tedy vyjdete ven, bojujete s infračerveným světlem, které se od všeho odráží.“
Tým, který se o mocap stará, potřebuje k detailnímu zachycení to, co Winquist popisuje jako „bílé tečky v moři černé“, přičemž těmi tečkami myslí značky připevněné k mocap oblekům, které nosí herci. Na scéně ve studiu můžete použít umělé světlo bez infračervené složky, takže kamera značky na obleku zachytí snadno. Problémy s přenesením performance capture do venkovních prostor vyřešily vylepšené značky.
Značky nejnovější generace jsou malé LED diody, které se spouštějí synchronizovaně se závěrkou kamery. To je izoluje od okolního prostředí a odfiltrovává všechny ostatní zdroje infračerveného záření. Kameraman může upravit nastavení expozice tak, aby kamera infračervené záření na slunci ani nezachytila.
Aktivní LED diody však mohou být křehké. Během prací na filmu Úsvit planety opic z roku 2014 zabalila společnost Wētā FX kabeláž do ochranných pogumovaných obalů, aby bylo možné techniku použít ve vlhkých lesích kanadského Vancouveru. Při natáčení filmu Válka o planetu opic z roku 2017 mohla společnost Wétá FX díky ochranným krytům zachytit výkony v ještě drsnějších podmínkách, například ve sněhu a vodě.
Stereo záznam výkonů herců a výrazů jejich obličeje usnadňuje animátorům efektů společnosti Wētā FX použití 3D sítí postav na hercích v hraném snímku. Obrázek © 2024 20th Century Studios, poskytla společnost Wētā FX.
Mezi další vylepšení mocap procesů společnosti Wétá FX patří integrace více technologií do obličejového zařízení tak, aby bylo možné zachytit více detailů, a použití dvou kamer za účelem ještě lepšího zachycení těchto detailů. Stejně jako 3D filmy vytvářejí iluzi hloubky díky sotva postřehnutelným rozdílům mezi dvěma obrazy, tak i použití dvou kamer poskytuje animátorům přesnější 3D síť obličeje herce a díky tomu vykresluje mnohem jemnější detaily než jeden objektiv.
Tento průlom byl naprosto zásadní pro snímek Království Planeta opic, a to díky jedinečnému způsobu, jakým primáti pohybují tváří. „Když herec našpulí rty nebo se mu rty roztáhnou nebo vystupují, což platí zejména u opic, když vydávají takové to své houkání, tak tohle všechno může být s použitím jediné kamery dost složité. Člověk pak musí hodně odhadovat, jak to asi je správně,“ prozrazuje Winquist. „3D síť nám poskytuje mnohem větší přesnost.“ Úspěšná animace takových pohybů – vytváření opičích postav, které žijí, dýchají a mluví způsobem, který věrně odráží skutečné chování a grimasy lidoopů – ukazuje, jak daleko se technologie performance capture dostala.
Nová technologie také odstraňuje potřebu ručního 3D skládání hloubky. Díky stereo snímání na v systémech pro animaci obličeje a běžných kamerách společnost Wētā FX vytvořit 3D síť čehokoliv, co bylo v záběru, nejen herců. Tím se výrazně zlepšil proces match-moving, kdy se 2D animovaný objekt umístí do políčka s hraným záběrem. „Osm hlavních postav interagovalo se skutečnými rekvizitami, jako jsou zbraně, nebo otáčelo stránky v knize,“ říká Winquist. „Zachování těchto pohybů z hlavního záběru a nahrazení postavy, která provádí interakci s animovaným prvkem, je mnohem snazší, když přesně víte, kde se tato postava ve 3D prostoru nachází.“
Díky performance capture a CG animaci si postava Noa ve filmu Království Planeta opic zachovává všechny jemné prvky hereckého výkonu Owena Teaguea. Obrázek © Disney.
Klíčovým prvkem v procesu performance capture je stále výkon – herce, který se pohybuje a chová jako postava. Bylo to do značné míry díky Serkisově ztvárnění plaché, prchlivé osobnosti, proč ve filmech Dvě věže a Návrat krále postava Gluma fungovala tak dobře. Pro svou roli ve filmu Království Planeta opic hvězdný herec Owen Teague studoval pohyb opic v rezervaci primátů, aby byl jeho herecký výkon skutečně autentický.
Když Serkis řekl médiím o nadcházejícím projektu Pán prstenů: Hon na Gluma, nechal se slyšet, že mu tato technologie dává neskutečnou volnost. „Ta technologie je teď na takové úrovni, že tvůrcům umožňuje s postavami pracovat tak, aby realisticky vyjadřovaly emoce a nepůsobily přitom přehnaně nebo nepřirozeně,“ řekl Serkis. „To je něco, co nyní zjevně funguje na mnohem větší a hlubší úrovni.“
Nyní se však objevují výhrady proti tomu, že režisér může scénu sledovat na tabletu už během natáčení, přičemž systém pro animaci postavy se na data, která zachycují herecký výkon, aplikuje v reálném čase. Winquist říká: „Filmař se nemusí soustředit na skutečný vzhled opic‘ – celou řadu úprav lze provést v postprodukci: například udělat postavu vyšší nebo ji lépe začlenit do záběru. Nejpodstatnější věcí, na kterou je třeba se zaměřit, jsou nuance toho, co se děje v hercově tváři, nejjemnější změny mimiky. Osobně bych se obával potlačení drobných nedokonalostí, které dělají lidský výkon jedinečným. Pokud to režisér není schopen vidět, protože se v reálném čase dívá na přibližný obraz s použitým proxy obličejovým rigem v nízkém rozlišení, nebude mít informace, které potřebuje k rozhodnutí, zda je lepší záběr 5 nebo záběr 6.“
Winquist dodává, že bez ohledu na to, jak dobrá je technologie, režisér a animátoři musí skutečně vidět, co herec předvádí – jemné pohyby očí o velikosti pouhých několika pixelů dokáží zprostředkovat to, jak postava přemýšlí a reaguje“.
Mezi současně probíhajícími procesy performance capture během natáčení a augmentací CGI během postprodukce existuje rovnováha. „Jsou chvíle, kdy musíme vytvořit něco, co režisér v den natáčení z nějakého důvodu nezachytil,“ vysvětluje Winquist. „Říká se, že film reálně vzniká ve střižně, a někteří občas prohlašují: ‚Kdybychom tehdy věděli to, co víme teď, mohli jsme to natočit jinak – ale vy z Wétá FX nám určitě dokážete pomoct, že jo?‘“
A zase jsme zpátky u hereckého výkonu. „Naši animátoři jsou sice šíleně talentovaní, ale mezi režisérem a hercem se odehrává něco zvláštního,“ pokračuje. „To experimentování se děje právě při natáčení. Mezi natáčením a zpracováním vizuálních efektů ale uplyne určitá doba, a i když je to třeba jen pár hodin. Jenže do té doby je už to kouzlo, které se spontánně odehrává pouze na place, dávno pryč.“
Společnost Wētā FX pomocí zařízení pro hluboké učení mimiky (FDLS) efektivně vygenerovala prvotní rendrované výsledky zachyceného výkonu, čímž dala svým umělcům více času na náročnou práci s vyjádřením mluvených dialogů na opičích tvářích. Obrázek © Disney.
Po mnoha letech působení v této oblasti Winquist říká, že rendrovací kanál společnosti je dobře zavedený a efektivní, takže jeho tým může rendrovat věci tak, aby vypadaly „naprosto reálně“. Milníky CGI v průběhu roku 2000 představovalo překonání úskalí povrchů, jako jsou voda (v angličtině), oheň a vlasy. Nyní se soustředíme na to, jak zefektivnit produkci CGI a vizuálních efektů. „Do jisté míry je to stejné, jako když dostanete nový pevný disk a vy ho neustále plníte,“ říká.
Performance capture je jednou z datově nejnáročnějších oblastí moderních vizuálních efektů, takže se přirozeně hodí pro strojové učení. Film Království Planeta opic obsahoval více než 1 500 záběrů s vizuálními efekty, z nichž většina obsahovala data performance capture. Pouze 38 záběrů neobsahuje vůbec žádné vizuální efekty – což je na hony vzdálené roku 2002, kdy Glum ve filmu Dvě věže strávil na plátně jen 17 minut.
Pomocí strojového učení vyvinula společnost Wētā FX zařízení pro řešení hlubokého učení mimiky (FDLS), kde jsou rendrované výsledky zachyceného výkonu řízeny algoritmy ověřitelnými lidmi. Nemá tedy charakter „černé skříňky“, který bývá spojován s většinou nástrojů strojového učení. Po schválení záběrů umožňuje animátorům streamovat výsledky přímo do nástrojů v aplikaci pro úpravy nebo animaci. Společnost Wētā FX používá jako platformu k umístění některých svých vlastních nástrojů pro vizuální efekty a animace aplikaci Autodesk Maya.
Pokroky společnosti Wētā FX v oblasti technologie strojového učení jsou prováděny s cílem umožnit jejím umělcům zvládat více. „Chtěli jsme se spolehnout na stejný základní tým, s jakým jsme pracovali až doposud, ale vytváření mluvených dialogů na obličejích opic zabralo mnohem více práce,“ říká Winquist. Dodává, že FDLS pomohlo animátorům pracujícím na filmu Království Planeta opic získat konzistentní základní linii pro každou postavu, kterou bylo možné použít na více záběrů.
V pracovním postupu performance capture se vše vrací k povaze příběhu a stylu produkce. „Pokud máte postavu natočenou na několika desítkách záběrů, změní to váš přístup, protože snímání pohybu je náročné na zdroje – najednou máte 40 členů štábu, které musíte brát všude s sebou,“ říká Winquist. „Pokud máte jednu postavu, můžete mít na place mnohem méně lidí a pracovat mnohem efektivněji. Takže je třeba řádně zvážit technologii, která se pro konkrétní pořad a rozpočet hodí nejlépe.“
„Vyhodnocujeme potřeby konkrétního projektu a podle toho vytváříme plán,“ pokračuje. „Dokážeme do zvukové scény nebo na venkovní lokaci přinést plnohodnotný snímací systém, nebo tam prostě přijet s několika videokamerami, hodit na účinkující trochu jiné značky, houknout ‚Akce‘ a vyřešit to později.“
Drew Turney vyrůstal s touhou změnit svět, ale uvědomil si, že je jednodušší psát o jiných lidech, kteří ho mění. Píše o technologiích, kinematografii, vědě, knihách a dalších tématech.
