Hareket yakalama (mocap) Hollywood'un vazgeçilmez VFX karakter teknolojisi haline nasıl geldi?

Wētā FX VFX Süpervizörü Erik Winquist, 2024 yapımı Maymunlar Cehennemi: Yeni Krallık örneğinde olduğu gibi, hareket yakalamanın (mocap) VFX'e nasıl yeni gerçekçilik seviyeleri getirdiğini açıklıyor.

Aktörler Owen Teague ve Peter Macon, Maymunlar Cehennemi: Yeni Krallık'tan bir sahnenin ham görüntülerinde, hareket yakalama kıyafetleri ve sensörlü başlıklar giymiş halde bir kamp ateşinin başında oturuyorlar.

Drew Turney

21 Ağustos 2024

dk. okuma

Performans yakalama ve hareket yakalama, özel işaretçilerle kaplı özel bir kıyafet giyen bir aktörün hareketlerini veya yüz ifadelerini kaydetmeye yönelik dijital sürecin adlarıdır.
Yüzüklerin Efendisi, Maymunlar Cehennemi ve Avatar gibi gişe rekorları kıran seriler için görsel efekt şirketi Wētā FX, daha fazla gerçekçilik sağlamak amacıyla performans yakalama yöntemlerini ileriye taşıdı.
Performans yakalama, modern görsel efektlerin veri açısından en yoğun alanlarından biridir ve animasyon sanatçılarının modern film yapımının taleplerini karşılamasına yardımcı olacak makine öğrenimiyle doğal bir uyum sağlar.

Yüzüklerin Efendisi: İki Kule filminde Gollum karakteri, aktör Andy Serkis'in performansına dayanan tamamen dijital bir yaratımdır. Serkis başlangıçta Gollum'a sesini vermek için rol almış olsa da, o çalışırken yönetmen Peter Jackson, hareketlerinin ekrana güzel bir şekilde yansıyacağını fark etmiştir. Hareket yakalama (mocap) veya performans yakalama (İngilizce) olarak adlandırılan bu süreç, yönetmen Jackson tarafından bulunmamıştır. Bu yöntemin erken bir versiyonu olan rotoskop, özellikle 1937'de Disney'in Pamuk Prenses filmi için kullanılmıştır.

İki Kule filminde, Pamuk Prenses filminde olduğu gibi, performans görüntüleri, canlı aksiyon görüntülerinde Serkis'in zamanlamasını ve hareketini eşleştirmek için animasyon sanatçıları tarafından referans alınmıştır. Jackson'ın filmleri, yirmi yıl önce Yüzüklerin Efendisi üçlemesi ve King Kong için yeni gerçekçilik ve ayrıntı seviyelerine ulaştı ve İki Kule ve Kralın Dönüşü filmleriyle görsel efekt (VFX) dalında Oscar kazandı.

Yukarıda bahsedilen filmlerin yanı sıra Avatar ve Maymunlar Cehennemi serilerinde performans yakalamayı ileriye taşıyan şirket olan Wētā FX'in VFX süpervizörü Erik Winquist'e göre, performans yakalama teknolojisinin temel unsurları o zamandan bu yana değişmedi. Winquist, "Temelde yine yetenekli bir insan oyuncuyu alıyor, üzerine bazı işaretçiler koyuyor, onu bir sahneye yerleştiriyor ve yaptıklarını kaydediyoruz" diyor.

Yeni ve gelişmiş maymunlar

Maymunlar Cehennemi: Yeni Krallık'tan bir kare, ata binmiş bir maymun karakterini gösteriyor.

En yeni hareket yakalama (mocap) teknolojileri ile Wētā FX ekipleri, açık havada, gün ışığında ve hatta zorlu çevre koşullarında çekilen performansları yakalayabilir. Resim © Disney.

VFX sanatçıları, en iyi işlerinin görünmez olduğunu söylüyor. Gerçekçilik çıtası oldukça yüksektir ve VFX çok az hatalı olduğunda dahi izleyiciler affetmeyebilir. Bu yıl vizyona giren Maymunlar Cehennemi: Yeni Krallık için kullanılan performans yakalama tekniği kusursuzdur. İzleyiciler gerçekçi bir şekilde ekrandaki konuşan maymunları deneyimleyebilir, aksesuarlarla, canlı aksiyon karakterleriyle ve birbirleriyle etkileşim kurabilirler.

Winquist ve teknik ekibinin 2011 yapımı Maymunlar Cehennemi: Başlangıç için çözdüğü en büyük zorluklardan biri, sahne setinden çıkararak hareket yakalama tekniğini açık havada kullanabilmekti. "Hareket yakalama teknolojisi kızılötesine dayanıyor ve güneş ışığının büyük bir kızılötesi bileşeni var" diyor. "Açık havaya çıkar çıkmaz, her yerden yansıyan kızılötesi ışıkla savaşıyorsunuz."

Hareket yakalama ekibi, ayrıntılı bir çekim için Winquist'in "siyah denizde beyaz noktalar" olarak tanımladığı şeye ihtiyaç duyuyor. Noktalar oyuncular tarafından giyilen hareket yakalama kıyafetlerine iliştirilmiş işaretçiler anlamına geliyor. Kapalı mekanda çekilen bir sahnede, kameranın kıyafetteki işaretçileri kolayca alabilmesi için kızılötesi içermeyen yapay ışık kullanabilirsiniz. Performans yakalamayı dışarıya taşımanın çözümü, geliştirilmiş işaretçiler oldu.

En modern işaretçiler, kamera deklanşörüyle senkronize olarak çekim yapan, onları izole eden ve diğer tüm kızılötesi kaynakları filtreleyen küçük LED ışık kaynaklarıdır. Kamera operatörleri, pozlama ayarlarını yaparak güneş ışığındaki kızılötesi ışınların algılanmasını önleyebilirler.

Ancak, aktif LED ışıklar kırılgan olabilir. 2014 yapımı Maymunlar Cehennemi: Şafak Vakti için Wētā FX, Vancouver, Kanada'nın nemli ormanlarında açık havada çekim yapabilmek için kabloları koruyucu kauçuk şeritlerle kapladı. 2017 yapımı Maymunlar Cehennemi: Savaş'ta kullanılan koruyucu kılıflar, Wētā FX'in çok daha zorlu ortamlarda, örneğin karda ve suda performans yakalamasına olanak tanıdı.

Paralaks görünümü

Maymunlar Cehennemi: Yeni Krallık'tan bir sahnenin devam etmekte olan bir fotoğrafı, insan aktörlerin üzerinde modellenmiş maymunların 3B karakter ağlarını gösteriyor.

Oyuncuların performanslarının ve yüz ifadelerinin stereo olarak yakalanması, Wētā FX animasyon sanatçılarının canlı aksiyon sahnelerinde oyunculara 3B karakter örgüleri uygulamasını kolaylaştırır. Resim © 2024 20th Century Studios, Wētā FX tarafından sağlanmıştır.

Wētā FX'in hareket yakalama süreçlerinde sağlanan diğer gelişmeler, yüz donanımına daha fazla teknoloji entegre etmeyi ve bu detayları daha iyi yakalamak için iki kamera kullanmayı içerir. 3B filmlerin iki görüntü arasında zar zor algılanabilen farklılıklar nedeniyle derinlik illüzyonu yaratması gibi, iki kamera kullanmak da animasyon sanatçılarına oyuncunun yüzünün daha doğru bir 3B ağını vererek tek bir lensten çok daha ince ayrıntılar sağlar.

Bu gelişme, primatların yüzlerini benzersiz şekilde hareket ettirmesi nedeniyle Maymunlar Cehennemi: Yeni Krallık için son derece önemliydi. Winquist, "Bir oyuncu dudaklarını büzdüğünde ya da dudaklarını uzattığında veya öne çıkardığında, özellikle de maymunlar kükreme sesi çıkardığında, tüm bunları tek bir kamerayla yakalamak zor olabilir ve çok fazla tahmin yürütmek gerekir" diyor. "3B örgü bize çok daha fazla hassasiyet sağlıyor." Bu tür hareketlerin başarılı bir şekilde canlandırılması, yani gerçek maymunlara sadık kalınarak yaşayan, nefes alan ve konuşan maymun karakterler yaratılması, performans yakalama tekniğinin ne kadar ilerlediğini gösteriyor.

Yeni teknoloji, manuel 3B derinlik birleştirme ihtiyacını da ortadan kaldırıyor. Yüz donanımlarında ve normal kameralarda stereo yakalama, Wētā FX'in yalnızca oyuncuların değil, kadraja giren her şeyin 3B örgüsünü oluşturabileceği anlamına geliyordu. Bu, 2B animasyonlu bir nesnenin canlı aksiyon karesine yerleştirildiği hareket eşleştirme sürecini büyük ölçüde iyileştirdi. Winquist, "Sekiz ana karakter gerçek nesnelerle, örneğin silahlarla veya bir kitabın sayfalarını çevirerek etkileşimde bulunuyordu" diyor. "Bu hareketlerin ana çekimden korunması ve etkileşimi gerçekleştiren karakterin animasyonlu bir öğe ile değiştirilmesi, 3B alanda tam olarak nerede olduğunu bildiğinizde çok daha kolay hale geliyor."

Oyuncunun özünü yakalama

Maymunlar Cehennemi: Yeni Krallık'tan, Owen Teague'nin karakteri Noa'nın kararlı bakışlarını gösteren bir kare.

Performans yakalama ve CG animasyonu sayesinde, Maymunlar Cehennemi: Yeni Krallık'taki Noa karakteri, oyuncu Owen Teague'nin performansının tüm ince unsurlarını koruyor. Resim © Disney.

Performans yakalama sürecindeki kilit unsur yine de performanstır, yani bir karakter olarak hareket eden ve davranan bir oyuncudur. Gollum karakterinin İki Kule ve Kralın Dönüşü filmlerinde bu kadar başarılı olmasını sağlayan şey, büyük ölçüde Serkis'in ürkek ve keskin bir kişiliğe hayat vermesiydi. Maymunlar Cehennemi: Yeni Krallık için yıldız Owen Teague performansına özgünlük kazandırmak için bir primat tapınağında maymun hareketlerini inceledi.

Serkis yaklaşmakta olan Yüzüklerin Efendisi projesi The Hunt for Gollum hakkında medyaya bilgi verdiğinde teknolojinin aslında özgürleştirici olduğunu ifade etti. "Performansların yazarlığı artık aşırıya kaçma hissine kapılmadan daha fazlasını içselleştirmenize olanak tanıyacak bir seviyeye ulaştı" dedi. "Bu, şu anda açıkça çok daha büyük ve daha derin bir seviyede işe yarayan bir teknik."

Ancak artık bir yönetmen, karakter donanımının performans yakalama verilerini gerçek zamanlı olarak uygulayarak sahneleri tablet üzerinden izleyebilme imkanına sahip. Winquist şöyle diyor: "Bir film yapımcısının işin "maymunsuluk" kısmına odaklanmasına gerek yok, bir karakteri daha uzun yapmak veya kadraja daha iyi oturtmak gibi her türlü post prodüksiyon ayarlamasını yapabiliriz. Odaklanılması gereken en önemli şey, oyuncunun yüzünde meydana gelen nüanslar ve en ince mikro ayarlamalardır. İnsan performansının pürüzlü kenarlarını düzeltmekle ilgilenirdim. Yönetmen, gerçek zamanlı düşük çözünürlüklü bir proxy yüz donanımıyla bir tahmine bakıyorsa, beşinci ya da altıncı çekimden hangisinin daha iyi olduğunu karar vermek için ihtiyaç duyduğu bilgilere sahip olamaz."

Winquist, teknoloji ne kadar gelişmiş olursa olsun, yönetmenler ve animasyon sanatçılarının oyuncunun performansını gerçek anlamda görebilmeleri gerektiğini belirtiyor ve sadece birkaç piksellik ince göz hareketlerinin varlığının herkesin "dişlilerin döndüğünü" anlaması için yeterli olduğunu sözlerine ekliyor.

Sette performans yakalama ve post prodüksiyon sırasında CGI artırmanın bir arada var olduğu bir denge durumu vardır. Winquist, "Yönetmenin çekim günü herhangi bir nedenle bulamadığı bir şeyi icat etmemiz gereken anlar oluyor" diyor. "Filmin gerçekten kurgu odasında çekildiğini söylüyorlar ve birileri sık sık Şimdi bildiklerimizi o zaman bilseydik bunu daha farklı çekebilirdik ama yine de Wētā FX, bize yardım edebilir misin?" diyor.

Yine, her şey performansa bağlanıyor. "Animasyon sanatçılarımız inanılmaz yetenekli, ancak yönetmen ve oyuncu arasındaki alanda bir şeyler oluyor" diyerek sözlerine şöyle devam ediyor: "Bu deneyim o anda ve o yerde gerçekleşiyor. Bunu VFX'e devrederseniz, bir güncellemeyi gerçekleştirirken sadece birkaç saat olsa bile bir gecikme olur. Böylece, sadece sette gerçekleşen o sihir, o spontanlık kaybolur."

Hız ve ölçek

Maymunlar Cehennemi: Yeni Krallık filminden bir fotoğraf, Lydia Peckham'ın karakteri Soona ve Owen Teague'in karakteri Noa'yı duygusal bir anda alın alına dokunurken gösteriyor.

Wētā FX, ilk performans yakalama görüntülerini verimli bir şekilde oluşturmak için bir yüz derin öğrenme çözücüsü (FDLS) kullandı ve sanatçılarının maymunların yüzlerinde konuşulan diyalogları ifade etme gibi zorlu işlere daha fazla zaman ayırmasını sağladı. Resim © Disney.

Bu alanda uzun yıllar deneyim kazandıktan sonra Winquist, şirketin görüntü oluşturma sürecinin son derece sağlam ve akıcı bir yapıya sahip olduğunu belirtiyor. Böylece ekibi, her şeyi "kesinlikle, tartışmasız gerçek" görünecek şekilde sunabiliyor. 2000'li yıllarda CGI alanında kaydedilen dönüm noktaları, su (İngilizce), ateş ve saç gibi yüzeylerin gerçekçi bir şekilde "hayata geçirilebilmesine" olanak sağladı. Şimdi ise, CGI ve VFX'in üretimini daha verimli hale getirmek üzerine odaklanılıyor. "Bir dereceye kadar, yeni bir sabit disk aldığınızda olduğu gibi, onu doldurmaya devam ediyorsunuz" diyor.

Performans yakalama, modern VFX'in veri açısından en yoğun alanlarından biridir ve bu da onu makine öğrenimi için doğal olarak uyumlu hale getirir. Maymunlar Cehennemi: Yeni Krallık'ın 1500'den fazla VFX çekimi vardı ve bunların çoğu performans yakalama verilerini içeriyor. Hiç VFX içermeyen sadece 38 çekim var, bu Gollum'un İki Kule'de 17 dakikalık ekran süresine sahip olduğu 2002'den çok uzak bir rakam.

Wētā FX, makine öğreniminden yararlanarak, performans yakalama görüntülemelerinin baştan sona insanlar tarafından doğrulanabilmesini sağlayan ve çoğu makine öğrenimi aracının "kara kutu" doğasını reddeden bir yüz derin öğrenme çözücüsü (FDLS) geliştirdi. Çekimler onaylandıktan sonra, animasyon sanatçılarının sonuçları doğrudan bir düzenleme veya animasyon uygulaması içindeki araçlara aktarmasına olanak tanıyor. Wētā FX, tescilli görsel efekt ve animasyon araçlarından bazılarını barındıracak bir platform olarak Autodesk Maya kullanıyor.

Wētā FX'in makine öğrenimi teknolojisindeki ilerlemeleri, sanatçılarını kendilerini geliştirmeye teşvik etmeyi amaçlıyor. Winquist, "Kullandığımız çekirdek ekibe güvenmek istedik, ancak maymunların yüzlerinde sözlü diyaloglar oluşturmak onlara yapacak çok daha fazla iş verdi" diyor. FDLS'nin Maymunlar Cehennemi: Yeni Krallık için çalışan animasyon sanatçılarının her karakter için birden fazla çekime uygulanabilecek tutarlı bir temel elde etmesine yardımcı olduğunu da sözlerine ekliyor.

Performans yakalama iş akışında, her şey hikayenin doğasına ve prodüksiyon tarzına bağlıdır. Winquist, "Birkaç düzineden fazla çekime sahip bir karakteriniz varsa, bu durum yaklaşımınızı değiştirir; çünkü hareket yakalama süreci oldukça büyük bir ayak izine sahiptir. Aniden yanınızda taşımanız gereken 40 ekip üyesi olur," diyor. "Tek bir karakteriniz varsa, sette çok daha hafif bir ayak izine sahip olabilir ve çok daha verimli çalışabilirsiniz. Bu nedenle, projeye dahil olduğumuzda dikkate almamız gereken en önemli faktör, belirli bir gösteri ve bütçe için en uygun teknolojiyi seçmektir."

"Her projenin ihtiyaçlarını değerlendirir ve planımızı buna göre yaparız" diye devam ediyor. "Bir ses sahnesine ya da dış mekana tam donanımlı bir çekim sistemi getirebilir ya da sadece birkaç video kamerayla çıkıp, sanatçıların üzerine biraz farklı işaretçiler yerleştirip 'Motor' diyebilir ve daha sonra bunu çözebiliriz."

Drew Turney Hakkında

Drew Turney, dünyayı değiştirmek istediğini bilerek büyüdükten sonra, bunun yerine dünyayı değiştiren diğer insanlar hakkında yazmanın daha kolay olduğunu fark etti. Teknoloji, sinema, bilim, kitaplar ve daha fazlası hakkında yazıyor.