運動擷取 (mocap) 如何成為好萊塢常用的 VFX 角色技術

Wētā FX 的 VFX 總監 Erik Winquist 以 2024 年的電影《猩球崛起:王國誕生》為例,解釋了運動擷取 (mocap) 如何將 VFX 的真實感提升到全新境界。


Image © 2024 20th Century Studios,由 Wētā FX 授權使用。

在《猩球崛起:王國誕生》的一個場景原始畫面中,演員 Owen Teague 和 Peter Macon 穿著運動擷取服和帶有感應器的頭套,坐在篝火旁。

Drew Turney

2024 年 8 月 21 日

分鐘閱讀
  • 演員穿著佈滿記號之特殊服裝的動作或臉部表情記錄的數位流程,我們稱之為「表演捕捉」和「運動擷取」。

  • 在《魔戒》、《猩球崛起》和《阿凡達》等賣座強片中,視覺效果公司 Wētā FX 推動了表演捕捉方法,以提高真實感。

  • 表演捕捉是現代視覺特效中資料最密集的領域之一,因此適合運用機器學習,有助於動畫師滿足現代電影製作的需求。

 

魔戒二部曲:雙城奇謀》中,咕嚕這個角色完全是根據演員 Andy Serkis 的演技以數位方式創造出來的。Serkis 一開始只是為咕嚕配音,但開始工作之後,導演 Peter Jackson 就認為他的動作可以完美地呈現到螢幕上。這個流程稱為運動擷取 (英文) (mocap) 或表演捕捉 (英文),但並非由導演 Jackson 所發明。早在 1937 年,迪士尼的《白雪公主》就使用了動作捕捉的早期版本:繪畫式轉描 (rotoscoping)。

在《雙城奇謀》中,動畫師參考了與《白雪公主》一樣的表演畫面,以便配合真人畫面中 Serkis 的時間和動作。二十年前,Jackson 在電影《魔戒》三部曲和《金剛》中將逼真度和細節提升到了全新境界,並憑藉《雙城奇謀》和《王者再臨》贏得了奧斯卡視覺特效 (VFX) 獎

Wētā FX 的 VFX 總監 Erik Winquist 表示,表演捕捉技術的基本要素從那時起就沒有改變過,Wētā FX 公司在上述電影以及《阿凡達》和《猩球崛起》系列等電影中推動了表演捕捉技術的發展。Winquist 表示:「基本上,我們所做的仍然是找到一位才華橫溢的演員,在他們身上貼上某種標記,讓他們進入片場,然後錄下他們的表演。」

全新進化的人猿

《猩球崛起:王國誕生》中的劇照,展示了一個騎在馬背上的人猿角色。

利用最新的運動擷取技術,Wētā FX 工作人員可以在戶外日光下,甚至是惡劣環境條件下捕捉表演。Image © Disney。

VFX 美工人員表示,他們最棒的工作成果是藏於無形的。逼真度的標準很高,VFX 哪怕有一丁點瑕疵,觀眾也會惡評如潮。在今年的《猩球崛起:王國誕生》中,表演捕捉可說是無懈可擊 。 觀眾可以從螢幕 上體驗到會說話的逼真人猿,他們與道具、真人角色以及彼此之間進行互動。

Winquist 和他的技術團隊為 2011 年《猩球崛起》所解決的最大挑戰之一,就是如何在戶外,也就是在片場佈景之外進行運動擷取。他表示:「運動擷取技術是以紅外線為基礎,而太陽光有大量的紅外線成分,只要一走到戶外,您就必須與所有反射回來的紅外線對抗。」

運動擷取團隊需要 Winquist 所說的「黑海中的白點」來進行細緻的擷取,這些白點是指連接到演員穿著的運動擷取服裝上的標記。在室內片場裡,您可以使用沒有紅外線的人造光,這樣攝影機就可以輕鬆擷取到服裝標記。為了能夠在室外進行表演捕捉,他們對標記進行了改良。

最新一代的標記採用小的 LED 光源,可與相機快門同步啟動,將 LED 光源獨立出來並濾除所有其他紅外光源。攝影師可以調整曝光設定,這樣就不會捕捉到陽光中的紅外線。

不過,主動式 LED 燈可能很脆弱。在 2014 年的《猩球崛起:黎明的進擊》中,Wētā FX 將電線包覆在保護性橡膠繩中,以便可以在加拿大溫哥華的潮濕森林中進行戶外拍攝。在 2017 年的《猩球崛起:終極決戰》中,Wētā FX 就使用了保護殼在雪地和水中等更嚴酷的環境中捕捉表演。

視差視角

《猩球崛起:王國誕生》中一個正在製作的場景劇照,展示了以人類演員為模型建置的 3D 人猿角色網格。

立體捕捉演員的表演和臉部表情,讓 Wētā FX 動畫師能夠更輕鬆地在真人畫面中將 3D 角色網格套用至演員身上。Image © 2024 20th Century Studios,由 Wētā FX 授權使用。

Wētā FX 的運動擷取流程的其他進步包括在面部裝備中安裝更多技術以捕捉更多細節,以及使用兩台攝影機更精確地擷取細節。就像 3D 電影因為兩個影像之間幾乎無法察覺的差異而產生深度錯覺一樣,使用兩台攝影機可以讓動畫師更精確地呈現演員臉部的 3D 網格,提供比單一鏡頭更精細的細節。

由於靈長類動物移動臉部的方式很獨特,因此這項突破對《猩球崛起:王國誕生》至關重要。Winquist 表示:「一旦演員噘起嘴唇、嘴唇伸展或突出,尤其是人猿在發出嘶吼聲時,在只用一台攝影機的情況下,所有這些事情都會很棘手,需要大量的猜測。3D 網格就能有效提高精確度。」成功製作這類動作的動畫,創造出活生生、會呼吸、會說話的猿猴角色,忠於真實的人猿,展現了表演捕捉技術的進步。

這項新技術還消除了手動 3D 深度合成的需求。臉部裝備和標準攝影機上的立體捕捉意味著 Wētā FX 可以為畫面中的任何內容建立 3D 網格,而不僅僅是演員。這大大改進了匹配移動的過程,也就是將 2D 動畫物件放入實體畫面中。Winquist 表示:「八個主要角色都在與真實的道具互動,例如武器或翻書。在主要片段中保留這些動作,一旦清楚了解角色在 3D 空間中的位置,就能更輕鬆在主要片段保留這些動作,卻以動畫元素取代角色進行互動。」

捕捉演員的精髓

《猩球崛起:王國誕生》的劇照,Owen Teague 扮演的諾亞一臉堅定的模樣。

《猩球崛起:王國誕生》的角色諾亞透過表演捕捉和 CG 動畫保留了演員 Owen Teague 表演的所有細微元素。Image © Disney。

表演捕捉過程中的關鍵要素仍然是表演,演員以角色的身分來表現動作和行為。在《雙城奇謀王者再臨》中,咕嚕這個角色之所以如此出色,主要是 Serkis 對於膽怯、尖酸刻薄個性的發掘。在《猩球崛起:王國誕生》中,主演 Owen Teague 在靈長類動物保護區學習猿猴的動作,讓他的表演更加真實。

當 Serkis 向媒體介紹即將上映的《魔戒》電影系列新作《獵殺咕嚕》時,他表示這項技術其實是一種解放。他說:「現在已經達到一個層次,表演的作者身分讓您可以更進一步深入內化,而不會有任何過度表演的感覺。這項技術現在顯然在更大且更深的層面上發揮著作用。」

但現在必須注意一點,就是導演可以在表演的同時在平板電腦上觀看場景,並將角色裝備即時套用到表演捕捉資料上。Winquist 表示:「電影製片人不需要專注於『猿人感』,我們可以進行各種後製調整,例如增加角色身高或和諧地融入畫面。最需要關注的是演員臉部的細微變化以及最微妙的微調。我所擔心的是,這會抹去那些使人類表演獨具一格的粗糙界線。如果導演因為他們看到的是一個應用了即時低解析度代理臉部裝備的近似值,而無法看到這一點,就無法獲得所需的資訊來決定是第 5 次還是第 6 次的拍攝效果更好。」

Winquist 補充道,無論技術有多好,導演和動畫師都需要真正看到演員的表演,僅僅幾個像素的微妙眼球移動,就能讓每個人都看到「思維流轉」。

在拍攝現場的表演捕捉與後期製作的 CGI 增強之間,可以取得完美平衡。Winquist 表示:「有時候,我們必須發明一些導演在拍攝當天因為某些原因而沒有拍到的東西。他們說電影的真正製作是在剪輯室裡,經常有人說『如果當時取得了現在擁有的知識,我們就可以用不同的方式來拍攝,但是,嘿,Wētā FX,您能幫幫我們嗎?』」

同樣的,一切都回歸到表演上。他繼續說道:「我們的動畫師都非常有才華,但在導演和演員之間有種獨特的關聯。那種實驗性創作就是在當下發生的。如果交給 VFX 團隊處理,哪怕只需要幾個小時,仍然需要一定的延遲時間才能完成更新。到那時,那種只有在片場才會發生的魔力,那種即興的感覺就消失的無影無蹤了。」

速度和規模

《猩球崛起:王國誕生》的劇照,Lydia Peckham 扮演的蘇娜與 Owen Teague 扮演的諾亞在溫馨氛圍下額頭相碰。

Wētā FX 使用臉部深度學習求解器 (FDLS) 來高效產生初步的表演捕捉彩現,讓美工人員有更多時間專注處理艱難的人員臉部表達口語對話作業。Image © Disney。

Winquist 表示,在這個領域工作多年之後,該公司的彩現流水線已經非常完善且流暢,因此他的團隊可以彩現出「絕對完美無瑕的真實感」。在二十一世紀的 CGI 里程碑中, (英文)、火和頭髮等表面效果終於被「攻克」。如今,重點在於如何提高 CGI 和 VFX 的製作效率。他表示:「在某種程度上,這就像您買了一個新硬碟,然後不斷往裡面儲存資料一樣。」

表演捕捉是現代 VFX 中資料最密集的領域之一,因此非常適合機器學習。 《猩球崛起:王國誕生》有超過 1,500 個 VFX 鏡頭,其中大多數都包含表演捕捉資料。只有 38 個鏡頭完全不含 VFX,此現象與 2002 年的情況大相逕庭,當時咕嚕在《雙城奇謀》中有 17 分鐘的出鏡時間。

在機器學習的協助下,Wētā FX 開發了臉部深度學習求解器 (FDLS),其中演算法導向的表演捕捉彩現可由人類全程驗證,摒棄了大多數機器學習工具的「黑箱」特性。鏡頭獲得核准後,動畫師就可以直接將結果串流至編輯或動畫應用程式中的工具。Wētā FX 使用 Autodesk Maya 作為平台,承載一些專有的視覺效果和動畫工具。

Wētā FX 在機器學習技術方面的進步,是為了讓他們的美工人員能夠完成更多工作。Winquist 表示:「我們希望依賴我們一直使用的核心團隊,但在人猿臉上製作口語對話,倒是給他們增加了一些工作。」他補充道,FDLS 協助《猩球崛起:王國誕生》的動畫師為每個角色建立一致的基線,以套用在多個鏡頭上。

在表演捕捉工作流程中,一切都回歸到故事的本質和製作風格。Winquist 表示:「如果有一個角色要拍攝數十個鏡頭,您的處理方法就會改變,因為運動擷取需要非常龐大的團隊,突然間,您身旁就圍繞著 40 名工作人員。如果只有一個角色,您在片場的工作會比較輕鬆,工作效率也會更高。因此,當我們進入片場時,務必要考量哪種技術最適合特定的表演和預算。」

他繼續說道:「我們會評估特定專案的需求,並據此制定計劃。我們可以將一個完整的捕捉系統帶到攝影棚或外景場地,也可以只帶上幾台攝影機,在表演者身上放置稍有不同的標記,喊一聲『Action』,然後稍後再做處理。」

Drew Turney

關於 Drew Turney

在成長過程中,Drew Turney 一直希望改變世界,但他意識到撰寫其他人改變世界的故事要容易得多。他撰寫關於技術、電影、科學、書籍等的文章。