モーションキャプチャはどのようにしてハリウッドの VFX キャラクターテクノロジーとして定着したのか

Wētā FX VFX スーパーバイザーの Erik Winquist 氏が、2024 年公開の映画『猿の惑星/キングダム』を例に、モーションキャプチャがどのようにして VFX に新たなレベルのリアリズムをもたらしたのかを説明します。

『猿の惑星/キングダム』のシーンの未加工映像において、俳優の Owen Teague と Peter Macon が、モーションキャプチャスーツとセンサー付きのヘッドギアを身に付けてキャンプファイヤーのそばに座っている。

ドリュー・ターニー

2024 年 8 月 21 日

分で読めます

パフォーマンスキャプチャやモーションキャプチャは、マーカーで覆われた特殊なスーツを着た俳優の動きや表情を記録するデジタルプロセスの名称です。
『ロード・オブ・ザ・リング』、『猿の惑星』、『アバター』などの大ヒット映画シリーズにおいて、ビジュアルエフェクト制作会社の Wētā FX は、パフォーマンスキャプチャの手法を進化させ、よりリアルな表現を実現しました。
パフォーマンスキャプチャは、現代のビジュアルエフェクトにおいて最もデータ集約的な分野の 1 つであり、機械学習に自然に適合します。このプロセスを使用して、アニメーターは現代の映画制作の要求に対応できます。

『ロード・オブ・ザ・リング：二つの塔』のゴラムというキャラクターは、俳優 Andy Serkis の演技をベースにした完全なデジタル作品です。Serkis は当初、ゴラムの声だけを演じる予定でしたが、Serkis が演技を進める中、Peter Jackson 監督は Serkis の動きをスクリーンに見事に映し出せることに気づきました。モーションキャプチャまたはパフォーマンスキャプチャ（英語）と呼ばれるこのプロセスは、Jackson 監督が考案したものではありません。その初期のバージョンであるロトスコーピングは、1937 年にディズニーの『白雪姫』で顕著に使用されました。

『二つの塔』では、『白雪姫』のように、実写映像の Serkis のタイミングと動きを一致させるために、アニメーターによってパフォーマンス映像が参照されました。Jackson 監督の映画は 20 年前、『ロード・オブ・ザ・リング』三部作と『キングコング』で新たなレベルのリアリズムとディテールを達成し、『二つの塔』、『王の帰還』でビジュアルエフェクト（VFX）部門のアカデミー賞（英語）を受賞しました。

前述の映画や『アバター』シリーズ、『猿の惑星』シリーズなどでパフォーマンスキャプチャを推進してきた Wētā FX の VFX スーパーバイザーである Erik Winquist 氏によると、パフォーマンスキャプチャ技術の重要な要素はそれ以来変わっていません。「基本的には、才能のある俳優に何らかのマーカーを付け、ステージに立たせて、動きを記録することに変わりはありません」と、Winquist 氏は言います。

新たに改良された猿

最新のモーションキャプチャ技術により、Wētā FX のクルーは、日中の屋外や過酷な環境条件下でも、パフォーマンスを撮影してキャプチャできる。画像 © Disney

VFX アーティストは、自分たちの最高の仕事は目に見えないと言います。リアリズムのハードルは高く、VFX に少しでも違和感があれば、観客は容赦しないことがあります。今年の『猿の惑星/キングダム』では、パフォーマンスキャプチャがシームレスです。観客はスクリーン上で、会話するリアルな猿（英語）が、小道具を使ったり実写のキャラクターや猿同士でやり取りする様子を体験できます。

2011 年の『猿の惑星：創世記』で、Winquist 氏と技術スタッフが解決した最大の課題の 1 つは、舞台装置ではなく屋外（英語）でモーションキャプチャを行えるようにすることでした。「モーションキャプチャ技術は赤外線をベースとしており、太陽光には大量の赤外線成分が含まれています」と、同氏は言います。「屋外に出るやいなや、あらゆるものに反射する赤外線と戦うことになります」

モーションキャプチャチームは詳細にキャプチャするために、Winquist 氏が「黒い海に浮かぶ白い点」と称するものを必要としています。この点とは、俳優が着用するモーションキャプチャスーツに取り付けられたマーカーのことです。屋内のステージでは、赤外線のない人工の光を使用して、カメラがスーツマーカーを簡単に拾うことができます。パフォーマンスキャプチャを屋外に持ち出すための答えは、改良されたマーカーです。

最新世代のマーカーは、カメラのシャッターと同期して発光する小さな LED 光源で、それらを分離し、他のすべての赤外線光源をフィルタリングします。カメラのオペレーターは、太陽光の赤外線が拾われないように露出設定を調整できます。

ただし、アクティブ LED ライトは壊れやすい場合があります。2014 年の『猿の惑星：新世紀』では、カナダのバンクーバーの湿気が多い森林（英語）で屋外撮影ができるように、Wētā FX は保護用のゴム製ストランドで配線を包みました。2017 年の『猿の惑星：聖戦記』では、Wētā FX はこの保護ケーシングのおかげで、雪や水といったさらに過酷な環境（英語）でも演技をキャプチャすることができました。

視差ビュー

人間の俳優をモデルにした猿の 3D キャラクターメッシュが写っている『猿の惑星/キングダム』のシーンの進行中スチール写真。

Wētā FX のモーションキャプチャプロセスにおけるその他の進歩として、より細かなディテールを拾うためにフェイシャルリグに多くのテクノロジーを組み込んだこと、2 台のカメラを使用してそのディテールをより正確にキャプチャすることなどがあります。3D 映画が、ほとんど認識できないほどの 2 つの画像の違いによって奥行きの錯覚を与えるのと同じように、2 台のカメラを使用すると、俳優の顔のより正確な 3D メッシュが生成され、1 枚のレンズよりもはるかに細かなディテールが得られます。

この画期的な技術は、『猿の惑星/キングダム』にとって非常に重要でした。霊長類は顔の動かし方が独特だからです。「俳優が唇をすぼめたり、伸ばしたり突き出したりするとき、特に猿が鳴き声を上げるときなど、1 台のカメラで対応するのは難しく、当て推量が多くなります」と、Winquist 氏は言います。「3D メッシュを使用すると、精度が大幅に向上します」このような動きのアニメーション化に成功し、本物の猿に忠実な形で動き、呼吸し、話す猿のキャラクターを作り上げたことから、パフォーマンスキャプチャがいかに進歩したかがわかります。

また、この新しいテクノロジーにより、手動で 3D 深度合成を行う必要がなくなりました。フェイシャルリグと通常のカメラでステレオキャプチャを行うことで、Wētā FX は俳優だけでなく、フレーム内のあらゆるものの 3D メッシュを作成できました。これにより、2D アニメーションのオブジェクトを実写のフレームに配置するマッチムービングプロセスが大幅に改善されました。「8 人の主要キャラクターが、武器などの本物の小道具を操作したり、本のページをめくったりしていました」と、Winquist 氏は言います。「そのような動きをメイン映像に残して、動作しているキャラクターをアニメーション要素に置き換えることは、3D 空間のどこにそのキャラクターを配置するかを正確に把握していれば、はるかに簡単になります」

俳優の真髄を捉える

Owen Teague が演じるノアが決意を固めている様子が写っている『猿の惑星/キングダム』のスチール写真。

『猿の惑星/キングダム』のノアのキャラクターは、パフォーマンスキャプチャと CG アニメーションを通じて、俳優 Owen Teague の演技の繊細な要素をすべて保持している。画像 © Disney

パフォーマンスキャプチャプロセスの重要な要素は、やはり演技です。つまり俳優がキャラクターとして動き、振る舞うことです。『二つの塔』と『王の帰還』で、ゴラムというキャラクターがあれほどうまく機能したのは、Serkis がその臆病でとげとげしい性格を探求したことが大きく影響しています。『猿の惑星/キングダム』では、主演の Owen Teague が霊長類保護区で猿の動きを研究（英語）し、その演技に信憑性を加えました。

Serkis が次の『リング』プロジェクト、『The Hunt for Gollum』についてメディアに語った（英語）とき、このテクノロジーが実際に自由をもたらしていると述べました。「今では演技力が磨かれ、過剰に演技することなく、より内面的に表現できるレベルに達しています」と、同氏は言います。「これは今、明らかに、はるかに大きく、より深いレベルで機能しているものです」

しかし、注意すべき点があります。監督は、パフォーマンスキャプチャデータにリアルタイムでキャラクターリグを適用しながら、演技中のシーンをタブレットで確認できるのです。Winquist 氏は、次のように述べています。「映画制作者は『猿らしさ』にこだわる必要はありません。キャラクターの身長を伸ばしたり、フレームにうまくフィットさせるなど、ポストプロダクションでさまざまな調整を加えることができます。最も焦点を当てるべきことは、俳優の顔に表れるニュアンス、ほんのわずかな微調整です。私は、人間の演技ならではの荒削りな部分が削ぎ落とされることを懸念しています。監督がリアルタイムで低解像度のプロキシフェイシャルリグを適用した近似映像を見ているためにその点を見落としたら、テイク 5 とテイク 6 のどちらが良いかを判断するために必要な情報は得られないでしょう」

Winquist 氏は、どんなに技術が進歩しても、監督やアニメーターは俳優の表現をしっかりと見る必要がある、と付け加えました。わずか数ピクセルの微妙な目の動きでも、誰もがその背後で「回転する歯車」を見て取れます。

撮影現場でのパフォーマンスキャプチャと、ポストプロダクションでの CGI による補強が共存するバランスがあります。「何らかの理由で、監督が撮影当日に得られなかったものを私たちが発明しなければならない瞬間があります」と、Winquist 氏は言います。「映画は編集室で作られると言われますが、こんな風に言われることがよくあります。『今わかっていることを当時知っていたら、違う方法で撮れたのに。でも、Wētā FX が助けてくれるよね？』」

繰り返しになりますが、すべては演技に帰着します。「アニメーターには優れた才能がありますが、監督と俳優の間には何かがあります」と、同氏は続けます。「その試行錯誤は、その場で起こります。それを VFX に引き渡すと、たとえ数時間であっても、更新を反映するまでにどうしてもタイムラグが生じます。その頃には、撮影現場でしか生まれない魔法、その自発性が失われてしまうのです」

スピードとスケール

Lydia Peckham が演じるスンナと Owen Teague が演じるノアが、優しげに額を寄せ合っている様子が写っている『猿の惑星/キングダム』のスチール写真。

Wētā FX は、フェイシャルディープラーニングソルバー（FDLS）を使用して初期のパフォーマンスキャプチャレンダリングを効率的に生成し、アーティストが、猿の顔で会話を表現するという困難な作業により多くの時間を集中できるようにした。画像 © Disney

この分野に長年携わってきた Winquist 氏は、同社のレンダリングパイプラインは確立され、合理化されているため、チームは「絶対に、間違いなくリアル」に見えるようにレンダリングできると述べています。2000 年代における CGI の重要な出来事として、水（英語）、火、髪の毛などのサーフェスがついに「克服」されました。現在は、CGI と VFX をいかに効率的に制作するかに焦点が当てられています。「ある程度は、新しいハードドライブを手に入れて、それをいっぱいにしていくのと同じです」と、同氏は言います。

パフォーマンスキャプチャは、現代の VFX で最もデータ集約的な分野の 1 つで、そのため機械学習と自然に適合します。『猿の惑星/キングダム』では 1,500 以上の VFX ショットがあり、そのほとんどにパフォーマンスキャプチャのデータが含まれていました。VFX をまったく含まないものはわずか 38 ショットで、『二つの塔』でゴラムの登場時間が 17 分間だった 2002 年とは比べ物になりません。

Wētā FX は機械学習を使用して、フェイシャルディープラーニングソルバー（FDLS）（英語）を開発しました。これは、ほとんどの機械学習ツールが持つ「ブラックボックス」的な性質を排除し、アルゴリズムによって指示されたパフォーマンスキャプチャレンダリングを全面的に人間によって検証できます。ショットが承認されると、アニメーターは編集アプリケーションやアニメーションアプリケーション内のツールに結果を直接ストリーミングできます。Wētā FX は、Autodesk Maya をプラットフォームとして使用し、独自のビジュアルエフェクトやアニメーションツールの一部を収容しています。

Wētā FX の機械学習テクノロジーの進歩は、アーティストがより多くのことを行えるようにすることを目的としています。「これまでと同じ主要なクルーに頼りたかったのですが、猿の顔で会話を表現するために彼らの作業が大幅に増加しました」と、Winquist 氏は言います。また Winquist 氏は、『猿の惑星/キングダム』で、アニメーターが複数のショットに適用できる各キャラクターの一貫したベースラインを得るのに FDLS が役立った、と付け加えています。

パフォーマンスキャプチャのワークフローでは、すべてはストーリーの性質と制作スタイルに帰着します。「数十ショットにわたるキャラクターがいる場合は、アプローチが変わります。なぜなら、モーションキャプチャには非常に多くのリソースが必要で、突然 40 人のクルーメンバーを連れて行動することになるからです」と、Winquist 氏は言います。「キャラクターが 1 人だけであれば、撮影現場でのリソースを大幅に軽減し、より効率的に作業を進めることができるでしょう。ですから、私たちが関与する際に重要な考慮事項は、特定の作品と予算に最も適したテクノロジーです」

「私たちは特定のプロジェクトのニーズを評価し、それに応じて計画を立てます」と、同氏は続けます。「本格的なキャプチャシステムをサウンドステージや屋外のロケーションに持ち込むこともできますし、ビデオカメラを数台用意して、パフォーマーに少し異なるマーカーを付けて『アクション』と言って、後で整理することもできます」

ドリュー・ターニーについて

成長の過程で世界を変えたいと考えていたドリュー・ターニーは、やがて他の人がどう世界を変えているかについて書くほうが簡単だと理解しました。現在はテクノロジー、映画、科学、書籍などについて著述を行っています。

モーション キャプチャはどのようにしてハリウッドの VFX キャラクター テクノロジーとして定着したのか