モーキャプ (モーションキャプチャー): ハリウッド必須のVFXキャラクター向けテクノロジー

• パフォーマンスキャプチャーとモーションキャプチャーは、マーカーで覆った特殊なスーツを着た俳優の動きや表情を記録するデジタルプロセスの名称だ。
• VFX制作会社Wētā FXは、『ロード・オブ・ザ・リング』や『猿の惑星』、『アバター』などの超大作シリーズで、リアリズムを向上させるパフォーマンスキャプチャーの手法を推進してきた。
• 現代の視覚効果でも最もデータ量の多い分野のひとつであるパフォーマンスキャプチャーは機械学習に適しており、それはアニメーターが現代の映画制作の要求に応えるのに役立っていくだろう。

『ロード・オブ・ザ・リング/二つの塔』のゴラムというキャラクターは、俳優アンディ・サーキスの演技に基いた完全なデジタル作品だ。当初、サーキスはゴラムの声として起用されたが、ピーター・ジャクソン監督は彼の動きがスクリーンに見事に反映されるだろうと考えるようになった。モーキャプ (モーションキャプチャー)、またはパフォーマンスキャプチャーと呼ばれるプロセスはジャクソン監督が発明したものではなく、その初期バージョンといえるロトスコープは、1937年にディズニーの『白雪姫』で使われたことが知られている。

『二つの塔』では『白雪姫』と同様に、実写映像のサーキスのタイミングや動きに合わせるために、アニメーターがパフォーマンス映像を参照した。ジャクソン監督の映画は20年前に『ロード・オブ・ザ・リング』3部作と『キング・コング』で新たなレベルのリアリズムとディテールを実現し、『二つの塔』と『王の帰還』でアカデミー視覚効果 (VFX) 賞を受賞している。

Wētā FXのVFXスーパーバイザー、エリック・ウィンクイスト氏は、パフォーマンスキャプチャー技術の本質的な要素は当時から変わっていないと話す。この会社はそうした映画作品や『アバター』シリーズ、『猿の惑星』シリーズなどでパフォーマンスキャプチャーを推進してきた。「才能のある人間の俳優を、何らかのマーカーをつけてセットに立たせ、そのアクションを記録するという点は基本的に変わっていません」と、ウィンクイスト氏。

新しい改良型の類人猿

VFXアーティストによると、彼らにとって最良の成果は「気付かれない」ことだ。リアリズムに対するハードルは高く、少しでもずれたVFXに対する観客からの批判は容赦ない。今年公開された『猿の惑星/キングダム』におけるパフォーマンスキャプチャーはシームレスで、観衆は小道具や実写のキャラクター、そして猿同士が交流を行う、リアルな「言葉を話す猿」をスクリーンで体験できる。

2011年公開の『猿の惑星：創世記』でウィンクイスト氏とテクニカルクルーが解決した最大の難題が、舞台セットではなく屋外でのモーキャプを実現することだった。「モーキャプ技術は赤外線ベースですが、太陽光には赤外線が大量に含まれています」と、ウィンクイスト氏。「屋外では、あらゆるものに反射する赤外線と戦うことになるのです」。

チームが詳細なキャプチャを行うためには、役者が着用するモーキャプスーツに付けられたマーカーが必須だ。これをウィンクイスト氏は「黒い海の中の白い点」と表現する。屋内セットでは赤外線の含まれない人工的な照明を使用できるため、カメラでスーツのマーカーを簡単に拾うことができる。パフォーマンスキャプチャを屋外に持ち出すには、マーカーの改良が必要だ。

最新世代のマーカーはカメラのシャッターと同期して発光する小さなLED光源で、マーカーを分離し、他の赤外線光源をすべて除去する。カメラのオペレーターは、太陽光に含まれる赤外線を拾わないよう露出の設定を調整できる。

だがアクティブLEDライトは壊れやすい。2014年公開の『猿の惑星：新世紀』では、Wētā FXはカナダ・バンクーバーの霧深い森の中で屋外撮影ができるよう、配線を保護用のゴム束で包んだ。この保護ケースのおかげで、2017年公開の『猿の惑星：聖戦記』では、Wētā FXは雪や水などさらに過酷な環境下でも演技を撮影できた。

視差

モーキャププロセスにWētā FXの他の進歩として、より多くの技術をフェイシャルリグに搭載してさらにディテールを拾ったり、2台のカメラを使ってそのディテールをより良好に捉えたりすることが挙げられる。3D映画が2画像間のほぼ知覚できないような差異で奥行きを錯覚させるのと同様、2台のカメラを使うことでアニメーターは俳優の顔をより正確に3Dメッシュ化し、単一のレンズを使った場合よりもはるかに繊細なディテールを得ることができる。

霊長類は特有の表情をするため、このブレイクスルーは『猿の惑星/キングダム』で重要な役割を果たした。「俳優が唇をすぼめたり、伸ばしたり突き出したりする際、特に複数の類人猿が同時にコンタクトコールを出している場合 (フーティング) には、カメラが1台しかないと厄介なことになります。推量すべきことが多いので」と、ウィンクイスト氏。「3Dメッシュにより、精度が大きく上がります」。こうした動きのアニメーション化に成功し、本物の猿に忠実な方法で生き、呼吸し、話す類人猿のキャラクターを作り出したことは、パフォーマンスキャプチャーが大幅な進歩を体現している。

これによって、2Dアニメーションのオブジェクトを実写のフレームに配置するマッチムービング処理が大幅に向上した。「8人の主要登場人物が、武器など本物の小道具を使用したり、本のページをめくったりしていました」と、ウィンクイスト氏。「メイン映像の動きはそのままで、インタラクションを行うキャラクターをアニメーションの要素に置き換える場合、それが3D空間のどこに配置されるかを正確に把握できれば、ずっと簡単な作業になります」。

俳優のエッセンスを捉える

パフォーマンスキャプチャーのプロセスにおいて、重要なのはパフォーマンスであり、俳優がキャラクターとして動き、振る舞うことにある。『二つの塔』と『王の帰還』でゴラムというキャラクターがあれほどうまく機能したのは、その気弱で気難しい性格をサーキス氏が探求したからだ。『猿の惑星/キングダム』では、主演のオーウェン・ティーグ氏が猿の動きを霊長類保護区で研究し、その演技に信憑性を持たせた。

サーキス氏は、"リング"シリーズの新作映画プロジェクト『The Hunt for Gollum』をメディアに語った際に、テクノロジーは実際に自由を与えてくれるのだと話した。「現在は、オーバーだと感じさせることなく、より内面的な演技を可能にするレベルにまで達しています」と、サーキス氏。「これまで以上に、より深いレベルで機能していることは明らかです」。

だが、パフォーマンスキャプチャーデータにキャラクターリグをリアルタイムで適用し、演技中のシーンを演出家がタブレットで見られるようになった現在だからこそ、注意も必要だ。ウィンクイスト氏は次のように話している。「映画監督はキャラクターの「猿らしさ」にフォーカスする必要はありません。キャラクターの背を高くしたり、フレームに収まるようにしたりなど、ありとあらゆることをポストプロダクションで調整できます。集中すべきなのは、俳優の表情のニュアンス、非常に繊細な顔の動きへのこだわりです。私なら、人間の演技を人間らしいものにしている荒削りな部分が削ぎ落とされてしまうことを心配します。そうした細部を、低解像度のプロキシフェイシャルリグが適用された画像をリアルタイムに見ていることで見落とすようであれば、監督はテイク5と6のどちらが良いかを判断するのに必要な情報が得られないでしょう」。

どれほど技術が向上しても、監督とアニメーターは俳優の演技にしっかりと目を配る必要があるのだと、ウィンクイスト氏は付け加える。ほんの2、3ピクセルだけ微妙に視線を動かすことで「歯車が回っている」ことを表現できるのだ。

撮影現場でのパフォーマンスキャプチャーとポストプロダクションでのCGIによる補強を共存させるにはバランスが重要だ。「何らかの理由で撮影当日に監督が得られなかったものを、私たちが創作しなければならないことがあります」と、ウィンクイスト氏。「映画は編集室で作られると言われますが、『これがあのときに分かっていれば、もっと違う撮り方ができたはずなんだ。Wētā FX、助けてくれないかな？」というのも、よくあることなのです」。

繰り返しになるが、すべては演技に帰結する。「弊社のアニメーターは驚くほど有能ですが、監督と俳優の間には特別な何かが存在します」とウィンクイスト氏は続ける。「それは現場で、その瞬間に生じるものです。ビジュアルエフェクトに渡すと、アップデートが戻ってくるまでに何時間かのタイムラグが生じます。その頃には、撮影現場でしか起こらないマジック、自発性は失われてしまうのです」。

スピードとスケール

ウィンクイスト氏は、この分野に長年携わってきた同社のレンダリングパイプラインは確立され合理化が進んでいるため、チームは「完全に、紛れもなくリアル」に見えるようレンダリングを行うことができると述べる。2000年代におけるCGIの画期的な出来事として、水、火、髪の毛といったサーフェスの問題がついに「克服」されたことがある。いま注目されているのは、CGIやVFXをいかに効率よく制作するかという点だ。「新しいハードディスクドライブを手に入れると、それがどんどん埋まっていくのと同じです」と、ウィンクイスト氏は話す。

パフォーマンスキャプチャーは、現代の視覚効果で最もデータ量の多い分野のひとつであるため、機械学習に適している。『猿の惑星/キングダム』には1,500を超えるVFXショットがあり、そのほとんどにパフォーマンスキャプチャーのデータが含まれている。VFXが一切含まれないショットは38しかなく、これは『二つの塔』におけるゴラムのスクリーンタイムが17分だった2002年とは大違いだ。

Wētā FXは機械学習を利用してフェイシャルディープラーニングソルバー (FDLS) を開発した。このソルバーでは、アルゴリズムによるパフォーマンスキャプチャーのレンダリングを人間が常に検証可能で、ほとんどの機械学習ツールが持つ「ブラックボックス」的な性質を否定するものになっている。ショットが承認されると、アニメーターは編集やアニメーションのアプリケーション内のツールに、その結果を直接ストリーミングできる。Wētā FXは、同社独自のビジュアルエフェクトやアニメーションツールの一部を統合させるプラットフォームとしてAutodesk Mayaを使っている。

Wētā FXの機械学習技術の進歩は、アーティストにさらなる力を与えることを目標に行われている。「これまでと同じコアクルーに依頼したかったのですが、猿の顔に台詞を当てる作業によって、彼らの仕事は増大してしまいました」と、ウィンクイスト氏は話す。そして、『猿の惑星/キングダム』のアニメーターが、複数のショットに適用できる各キャラクターの一貫したベースラインを得るのにFDLSが役立ったと付け加える。

パフォーマンスキャプチャーのワークフローでは、すべてがストーリーの性質と制作スタイルに帰結する。「1つのキャラクターが数十ショット以上も登場する場合、モーションキャプチャーの比率が上がるためアプローチも変わってきます40人ものクルーを抱え込むことになるのです」と、ウィンクイスト氏。「キャラクターが1人だけであれば、撮影現場の面積は限定され、作業効率も上がります。つまり、私たちが参加する際に考慮すべき重要な点は、作品と予算に最適なテクノロジーです」。

「特定のプロジェクトのニーズを評価し、それに応じて計画を立てます」と、ウィンクイスト氏。「本格的なキャプチャーシステムをサウンドステージや屋外のロケ先に持ち込むこともできるし、ビデオカメラを2台だけ運び込み、役者にわずかに異なるマーカーを付けて撮影をスタートし、後で作業を行うこともできるのです」。