Dans Le Seigneur des anneaux : Les deux tours, le personnage de Gollum est une création entièrement numérique basée sur la performance de l'acteur Andy Serkis. L'acteur a d'abord été choisi pour donner sa voix à Gollum, mais au fur et à mesure qu'il travaillait, le réalisateur Peter Jackson s'est rendu compte que ses mouvements se traduiraient magnifiquement à l'écran. Ce processus, appelé capture de mouvements (Site Web France) ou capture de jeu (Site Web France), n'a pas été inventé par le réalisateur Jackson. Une première version, la rotoscopie, a notamment été utilisée en 1937 dans Blanche-Neige de Disney.
Dans Les deux tours, comme dans Blanche-Neige, les séquences de performance ont été référencées par les animateurs pour correspondre à la synchronisation et au mouvement d'Andy Serkis dans les séquences en prises de vues réelles. Les films de Jackson ont atteint de nouveaux niveaux de réalisme et de détail il y a deux décennies, avec la trilogie des Anneaux et King Kong, remportant des Oscars des meilleurs effets visuels (VFX) pour Les deux tours et Le retour du roi.
Les éléments essentiels de la technologie de capture de jeu n'ont pas changé depuis, selon Erik Winquist, superviseur des effets visuels chez Wētā FX, l'entreprise qui a fait progresser la capture de jeu dans les films susmentionnés, ainsi que dans les séries Avatar et Le Royaume de la planète des singes, entre autres. « Au fond, il s'agit toujours de prendre un acteur humain talentueux, de le marquer d'une manière ou d'une autre, de le placer sur une scène et d'enregistrer ce qu'il fait », explique Erik Winquist.
Grâce aux dernières technologies de la capture de mouvements, les équipes de Wētā FX peuvent capturer des performances filmées à l'extérieur à la lumière du jour ou même dans des conditions environnementales difficiles. Image © Disney.
Les créateurs d'effets visuels affirment que leur travail est à son apogée quand il est invisible. La barre du réalisme est haute, et le public peut être impitoyable lorsque les effets visuels sont ne serait-ce que légèrement décalés. Pour Le Royaume de la planète des singes sorti cette année, la capture de jeu est fluide : les spectateurs peuvent découvrir des singes réalistes parler à l'écran, interagir avec des accessoires, des personnages en prise de vue réelle, et les uns avec les autres.
L'un des plus grands défis qu'Erik Winquist et son équipe technique ont résolus pour La Montée de la planète des singes sorti en 2011 était la capacité de capturer les mouvements à l'extérieur, en dehors d'un plateau de tournage. « La technologie de capture de mouvements est basée sur l'infrarouge, et la lumière du soleil contient une composante infrarouge massive », explique-t-il. « Dès que vous sortez, vous devez traiter avec la lumière infrarouge qui se reflète sur tout. »
L'équipe de capture de mouvements a besoin de ce qu'Erik Winquist décrit comme « des points blancs dans une mer de noir » pour obtenir une capture détaillée, les points faisant référence aux marqueurs attachés aux costumes de capture de mouvements portés par les acteurs. Sur une scène à l'intérieur, vous pouvez utiliser de la lumière artificielle sans infrarouge afin que la caméra puisse facilement capter les marqueurs de la combinaison. Pour réaliser la capture de jeu à l'extérieur, les marqueurs ont été améliorés.
Les marqueurs de dernière génération sont de minuscules sources lumineuses à DEL qui se déclenchent en synchronisation avec l'obturateur de la caméra, les isolant et filtrant toutes les autres sources infrarouges. Les cadreurs peuvent ajuster les paramètres d'exposition afin que les infrarouges de la lumière du soleil ne soient même pas captés.
Cependant, les lumières DEL actives peuvent être fragiles. En 2014, pour L'Aube de la planète des singes, Wētā FX a enveloppé des fils caoutchoutés protecteurs afin qu'on puisse les utiliser à l'extérieur dans les forêts humides de Vancouver, au Canada. Pour La Guerre de la planète des singes sorti en 2017, les boîtiers de protection ont permis à Wētā FX de capturer des performances dans des environnements encore plus difficiles tels que la neige et l'eau.
La capture stéréo des performances et des expressions faciales des acteurs permet aux animateurs de Wētā FX d'appliquer plus facilement des maillages de personnages 3D aux acteurs dans un cadre d'action réelle. Image © 2024 20th Century Studios, publiée avec l'aimable autorisation de Wētā FX.
D'autres avancées dans les processus de capture de mouvements de Wētā FX comprennent l'intégration de plus d'appareils technologiques dans le montage facial pour capter plus de détails, et l'utilisation de deux caméras pour mieux les capturer. De la même manière que les films 3D donnent une illusion de profondeur en raison de différences à peine perceptibles entre deux images, l'utilisation de deux caméras donne aux animateurs un maillage 3D plus précis du visage de l'acteur, offrant des détails beaucoup plus fins qu'un seul objectif.
Cette percée a été cruciale pour Le Royaume de la planète des singes en raison de la façon unique dont les primates bougent leur visage. « Lorsqu'un acteur se pince les lèvres ou que ses lèvres s'étendent ou dépassent, surtout avec les singes lorsqu'ils font leurs cris, toutes ces choses peuvent être délicates avec une seule caméra; il y a beaucoup de variables », dit Erik Winquist. « Un maillage 3D nous donne beaucoup plus de précision. » Réussir à animer de tels mouvements, c'est-à-dire créer des personnages simiesques qui vivent, respirent et parlent d'une manière fidèle à de vrais singes, montre à quel point la capture de performance a progressé.
Cette nouvelle technologie élimine également le besoin de réaliser manuellement la composition d'images en profondeur en 3D. Grâce à la capture stéréo sur les montages faciaux et les caméras ordinaires, Wētā FX a pu créer un maillage 3D de tout ce qui se trouvait dans le cadre, et pas seulement des acteurs. Cela a permis d'améliorer considérablement le processus de déplacement de l'image, qui consiste à placer un objet animé en 2D dans une image d'action réelle. « Huit personnages principaux interagissaient avec de vrais accessoires comme des armes ou tournaient les pages d'un livre », explique Erik Winquist. « Il est beaucoup plus facile de conserver ces mouvements dans les séquences principales, mais de remplacer le personnage qui interagit avec un élément animé, car nous savons exactement où il se trouvera dans l'espace 3D. »
Grâce à la capture de performance et à l'animation en images de synthèse, le personnage de Noa dans Le Royaume de la planète des singes conserve tous les éléments subtils de la performance de l'acteur Owen Teague. Image © Disney.
L'élément clé du processus de capture de jeu reste la performance, c'est-à-dire un acteur qui se déplace et se comporte comme un personnage. C'est en grande partie l'exploration par Andy Serkis d'une personnalité nerveuse agressive qui a permis au personnage de Gollum de si bien fonctionner dans Les deux tours et Le Seigneur des anneaux : le retour du roi. Pour Le Royaume de la planète des singes, la vedette Owen Teague a étudié le mouvement des singes dans un sanctuaire de primates pour apporter de l'authenticité à sa performance.
Lorsque Andy Serkis a parlé aux médias du prochain projet inspiré par Le Seigneur des anneaux, The Hunt for Gollum, il a déclaré que la technologie était en fait libératrice. « Elle a maintenant atteint un niveau où la paternité des performances nous permet d'intérioriser davantage sans avoir l'impression de surjouer », a-t-il déclaré. « C'est quelque chose qui fonctionne clairement à un niveau beaucoup plus grand et plus profond à présent. »
Mais il y a un hic maintenant qu'un réalisateur peut regarder une scène sur une tablette pendant qu'elle est jouée, le montage du personnage étant appliqué en temps réel aux données de la capture de jeu. Erik Winquist explique : « Un cinéaste n'a pas besoin de se concentrer sur le caractère “simieste” de la scène. Nous pouvons faire toutes sortes d'ajustements en postproduction, par exemple pour rendre un personnage plus grand ou pour qu'il s'intègre mieux dans le cadre. La chose la plus importante sur laquelle il faut se concentrer est la nuance de ce qui se passe sur le visage de l'acteur, les microajustements les plus subtils. Je m'inquiéterais de ne pas polir les aspérités qui font de la performance humaine ce qu'elle est. Si le réalisateur ne peut pas voir cela parce qu'il regarde une approximation avec un montage facial en temps réel et en basse résolution, il n'aura pas les informations nécessaires pour décider si la cinquième prise ou la sixième prise est meilleure. »
Erik Winquist ajoute que, quelle que soit la qualité de la technologie, le réalisateur et les animateurs doivent vraiment voir ce que l'acteur donne – des mouvements oculaires subtils de quelques pixels seulement permettent à tout le monde de voir « l'engrenage qui tourne ».
Il existe un équilibre entre la capture de la performance sur le plateau et la retouche des images de synthèse pendant la postproduction. « Il y a des moments où nous devons inventer quelque chose que le réalisateur n'a pas obtenu le jour du tournage pour une raison quelconque », explique Erik Winquist. « On dit que le film se fait vraiment dans une salle de montage, et quelqu'un dit souvent : “Si nous avions su à l'époque ce que nous savons maintenant, nous aurions pu le tourner différemment, mais, hé, Wētā FX, pouvez-vous nous aider?” »
Encore une fois, tout est question de performance. « Nos animateurs sont incroyablement talentueux, mais il y a quelque chose dans cet espace entre un réalisateur et un acteur », poursuit-il. « Cette expérimentation se produit à ce moment-là. Si vous le soumettez aux effets visuels, il y a toujours un décalage pour effectuer une mise à jour, même si ce n'est que quelques heures. À ce moment-là, cette magie qui ne se produit que sur le plateau, cette spontanéité a disparu.
Wētā FX a utilisé un solveur d'apprentissage profond facial (SAPF) pour générer efficacement des rendus initiaux de capture de jeu, libérant ainsi ses artistes pour qu'ils consacrent plus de temps au travail difficile d'expression du dialogue parlé sur les visages des singes. Image © Disney.
Après de nombreuses années dans ce domaine, Erik Winquist affirme que le processus de rendu de l'entreprise est bien établi et optimisé, de sorte que son équipe peut rendre les choses « absolument, incontestablement réelles ». Au cours des années 2000, les images de synthèse ont permis de « conquérir » des surfaces telles que l'eau (site Web É.-U.), le feu et les cheveux. Maintenant, l'accent est mis sur la façon de rendre la production d'images de synthèse et les effets visuels plus efficaces. « Dans une certaine mesure, c'est la même chose que lorsque vous obtenez un nouveau disque dur et que vous continuez à le remplir », dit-il.
La capture de jeu est l'un des domaines les plus gourmands en données des effets visuels modernes, ce qui en fait un choix naturel pour l'apprentissage automatique. Le Royaume de la planète des singes comporte plus de 1 500 plans d'effets visuels, la plupart contenant des données de capture de jeu. Il n'y a que 38 plans qui ne contiennent aucun effet visuel, ce qui est loin d'être le cas en 2002, lorsque Gollum avait 17 minutes de temps d'écran dans Les deux tours.
À l'aide de l'apprentissage automatique, Wētā FX a développé un solveur d'apprentissage profond facial (SAPF), où les rendus de capture de jeu dirigés par algorithme sont vérifiables par les humains, rejetant ainsi la nature « boîte noire » de la plupart des outils d'apprentissage automatique. Une fois les prises de vue approuvées, les animateurs peuvent transférer les résultats directement vers les outils d'une application de montage ou d'animation. Wētā FX utilise Autodesk Maya comme plateforme pour héberger certains de ses effets visuels et outils d'animation exclusifs.
Les avancées de Wētā FX en matière de technologie d'apprentissage automatique sont réalisées dans le but de permettre à ses artistes d'en faire plus. « Nous voulions nous appuyer sur la même équipe de base que précédemment, mais la création de dialogues parlés sur les visages des singes leur a donné beaucoup plus de travail », explique Erik Winquist. Il ajoute que le SAPF a aidé les animateurs du film Le Royaume de la planète des singes à obtenir une base de référence cohérente pour chaque personnage, qui pouvait être appliquée à plusieurs plans.
Dans un flux de travaux de capture de jeu, tout revient à la nature de l'histoire et au style de production. « Si vous avez un personnage dans quelques dizaines de plans, cela change votre approche parce que la capture de mouvements s'accompagne d'une très grande empreinte. Tout à coup, vous avez 40 membres d'équipe à emmener avec vous », ajoute Erik Winquist. « Si vous n'avez qu'un seul personnage, vous pourriez avoir une empreinte beaucoup plus légère sur le plateau et travailler beaucoup plus efficacement. C'est pourquoi, lorsque nous intervenons, il est important de prendre en compte la technologie qui convient le mieux à une production et à un budget particuliers.
« Nous évaluons les besoins d'un projet particulier et élaborons notre plan en conséquence », poursuit-il. « Nous pouvons apporter un système de capture complet sur un plateau de tournage ou à l'extérieur, ou nous pouvons simplement arriver avec quelques caméras vidéo, placer des marqueurs légèrement différents sur les artistes, dire “Action” et régler tout cela plus tard ».
Après avoir grandi en sachant qu'il voulait changer le monde, Drew Turney s'est rendu compte qu'il était plus facile d'écrire sur d'autres personnes qui elles, le changeaient. Il écrit sur la technologie, le cinéma, la science, les livres et d'autres sujets connexes.
