La capture de mouvements, une technologie d’effets visuels devenue incontournable à Hollywood

Erik Winquist, superviseur des effets visuels chez Wētā FX, explique comment la capture de mouvements a permis de rendre les effets visuels encore plus réalistes, comme en témoigne le film La Planète des singes : Le Nouveau Royaume (2024).

Les acteurs Owen Teague et Peter Macon sont assis près d’un feu de camp, vêtus de combinaisons de capture de mouvements et coiffés d’un casque couvert de capteurs, dans une séquence brute d’une scène du film La Planète des singes : Le Nouveau Royaume.

Drew Turney

21 août 2024

min de lecture

La capture de jeu et la capture de mouvements désignent le processus numérique qui consiste à enregistrer les mouvements ou les expressions faciales d’un acteur vêtu d’une combinaison spéciale recouverte de marqueurs.
Pour des franchises à succès telles que Le Seigneur des Anneaux, La Planète des singes et Avatar, le studio de création d’effets visuels Wētā FX a fait évoluer les méthodes de capture de jeu pour renforcer le réalisme de ses productions.
En matière d’effets visuels modernes, la capture de jeu est l’un des domaines les plus consommateurs de données, ce qui en fait un candidat idéal pour l’apprentissage automatique et permet aux animateurs de répondre aux exigences actuelles de la production audiovisuelle.

Dans Le Seigneur des anneaux : Les Deux Tours, le personnage de Gollum est une création entièrement numérique basée sur le jeu de l’acteur Andy Serkis. Dans un premier temps, Andy Serkis a été choisi pour prêter sa voix à Gollum. Mais c’est en le regardant travailler que le réalisateur, Peter Jackson, s’est rendu compte que ses mouvements seraient parfaits à l’écran. Ce processus, appelé capture de mouvements (Site Web France) ou capture de jeu (Site Web France), n’a pas été inventé par le réalisateur Peter Jackson. C’est dans sa première version, la rotoscopie, qu’il a été notamment été utilisé en 1937 pour le dessin animé Blanche-Neige de Disney.

Pour Les Deux Tours, comme pour Blanche-Neige, les animateurs ont créé les séquences de jeu de sorte qu’elles s’ajustent parfaitement à l’interprétation d’Andy Serkis dans les séquences d’action réelles. Il y a deux décennies, Peter Jackson a poussé les niveaux de réalisme et de détail vers de nouveaux sommets avec sa trilogie des Anneaux et avec le film King Kong. Les effets visuels des films Les Deux Tours et Le Retour du roi ont d’ailleurs été récompensés par des Oscars.

Depuis, les principes de base de la technologie de capture de jeu n’ont pas changé, selon Erik Winquist, superviseur des effets visuels chez Wētā FX, l’entreprise qui a fait progresser la capture de jeu dans les films mentionnés précédemment, ainsi que dans Avatar et La Planète des singes. « Cette méthode consiste toujours à faire appel au talent d’un acteur humain, à le vêtir d’une combinaison couverte de marqueurs, à lui faire jouer une scène et à enregistrer son interprétation », explique Erik Winquist.

Singes nouveaux et améliorés

Image extraite du film La Planète des singes : Le Nouveau Royaume montrant un personnage de singe montant à cheval.

Grâce aux dernières technologies de capture de mouvements, les équipes de Wētā FX peuvent capturer des prestations filmées en extérieur, à la lumière du jour, ou même dans des environnements difficiles. Image © Disney.

Les créateurs d’effets visuels affirment que les effets les plus sophistiqués sont invisibles. Dans ce domaine, les exigences sont particulièrement élevées et le public ne pardonne pas le moindre manque de réalisme. Pour La Planète des singes : Le Nouveau Royaume sorti cette année, la capture de jeu est optimale : les spectateurs ont découvert à l’écran des singes ultra-réalistes dotés de la parole, qui interagissent avec des accessoires, des personnages en prise de vues réelles, mais aussi les uns avec les autres.

Pour La Planète des singes : Les Origines, sorti en 2011, la capture de mouvements en extérieur a été l’un des plus grands défis d’Erik Winquist et de son équipe technique. « La capture de mouvements dépend de la lumière infrarouge et les rayons infrarouges représentent une partie importante de la lumière du soleil », explique-t-il. « À l’extérieur, on est constamment aux prises avec la lumière infrarouge qui se reflète sur toutes les surfaces. »

L’équipe de capture de mouvements a besoin de ce qu’Erik Winquist décrit comme « des points blancs dans une mer noire » pour obtenir des résultats détaillés, les points faisant référence aux marqueurs fixés sur les combinaisons portées par les acteurs. Pour une scène en intérieur, il est possible d’utiliser de la lumière artificielle sans infrarouge afin que la caméra puisse facilement capter les marqueurs de la combinaison. Pour les captures de jeu en extérieur, il était essentiel d’améliorer les marqueurs.

Les marqueurs de dernière génération sont de minuscules sources lumineuses LED dont le déclenchement est synchronisé avec l’obturateur de la caméra. Ils sont isolés et filtrent toutes les autres sources infrarouges. Les cameramans peuvent ajuster les paramètres d’exposition afin que les infrarouges de la lumière du soleil ne soient pas captés.

Les lumières LED actives ont toutefois un inconvénient : elles sont fragiles. En 2014, pour La Planète des singes : L’affrontement, Wētā FX a enveloppé le câblage dans des brins caoutchoutés de protection afin qu’il puisse être utilisé à l’extérieur dans les forêts humides de Vancouver, au Canada. Pour La Planète des singes : Suprématie, sorti en 2017, les boîtiers de protection ont permis à Wētā FX de capturer des interprétations dans des environnements encore plus difficiles tels que la neige et l’eau.

Parallaxe de visée

Image d’une scène de La Planète des singes : Le Nouveau Royaume montrant des maillages 3D de personnages de singes modélisés sur des acteurs humains.

La capture stéréo du jeu et des expressions faciales des acteurs permet aux animateurs de Wētā FX d’appliquer plus facilement des maillages 3D de personnages aux acteurs dans une image en prise de vue réelle. Image © 2024 20th Century Studios, publiée avec l’aimable autorisation de Wētā FX.

Wētā FX a apporté d’autres améliorations aux processus de capture de mouvements. Le studio a notamment appliqué d’autres technologies à l’ossature faciale et utilise désormais deux caméras pour mieux capturer les détails créés. Les films 3D offrent une impression de profondeur grâce à des différences de cadrage à peine perceptibles entre deux images. De la même manière, l’utilisation de deux caméras permet aux animateurs d’obtenir un maillage 3D plus précis des visages des acteurs et des détails beaucoup plus fins.

Cette avancée a été cruciale pour La Planète des singes : Le Nouveau Royaume, car les visages des primates ont des expressions uniques. « Bien souvent, une seule caméra ne suffit pas. Quand un acteur retrousse les lèvres pour imiter un singe qui crie, il faut capturer le moindre détail. Il y a une bonne part d’incertitude », explique Erik Winquist. « Les maillages 3D apportent une grande précision. » Les progrès importants de la capture de jeu permettent d’animer ce type de mouvement. Il est désormais possible de créer des personnages simiesques qui vivent, respirent et parlent d’une manière très semblable à celle des vrais singes.

Cette nouvelle technologie élimine également le besoin de réaliser manuellement le compositing en profondeur 3D. Grâce à la capture stéréo sur les ossatures faciales et aux caméras standards, Wētā FX a pu créer un maillage 3D de tous les éléments de l’image, et pas seulement des acteurs. Cette méthode a considérablement amélioré le processus de match moving, qui consiste à placer un objet animé 2D dans une image en prise de vue réelle. « Huit personnages principaux interagissaient avec de vrais accessoires, comme des armes ou des livres », explique Erik Winquist. « Il est beaucoup plus facile de conserver ces mouvements dans les séquences principales et de remplacer le personnage qui interagit avec un élément animé, car on sait exactement où il se trouvera dans l’espace 3D. »

Capturer l’essence d’un acteur

Image extraite du film La Planète des singes : Le Nouveau Royaume montrant le personnage d’Owen Teague, Noa, dont le regard est déterminé.

Grâce à la capture de jeu et à l’animation en images de synthèse, le personnage de Noa dans La Planète des singes : Le Nouveau Royaume conserve toutes les subtilités de l’interprétation de l’acteur Owen Teague. Image © Disney.

L’interprétation d’un personnage par un acteur se trouve au cœur du processus de capture de jeu. La réussite du personnage de Gollum dans Les Deux Tours et Le Retour du roi est due en grande partie à la capacité d’Andy Serkis à incarner une personnalité nerveuse et revêche. Pour La Planète des singes : Le Nouveau Royaume, la quête d’authenticité d’Owen Teague l’a conduit à étudier le mouvement des singes dans un sanctuaire pour primates.

Lors de l’annonce aux médias du prochain tournage de Lord Of The Rings: The Hunt for Gollum, Andy Serkis a déclaré que la technologie avait un pouvoir libérateur. « La technologie a atteint de tels niveaux qu’il est possible d’interpréter une œuvre en intériorisant davantage et sans surjouer », déclarait-il. « Ces outils sont vraiment puissants et nous permettent d’aller beaucoup plus loin. »

Mais attention : un réalisateur peut désormais regarder une scène sur une tablette pendant que l’ossature du personnage est appliquée aux données de capture de jeu en temps réel. Cependant, selon Erik Winquist, « un cinéaste n’a pas besoin de se concentrer sur l’authenticité. Nous pouvons réaliser toutes sortes d’ajustements en postproduction, comme agrandir un personnage ou le recadrer dans l’image. L’aspect le plus important, c’est la nuance dans les expressions de l’acteur, les détails les plus subtils. Il serait dommage de gommer les aspérités qui font la richesse du jeu d’acteur. Si le réalisateur ne voit pas le jeu de l’acteur, car il observe l’aperçu d’une ossature faciale externe en temps réel basse résolution, il n’aura pas les informations dont il a besoin pour décider quelle prise est la meilleure. »

Erik Winquist explique également que, quelle que soit la qualité de la technologie, le réalisateur et les animateurs ont besoin de voir le jeu de l’acteur. D’infimes mouvements oculaires de quelques pixels peuvent donner beaucoup plus de profondeur.

Il existe un juste équilibre entre la capture du jeu sur le plateau et l’optimisation à l’aide des images de synthèse pendant la postproduction. « Parfois, nous devons inventer quelque chose que le réalisateur n’a pas obtenu le jour du tournage », précise Erik Winquist. « On dit que les films naissent véritablement en salle de montage. Et on entend souvent dire que les scènes auraient été tournées différemment avec les techniques d’aujourd’hui. C’est là que Wētā FX entre en scène. »

On en revient toujours à l’interprétation. « Nos animateurs sont incroyablement talentueux, mais la relation entre un réalisateur et un acteur est unique », poursuit-il. « C’est un terrain d’expérimentation. On ne peut pas attendre que les effets visuels soient prêts, même si cela ne prend que quelques heures. La magie et la spontanéité qu’on observe uniquement sur un plateau auront alors disparu. »

Vitesse et évolutivité

Image extraite du film La Planète des singes : Le Nouveau Royaume montrant le personnage de Lydia Peckham, Soona, et celui d’Owen Teague, Noa, front contre front dans un moment de tendresse.

Wētā FX a utilisé un solveur facial d’apprentissage profond pour générer efficacement des rendus initiaux de capture de jeu. Les artistes ont ainsi pu consacrer plus de temps à la tâche complexe qui consiste à exprimer des dialogues parlés sur des visages de singes. Image © Disney.

Après avoir travaillé de nombreuses années dans ce domaine, Erik Winquist estime que le pipeline de rendu de l’entreprise est bien établi et rationalisé, de sorte que son équipe peut créer des rendus « absolument et incontestablement réalistes ». Au cours des années 2000, l’évolution des images de synthèse a permis de créer des rendus de surfaces comme l’eau (anglais), le feu et les cheveux. Maintenant, l’objectif est d’améliorer la production des images de synthèse et des effets visuels. « Dans une certaine mesure, c’est la même chose que lorsque vous utilisez un nouveau disque dur et que vous ne cessez de le remplir », précise Erik Winquist.

En matière d’effets visuels modernes, la capture de jeu est l’un des domaines les plus consommateurs de données, ce qui en fait un candidat idéal pour l’apprentissage automatique. La Planète des singes : Le Nouveau Royaume comporte plus de 1 500 prises de vue d’effets visuels, la plupart contenant des données de capture de jeu. Seuls 38 plans ne contiennent aucun effet visuel, alors qu’en 2002, Gollum apparaissait 17 minutes à l’écran dans Les Deux Tours.

Grâce à l’apprentissage automatique, Wētā FX a développé un solveur facial d’apprentissage profond (FDLS), où les rendus de capture de jeu dirigés par algorithme peuvent être vérifiés par des humains, ce qui le différencie de l’approche « boîte noire » de la plupart des outils d’apprentissage automatique. Une fois les prises de vue approuvées, les animateurs peuvent exporter les résultats directement vers les outils d’une application de montage ou d’animation. Wētā FX utilise Autodesk Maya comme plate-forme pour héberger certains de ses outils propriétaires d’effets visuels et d’animation.

Les avancées réalisées par Wētā FX en matière de technologie d’apprentissage automatique permettent à ses artistes d’en faire plus. « Nous voulions nous appuyer sur la même équipe principale, mais la création de dialogues parlés sur des visages de singes a considérablement augmenté sa charge de travail », raconte Erik Winquist. Il ajoute que la technologie FDLS a aidé les animateurs de La Planète des singes : Le Nouveau Royaume à obtenir une base de référence cohérente applicable à plusieurs plans pour chaque personnage.

Dans un workflow de capture de jeu, l’histoire et le style de production sont deux aspects essentiels. « Si un personnage est présent dans des dizaines de plans, votre approche change, car la capture de mouvements a une empreinte considérable et vous devez transporter 40 membres d’équipe », explique Erik Winquist. « Avec un seul personnage, vous pouvez réduire considérablement l’empreinte sur le plateau et travailler beaucoup plus efficacement. Il faut donc opter pour la technologie qui convient le mieux à chaque film et à chaque budget. »

« Nous évaluons les besoins d’un projet spécifique et élaborons notre plan en conséquence », poursuit-il. « Nous pouvons apporter un système de capture complet sur un plateau d’enregistrement insonorisé ou un site en extérieur, ou nous pouvons simplement utiliser quelques caméras, placer différents marqueurs sur les interprètes, tourner la scène et régler le problème plus tard. »

À propos de Drew Turney

Enfant, Drew Turney avait pour ambition de changer le monde, puis il s’est rendu compte qu’il était plus facile d’écrire sur les personnes qui le changent vraiment. Il est spécialisé dans la technologie, le cinéma, les sciences, les livres, etc.