Em O Senhor dos Anéis: As Duas Torres, o personagem Gollum é uma criação totalmente digital baseada na interpretação do ator Andy Serkis. Serkis foi inicialmente selecionado para emprestar apenas a sua voz a Gollum. No entanto, à medida que representava, o realizador Peter Jackson apercebeu-se de que os seus movimentos se traduziriam lindamente no ecrã. Este processo, denominado captura de movimentos (inglês) (mocap) ou captura de desempenho (inglês), não foi inventado pelo realizador Jackson: uma versão anterior, a rotoscopia, foi utilizada de forma notável em 1937 para o filme A Branca de Neve da Disney.
No filme As Duas Torres, tal como em A Branca de Neve, as filmagens da interpretação foram utilizadas pelos animadores para fazer corresponder o tempo e os movimentos de Serkis nas filmagens de ação ao vivo. Os filmes de Jackson alcançaram novos patamares de realismo e detalhe há duas décadas para a trilogia O Senhor dos Anéis e King Kong, ganhando Óscares de efeitos visuais para As Duas Torres e O Regresso do Rei.
Os elementos essenciais da tecnologia de captura de desempenho não mudaram desde então, de acordo com Erik Winquist, supervisor de efeitos visuais da Wētā FX, a empresa que impulsionou a captura de desempenho nos filmes acima mencionados, bem como nas séries Avatar e Planeta dos Macacos, entre outras. "No fundo, continuamos a utilizar um ator humano talentoso, colocamos-lhe algum tipo de marcadores, posicionamo-lo num palco e gravamos o que faz", diz Winquist.
Com as mais recentes tecnologias mocap, as equipas de filmagens da Wētā FX podem captar interpretações filmadas no exterior, à luz do dia ou até mesmo em condições ambientais adversas. Imagem © Disney.
Os artistas de efeitos visuais dizem que o seu melhor trabalho é invisível. A fasquia do realismo é alta e o público pode ser implacável quando os efeitos visuais surgem ainda que ligeiramente desajustados. No filme O Reino do Planeta dos Macacos deste ano, a captura de desempenho é perfeita: os espetadores podem ver macacos falantes realistas no ecrã, a interagir com adereços, personagens de ação ao vivo e uns com os outros.
Um dos maiores desafios que Winquist e a sua equipa técnica resolveram para o filme Planeta dos Macacos: A Origem de 2011, foi a capacidade de realizar mocap em exterior, a partir de um cenário. "A tecnologia mocap baseia-se em infravermelhos e a luz solar tem um enorme componente de infravermelhos", refere Winquist. "Assim que saímos para o exterior, lutamos contra a luz infravermelha que se reflete em tudo."
A equipa de mocap precisa daquilo que Winquist descreve como "pontos brancos numa vastidão negra" para obter uma captura detalhada, sendo que os pontos se referem aos marcadores fixados nos fatos de mocap usados pelos atores. Num cenário interior, podemos utilizar luz artificial sem infravermelhos para que a câmara possa captar facilmente os marcadores do fato. A resposta para levar a captura de desempenho para o exterior foi melhorar os marcadores.
Os marcadores de última geração são pequenas fontes de luz LED que disparam em sincronia com o obturador da câmara, isolando-as e filtrando todas as outras fontes de infravermelhos. Os operadores de câmara podem ajustar as definições de exposição de maneira a que os infravermelhos da luz solar nem sequer sejam captados.
No entanto, as luzes LED ativas podem ser frágeis. Para o filme Planeta dos Macacos: A Revolta de 2014, a Wētā FX envolveu a cablagem em fios protetores de borracha para que pudesse ser levada para o exterior, nas florestas húmidas de Vancouver, no Canadá. Para o filme Planeta dos Macacos: A Guerra de 2017, os invólucros de proteção permitiram à Wētā FX captar interpretações em ambientes ainda mais adversos, como neve e água.
A captura estéreo das interpretações e das expressões faciais dos atores facilita aos animadores da Wētā FX a aplicação de malhas de personagens 3D aos atores num fotograma de ação ao vivo. Imagem © 2024 20th Century Studios, cedida pela Wētā FX.
Outros avanços nos processos de mocap da Wētā FX incluem a instalação de mais tecnologia no equipamento facial para captar mais detalhes e a utilização de duas câmaras para melhorar a captura desses detalhes. Da mesma forma que os filmes 3D dão a ilusão de profundidade por causa de diferenças quase impercetíveis entre duas imagens, a utilização de duas câmaras dá aos animadores uma malha 3D mais precisa do rosto do ator, oferecendo detalhes muito mais pormenorizados do que com uma única lente.
Este avanço foi crucial para o filme O Reino do Planeta dos Macacos por causa da forma única como os primatas movem os rostos. "Quando um ator contrai os lábios ou os seus lábios se estendem ou se projetam, especialmente no caso dos macacos quando fazem o som do assobio, todos estes aspetos podem ser complicados com apenas uma câmara; há muitas suposições", diz Winquist. "Uma malha 3D oferece-nos muito mais precisão." A animação bem-sucedida de tais movimentos, criando personagens símios que vivem, respiram e falam de uma forma fiel à dos símios reais, mostra até onde chegou a captura de desempenho.
A nova tecnologia também elimina a necessidade de composição manual da profundidade 3D. A captura estéreo nos equipamentos faciais e nas câmaras normais significava que a Wētā FX poderia criar uma malha 3D a partir de qualquer elemento no fotograma, não apenas dos atores. Isto melhorou significativamente o processo de match-moving, em que um objeto animado 2D é colocado num fotograma de ação ao vivo. "Oito personagens principais estavam a interagir com adereços reais, como armas, ou a virar páginas de um livro", diz Winquist. "Manter esses movimentos da filmagem principal, mas substituir o personagem que está a interagir por um elemento animado, torna-se muito mais fácil quando se sabe exatamente onde vai estar no espaço 3D."
Através da captura de desempenho e da animação CG, o personagem Noa de O Reino do Planeta dos Macacos retém todos os elementos subtis da interpretação do ator Owen Teague. Imagem © Disney.
O elemento-chave no processo de captura de desempenho continua a ser uma interpretação: um ator que se move e se comporta como um personagem. Foi, em grande medida, a interpretação de uma personalidade assustadiça e irascível por parte de Serkis que fez com que o personagem Gollum funcionasse tão bem em As Duas Torres e O Regresso do Rei. Para O Reino do Planeta dos Macacos, o ator principal Owen Teague estudou o movimento dos macacos num santuário de primatas para dar autenticidade à sua interpretação.
Quando Serkis falou aos media sobre o próximo projeto Senhor dos Anéis: A Caçada a Gollum, referiu que a tecnologia é deveras libertadora. "Atingiu-se agora um nível em que a autoria das interpretações permite que se interiorize realmente mais sem qualquer sensação de exagero", comentou. "Isto é algo que está claramente a funcionar a um nível muito maior e mais profundo agora."
No entanto, há agora uma ressalva: um realizador pode ver uma cena num tablet enquanto está a ser interpretada, com o equipamento do personagem aplicado aos dados de captura de desempenho em tempo real. Winquist diz: "Um realizador não precisa de se concentrar na "vertente primata": é possível fazer todo o tipo de ajustes na pós-produção, como tornar um personagem mais alto ou enquadrá-lo melhor no contexto. O foco principal centra-se na nuance do que está a acontecer no rosto do ator, os pequenos e mais subtis microajustes. Preocupar-me-ia o facto de se poderem apagar as subtilezas que fazem do desempenho humano aquilo que ele é. Se o realizador não conseguir ver isso porque está a olhar para uma aproximação com um equipamento facial representativo de baixa resolução aplicado em tempo real, não terá a informação de que necessita para decidir se é melhor o take 5 ou o take 6.
Winquist acrescenta que, por muito boa que seja a tecnologia, o realizador e os animadores têm efetivamente de ver a interpretação que o ator está a dar: os movimentos oculares subtis de apenas alguns píxeis significa que todos podem ver "as engrenagens a girar".
Estabelece-se um equilíbrio no qual a captura de desempenho no local das filmagens e o aumento da CGI durante a pós-produção coexistem. "Há momentos em que temos que inventar algo que o realizador não conseguiu obter no dia das filmagens por qualquer motivo", diz Winquist. "Diz-se que o filme é realmente feito na sala de montagem e alguém costuma dizer: “Se soubéssemos na altura o que sabemos hoje, poderíamos ter filmado isto de forma diferente, mas... será que a Wētā FX nos pode ajudar?"
Uma vez mais, tudo se resume ao desempenho. "Os nossos animadores são extraordinariamente talentosos, mas há algo nesse espaço entre um realizador e um ator", continua. "Essa experimentação acontece nesse exato momento. Se a passarmos para os efeitos visuais, ainda há um atraso suficiente para reverter a atualização, mesmo que seja de apenas algumas horas. Nessa altura, aquela magia que só acontece no set, aquela espontaneidade, já passou.
A Wētā FX utilizou um solucionador de aprendizagem facial profunda (FDLS) para gerar renderizações iniciais de captura de desempenho com eficácia, para que os seus artistas pudessem dedicar mais tempo ao exigente trabalho de expressar o diálogo falado nos rostos dos macacos. Imagem © Disney.
Depois de muitos anos neste campo, Winquist diz que o fluxo de produção de renderizações da empresa está bem estabelecido e simplificado, permitindo à sua equipa criar elementos que parecem "absoluta e inquestionavelmente reais". Marcos importantes alcançados no domínio da CGI durante a década de 2000 permitiram "conquistar" finalmente superfícies como a água (inglês), o fogo e o cabelo. Agora, o foco está em encontrar maneiras de tornar a produção de CGI e de efeitos visuais mais eficiente. "Em certa medida, o princípio é idêntico a quando compramos um disco rígido novo e o enchemos continuamente com conteúdos", diz ele.
A captura de desempenho é uma das áreas dos efeitos visuais modernos que mais dados usa, tornando-a numa opção natural para a aprendizagem automática. Em O Reino do Planeta dos Macacos foram usadas mais de 1500 cenas de efeitos visuais, a maioria das quais com dados de captura de desempenho. Há apenas 38 cenas que não contêm quaisquer efeitos visuais, uma diferença gritante em relação a 2002, altura em que Gollum teve 17 minutos de ecrã em As Duas Torres.
Utilizando a aprendizagem automática, a Wētā FX desenvolveu um solucionador de aprendizagem facial profunda (FDLS), no qual as renderizações de captura de desempenho orientadas por algoritmos podem ser verificadas por humanos, rejeitando o cariz de "caixa negra" da maioria das ferramentas de aprendizagem automática. Depois de as cenas serem aprovadas, permite que os animadores transmitam os resultados diretamente para as ferramentas de uma aplicação de edição ou animação. A Wētā FX utiliza o Autodesk Maya como uma plataforma para alojar algumas das suas ferramentas proprietárias de efeitos visuais e de animação.
Os avanços da Wētā FX na tecnologia de aprendizagem automática são feitos com o objetivo de capacitar os seus artistas a fazerem mais. "Queríamos continuar a trabalhar com a mesma equipa principal que tínhamos até aqui, mas a criação de diálogos falados nos rostos dos macacos deu-lhe muito mais trabalho para fazer", diz Winquist. Winquist acrescenta que o FDLS ajudou os animadores de O Reino do Planeta dos Macacos a obter uma linha de base consistente para cada personagem que poderia ser aplicada a várias cenas.
Num fluxo de trabalho de captura de desempenho, tudo se resume à natureza da história e ao estilo de produção. "Se tiver um personagem que aparece em algumas dezenas de cenas, a abordagem muda, já que a captura de movimentos tem um impacto muito grande: de repente, tem 40 membros da equipa que têm de levar consigo para todo o lado", diz Winquist. "Se tiver apenas um personagem, o impacto no set pode ser muito menor, permitindo-lhe trabalhar de forma muito mais eficiente. Por isso, um grande fator a ter em consideração quando entramos em cena é a tecnologia mais adequada a um determinado filme e orçamento.
"Avaliamos as necessidades de um determinado projeto e definimos o nosso plano em conformidade", continua. "Podemos levar um sistema de captura completo para um estúdio de gravação ou para um local fora dos estúdios, ou podemos simplesmente aparecer com algumas câmaras de vídeo, colocar marcadores ligeiramente diferentes nos artistas, dizer “Ação” e resolver tudo mais tarde."
Depois de crescer com a certeza de que queria mudar o mundo, Drew Turney percebeu que era mais fácil escrever sobre outras pessoas que o estavam a mudar. Escreve sobre tecnologia, cinema, ciência, livros e muito mais.
