En El señor de los anillos: las dos torres, el personaje de Gollum es una creación totalmente digital basada en la actuación del actor Andy Serkis. Serkis fue elegido inicialmente para darle a Gollum su voz solamente, pero mientras trabajaba, el director Peter Jackson se dio cuenta de que sus movimientos se traducirían maravillosamente en la pantalla. Este proceso, llamado captura de movimiento (mocap) o captura de actuación (inglés), no fue inventado por el director Jackson: una versión anterior, la rotoscopia, se utilizó notablemente en 1937 para Blancanieves de Disney.
En Las dos torres, al igual que en Blancanieves, los animadores hicieron referencia a las imágenes de la actuación por igualar la sincronización y el movimiento de Serkis en las imágenes de acción en vivo. Las películas de Jackson alcanzaron nuevos niveles de realismo y detalle hace dos décadas para la trilogía de El señor de los anillos y King Kong, y ganaron el Oscar de efectos visuales (VFX) por Las dos torres y El retorno del rey.
Los elementos esenciales de la tecnología de captura de actuación no han cambiado desde entonces, según Erik Winquist, supervisor de efectos visuales de Wētā FX, la compañía que ha impulsado la captura de actuación en las películas antes mencionadas, así como en las series Avatar y El planeta de los simios, entre otras. "Básicamente, todavía estamos tomando a un actor humano talentoso, poniéndole marcadores de algún tipo, colocándolo en un escenario y grabando lo que hace", dice Winquist.
Con las últimas tecnologías de captura de movimiento, los equipos de Wētā FX pueden capturar actuaciones filmadas al aire libre a la luz del día o incluso en condiciones ambientales adversas. Imagen © Disney.
Los artistas de efectos visuales dicen que su mejor trabajo es invisible. El listón del realismo es alto y el público puede ser implacable cuando los efectos visuales están aunque sea un poco fuera de lugar. Para la película de este año El planeta de los simios: nuevo reino, la captura de la actuación es perfecta: los espectadores pueden apreciar simios parlantes realistas en la pantalla, que interactúan con accesorios, personajes de acción en vivo y entre sí.
Uno de los mayores desafíos que Winquist y su equipo técnico resolvieron para El planeta de los simios: (R)Evolución de 2011 fue la capacidad de llevar mocap al aire libre desde un escenario. "La tecnología mocap se basa en infrarrojos, y la luz solar tiene un enorme componente infrarrojo", dice. "Tan pronto como sales a la calle, estás luchando contra la luz infrarroja que se refleja en todo".
El equipo de captura de movimiento necesita lo que Winquist describe como "puntos blancos en un mar de negro" para una captura detallada, los puntos se refieren a los marcadores adjuntos a los trajes de captura de movimiento que usan los actores. En un escenario interior, puedes usar luz artificial sin infrarrojos para que la cámara capte fácilmente los marcadores del traje. La respuesta a la hora de llevar la captura de la actuación al exterior han sido los marcadores mejorados.
Los marcadores de última generación son pequeñas fuentes de luz LED que se disparan en sincronía con el obturador de la cámara. Esto las aísla y filtra todas las demás fuentes infrarrojas. Los operadores de cámara pueden ajustar la configuración de exposición para que los infrarrojos de la luz solar ni siquiera se capten.
Sin embargo, las luces LED activas pueden ser frágiles. Para El planeta de los simios: Confrontación de 2014, Wētā FX encerró el cableado en hilos protectores de goma para que pudiera tomarse al aire libre en los bosques húmedos de Vancouver, Canadá. Para El planeta de los simios: la guerra de 2017, las carcasas protectoras permitieron a Wētā FX capturar actuaciones en entornos aún más duros como la nieve y el agua.
La captura estéreo de las actuaciones y las expresiones faciales de los actores facilita a los animadores de Wētā FX la aplicación de mallas de personajes 3D a los actores en un fotograma de acción en vivo. Imagen © 2024 20th Century Studios, cortesía de Wētā FX.
Otros avances en los procesos de captura de movimiento de Wētā FX incluyen la instalación de más tecnología en el equipo facial para captar más detalles y el uso de dos cámaras para capturar mejor ese detalle. De la misma manera que las películas en 3D dan la ilusión de profundidad debido a las diferencias apenas perceptibles entre dos imágenes, el uso de dos cámaras brinda a los animadores una malla 3D más precisa de la cara del actor, proporcionando detalles mucho más finos que una sola lente.
Este avance fue crucial para El planeta de los simios: nuevo reino debido a la forma única en que los primates mueven sus caras. "Cuando un actor frunce los labios o sus labios se extienden o sobresalen, especialmente con los simios cuando emiten su sonido de gritos, todas esas cosas pueden ser complicadas con una sola cámara; hay muchas conjeturas", dice Winquist. "Una malla 3D nos da mucha más precisión" La animación exitosa de tales movimientos, al crear personajes simios que viven, respiran y hablan de una manera que es fiel a los simios reales, muestra lo lejos que ha llegado la captura de la actuación.
La nueva tecnología también elimina la necesidad de realizar la composición manual de profundidades en 3D. La captura estéreo en los equipos faciales y las cámaras normales significaba que Wētā FX podía crear una malla 3D de cualquier cosa en el encuadre, no solo de los actores. Esto mejoró en gran medida el proceso de movimiento de coincidencias, donde un objeto animado en 2D se coloca en un marco de acción en vivo. "Ocho personajes principales interactuaban con accesorios reales como armas o pasaban las páginas de un libro", dice Winquist. "Mantener esos movimientos del metraje principal, pero reemplazar al personaje que interactúa con un elemento animado se vuelve mucho más fácil cuando sabes exactamente dónde va a estar en el espacio 3D".
A través de la captura de la actuación y la animación CG, el personaje de Noa en "El planeta de los simios: nuevo reino" conserva todos los elementos sutiles de la actuación del actor Owen Teague. Imagen © Disney.
El elemento clave en el proceso de captura de la actuación sigue siendo una actuación: un actor que se mueve y se comporta como un personaje. Fue en gran medida la exploración de Serkis de una personalidad asustadiza y erizada lo que hizo que el personaje de Gollum funcionara tan bien en Las dos torres y El retorno del rey. Para El planeta de los simios: nuevo reino, la estrella Owen Teague estudió el movimiento de simios en un santuario de primates para aportar autenticidad a su actuación.
Cuando Serkis habló a los medios sobre el próximo proyecto deEl señor de los anillos The Hunt for Gollum, dijo que la tecnología en realidad es liberadora. "Ahora se ha llegado a un nivel en el que la autoría de las actuaciones te permite interiorizar más sin ninguna sensación de sobreactuación", dijo. "Esto es algo que claramente está funcionando a un nivel mucho mayor y más profundo ahora".
Pero actualmente hay una advertencia de que un director puede ver una escena en una tableta mientras se representa, con la manipulación del personaje aplicada a los datos de captura de actuación en tiempo real. Winquist dice: "Un cineasta no necesita centrarse en la 'simiosidad' de ello, podemos hacer todo tipo de ajustes de postproducción, como hacer que un personaje sea más alto o que encaje mejor en el encuadre. Lo más importante en lo que hay que centrarse es en el matiz de lo que está sucediendo en el rostro del actor, los pequeños microajustes más sutiles. Me preocuparía limar las asperezas que hacen que una actuación humana sea lo que es. Si el director no puede ver eso porque está buscando una aproximación con un equipo facial proxy de baja resolución en tiempo real aplicado, no tendrá la información que necesita para decidir si la toma 5 o la toma 6 es mejor".
Winquist agrega que no importa cuán buena sea la tecnología, el director y los animadores necesitan ver realmente lo que el actor está dando: los movimientos oculares sutiles de solo un par de píxeles significan que todos pueden ver "los engranajes girando".
Existe un equilibrio en el que la captura de actuación en el set y el aumento de CGI durante la postproducción coexisten. "Hay momentos en los que tenemos que inventar algo que el director no entendió el día del rodaje por la razón que sea", dice Winquist. "Dicen que la película realmente se hizo en la sala de edición, y alguien a menudo dice: 'Si hubiéramos sabido entonces lo que sabemos ahora, podríamos haber filmado esto de manera diferente, pero, oye, Wētā FX, ¿puedes ayudarnos?'".
Una vez más, todo se reduce a la actuación. "Nuestros animadores son increíblemente talentosos, pero hay algo en ese espacio entre un director y un actor", continúa. "Esa experimentación ocurre en ese momento. Si lo pasas a los efectos visuales, todavía hay un retraso para dar la vuelta a una actualización, incluso si son solo un par de horas. Para entonces, esa magia que solo ocurre en el set, esa espontaneidad, se ha ido".
Wētā FX utilizó un solucionador de aprendizaje profundo facial (FDLS) para generar de manera eficiente renderizaciones iniciales de captura de actuación, lo que liberó a sus artistas para que dedicaran más tiempo al desafiante trabajo de expresar el diálogo hablado en los rostros de los simios. Imagen © Disney.
Después de muchos años en este campo, Winquist dice que la línea de producción de renderizado de la compañía está bien establecida y optimizada, por lo que su equipo puede renderizar las cosas para que parezcan "absoluta e incuestionablemente reales". Los hitos de CGI durante la década de 2000 vieron superficies como el agua (inglés), el fuego y el cabello finalmente "conquistados". Ahora, la atención se centra en cómo hacer que la producción de CGI y VFX sea más eficiente. "Hasta cierto punto, es lo mismo que cuando obtienes un disco duro nuevo y sigues llenándolo", dice.
La captura de la actuación es una de las áreas con mayor uso de datos de los efectos visuales modernos, lo que la convierte en una opción natural para el aprendizaje automático. El planeta de los simios: nuevo reino tuvo más de 1500 tomas de efectos visuales, la mayoría de las cuales contenían datos de captura de actuación. Solo hay 38 tomas que no contienen efectos visuales en absoluto, muy lejos de 2002, cuando Gollum tenía 17 minutos de tiempo en pantalla en Las dos torres.
Utilizando el aprendizaje automático, Wētā FX desarrolló un solucionador de aprendizaje profundo facial (FDLS), en el que los humanos pueden verificar los renders de captura de rendimiento dirigidos por algoritmos en todo momento, y rechazar la naturaleza de "caja negra" de la mayoría de las herramientas de aprendizaje automático. Una vez aprobadas las tomas, permite a los animadores transmitir los resultados directamente a las herramientas de una aplicación de edición o animación. Wētā FX utiliza Autodesk Maya como plataforma para alojar algunas de sus herramientas de animación y efectos visuales patentadas.
Los avances de Wētā FX en tecnología de aprendizaje automático se realizan con el objetivo de capacitar a sus artistas para que hagan más. "Queríamos confiar en el mismo equipo central que hemos estado usando, pero crear diálogos hablados en los rostros de los simios les dio mucho más trabajo por hacer", dice Winquist. Agrega que FDLS ayudó a los animadores de El planeta de los simios: nuevo reino a obtener una línea de base consistente para cada personaje que podría aplicarse a múltiples tomas.
En un flujo de trabajo de captura de actuaciones, todo se reduce a la naturaleza de la historia y al estilo de producción. "Si tienes un personaje en unas pocas docenas de tomas, cambia tu enfoque porque la captura de movimiento viene con una huella muy grande: de repente, tienes 40 miembros del equipo para llevar contigo", dice Winquist. "Si tienes un solo personaje, podrías tener una huella mucho más ligera en el set y trabajar de manera mucho más eficiente. Así que una gran consideración cuando entramos es la tecnología que mejor se adapta a un espectáculo y un presupuesto en particular.
"Evaluamos las necesidades de un proyecto en particular y elaboramos nuestro plan en consecuencia", continúa. "Podemos llevar un sistema de captura completo a un estudio de sonido o a una ubicación exterior, o simplemente podemos balancear con un par de cámaras de video, lanzar marcadores ligeramente diferentes a los artistas, decir 'Acción' y resolverlo más tarde".
Después de crecer sabiendo que quería cambiar el mundo, Drew Turney se dio cuenta de que era más fácil escribir sobre otras personas que lo cambiaron. Escribe sobre tecnología, cine, ciencia, libros y más.
