Cómo la captura de movimiento (o mocap) se ha convertido en la tecnología para efectos visuales de personajes preferida en Hollywood

El supervisor de efectos visuales de Wētā FX, Erik Winquist, explica cómo la captura de movimiento (o mocap) ha aportado nuevos niveles de realismo a los efectos visuales, representados a la perfección en la película de 2024, El reino del planeta de los simios.


Imagen © 2024 20th Century Studios, por gentileza de Wētā FX.

Los actores Owen Teague y Peter Macon sentados junto a una fogata con trajes de captura de movimiento y cascos con sensores en secuencias sin editar de una escena de <i>El reino del planeta de los simios</i>.

Drew Turney

21 de agosto de 2024

min de lectura
  • La captura de actuación y la captura de movimiento son diferentes nombres para referirse al proceso digital de grabación de movimientos o expresiones faciales de un actor que lleva un traje especial cubierto de marcadores.

  • Para franquicias taquilleras como El señor de los anillos, El planeta de los simios y Avatar, la empresa de efectos visuales Wētā FX ha promovido el uso de métodos de captura de actuación con el fin de obtener un mayor realismo.

  • La captura de actuación es una de las áreas donde se utiliza una mayor cantidad de datos de efectos visuales modernos, por lo que resulta perfecta para el uso del aprendizaje automático, capaz de ayudar a los animadores a satisfacer las demandas de la cinematografía actual.

 

En El señor de los anillos: Las dos torres, el personaje de Gollum es una creación totalmente digital basada en la actuación del actor Andy Serkis. Serkis fue elegido inicialmente para poner solo la voz a Gollum, pero, mientras trabajaba, el director Peter Jackson se dio cuenta de que sus movimientos se trasladarían maravillosamente a la pantalla. Este proceso, llamado captura de movimiento ("mocap") o captura de actuación (inglés), no lo inventó el director Jackson: una versión anterior de este, la rotoscopia, se utilizó notablemente en 1937 para Blancanieves de Disney.

En Las dos torres, al igual que en Blancanieves, los animadores tomaron como referencia las imágenes de la actuación para hacer coincidir la sincronización y el movimiento de Serkis en las imágenes de acción en vivo. Las películas de Jackson alcanzaron nuevos niveles de realismo y detalle hace dos décadas en la trilogía de Los anillos y en King Kong, unos niveles que le llevaron a ganar el Óscar a los mejores efectos visuales por Las dos torres y El retorno del rey.

Los elementos esenciales de la tecnología de captura de movimiento no han cambiado desde entonces, según Erik Winquist, supervisor de efectos visuales de Wētā FX, la empresa que ha impulsado la captura de movimiento en las películas antes mencionadas y en las series Avatar y El planeta de los simios, entre otras. "Básicamente, todavía se trabaja con un actor humano bien preparado al que se le colocan marcadores de algún tipo y se le sitúa en un escenario para grabar todo lo que hace", dice Winquist.

Simios nuevos y mejorados

Un fotograma de <i>El reino del planeta de los simios</i> muestra a un personaje simio montado en un caballo.

Con las últimas tecnologías de captura de movimiento, los equipos de Wētā FX pueden capturar actuaciones rodadas al aire libre a la luz del día o incluso en condiciones ambientales adversas. Imagen © Disney.

Los especialistas en efectos visuales dicen que su mejor trabajo es invisible. El listón del realismo está muy alto y el público puede ser implacable cuando los efectos visuales se quedan un poco desajustados, por poco que sea. Para El reino del planeta de los simios de este año, la captura de actuación es perfecta: los espectadores pueden disfrutar en la pantalla con simios muy realistas que hablan e interactúan entre sí, con el decorado y con personajes de acción en vivo.

Uno de los mayores desafíos que Winquist y su equipo técnico resolvieron para El origen del planeta de los simios de 2011 fue la capacidad de llevar la captura de movimiento al aire libre, fuera de un escenario. "La tecnología mocap se basa en infrarrojos y la luz solar tiene un enorme componente infrarrojo", explica. "Tan pronto como sales a la calle, estás luchando contra la luz infrarroja que se refleja en todo".

El equipo de captura de movimiento necesita lo que Winquist describe como "puntos blancos en un mar de negro" para lograr una captura detallada. Los puntos hacen referencia a los marcadores que llevan los trajes de captura de movimiento que usan los actores. En un escenario interior, se puede utilizar luz artificial sin infrarrojos para que la cámara capte fácilmente los marcadores del traje. La respuesta a la hora de llevar la captura de actuación al exterior ha sido mejorar los marcadores.

Los marcadores de última generación son pequeñas fuentes de luz LED que se encienden en sincronía con el obturador de la cámara, de manera que es posible aislarlas y filtrar todas las demás fuentes infrarrojas. Los operadores de cámara pueden ajustar la configuración de exposición para que los infrarrojos de la luz solar no lleguen a captarse.

Sin embargo, las luces LED activas pueden ser frágiles. En El amanecer del planeta de los simios de 2014, Wētā FX envolvió el cableado en hilos protectores de goma para que pudiera utilizarse al aire libre en los bosques húmedos de Vancouver, Canadá. En La guerra del planeta de los simios de 2017, las carcasas protectoras permitieron a Wētā FX capturar actuaciones en entornos incluso más duros, como la nieve y el agua.

Vista de paralaje

Fotograma en progreso de una escena de <i>El reino del planeta de los simios</i> muestra las mallas 3D de los personajes de simios modeladas sobre actores humanos.

Gracias a la captura estéreo de las actuaciones y las expresiones faciales de los actores, los animadores de Wētā FX pueden aplicar con facilidad mallas 3D de personajes a los actores en un fotograma de acción en vivo. Imagen © 2024 20th Century Studios, por gentileza de Wētā FX.

Otros avances en los procesos de captura de movimiento de Wētā FX son la instalación de más tecnología en el equipo facial para captar más detalles y el uso de dos cámaras para capturar mejor ese detalle. De la misma manera que las películas en 3D crean la ilusión de profundidad debido a las diferencias apenas perceptibles entre dos imágenes, el uso de dos cámaras brinda a los animadores una malla en 3D más precisa de la cara del actor y proporciona detalles mucho más sutiles que una sola lente.

Este avance fue crucial en El reino del planeta de los simios por la forma única en la que los primates mueven sus caras. "Cuando un actor frunce los labios, los estira o los saca hacia delante, como el momento en que los simios gesticulan para gritar, puede resultar complicado captar todo esto con una sola cámara; se hacen muchas suposiciones", dice Winquist. "Una malla 3D nos da mucha más precisión". La animación correcta de estos movimientos, con los que se crean personajes simios que viven, respiran y hablan de una manera tan fiel a los simios reales, muestra lo lejos que ha llegado la captura de actuación.

La nueva tecnología también elimina la necesidad de realizar la composición manual de profundidades en 3D. Gracias a la captura estéreo en los equipos faciales y las cámaras habituales, Wētā FX pudo crear una malla 3D de cualquier cosa en el encuadre, no solo de los actores. Esto mejoró en gran medida el proceso de coincidencias de movimiento, donde un objeto animado en 2D se coloca en un marco de acción real. "Ocho personajes principales interactuaban con accesorios reales, como armas, o pasaban las páginas de un libro", comenta Winquist. "Mantener esos movimientos del metraje principal a la vez que se reemplaza al personaje que interactúa con un elemento animado resulta mucho más fácil cuando sabes exactamente cuál será su posición en el espacio 3D".

Capturar la esencia de un actor

Un fotograma de <i>El reino del planeta de los simios</i> muestra al personaje de Owen Teague, Noa, mirando con determinación.

A través de la captura de actuación y la animación por ordenador, el personaje de Noa en El reino del planeta de los simios conserva todos los elementos sutiles de la actuación del actor Owen Teague. Imagen © Disney.

El elemento clave en el proceso de captura de actuación sigue siendo una actuación: un actor que se mueve y se comporta como un personaje. Fue en gran medida la exploración que hizo Serkis de una personalidad asustadiza e irritable lo que contribuyó a que el personaje de Gollum funcionara tan bien en Las dos torres y El retorno del rey. En El reino del planeta de los simios, la estrella Owen Teague estudió el movimiento de los simios en un santuario de primates para aportar autenticidad a su actuación.

Cuando Serkis habló a los medios sobre el próximo proyecto de Los anillos, La caza de Gollum, reconoció que, en realidad, la tecnología es liberadora. "Se ha llegado a un nivel en el que la autoría de las actuaciones te permite interiorizar más sin tener la sensación de sobreactuar", dijo. "Es algo que claramente se produce ahora en un nivel mucho mayor y más profundo".

No obstante, actualmente existe la limitación de que el director puede ver una escena en una tableta conforme se interpreta, mientras se aplica en tiempo real el equipo del personaje a los datos de captura de actuación. Según Winquist, "Un cineasta no necesita centrarse en la 'simiosidad' del personaje, ya que se pueden implementar todo tipo de ajustes en la postproducción, como hacer que un personaje sea más alto o que encaje mejor en el encuadre. Lo más importante es centrarse en el matiz de lo que está sucediendo en el rostro del actor, los pequeños microajustes más sutiles. Me preocuparía por pulir las asperezas que hacen que una actuación humana sea lo que es. Si el director no puede fijarse en eso porque está buscando una aproximación con la aplicación en tiempo real de un equipo facial proxy de baja resolución, no tendrá la información que necesita para decidir si es mejor la toma 5 o la 6".

Winquist agrega que no importa lo buena que sea la tecnología, el director y los animadores necesitan ver realmente lo que ofrece el actor: los movimientos oculares sutiles de solo un par de píxeles significan que todos pueden ver "los engranajes girando".

Hay un equilibrio donde coexisten la captura de actuación del set y el aumento de las imágenes generadas por ordenador durante la postproducción. "Hay momentos en los que tenemos que inventar algo que el director no entendió el día del rodaje por la razón que sea", afirma Winquist. "Se suele decir que las películas se hacen realmente en la sala de edición y, a menudo, también hay alguien que comenta: 'Si hubiéramos sabido entonces lo que sabemos ahora, podríamos haber filmado esto de otra forma, pero, bueno, Wētā FX, ¿puedes ayudarnos?'".

Una vez más, todo se reduce a la actuación. "Nuestros animadores son increíblemente buenos en su trabajo, pero hay algo especial en ese espacio entre un director y un actor", continúa. "Esa experimentación ocurre en ese momento. Si se pasa al equipo de efectos visuales, la transformación provoca un retraso, aunque sea solo de un par de horas. Para entonces, esa magia que solo ocurre en el set, esa espontaneidad, se ha ido".

Velocidad y escala

Un fotograma de<i> El reino del planeta de los simios</i> muestra al personaje de Lydia Peckham, Soona, y al personaje de Owen Teague, Noa, tocándose la frente en un momento tierno.

Wētā FX utilizó un solucionador facial de aprendizaje profundo (FDLS, por sus siglas en inglés) para generar de manera eficiente renderizaciones iniciales de captura de actuación, lo que permitió a los especialistas dedicar más tiempo a la difícil labor de expresar el diálogo hablado en los rostros de los simios. Imagen © Disney.

Después de muchos años en este campo, Winquist dice que el sistema de producción de renderizado de la empresa está bien establecido y optimizado, por lo que su equipo puede renderizar las cosas para que parezcan "absoluta e incuestionablemente reales". Los hitos de la animación por ordenador durante la década de los 2000 vieron cómo se lograban "conquistar" superficies como el agua (inglés), el fuego y el cabello. Ahora, la atención se centra en cómo aumentar la eficiencia en la producción de imágenes por ordenador y de los efectos visuales. "Hasta cierto punto, se asemeja a un disco duro nuevo que no paras de llenar", dice.

La captura de actuación es una de las áreas con mayor uso de datos de los efectos visuales modernos, por lo que resulta perfecta para el uso del aprendizaje automático. En El reino del planeta de los simios se hicieron más de 1500 tomas de efectos visuales, la mayoría de las cuales contenían datos de captura de actuación. Solo hay 38 tomas sin ningún efecto visual, muy lejos de lo que ocurría en 2002, cuando Gollum tenía 17 minutos de tiempo en pantalla en Las dos torres.

Con el aprendizaje automático, Wētā FX desarrolló un solucionador facial de aprendizaje profundo (FDLS) que permite la verificación humana de los renders de captura de actuación dirigidos por algoritmos y, de este modo, eliminar la naturaleza de "caja negra" de la mayoría de las herramientas de aprendizaje automático. Una vez que se aprueban las tomas, los animadores pueden transmitir los resultados directamente a las herramientas de una aplicación de edición o animación. Wētā FX utiliza Autodesk Maya como plataforma para alojar algunas de sus herramientas de animación y efectos visuales propias.

Los avances de Wētā FX en tecnología de aprendizaje automático se realizan con el objetivo de que sus artistas puedan realizar muchas más cosas. "Queríamos que el equipo central de siempre se ocupara de todo, pero crear diálogos hablados en los rostros de los simios les resulto mucho más laborioso de lo que pensaban", dice Winquist. Agrega que FDLS ayudó a los animadores de El reino del planeta de los simios a obtener una referencia sólida consistente para cada personaje que se podía aplicar a varias tomas.

En un flujo de trabajo de captura de actuación, todo se reduce a la naturaleza de la historia y al estilo de producción. "Si hay un personaje que aparece en varias decenas de tomas, esto cambia tu enfoque porque la captura de movimiento cobra una gran relevancia: de repente, tienes que contar con 40 miembros del equipo", explica Winquist. "Si hay un solo personaje, la presencia en el set es mucho menor y es posible trabajar de manera mucho más eficiente. Así que, cuando intervenimos, es muy importante tener en cuenta qué tecnología se adapta mejor a cada trabajo y a cada presupuesto en particular".

"Evaluamos las necesidades de un proyecto específico y elaboramos nuestro plan en consonancia", continúa. "Podemos llevar un sistema de captura completo a un estudio de sonido o a una ubicación exterior, o simplemente podemos salir del paso con un par de cámaras de vídeo, colocar marcadores ligeramente diferentes a los artistas, decir 'Acción' y ajustarlo todo más adelante".

Drew Turney

Acerca de Drew Turney

Tras crecer con la convicción de que quería cambiar el mundo, Drew Turney se dio cuenta de que era más fácil escribir sobre las personas que lo cambian. Escribe sobre tecnología, cine, ciencia, libros y mucho más.