모션 캡처(mocap)가 할리우드에서 인기 있는 VFX 캐릭터 기술이 된 비결

Wētā FX VFX 감독 에릭 윈퀴스트가 2024년 개봉한 영화 ’혹성 탈출: 새로운 시대’를 통해 모션 캡처(mocap)가 어떻게 VFX에 새로운 차원의 리얼리티를 불어 넣었는지 설명합니다.

배우 오웬 티그(Owen Teague)와 피터 메이컨(Peter Macon)이 ’혹성 탈출: 새로운 시대’의 한 장면을 촬영한 영상에서 모션 캡처 슈트와 헤드기어를 착용하고 모닥불 옆에 앉아 있습니다.

드류 터니(Drew Turney)

2024년 8월 21일

분 길이

퍼포먼스 캡처와 모션 캡처는 마커로 덮인 특수한 슈트를 입은 배우의 움직임이나 얼굴 표정을 기록하는 디지털 프로세스를 말합니다.
반지의 제왕, 혹성 탈출, 아바타와 같은 블록버스터 시리즈를 위해 시각 효과 회사인 Wētā FX는 리얼리티를 높이기 위해 퍼포먼스 캡처를 발전시켰습니다.
퍼포먼스 캡처는 현대 시각 효과에서 가장 데이터 집약적인 영역 중 하나로 머신 러닝에 적합하며 애니메이터가 현대 영화 제작의 요구사항을 충족할 수 있도록 도와줍니다.

반지의 제왕: 두 개의 탑에서 골룸 캐릭터는 배우 앤디 서키스(Andy Serkis)의 연기를 기반으로 한 완전한 디지털 창작물입니다. 서키스가 처음에 캐스팅될 때는 골룸의 목소리만 연기하기로 했었지만, 작업을 진행하면서 피터 잭슨(Peter Jackson) 감독은 그의 움직임이 화면에 아름답게 표현될 것이라는 것을 깨달았습니다. 모션 캡처(mocap) 또는 퍼포먼스 캡처라고 하는 이 방식은 잭슨 감독의 발명품이 아닙니다. 초기 버전인 로토스코핑은 1937년 디즈니의 백설공주에 이미 사용되었습니다.

두 개의 탑에서는 백설공주와 마찬가지로 애니메이터가 퍼포먼스 영상을 참조하여 실사 영상에서 서키스의 타이밍과 움직임을 일치시켰습니다. 잭슨의 영화는 20년 전에 이미 반지의 제왕 3부작과 킹콩으로 새로운 차원의 리얼리티와 디테일을 이뤄냈습니다. 두 개의 탑과 왕의 귀환은 오스카 시각 효과(VFX)상을 수상한 바 있습니다.

앞서 언급한 영화와 아바타 및 혹성 탈출: 새로운 시대 시리즈에서 퍼포먼스 캡처를 발전시킨 Wētā FX의 VFX 감독인 에릭 윈퀴스트(Erik Winquist)에 따르면 퍼포먼스 캡처 기술의 본질은 그 이후로도 변하지 않았습니다. "우리는 여전히 재능 있는 배우를 데려와 특정한 유형의 마커를 붙여 무대에 세운 뒤에 그들의 연기를 촬영하고 있습니다."라고 윈키스트는 말합니다.

새롭게 진화한 유인원

’혹성 탈출: 새로운 시대’의 스틸에는 말에 올라탄 원숭이 캐릭터의 모습이 담겨 있습니다.

최신 모션 캡처 기술을 통해 Wētā FX 제작진은 대낮이나 혹독한 환경 조건에서도 야외에서 촬영한 퍼포먼스를 캡처할 수 있습니다. 이미지 © Disney.

VFX 아티스트는 최고의 결과물은 눈에 띄지 않는다고 말합니다. 리얼리티에 대한 기준은 대단히 높아서 관객들은 VFX가 약간이라도 어긋나는 것을 용서하지 않습니다. 올해의 ’혹성 탈출: 새로운 시대’에서는 퍼포먼스 캡처가 완벽하게 이루어져 소품, 실사 캐릭터 및 서로 간에 상호 작용하는 사실적으로 표현된 말하는 유인원을 만나볼 수 있습니다.

윈퀴스트와 그의 기술 팀이 2011년 혹성 탈출: 진화의 시작을 위해 해결해야 했던 가장 큰 과제 중 하나는 모션 캡처를 무대 세트에서 실외로 옮기는 것이었습니다. "모션 캡처 기술은 적외선을 기반으로 하는데, 햇빛에는 엄청난 양의 적외선이 있습니다."라고 그는 말합니다. "실외로 나가는 즉시 모든 것에서 반사되는 적외선과 싸워야 합니다."

모션 캡처 팀에게는 섬세한 촬영을 위해 윈키스트가 "검은 바다 속의 흰 점"이라고 일컫는 요소가 필요했습니다. 바로 배우들이 입는 모션 캡처 슈트에 부착된 마커입니다. 실내의 무대에서는 적외선이 없는 인공 조명을 사용할 수 있어 카메라가 슈트의 마커를 쉽게 포착할 수 있습니다. 퍼포먼스 캡처를 실외로 가져가는 문제에 대한 해답은 마커의 개선에서 찾을 수 있었습니다.

최신 마커는 카메라 셔터와 동기화되어 발광하면서 다른 모든 적외선 광원을 격리시키고 필터링하는 작은 LED 광원입니다. 카메라맨은 노출 설정을 조정하여 햇빛 속의 적외선이 포착되지 않도록 합니다.

그러나 LED 조명 빛은 대단히 섬세합니다. 2014년 혹성 탈출: 반격의 서막을 위해 Wētā FX는 전선을 보호용 고무줄로 감싼 후에야 캐나다 밴쿠버의 습기가 가득한 숲에서 야외 촬영을 할 수 있었습니다. 2017년 혹성 탈출: 종의 전쟁에서는 보호 케이스를 사용한 덕분에 눈이나 물 속의 훨씬 더 혹독한 환경에서도 퍼포먼스를 캡처할 수 있었습니다.

시차 뷰(Parallax View)

’혹성 탈출: 새로운 시대’의 한 장면에서 인간 배우 위에 모델링된 유인원의 3D 캐릭터 메쉬를 보여주는 스틸.

Wētā FX의 모션 캡처 프로세스의 다른 발전된 방식으로는 더 많은 디테일을 포착하기 위해 얼굴 리그에 더 많은 기술을 적용하고 그 디테일을 더 정확하게 포착하기 위해 두 대의 카메라를 사용하는 방식이 있습니다. 3D 필름에서 두 이미지 간에 거의 인식할 수 없는 차이로 깊이감의 착시 효과를 주는 것과 같은 방식으로, 두 대의 카메라를 사용하면 애니메이터가 배우 얼굴의 더 정확한 3D 메쉬를 제공하여 단일 렌즈보다 훨씬 더 미세한 디테일을 살립니다.

이 획기적인 기술은 영장류가 얼굴을 움직이는 독특한 방식 때문에 ’혹성 탈출: 새로운 시대’에 결정적이었습니다. "배우가 입술을 삐죽 내밀거나 입술이 펴지거나 튀어나올 때, 특히 원숭이가 울부짖는 소리를 낼 때, 모든 것을 카메라 한 대에 담는 것은 쉽지 않을 수 있습니다. 모든 작업이 어림짐작으로 이뤄지는 경우가 많습니다."라고 윈키스트는 말합니다 “3D 메쉬는 훨씬 더 정밀합니다." 실제 유인원과 유사한 방식으로 살아 숨쉬고 말하는 유인원 캐릭터를 제작하는 것처럼 움직임을 성공적으로 애니메이션화하는 것은 퍼포먼스 캡처가 얼마나 발전했는지 보여줍니다.

또한 이 새로운 기술을 사용하면 수작업으로 3D 깊이 합성을 수행할 필요가 없습니다. 얼굴 리그와 일반 카메라의 스테레오 캡처 기술 덕분에 Wētā FX는 배우뿐만 아니라 프레임 내 모든 것의 3D 메쉬를 생성할 수 있게 되었습니다. 이를 통해 2D 애니메이션 객체를 실사 프레임에 넣는 매치 무빙 프로세스가 크게 개선되었습니다. "여덟 명의 주요 캐릭터가 무기와 같은 소품을 다루거나 책장을 넘길 때, 메인 영상에서 이러한 움직임을 유지하면서 3D 공간에서 캐릭터의 위치를 정확히 파악할 수 있다면 상호 작용을 수행하는 캐릭터를 애니메이션 요소로 대체하는 작업이 훨씬 쉬워집니다."라고 윈키스트는 말합니다.

배우의 핵심 연기를 캡처하는 작업

’혹성 탈출: 새로운 시대’의 스틸은 오웬 티그가 연기한 노아가 단호한 표정을 짓고 있는 모습을 보여줍니다.

퍼포먼스 캡처와 CG 애니메이션 덕분에 ’혹성 탈출: 새로운 시대’의 노아 캐릭터는 배우 오웬 티그의 섬세한 연기를 그대로 보여줍니다. 이미지 © Disney.

퍼포먼스 캡처 프로세스의 핵심 요소는 연기, 즉 배우가 캐릭터로서 움직이고 연기한다는 것입니다. 두 개의 탑과 왕의 귀환에서 골룸이라는 캐릭터가 많은 활약을 보였던 것은 겁이 많고 까다로운 성격에 대한 서키스의 탐구 덕분이었습니다. ’혹성 탈출: 새로운 시대’에서 주인공 오웬 티그는 자신의 연기에 진정성을 불어넣기 위해 영장류 보호구역에서 유인원의 움직임을 연구했습니다.

새로운 반지 프로젝트 골룸 사냥꾼을 위한 미디어 인터뷰에서 서키스는 기술이 자유로워지고 있다고 말합니다. “이제 연기의 창작자가 과잉 연기에 대한 의식 없이 더 많은 것을 내면화할 수 있는 수준에 도달했습니다."라고 그는 말했습니다. "훨씬 더 크고 더 깊은 수준에서 분명한 의미를 가집니다."

감독은 연기가 진행되고 있는 장면을 태블릿에서 보면서 캐릭터 리그를 실시간으로 퍼포먼스 캡처 데이터에 적용할 수 있습니다. 윈키스트는 "영화 제작자는 캐릭터가 '원숭이와 닮았는지’에 신경 쓸 필요가 없습니다. 캐릭터의 키를 더 키우거나 프레임에 더 잘 맞게 조정하는 것 같은 모든 형태의 포스트 프로덕션이 가능합니다. 가장 집중해야 할 것은 배우의 얼굴에서 나타나는 섬세한 표현으로, 이것이 가장 섬세한 조정입니다. 저는 인간의 연기가 가진 거친 결을 섬세하게 다듬는 데 관심이 있습니다. 감독이 실시간 저해상도 프록시 얼굴 리그가 적용된 대략적인 결과물을 봐야 하기 때문에 이러한 섬세한 지점을 볼 수 없다면, 테이크 5와 테이크 6 중 어느 것이 더 나은지 결정하는 데 필요한 정보를 얻을 수 없게 됩니다."라고 말합니다.

윈키스트는 기술이 아무리 발전하더라도 감독과 애니메이터에게 진정 중요한 것은 배우의 연기를 제대로 포착하는 것이라고 덧붙였습니다. 몇 픽셀에 불과한 미묘한 눈 움직임만으로도 모든 사람은 "흐름의 변화"를 느낄 수 있습니다.

세트에서의 퍼포먼스 캡처와 포스트 프로덕션의 CGI 증강 효과가 공존하는 균형 지점이 있습니다. "촬영 당일에 감독이 이해하지 못한 것을 무조건 만들어내야 하는 경우가 있습니다."라고 윈키스트는 말합니다. "흔히들 영화가 실제로는 편집실에서 만들어진다고 말합니다. 사람들은 종종 '지금 알고 있는 것을 그때 알았더라면 다르게 촬영할 수 있었을 텐데, Wētā FX, 우리를 도와줄 수 있나요?'라고 말합니다."

다시 말하지만, 모든 것은 퍼포먼스로 돌아갑니다. "우리 애니메이터들은 엄청난 재능을 가지고 있지만, 감독과 배우 사이에는 뭔가가 있습니다."라고 그는 말합니다. "그 변화는 그때 그 순간에 일어납니다. VFX로 넘어간 후에는 몇 시간밖에 걸리지 않았더라도 지연이 있을 수밖에 없습니다. 그건 세트에서만 일어나는 마법 같은 일이죠. 그런 자연스러움은 사라집니다."

속도 및 확장성

리디아 페컴이 연기한 캐릭터인 수나와 오웬 티그가 연기한 캐릭터인 노아가 이마를 터치하는 ‘혹성 탈출: 새로운 시대’의 스틸

Wētā FX에서 얼굴을 위한 딥 러닝 솔버(FDLS)를 사용하여 초기 퍼포먼스 캡처 렌더링을 효율적으로 생성한 덕분에 아티스트는 유인원의 얼굴로 이루어지는 음성 대화를 표현하는 어려운 작업에 더 많은 시간을 집중할 수 있었습니다. 이미지 © Disney.

이 분야에서 수년을 일한 윈키스트는 회사의 렌더링 파이프라인이 잘 정립되고 간소화되어 팀이 "완전하고 의심할 여지 없이 사실적"으로 렌더링할 수 있다고 말합니다. 2000년대에는 CGI가 물 (영문), 불, 머리카락과 같은 서페이스를 마침내 "정복"할 수 있게 되었습니다. 이제는 CGI와 VFX를 보다 효율적으로 제작하는 방법에 초점을 맞추고 있습니다. "일정 부분은 하드 드라이브를 새로 구입해 데이터를 채워넣는 작업 것과 비슷합니다."라고 그는 말합니다.

퍼포먼스 캡처는 최신 VFX에서 가장 데이터 집약적인 영역 중 하나로, 머신 러닝에 적합합니다. ’혹성 탈출: 새로운 시대’에는 1,500개 이상의 VFX 샷이 있으며 대부분 퍼포먼스 캡처 데이터가 포함되어 있습니다. VFX가 전혀 포함되지 않은 장면은 38개에 불과하며, 2002년 두 개의 탑에서 골룸의 스크린 타임이 17분이었던 것과는 큰 차이가 있습니다.

Wētā FX는 머신 러닝을 사용해 얼굴을 위한 딥 러닝 솔버(FDLS)를 개발했습니다. 이 솔버를 통해 알고리즘에 따라 수행되는 퍼포먼스 캡처 렌더링을 사람이 전체적으로 검증할 수 있습니다. 대부분의 머신 러닝 툴처럼 속을 알 수 없는 "암흑 상자"가 아닙니다. 샷이 승인되면 애니메이터가 편집 또는 애니메이션 응용프로그램 내의 툴로 결과를 직접 스트리밍할 수 있습니다. Wētā FX는 Autodesk Maya를 자체 개발한 시각 효과 및 애니메이션 툴을 위한 플랫폼으로 사용합니다.

Wētā FX의 머신 러닝 기술은 아티스트가 더 많은 작업을 수행할 수 있도록 지원하는 것을 목표로 합니다 "우리는 기존의 핵심 인력에게 맡기고 싶었지만, 유인원의 얼굴을 하고 음성 대화를 나누게 하려면 훨씬 더 많은 작업이 필요했습니다."라고 윈키스트는 말합니다. 그는 FDLS가 ’혹성 탈출: 새로운 시대’에서 애니메이터들이 여러 샷에 적용할 수 있도록 각 캐릭터에 대한 일관된 기준을 설정하는 데 도움을 주었다고 덧붙입니다.

퍼포먼스 캡처 워크플로우에서는 모든 것이 스토리의 본질과 프로덕션 스타일로 귀결됩니다. "수십 개의 샷으로 구성된 캐릭터가 있는 경우 요구되는 설치 공간이 매우 넓기 때문에 모션 캡처의 접근 방식이 달라집니다. 이를테면 40명에 달하는 스태프가 필요할 수 있습니다."라고 윈키스트는 말합니다. "캐릭터가 하나라면 세트장에서 차지하는 공간이 훨씬 좁아지고 훨씬 효율적으로 작업할 수 있습니다. 따라서 우리가 참여할 때 가장 큰 고려 사항은 각각의 쇼와 예산에 가장 적합한 기술입니다.

"우리는 특정 프로젝트의 요구사항을 평가하고 그에 따라 계획을 세웁니다."라고 그는 덧붙입니다. "사운드 스테이지 또는 야외 장소에 완벽한 캡처 시스템을 적용할 수도 있고, 비디오 카메라 몇 대를 설치하고 연기자에게 약간 다른 마커를 주고 '액션'이라고 외친 뒤에 나중에 정리할 수도 있습니다."

드류 터니(Drew Turney) 소개

세상을 바꾸고 싶다고 생각했던 드류 터니는 성장 후 세상을 바꾸는 다른 사람들에 대해 글을 쓰는 것이 더 쉽다는 것을 깨달았습니다. 그는 기술, 영화, 과학, 책 등에 대해 글을 씁니다.