퍼포먼스 캡처 소프트웨어: 인간의 현실을 디지털의 꿈으로 구현

퍼포먼스 캡처는 다양한 하드웨어 시스템을 사용하여 사람의 모든 움직임을 애니메이터와 VFX 아티스트가 매혹적인 디지털 캐릭터를 생성하는 데 사용할 수 있는 데이터로 변환합니다. 광학, 관성 및 마커리스 퍼포먼스 캡처로 구분할 수 있습니다.

광학 퍼포먼스 캡처에서는 모션 캡처 슈트를 입은 배우의 얼굴과 몸에 부착된 반사 마커 또는 LED 마커를 사용하며, 카메라로 퍼포먼스를 녹화합니다. 녹화된 마커 데이터는 움직이는 디지털 골격으로 변환되어 리깅된 3D 캐릭터 모델에 통합됩니다. 이 일반적인 퍼포먼스 캡처 방법을 통해 정확하고 사실적인 디지털 캐릭터를 얻을 수 있습니다.

IMC(관성 모션 캡처)는 마커가 아닌 배우의 신체에 장착된 가속도계, 자이로스코프, 자력계와 같은 센서의 움직임으로 데이터를 수집합니다. IMC 데이터는 실시간으로 처리될 수 있습니다. 광학 퍼포먼스 캡처에 비해 IMC는 동일한 정교한 카메라 설정이 필요하지 않기 때문에 구현이 더 간단합니다.

마커리스 퍼포먼스 캡처에는 마커, 슈트 또는 데이터 센서가 필요하지 않습니다. 대신 퍼포먼스 캡처 소프트웨어의 컴퓨터 비전 및 기타 알고리즘 기술과 같은 고급 기술이 3D 스캐너와 같은 비디오 프레임을 분석하여 움직임을 추적하고 이미지를 조작 가능한 3D 데이터로 디지털화합니다. 이 방법을 사용하면 배우가 몸에 부자연스러운 장치를 부착하지 않고 정상적으로 연기할 수 있습니다. 마커리스 퍼포먼스 캡처 기술에는 2019년 아이리시맨에서 로버트 드 니로와 조의 젊은 모습을 만들기 위해 마틴 스콜세지가 사용한 것 같은 멀티 뷰 카메라 설정이 필요할 수 있습니다.

초기 단계에서는 마커리스 퍼포먼스 캡처가 다른 방법보다 정확도가 떨어지는 것으로 간주되었습니다. 그러나 더 많은 AI(인공 지능) 기술을 활용하여 퍼포먼스 캡처 소프트웨어가 향상됨에 따라 이제 모든 스마트폰에서 마커리스 퍼포먼스 캡처를 사용할 수 있어 누구나 앱을 통해 자신의 만화 아바타를 생성할 수 있게 되었습니다.

어떤 시각적 매체나 데이터 캡처 방법을 사용하는지와 관계없이, 퍼포먼스 캡처 소프트웨어는 미디어 포스트 프로덕션 팀이 인간 연기자의 '영혼'으로 디지털 캐릭터를 구현하는 데 사용하는 워크플로우에서 중요한 공통 분모입니다. 또한 이 소프트웨어는 퍼포먼스 캡처를 XR(확장 현실)(영문) 미디어(가상, 증강, 혼합 현실)에 포함하는 것 외에 실시간 퍼포먼스 캡처를 통한 라이브 엔터테인먼트에서도 중요한 역할을 합니다.

모션 캡처(mocap)와 퍼포먼스 캡처(Pcap)는 밀접하게 연관된 프로세스이며 두 용어는 종종 동의어로 사용됩니다. 그러나 더 정확하게 설명하면 퍼포먼스 캡처는 과거의 모션 캡처에 대한 지속적인 혁신의 결과라고 할 수 있습니다.

모션 캡처는 특수한 모션 캡처 슈트와 모션 캡처 소프트웨어를 통해 스턴트 연기자, 댄서 또는 배우의 주요 신체 움직임을 데이터로 기록하는 반면, 퍼포먼스 캡처는 연기자의 음성, 주요 신체 움직임 및 위에서 자세히 설명한 퍼포먼스 캡처 소프트웨어 및 기타 기술을 통해 몸짓, 얼굴 표정 같은 미묘한 움직임을 캡처합니다.

1990년대에 등장한 초기의 모션 캡처는 버추어 파이터 1 & 2와 같은 비디오 게임과 배트맨 포에버 및 자 자 빙크스라는 캐릭터가 등장하는 스타워즈: 에피소드 1 - 보이지 않는 위험 같은 영화에서 사용되었습니다. 모션 캡처와 퍼포먼스 캡처의 흥미로운 전환은 2000년대 초반에 앤디 서키스가 반지의 제왕: 두 개의 탑과 왕의 귀환에서 표현한 골룸 덕분에 널리 알려졌습니다. 골룸을 표현하기 위해 새로운 실시간 모션 캡처 시스템(퍼포먼스 캡처라고도 함)이 활용되었지만 제작자는 여러 단계에서 그의 퍼포먼스를 캡처했습니다. 그 후로 퍼포먼스 캡처 기술은 전체 퍼포먼스를 실시간으로 캡처하면서 배우에게 물리적인 부담을 덜 주는 방향으로 진화했습니다.

퍼포먼스 캡처 소프트웨어와 기술이 지속적으로 저렴해지고 강력해짐에 따라 퍼포먼스 캡처의 잘 알려진 사례가 많이 등장했습니다. 서키스는 혹성 탈출 리부트 3부작(2011~2017)의 시저와 스타워즈: 에피소드 7 & 8(2015~2017)의 지도자 스노크 등 많은 작품을 대중화했습니다. 어벤져스: 인피니티 워(2018) 및 어벤져스: 엔드 게임(2019)에서 조슈 브롤린의 타노스도 퍼포먼스 캡처로 촬영되었으며, 조 샐다나의 네이티리 및 현재 촬영 중인 아바타의 다른 캐릭터도 마찬가지입니다.