[아카이브] Automatic Producing — 현대 과학과 인공지능이 영상편집제작에 미치는 영향

본 게시물은 '나츠산메루 란메아'가 2019년 당시 대학 생활을 할 때, '현대과학과 AI'라는 과목을 수강하며 제출했던 과제입니다. 앞서 포스팅 했던 'Q-Edit' 관련 게시물에 대한 근거를 뒷받침할 수 있을 것이라 판단해 기록하기로 결정했습니다.

현대과학과 AI의 발전이 '영상편집제작'에 미치는 영향

현대과학, 그리고 AI가 발전함으로써 우리 삶은 더욱 편해지고 있습니다. 가깝게는 로봇청소기와 스마트홈과 같은 유비쿼터스¹한 기기로부터, 멀게는 Boston Dynamics의 'Spot'²같은 산업용 로봇 같이 이미 다양한 부분에서 현대과학에 지대한 영향을 받고 있죠. 따라서 이번에는 현대과학과 AI가 "영상편집 및 제작"부문에서 우리에게 미칠 수 있는 영향을 알아보고자 합니다.

1. 유비쿼터스 — 어디에나 있는, 유비쿼터스 컴퓨팅의 경우 언제 어디서나 어떤 기기에서도 컴퓨팅할 수 있는 것을 의미한다.

2. Spot by Boston Dynamics — 사람이 접근하기 힘든 공사현장 및 그 외 위험한 구역에서 사람을 대체하여 투입할 수 있는 로봇. 개의 형상을 하고있다.

빅 데이터를 활용해 실패 없는 콘텐츠를 제작할 수 있다.

Netflix는 'House of Cards'의 리메이크를 제작할 때, 수집 된 빅 데이터¹를 활용하여 파일럿 에피소드² 없이 1,000억 원 가량의 제작비를 들여 두 시즌을 제작하겠다고 결정했습니다. Netflix가 분석한 데이터는 다음과 같았습니다:

• BBC에서 방영된 'House of Cards' 원작은 대중에게 사랑 받았던 작품이다.

• 많은 Netflix 사용자들은 David Fincher 감독의 작품들을 좋아한다.

• 'House of Cards' 원작 팬들은 Kevin Spacey가 출연한 영화와 David Fincher가 감독을 맡은 영화를 함께 시청했다.

  
  

따라서 Netflix는 House of Cards를 제작하기 전, 원작 드라마를 시청한 3,000명과 평가한 400명, 그리고 검색한 적이 있는 300명의 데이터를 수집 분석해 위와 같은 사실을 발견해 감독으로 David Fincher를, 주역으로 Kevin Spacey를 캐스팅했습니다.

1. 빅 데이터 — 시간이 지남에 따라 기하급수적으로 계속 증가하는 매우 크고 다양한 정형 데이터, 비정형 데이터, 반정형 데이터 모음. | 출처: Google Cloud

2. 파일럿 에피소드 — 드라마와 같은 연속적인 시리즈로 구성된 미디어 매체가 본격적인 방영을 하기 전, 해당 콘텐츠의 제작 결정을 위해 제작되는 시범 에피소드. | 출처: StudioBinder

이는 전통적인 미디어 매체에서는 할 수 없는 파격적인 행보이다.

이외에도 Netflix는 사용자들에게 추천 콘텐츠를 제공할 때도 빅 데이터를 분석하고 활용했습니다. 분석을 하는 목적은 기업이 이용자들에게 대한 통찰력을 얻도록 돕고, 기업이 하여금 마케팅을 최적화하고 더 나은 작품을 제공할 수 있도록 하는 것입니다.

TV, 라디오 등과 같은 전통적인 매체에서는 송출 중에 사용자가 어떤 행위를 하는지 알 수 없습니다. 평점은 단지 근사값이고, 소비자가 해당 매체를 소비하며 어느 지점에서 정지하고, 되감고, 빨리 돌리는지, 한 주에 언제 어떤 콘텐츠를 소비하는지, 어느 지역에서 소비하는지, 어느 기기에서 시청하는지, 어떤 콘텐츠를 탐색하는지 알 수 있는 방도가 없습니다.

그러나 Netflix는 시청자가 어떤 행동을 하는지에 대한 데이터를 수집하고 분석할 수 있었으며, 이를 충분히 활용하여 콘텐츠를 제작할 때 적은 손해로 큰 이익을 취할 수 있는 행보를 보였습니다.

빅 데이터는 할리우드에서도 손실을 최소화하기 위해 쓰이고 있다.

 이와 같이 빅 데이터는 영상 매체물 및 그 외 콘텐츠를 제작할 때 수집된 데이터를 기반으로 소비자들이 원하는 내용과 마케팅 전략으로 손실을 최소화하고 수입을 극대화할 수 있습니다. 또 다른 사례로는 할리우드에서 빅 데이터를 통해 영화 흥행을 예측하기 시작하여, 이를 통해 대형 프로모션에 사용되는 비용을 줄이려고 하고 있습니다.

실제로 영화 'Interstellar'의 제작사에서 신작 개봉을 앞두고 빅 데이터 분석으로 예상했던 흥행 수치보다 실패할 것이라 예측하여 마케팅 예산을 줄여 손실을 최소화 한 이력이 있습니다.

사람이 찍을 수 없는 구도를 찍을 수 있는 로봇 카메라 암의 등장.

촬영 부문에서는 현재 뮤직비디오 및 광고 시장을 중점으로 '로봇 암'의 수요가 증가하고 있습니다. 일반적인 달리¹ 및 크레인² 샷으로 표현하기 어려운 구도를 촬영하는데 쓰이며, 감독이 표현하고자 하는 카메라 구도를 로봇 암과 소프트웨어를 통해 미리 설정해두면, 오차 없이 해당 구도를 표현하여 굉장히 역동적이면서도 세밀한 작업이 가능합니다.

이에 따라 카메라 오퍼레이터가 하는 실수 요인을 없앨 수 있어 영화에서도 활용도가 높아질 예정으로 보고 있습니다. 로봇 암은 2018년도부터 수요가 기하급수적으로 늘고 있으며, 대표적으로는 Mark Roberts Motion Control 사의 Bolt가 있습니다.

1. Dolly Shot — 달리 샷, 카메라가 레일 위에서 피사체를 따라가는 촬영 형태 | 출처: 2bridges

2. Crane Shot — 크레인 샷, 일종의 기중기와 같은 장비에 카메라를 장착해 촬영하는 형태 | 출처: 불쥐의 눈으로 본 세상

인공지능을 통해 영상 편집을 자동으로.

편집 부문에서는 인공지능을 통해 영상 편집 과정을 자동화하려는 노력이 이루어지고 있었으며, 2024년 현재에는 실무에서 활용할 수 있을 정도로 발전했습니다. 대표적으로 유튜버 'Devon Crawford'는 다양한 영상 편집용 알고리즘¹을 만들었는데, 해당 알고리즘의 규칙은 다음과 같았습니다:

• 시간 순서대로 클립을 배치해 시퀀스 제작

• 무작위로 컷을 하고 해당 컷은 새로운 시퀀스에 추가

• 영상 길이가 설정 값에 도달할 때까지 컷 추가 작업 반복

처음 제작한 알고리즘은 굉장히 어색했지만, 차후 노래에 비트에 맞춰 컷을 배치하는 등의 규칙과 움직임을 추적해서 편집하는 규칙을 추가하니 유튜브에서 자주 볼 수 있는 VLOG 형식의 영상을 자연스럽게 편집할 수 있게 되었으며, 본인이 직접 편집한 영상과 비교해봐도 일부 미세한 컷들의 타이밍을 제외하면 큰 차이가 없어 실무적으로 활용할 수 있음을 증명했습니다.

1. 알고리즘 — Algorithm, 문제를 해결하거나 계산을 수행하는데 사용되는 절차. | 출처: TechTarget

한국에서도 KBS가 vVertigo 라는 도구를 개발해 사용하고 있다.

더불어 2019년, KBS는 KOBA Show¹에서 인공지능 기반 세로형 영상 편집시스템을 공개하였습니다. 해당 시스템은 무대 전경 영상에서 원하는 아이돌 멤버를 세로로 크롭해 자동으로 트래킹하는 시스템입니다.

이 시스템을 이용한다면 4K 카메라 여러 대와 카메라맨 여럿을 사용할 필요 없이, 8K 이상의 고화질 카메라 한 대만 무대를 향하게 배치한 후, 자동으로 편집하도록 하여 장비 유지비와 인건비가 많이 절약된다고 예측했습니다.

이는 실제로 vVertigo라는 편집 툴로 발전하여 2022년부터 대중에게 공개되어 배포되고 있으며, 음악 방송 직캠 영상, 영상 분석, 숏폼 콘텐츠 제작의 도구로 활용되고 있습니다.

1. KOBA Show — Korea international Broadcasting, Media, Audio & lighting Show의 약자로 매년 COEX에서 개최되는 국제 방송·미디어·음향·조명 전시회이다. | 출처: KOBAShow

알고리즘과 빅 데이터 기반 'Q-Learning' 강화 학습 모델을 통해 편집 과정을 완전 자동화할 수 있을 것이다.

따라서 Davon Crawford가 개발한 알고리즘과 강화 학습 모델 중 하나인 'Q-Learning' 모델을 활용한다면, 대중 또는 시사 참여자의 의견을 포상 및 처벌 개념으로 학습시켜 인공지능이 빅 데이터를 활용해 대중에 입맛에 맞는 영상을 알아서 제작할 수 있을 것으로 판단됩니다.

이제 노동자가 아닌 도구를 활용할 줄 아는 자가 되는 것이 우선이다.

결론적으로, 빅 데이터를 통해 관객이 어떤 내용의 콘텐츠를 소비하고 싶어하는지 파악할 수 있고, 인공지능을 통한 편집과 로봇을 통한 촬영으로 인력의 사용이 많이 줄 것으로 예상되며, 실제로도 많이 줄어들고 있습니다.

이는 영상 전공자들의 일자리가 없어진다고 볼 수 있으나, 영상 매체 제작 과정의 효율성이 증가하는 것입니다. 사람이 행할 수 있는 오류가 점점 줄어든 것이고, 이제 새롭게 생긴 도구들을 활용하는 것이 중요해진 것입니다.

기획 단계에서 어떤 콘텐츠를 제작할지 고민할 필요도, 카메라 앵글에 대한 제약도, 편집자에 대한 기다림도 필요 없어져, 제작 과정의 고민이 아닌 연출 부분에서 어떻게 표현하고 싶은가 깊게 고민하고, 스토리의 개연성과 표현 기법에 대한 심도 깊은 고민을 할 때입니다. 이것은 곧 작품 그 자체의 질을 높이기 위한 고민이 우선시 된다는 의미로도 볼 수 있습니다.