[아카이브] Q-Edit, 인공지능과 영상편집의 융합으로 더욱 빠른 영상 편집

본 게시물은 '나츠산메루 란메아'가 2019년 당시 대학 생활을 할 때, '콘텐츠 산업과 4차 산업혁명'이라는 과목을 수강하며 구상한 4차 산업혁명으로 인해 변화할 수 있는 콘텐츠 업계의 긍정적 영향 및 기술을 조사하는 과제의 아카이브 입니다. 다시금 보니 흥미로워서 이렇게 공유 드립니다.

강화학습의 인공지능과 영상 편집을 융합해 편집을 더욱 효율적으로.

우선적으로 제가 기획한 기술은 'Q-Edit'이라는 기술로 인공지능, 즉 AI를 학습시킬 때 사용하는 기법인 'Q-Learning'과 영상 등에서 편집을 의미하는 'Edit'을 합성하여, 장시간의 영상들을 빠르고 간편하게 편집할 수 있도록 도움을 줄 수 있는 기술 및 기능이 앞으로 콘텐츠 제작에서 많이 쓰이고 활용될 것이라고 생각하여 (2019년 당시) 기획했습니다.

이 기술은 다큐멘터리 또는 VLOG 같은 비교적 간단한 형태의 영상들을 편집할 때 Quick and Efficient하게, 'Q-Edit'할 수 있도록 인공지능 알고리즘을 통하여 편집할 수 있습니다.

더 빠르고 효율적인 편집을 위한 알고리즘과 인공지능.

기획 의도는 다음과 같습니다; 장편 영화, 드라마, 다큐멘터리 등을 촬영하면 무수한 양의 원본 영상과 클립들이 생겨나기 마련입니다. 하지만 여기서 최종 편집본에 실리게되는 영상은 극히 일부인데, 특히나 활용 가능한 클립 및 컷을 통칭하는 'OK컷'을 구별할 수 없는 다큐멘터리는 해당 영상들을 분류하는 것 만으로 엄청난 시간을 소요하게 될 것입니다.

또한, 유튜브에서 자주 게시되는 VLOG(비디오 블로그) 형태의 영상 또한 하루 24시간을 10분 남짓의 길이의 영상으로 담는 것이 매우 어려우며, 빠른 시간 내 자주 게시해야하는 유튜브 생태계 특성상 규칙적으로 영상을 게시하기 위해서는 많은 편집자를 고용해야하거나, 하루에 많은 시간을 편집하는데 소요해야합니다. 그러나 이는 시간적으로나 금전적으로 매우 어렵습니다.

따라서 이를 해결하기 위해선 자동으로 클립들을 구별하고, 기초적인 편집을 해줄 수 있는 인공지능이 있다면 매우 효과적이라고 판단해 이렇게 기획을 작성하게 되었습니다.

알고리즘과 Q-Learning을 통한 빠르고 효율적인 편집.

대표적인 아이디어는 크게 두 가지 입니다: '알고리즘'과 'Q-Learning'. 영상이 촬영된 시간과 삽입할 배경 음악 그리고 영상 자체의 움직임을 파악해 편집하는 알고리즘을 활용해 시퀀스를 알아서 배치할 수 있도록 하고, 제작된 영상을 유튜브와 같은 소셜 미디어에 게시하거나 내부 시사회를 통해 게시되는 의견 — 대표적으로 좋아요, 싫어요 그리고 시청 지속 시간 및 시청자 유지 구간 — 등의 관객 반응을 인공지능에게 포상 및 처벌의 개념으로 입력한 후, 인공지능 스스로가 시청자들의 취향에 맞는 영상을 제작하도록 훈련합니다.

시장에 있는 기술을 융합하여 구현한다.

제가 제시하는 기술은 전혀 구현하기 힘들지 않습니다. 유튜버 'Devon Crawford'는 본인의 VLOG를 음악의 비트에 맞추어 시간 순으로 영상 클립을 무작위 배치하는 알고리즘을 개발하였으며, 이를 발전시켜 영상 내 음향 유무와 움직임을 추적하여 흥미로운 부분만 삽입되게끔 하였습니다. 이렇게 제작된 영상은 큰 수정 없이 실제로 활용할 수 있었습니다.

외에도 KBS에서 개발한 'vVertigo' 및 Adobe에서 제공하는 프로그램인 Premiere Pro 내의 인공지능 도구를 통해 영상내 음향을 분석해 묵음이 너무 긴 부분이나 연출 음성(레디, 액션, 컷) 등을 인식해 자동으로 잘라주는 시스템이 이미 시장에 존재하므로, 이 두 기술을 활용하여 'Q-Edit'을 개발한다면, 사람의 큰 개입 없이 영상 최종본을 실제로 상영할 수 있을 퀄리티로 제작할 수 있다고 판단됩니다.

이에 더불어 강화학습을 혼합하여 인공지능에게 영상에 대한 대중의 반응을 기반으로 한 포상 및 처벌의 개념으로 구성한다면, 인공지능 스스로 대중에게 반응이 더 좋은 영상을 파악하여 지속적으로 발전하는 알고리즘 및 인공지능이 될 수 있을 것입니다.

작업 효율과 자금 절약의 기대효과.

따라서 제가 제시하는 'Q-Edit'은 알고리즘 및 인공지능을 통해 방대한 양의 영상을 소규모 시퀀스로 줄여 편집에 소모되는 시간을 대폭 줄이며, 대중의 반응을 추적하여 스스로, 알아서, 실시간으로 대중의 호응에 맞는 영상을 제작할 수 있게 될 것입니다.

또한, 자료 분류 및 가편집을 인공지능이 대체하므로써 이에 소모되는 자금(인건비 등)을 절약할 수 있어 소수의 편집 감독이 총괄하는 체제로 운영할 수 있게 됩니다. 이로 인해 전반적인 제작비를 작품의 질을 높이는 연출 및 제작비 또는 마케팅 비에 더 보탤 수 있다는 기대 효과가 있습니다.

따라서 인공지능과 영상편집의 융합의 결정체인 'Q-Edit'를 개발하고, 실제로 사용하게 된다면, 편집에 소요되는 전체 시간을 파격적으로 줄여 편집자의 노동 강도를 줄일 수 있으며, 작품의 전반적인 퀄리티를 높일 수 있게 됩니다.