배우 톰 행크스가 출연한 '포레스트 검프'에 AI 합성기술을 활용해 더빙 성우의 입 모양을 합성한 더빙영화의 한 장면. [플로리스(Flawless) 사이트 캡처]

[헤럴드경제=김민지 기자] “톰 행크스, 톰 크루즈가 자연스럽게 한국어로, 송강호가 능숙하게 프랑스어로 연기하는 시대가 곧 온다?”

인공지능(AI)을 이용해 영상을 합성하는 기술인 ‘딥페이크’를 영화 더빙 분야에 활용하는 기술이 개발됐다. 원작에 외국인 더빙 성우의 목소리를 합칠 때는 입 모양과 소리가 일치하지 않았지만 딥페이크 기술을 통해 완벽한 영화 더빙이 가능하게 했다.

그러나 일각에선 범죄에 악용되던 딥페이크가 배우들의 연기 영역까지 침해한다는 우려도 있다. 향후 기술이 더 발전되면 누구나 비슷한 영상을 만들어 더빙 성우의 일자리까지 위협할 수 있다는 전망도 나온다.

영국 데일리메일 등 외신에 따르면, 최근 영국 회사 플로리스(Flawless)는 새로운 AI 시스템 ‘트루싱크(TrueSync)’를 개발했다. 트루싱크는 영화 속 배우의 머리·얼굴·표정에 외국 더빙 성우의 입을 캡처해 3D 렌더링으로 합성하는 기술이다.

즉, 완벽한 영화 더빙을 위해 특정인의 이미지를 영상에 합성하는 ‘딥페이크’ 기술을 활용한 것이다.

기존 더빙 영화는 고유의 언어로 촬영된 원작에 더빙 성우들의 외국어 음성을 입혀 제작된다. 그러나 해당 기술이 적용되면 그 배우가 직접 외국어로 연기하는 것처럼 영상을 만들 수 있다.

영화 '버스657(Heist)' 주인공 로버트 드니로의 얼굴에 더빙 성우의 입술 움직임을 합성하는 과정. [플로리스(Flawless) 사이트 캡처]

플로리스 측은 “트루싱크는 인공지능을 사용해 여러 언어로 완벽하게 립싱크된 시각화를 만드는 세계 최초의 시스템”이라며 “그 결과로 (트루싱크를 적용한) 더빙은 원래 자료(원작)의 모든 뉘앙스와 감정을 포착한다”고 강조했다.

딥페이크 기술을 활용한 더빙은 아직은 스튜디오 속 인간 성우보다 더 제작이 어렵고 비용이 많이 든다. 그러나 비영어권의 다양한 언어로 제작된 영화가 전 세계에서 인기를 얻는 상황에서 해당 기술을 향후 영화계 발전에 큰 영향을 끼칠 것으로 전망된다.

플로리스의 공동 창업자이자 영화감독인 스콧 만(Scott Mann)은 앞서 와이어드(Wired)와의 인터뷰에서 “사람들은 곧 무언가를 보고 있을 것이고 그것이 원래 프랑스어로 촬영됐는지, 다른 언어로 촬영됐는지 깨닫지 못할 것”이라며“영화 제작자가 의도한 대로 정확하게 이야기를 전달할 수 있도록 플로리스를 설립했다”고 말했다.

현재 그는 ‘포레스트 검프(Forest Gump)’ ‘버스657(Heist)’ ‘어 퓨 굿맨(A Few Good Men)’ 등 트루싱크가 적용된 영화 데모 영상을 가지고 할리우드에서 본격적인 홍보에 나선 것으로 전해졌다.

그러나 일각에서는 이러한 딥페이크 기술이 영화계에 적용되기 시작하면 배우 고유의 연기 영역을 를 빼앗을 수 있다고 우려한다. 원작 배우 얼굴에 특정 입 제스처를 합성하는 것이기 때문에 본연의 연기를 해칠 수 있다는 지적이다.

또한 이를 활용했을 때 연기자와 기술운영자 간의 보상 문제, 더빙 성우들의 일자리 감소 등 여러 가지 논란이 불거질 수 있다.

영화계를 대표하는 미국 배우조합(Screen Actors Guild)의 던컨 크랩트리-아일랜드(Duncan Crabtree-Ireland) 변호사는 와이어드에 “이 기술은 합법적이고 윤리적으로 사용돼야 한다”며 “해당 기술의 사용은 관련된 공연자의 동의와 적절한 보상을 받아야만 한다”고 지적했다.

jakmeen@heraldcorp.com