구글 딥마인드(Google DeepMind)가 엘리자 맥닛 감독의 단편 영화인 앤세스트라의 제작 과정을 공개했다. 영화 제작에 구글의 생성형 AI 모델인 제미나이(Gemini), 이마젠(Imagen), 비오(Veo)를 활용했기 때문이다. 프롬프트 개발, 이미지 생성과 영상 제작에 AI가 스태프로 참여한 것이다.
흔히 AI로 만든 영화라고 하면 기존의 영화 제작보다 훨씬 쉽고 간편할 것 같지만 실상을 들여다보면 그렇지만도 않다. 복잡한 세트장이나 막대한 비용이 들어가는 현지 촬영이 없다는 것은 장점이지만 원하는 장면을 만들고 그 속에 등장하는 인물, 분위기, 색상, 감정으로 구성된 장면이 일관성을 갖도록 만드는 것은 쉽지 않기 때문이다.
이번 작업에서 AI가 담담한 역할은 크게 세 가지다. 제미나이는 업로드한 이미지를 기반으로 영상을 만드는데 필요한 상세한 프롬프트를 개발했고, 이마젠은 영화의 핵심을 이루는 전반적인 분위기와 스타일에 맞는 이미지를 생성했다. 비오는 이렇게 만들어진 이미지를 움직이는 장면으로 만들어 내는 역할을 맡았다.
앤세스트라는 맥닛 감독이 자신의 출생에서 영감을 받아 만든 영화로, 심장에 구멍을 가지고 태어난 아이와 아이를 출산하는 어머의 사랑을 그린 영화다. 그래서 분만을 앞둔 엄마의 모습에서 출발해, 자궁 속 아이의 모습, 출산 후 엄마에게 안긴 아기의 모습 등으로 주요 장면이 연결된다.
이 과정에서 신생아를 안고 있는 엄마의 모습은 실제 배우 촬영과 AI가 생성한 아기 모습을 결합했고, 자궁 속 아기를 현실적으로 표현하기 위해 아트 디렉션(art direction), 구도(composition), 움직임(motion)을 이마젠 모델을 기반으로 이미지 스타일에 맞춰 미세 조정하는 과정을 거쳤다.
이미지는 제미나이와 협력을 통해 프롬프트를 개발하며 점점 구체화했고, 이렇게 생성한 이미지를 사용해 비디오로 만들 수 있었다. 이 과정에서 친밀하고 개인적인 느낌을 주는 영상을 목표로 삼고, 실사와 AI 생성 장면이 화질과 색상을 일치하도록 하고, 영상의 카메라 움직임과 피사체를 제어하는 과정이 필요했다.
이러한 과제를 해결하기 위해 제작팀은 더욱 향상된 개인화, 정밀한 모션 매칭, 실사 영상과 생성 영상의 혼합을 지원하는 새로운 기능을 비오에 추가했다. 아주 미세하고 정밀한 촬영 기술이 요구되는 부분은 가상의 3D 인체 모델을 만들고, 이 모델을 따라 이동하는 카메라로 생성한 초안을 바탕으로 비오를 통해 최종 영상을 제작했다.
앤세스트라는 구글 딥마인드 팀과 대런 어로노프시키 감독이 설립한 스토리텔링 혁신 전문 벤처기업인 프리모디얼수프가 제작한 세 편의 영화 중 첫 번째 작품이다. 이번 영화 제작에는 일반 사용자들이 생성하는 동영상이 아닌 영화 제작자들이 원하는 비디오 생성과 관련된 다양하고 새로운 시도와 기술이 녹아들어 있다.
스토리텔링, 전통적인 영화 제작과 생성 AI로 만든 비디오의 혼합, 개인화된 비디오 생성, 모션 매칭 비디오 생성 등 다양한 기술과 기법이 만들어지고 동원됐다. 영화 제작에서 AI가 비용 절감과 현실적인 제약을 극복하는 대안이 될 수 있다는 관점에서 관심을 가져볼만 하다.
흔히 AI로 만든 영화라고 하면 기존의 영화 제작보다 훨씬 쉽고 간편할 것 같지만 실상을 들여다보면 그렇지만도 않다. 복잡한 세트장이나 막대한 비용이 들어가는 현지 촬영이 없다는 것은 장점이지만 원하는 장면을 만들고 그 속에 등장하는 인물, 분위기, 색상, 감정으로 구성된 장면이 일관성을 갖도록 만드는 것은 쉽지 않기 때문이다.
이번 작업에서 AI가 담담한 역할은 크게 세 가지다. 제미나이는 업로드한 이미지를 기반으로 영상을 만드는데 필요한 상세한 프롬프트를 개발했고, 이마젠은 영화의 핵심을 이루는 전반적인 분위기와 스타일에 맞는 이미지를 생성했다. 비오는 이렇게 만들어진 이미지를 움직이는 장면으로 만들어 내는 역할을 맡았다.
앤세스트라는 맥닛 감독이 자신의 출생에서 영감을 받아 만든 영화로, 심장에 구멍을 가지고 태어난 아이와 아이를 출산하는 어머의 사랑을 그린 영화다. 그래서 분만을 앞둔 엄마의 모습에서 출발해, 자궁 속 아이의 모습, 출산 후 엄마에게 안긴 아기의 모습 등으로 주요 장면이 연결된다.
이 과정에서 신생아를 안고 있는 엄마의 모습은 실제 배우 촬영과 AI가 생성한 아기 모습을 결합했고, 자궁 속 아기를 현실적으로 표현하기 위해 아트 디렉션(art direction), 구도(composition), 움직임(motion)을 이마젠 모델을 기반으로 이미지 스타일에 맞춰 미세 조정하는 과정을 거쳤다.
이미지는 제미나이와 협력을 통해 프롬프트를 개발하며 점점 구체화했고, 이렇게 생성한 이미지를 사용해 비디오로 만들 수 있었다. 이 과정에서 친밀하고 개인적인 느낌을 주는 영상을 목표로 삼고, 실사와 AI 생성 장면이 화질과 색상을 일치하도록 하고, 영상의 카메라 움직임과 피사체를 제어하는 과정이 필요했다.
이러한 과제를 해결하기 위해 제작팀은 더욱 향상된 개인화, 정밀한 모션 매칭, 실사 영상과 생성 영상의 혼합을 지원하는 새로운 기능을 비오에 추가했다. 아주 미세하고 정밀한 촬영 기술이 요구되는 부분은 가상의 3D 인체 모델을 만들고, 이 모델을 따라 이동하는 카메라로 생성한 초안을 바탕으로 비오를 통해 최종 영상을 제작했다.
앤세스트라는 구글 딥마인드 팀과 대런 어로노프시키 감독이 설립한 스토리텔링 혁신 전문 벤처기업인 프리모디얼수프가 제작한 세 편의 영화 중 첫 번째 작품이다. 이번 영화 제작에는 일반 사용자들이 생성하는 동영상이 아닌 영화 제작자들이 원하는 비디오 생성과 관련된 다양하고 새로운 시도와 기술이 녹아들어 있다.
스토리텔링, 전통적인 영화 제작과 생성 AI로 만든 비디오의 혼합, 개인화된 비디오 생성, 모션 매칭 비디오 생성 등 다양한 기술과 기법이 만들어지고 동원됐다. 영화 제작에서 AI가 비용 절감과 현실적인 제약을 극복하는 대안이 될 수 있다는 관점에서 관심을 가져볼만 하다.
dl-ciokorea@foundryco.com
Read More from This Article: AI의 상상과 실사 영화의 콜라보···구글, 단편 영화 앤세스트라 제작 과정 공개
Source: News