어제 밤, 정말 기쁘게도 절친이자 우상인 하이신(海辛)과 아원(阿文)을 모시고 함께 라이브 방송을 진행했습니다.
두 분이 AI 영상 작품 '루브르 고양이(Louvre Cat)'의 전체 제작 과정을 공유해 주셨어요.
듣고 나서 깜짝 놀랐습니다. "와, 진짜 다 알려주시네요. 하나도 숨기지 않고 이렇게 다 공유해 주시다니…"
진심으로, 이번 라이브 방송은 실용적인 정보가 정말 가득했어요. 요약하고 싶을 정도가 아니라 너무 많아서 차마 요약을 못했을 정도였죠. 밤새도록 이 대본을 꼼꼼히 정리하고, 발표 PPT와 매칭까지 해서, 두 분의 허락을 받아 지금 여러분께 공유합니다.
이 소중한 경험들이 AI 활용과 창작 작업에 여러분께 영감을 줄 수 있길 바랍니다.
어쨌든, 두 분처럼 재능이 있으면서도 아낌없이 나와서 모든 것을 공개하는 분은 흔치 않으니까요.
모든 것은 영화에서부터 시작됩니다. 그것이 출발점이에요.
Ring Hyacinth
@ring_hyacinth
·
푸둥 아트 뮤지엄의 초청을 받아 루브르 박물관의 상하이 첫 전시를 위한 공식 홍보 영상을 AI로 제작했습니다. 마음에 드셨으면 좋겠네요!
루브르 박물관 상하이 데뷔전: '패턴의 기적: 루브르 소장 인도, 이란, 오스만 예술 걸작전'
2025년 12월 13일 ~ 2026년 5월 6일, 푸둥 아트 뮤지엄에서 대규모 개최.
주최: 루브르 박물관, 푸둥 아트 뮤지엄
제작: 루자쭈이 그룹
더 보기
73 162 992 135K
이 두 편의 영화는 그 당시 정말 숨 막히게 아름다웠어요.
예술, 이것이야말로 진정한 예술이죠.
이번 라이브 방송은 이 두 영화의 주요 제작자인 하이신과 아원이 '루브르 고양이'에 대해 아낌없이 공유하는 자리입니다.
다음은 라이브 방송 대본으로, 모두 하이신 & 아원의 목소리로 전달됩니다.
————
안녕하세요, 저희는 하이신과 아원입니다. AI로 작업하는 디지털 아티스트이자 창작 듀오입니다.
오늘은 최근 푸둥 아트 뮤지엄을 위해 제작한 공식 홍보 영상의 전체 과정, 즉 콘셉트부터 스토리보드, AI 도구 실행까지 모두 공유하고자 합니다.
저희는 이전에 비교적 유명한 단편 영화 두 편을 제작했습니다. 첫 번째는 작년 초, 베이징 데일리(Beijing Daily)의 초청으로 베이징의 도시 문명 홍보 영상 '자금성 고양이 출근하다(자금성猫上班)'를 만든 것입니다. 완성 후 인터넷에서 큰 반향을 일으켰고 많은 기회를 가져다주었습니다. 오사카 엑스포 전시와 TED 2025 메인 무대 9호관 개막 영상으로 상영된 것도 그중 하나예요.
그 TED 행사에서 샘 올트먼(Sam Altman)이 11호관에서 인터뷰를 하기도 했는데, 잠시나마 같은 무대를 공유하게 되어 영광이었습니다. 저희 영화가 직접 가보지도 못한 나라까지 가게 될 줄은 상상도 못했어요.
두 번째 영화는 올해 상하이 푸둥의 도시 문명 홍보 영상으로, '고양이' 콘셉트를 이어받아 '문명 고양이 푸둥 여행(文明猫漫游浦东)'이라는 제목으로 제작되었습니다. 공개되자마자 큰 화제를 모았고, 상하이 발표(上海发布), 푸둥 문명(浦东文明) 등 공식 계정이 리포스트하며 데이터도 훌륭했습니다.
오프라인에서는 루자쭈이 지하철역 지하 통로의 초장대 스크린과 슈퍼 브랜드 몰(Super Brand Mall)의 오리엔탈 펄 타워를 마주한 초대형 스크린에 등장했고, 루자쭈이 핵심 지역에서 순환 상영되었습니다. 또한 오리엔탈 펄 아래 12면 스크린에서도 재생되었습니다. 심지어 상하이시 인터넷 정보 판공실(上海市网信办)로부터 '인터넷 우수 커뮤니케이션 작품상'을 받기도 했습니다. 저희는 항상 고양이 관련 시리즈를 작업해 왔습니다. 말하자면 고양이 전문가라고 할 수 있겠네요.
연말에 푸둥 아트 뮤지엄이 저희에게 연락해 왔습니다. 그들은 상하이에서 루브르 박물관의 대규모 공식 전시회를 개최하는데, 상하이에서 처음 열리는 이런 규모의 전시였고, 공식 홍보 영상을 제작해 달라고 요청했습니다. 박물관 측은 약 1~2개월의 긴 홍보 기간을 커버할 수 있는 단편 영화 두 편을 원했습니다.
저희는 최종적으로 두 편의 영화를 완성했습니다. 전반부는 '프랑스에서 온 흰 고양이가 상하이에 오는' 이야기를 다루면서 후반부를 위한 이스터 에그를 심어 놓았습니다.
후반부는 '푸둥 홍보대사 오렌지 고양이가 푸둥 아트 뮤지엄에 전시를 보러 가는' 이야기입니다.
두 영화 모두 실제 전시 유물을 중심으로 스토리를 구성했습니다. 전반부는 공작 문양 접시(Peacock Pattern Plate)를 중심으로, 후반부는 '시 짓기 대회 비석(Poetry Competition Tablet)'을 중심으로 합니다. 후반부에서는 음악도 재가공하여 색소폰을 추가해 재즈 변주를 가미해 상하이 느낌을 더했습니다.
영화가 공개된 후 각종 플랫폼에서 퍼져 나갔고, 박물관 공식 영상 계정 데이터도 훌륭했습니다. 저희 계정에는 많은 시청자들이 이 두 편의 단편 영화 때문에 전시를 보기로 결정했다는 쪽지를 보내왔습니다.
오프라인 재생 시나리오도 있습니다. 예를 들어 와이탄(外滩) 스크린에서 내년 5월까지 순환 상영될 예정입니다.
다음으로 저희의 전체 창작 과정과 몇 가지 인사이트를 공유하고자 합니다. 여러분께 도움이 되길 바랍니다.
I. 캐스팅
첫 번째로 공유할 점은 캐스팅, 그리고 왜 최종적으로 흰 고양이와 오렌지 고양이를 선택했는가입니다.
고양이 테마를 계속 이어가기로 결정했지만, 고양이 자체에도 많은 고민이 담겨 있습니다. 처음에는 푸둥 아트 뮤지엄의 테마 색상에서 시작했습니다. 박물관은 주로 흑백이므로, 주인공으로 가장 먼저 떠오른 것은 얼룩 고양이(흑백)였습니다.
초기 버전의 이야기는 최종 영화와 완전히 달랐습니다. 핵심 전시품은 공작 접시와 시 비석이 아니라 유화를 선택했습니다. 얼룩 고양이가 원래 그림 속 왕의 발치에서 자고 있다가, 박물관 직원이 그림을 옮길 때 '떨어져 나오는' 설정이었죠. 고양이는 루브르 박물관을 탐험하기 시작하고, 마침내 전시품들이 상하이로 가는 트럭에 실려 루브르를 떠나는 것을 목격합니다. 얼룩 고양이는 스케이트보드를 타고 트럭을 쫓아가기로 결심하고, 도중에 많은 스릴 넘치는 작은 사건들이 발생합니다. 심지어 데모도 만들어 봤습니다.
하지만 여러 이유로 이 계획을 포기했습니다. 가장 직접적인 이유는 긴 홍보 기간이었습니다. 박물관은 두 편의 영화를 원했고, 트럭 추격전을 하게 되면 두 번째 부분이 분할 후 로드 무비처럼 보일 수 있었고, 톤이 어긋나며 추격에 너무 많은 에너지를 쏟게 되어 '공식 박물관 홍보 영상'의 분위기와 맞지 않았습니다. 그래서 얼룩 고양이 계획을 완전히 폐기했습니다.
박물관이 두 편의 영화를 요청한 후, 저희의 첫 번째 직관적인 해결책은 간단했습니다. 얼룩 고양이를 흰 고양이와 검은 고양이로 나누는 것이었습니다. 진행하면서 검은 고양이는 최종 영상에서 너무 어둡게 보여 눈에 띄지 않을 것이라는 것을 알게 되었습니다. 주인공이 '더 밝게' 보여 관객의 시선을 더 빨리 사로잡기를 원했기 때문에 '하나는 검정, 하나는 흰색'에서 '하나는 흰색, 하나는 오렌지색'으로 조정했습니다. 또한 오렌지 고양이는 이전 영화에서 상하이 홍보대사 역할을 했던 오렌지 고양이와 연결되어 상하이 파트에 더 적합했습니다. 프랑스 파트는 흰 고양이가 더 잘 어울렸습니다.
II. 톤 설정
두 번째는 톤 설정입니다.
시각적 요소와 음악을 먼저 결정한 다음, 모든 스토리보드를 진행합니다.
영화를 만들 때 매우 필요한 단계는 '영화 톤'을 결정하는 것입니다. 톤은 두 부분으로 구성됩니다. 첫 번째는 핵심 시각적 요소의 모양과 촬영 느낌입니다. 두 번째는 음악입니다. TVC의 경우 음악은 관객에게 어떻게 느껴야 하는지를 직접적으로 알려주고, 반대로 편집 리듬을 안내하여 샷이 빠른 컷인지 느린 컷인지 결정합니다.
이 프로젝트에는 많은 정보가 포함되어 있었습니다. 푸둥 아트 뮤지엄, 루브르 박물관, 이슬람 예술, 상하이, 파리 등등.
저희는 먼저 푸둥 아트 뮤지엄의 '거울의 홀(Mirror Hall)'에 주목했고, 거울이라는 콘셉트가 구조에 완벽하다고 느꼈습니다. 루브르 박물관과 푸둥 아트 뮤지엄은 거울 관계를 가질 수 있고, 상하이와 파리, 그리고 두 마리 고양이도 마찬가지입니다. 그래서 처음에는 '분할 화면 애니메이션'을 구상했습니다. 한쪽은 파리, 다른 쪽은 상하이를 보여주고, 마지막에 푸둥 아트 뮤지엄에서 만나는 이야기였죠.
초기 탐색용 시각 자료를 몇 가지 만들었습니다. 예를 들어 와이탄에서 위쪽으로 푸둥 아트 뮤지엄을 바라보고 아래쪽으로 루브르 박물관을 배치한 이미지, 그리고 두 마리 고양이가 각자 책상에서 포스터를 바라보는 구도 등이 있습니다.
나중에 아원이 이 시각 자료를 바탕으로 '대대적인 개편'을 단행했습니다. '루브르 박물관'을 위쪽에 배치하고 '푸둥 아트 뮤지엄'을 아래쪽에 반사된 이미지로 배치했습니다. 이미지는 매우 공기감이 있고, 영화 같은 질감과 우아한 분위기, 사실적이고 밝은 조명을 가지고 있었습니다. 또 다른 세트의 시각 자료는 '포스터'를 책상에서 건물 자체로 옮겨 환경 정보를 더 자연스럽게 만들었습니다.
이를 바탕으로 전체 영화의 시각적 분위기를 결정했습니다.
III. 음악
세 번째는 음악입니다.
저희는 일반적으로 음악을 매우 일찍 작업합니다. 음악이 리듬을 결정하고, 리듬이 샷의 수와 편집 전략을 결정하기 때문입니다. 이 프로젝트의 경우 주요 악기를 피아노로 결정했습니다. 두 가지 이유가 있습니다. 하나는 거울 반사 질감의 '물결' 느낌이 깔끔한 피아노 코드를 연상시킨다는 점이고, 다른 하나는 거울의 홀의 격자 구조가 피아노 건반의 질서를 떠올리게 한다는 점입니다.
내러티브 단편 영화 악보에는 '호(弧)'가 필요합니다. 처음부터 끝까지 같은 리듬의 화이트 노이즈처럼 작동해서는 안 됩니다. 이야기에는 시작, 전개, 클라이맥스, 결말이 있어야 하며, 음악도 이에 상응하는 구조를 가져야 합니다.
저희는 Suno를 사용합니다. 좋은 음악을 생성할 뿐만 아니라 세그먼트를 세밀하게 제어할 수 있기 때문입니다. 각 멜로디의 길이를 지정하고 특정 지점에서 어떤 감정을 불러일으켜야 하는지, 예를 들어 갑작스러운 전환, 긴장감, 서스펜스 등을 명확히 알려줄 수 있습니다.
이번 음악 구조는 대략 다음과 같습니다. 도입부는 매우 단순한 피아노 코드로 관객을 이야기에 천천히 끌어들입니다. 그런 다음 주인공과 환경을 따라가는 세그먼트가 이어집니다. 그 후 작은 장애물을 만들어 관객이 계속 시청하도록 유도하는 전환 세그먼트가 있습니다. 그런 다음 두 번째 멜로디로 진입하여 주인공의 행동과 클라이맥스를 담아냅니다. 마지막으로 결말부에서는 아름다운 피아노 코드로 돌아가길 원했기 때문에 특별히 아웃트로를 추가했습니다.
Suno의 장점 중 하나는 마음에 들지 않는 세그먼트를 무한히 재생성할 수 있다는 것입니다. 프랑스 음악을 완성한 후 전체 노래를 내보내고 다시 Suno에 업로드하여 멜로디는 유지하면서 상하이 파트용 변주곡을 만들었습니다. Audio Influence를 50%로 설정하여 기본 멜로디는 유지되도록 한 다음, 색소폰을 추가하고 올드 상하이 재즈 느낌을 내라고 지시했습니다. 원래 멜로디에 매우 적절한 변주를 만들어냈습니다.
한 번은 다소 과장된 결말을 제시하기도 했지만, 결국 더 절제된 느낌을 위해 원래 결말로 되돌렸습니다.
또한 이 악보들을 저희 고양이 '니카(Nika)'의 아이덴티티로 온라인에 게시하고 있습니다. 니카는 '고양이 행성의 전설적인 음악가'로 불리며, 고객을 위해 작업한 일부 TVC 악보도 포함되어 있습니다.
IV. 스토리보딩
다음은 스토리보드 접근 방식입니다.
저희의 개인적인 미적 감각이 매우 강하기 때문에, 이것은 경험을 공유하는 데 가깝습니다.
오프닝 스토리보드의 기본 요구 사항은 '정보 밀도가 높은 것'입니다.
첫 번째 샷에서 이야기가 무엇에 관한 것인지 암시하도록 노력하세요. 예를 들어, '자금성 고양이 출근하다'의 첫 번째 샷은 고양이가 눈을 뜨며 동공에 자금성의 반사가 비치는 장면으로, '고양이와 자금성'을 빠르게 설명합니다. '문명 고양이 푸둥 여행'의 시작은 고양이가 상하이 지도를 펼치는 장면으로, '고양이가 상하이로 여행 온다'는 것을 빠르게 설명합니다.
루브르 흰 고양이 파트의 경우, 세 개의 샷 안에 이야기를 설명하고자 했습니다. 첫 번째 샷은 고양이가 포스터를 바라보며 관객의 마음속에 '전시 포스터' 키 비주얼을 심어줍니다. 두 번째 샷은 클로즈업으로 주인공을 소개합니다. 세 번째 샷은 와이드 샷으로 환경을 설정하면서 동시에 '루브르가 푸둥 아트 뮤지엄을 반사하는' 거울 관계를 보여줍니다.
스토리보드에는 리듬감도 필요합니다. 리듬은 대부분 샷 크기의 변화에서 비롯됩니다. 와이드 샷이 계속 이어지면 매우 단조로워지므로, 와이드 샷과 클로즈업을 번갈아 가며 확장과 수축의 느낌을 만듭니다. 오프닝 샷에 정보가 너무 많으면 관객이 첫 1초 동안 어디를 봐야 할지 모르기 때문에, 간단한 애니메이션으로 시선을 유도합니다. 전반부는 '커튼 열기' 방식을 사용했고, 후반부도 고전적인 오프닝 디자인을 사용했습니다.
그런 다음 이야기의 첫 번째 부분이 나옵니다. 이것은 핵심 부분이자 저희가 매우 만족하는 스토리보드 세트입니다.
이 시퀀스의 목적은 흰 고양이가 루브르 박물관에서 나와 공작 문양 접시와 사랑에 빠지고 환상적인 상상을 하는 모습을 보여주는 것입니다.
이 시퀀스는 두 가지 정보를 전달해야 합니다. 주인공이 루브르에 있다는 것과 주인공이 공작 접시를 좋아한다는 것입니다.
첫 번째 샷은 고전적인 루브르 전시품으로 장소를 설정합니다. 저희는 사모트라케의 니케(Nike of Samothrace)라는 매우 고전적인 조각상을 선택했습니다. 일부러 모나리자를 선택하지 않은 이유는 너무 흔해서 진부해 보일 수 있기 때문입니다. 구도 면에서 카메라를 조각상에만 집중시키지 않았습니다. 관객이 고양이에 집중하길 원했기 때문입니다. 그래서 조각상을 배경에 장식으로 배치하고 극단적인 로우 앵글 샷을 사용하여 전경의 흰 고양이가 프레임에서 더 많은 공간을 차지하게 하여 관객이 강제로 고양이에 집중하게 하면서도 '여기가 루브르다'라는 것을 즉시 인식하게 했습니다.
두 번째 샷은 이슬람 예술을 미묘하게 소개하기 시작합니다. 인스타그램에서 유명한 한 아티스트를 참고했는데, 그의 일반적인 작업 방식은 일상 생활 장면을 촬영한 후 그 안의 상징들을 움직이게 만드는 것입니다.
그 느낌은 환상적이면서도 실제生活中で 일어날 수 있을 것 같은 느낌이 들어 훌륭했습니다. 처음에는 더 과장된 버전을 만들었습니다. 예를 들어 고양이가 미끄러지듯 지나갈 때 장면 전체가 패턴으로 변하는 것 등이었지만, 나중에 움직임이 너무 많아 실제 생활 같지 않다고 느껴져 더 절제된 고정 카메라 방식으로 변경하여 고양이가 지나갈 때 배경 패턴이 미묘하게 움직이도록 했습니다.
많은 버전을 시도했습니다. 마법진 같은 패턴, 카메라가 내려가 이슬람 예술 세계로 들어가는 것, 패턴이 화면 밖으로 튀어나오는 것 등. 나중에 '재미있는 것'만으로는 부족하다는 것을 깨달았습니다. 감정적 수확도 필요했습니다. 그래서 대비 디자인을 사용했습니다. 억압적인 극단적인 하이 앵글 샷으로 시작하여 카메라가 최종 프레임으로 이동할 때 거대한 열린 공간으로 진입하여 관객에게 갑자기 깨달음을 주는 느낌을 줍니다. 최종 샷에서는 양쪽의 패턴이 컨베이어 벨트처럼 움직여 고양이를 열린 전시 공간으로 안내합니다.
또한 절충안을 하나 만들었습니다. 프레임에 인물 초상화를 넣지 않기로 한 것입니다. 일단 인물 초상화가 프레임에 나타나면 관객은 무의식적으로 모든 초상화를 찾게 되고, 그들의 주의는 고양이에게서 빼앗깁니다. 저희는 관객이 고양이를 따라가기를 원했기 때문에 시선을 쉽게 빼앗는 요소를 최대한 제거하여 표현을 미묘하게 유지했습니다.
이 샷의 최종 프레임 디자인에서 아원은 매우 영리한 작업을 수행했습니다. 공작 문양 접시를 전시 공간에 직접 배치하여 핵심 전시품이 클라이맥스 동안 일찍 등장하도록 한 것입니다. 최종 프레임을 결정한 후, 첫 번째 프레임과 카메라 움직임을 다시 디자인하여 샷을 더 통제된 느낌으로 만들었습니다.
감정적 클라이맥스 후에는 약간의 새로운 자극을 추가해야 했습니다. 고양이가 올라간 후 공간을 보거나 다른 전시품을 보는 것 등을 생각했지만, 어느 것도 충분히 감동적이지 않았습니다.
나중에 고양이가 공작새를 보고, 그 공작새가 살아있다는 아이디어가 떠올랐습니다. 이 지점에서 즉시 예술 작품이 살아난 것 같은 느낌이 들었습니다. 리듬 면에서도 단계별 진행을 적용했습니다. 공작새가 먼저 고개를 돌리고, 그 다음 몸을 돌리고, 마지막으로 날개를 펼쳐 마지막 순간에 놀라움을 남겼습니다.
클라이맥스 후에는 현실로 돌아가야 합니다. 매우 간단한 방법을 사용했습니다. 고양이의 클로즈업으로 다시 컷하여 상상하는 듯한 느낌을 준 다음, 객관적인 샷으로 컷하여 현실을 설정합니다. 고양이는 실제로 공작 접시 앞에 서서 전시품을 바라보고 있습니다. 그러면 관객은 환상적인 세그먼트가 고양이의 상상에서 비롯되었음을 이해합니다.
그런 다음 전환 세그먼트가 나옵니다. '전시품이 상하이로 간다'는 것과 '고양이가 상자에 들어가 함께 가기로 결정한다'는 것을 설명하는 것이 목적입니다.
몽타주와 분할 화면 처리를 사용했습니다. 짧은 시간에 많은 정보를 전달할 수 있기 때문입니다. 이러한 샷을 만들 때는 가능한 사람을 잘라냈습니다. 동물 영화에서 사람의 얼굴은 쉽게 시선을 빼앗습니다. 관객은 사람에게 더 쉽게 공감하고 주의가 빼앗기기 때문에, 얼굴을 보여주지 않고 클로즈업과 동작만 남겼습니다.
두 번째 세그먼트는 원래 비행기 화물칸 상자 안에서 고양이에게 일어나는 일에 관한 것이었습니다.
플롯을 완전히 결정하기 전에 Sora를 사용하여 몇 가지 샘플을 돌려 빠르게 리듬과 구성을 확인하고, 놀라움과 레퍼런스를 찾습니다. 실행 후 마음에 들지 않았습니다. 이미지가 공기감이 없고 색상이 누렇고 오래되었으며 어둡고, 이전에 설정한 톤과 일치하지 않았기 때문입니다. 플롯 논리도 작동하지 않았습니다. 상자 안의 고양이는 외부의 전시품을 볼 수 없고, 전시품도 상자 안에 있어야 하기 때문입니다.
그래서 '상자 안 엿보기' 세그먼트 전체를 폐기하고 초점을 핵심 내러티브로 되돌렸습니다. 흰 고양이가 공작 접시와 함께 상하이로 가는 이야기입니다.
상하이 도착 장면에서 처음에는 비행기가 루브르에서 상하이로 날아가는 사실적인 전환을 원했고, VEO 3로 실행해 보았습니다. 또한 고전적인 지도 마이크로 애니메이션도 시도해 보았습니다. 하지만 이러한 계획은 모두 기각되었습니다.
지도는 관객이 파리와 상하이의 위치, 비행 거리가 정확한지 등 합리성에 특히 신경 쓰게 되어 주의가 분산되기 때문입니다. 또한 '불꽃 지도에 발자국이 있는' 더 추상적인 계획도 시도했지만, 샷이 너무 와이드해서 마음에 들지 않았습니다. 관객이 핵심 피사체가 프레임의 더 큰 부분을 차지하는 것을 보는 것을 선호했습니다.
마지막으로 '루브르 첫 번째 프레임'과 '푸둥 아트 뮤지엄 첫 번째 프레임' 사이를 직접 전환하기로 결정하여 전환을 더 클로즈업 되고 집중된 방식으로 만들었습니다.
많은 유형의 전환 애니메이션을 테스트했습니다. 카펫이 펼쳐지는 것, 타일이 뒤집히는 것, 비행기 이미지 등. 마침내 비행기를 선택했습니다. 비행기 이미지가 전환 전후의 샷에 나타났기 때문입니다. 연속적인 이미지는 관객이 중간에 현실에서 모자이크 아트 스타일로 점프하더라도 더 편안하게 느끼게 합니다.
상하이에 도착한 후의 스토리보딩은 더 직접적입니다. 먼저 멀리서 가까이로 푸둥 아트 뮤지엄을 보고, 그런 다음 고양이가 박물관을 향해 달려가는 모습을 봅니다. 저희가 특히 좋아하는 샷 중 하나는 고양이가 물가를 달리며 물에 비친 그림자가 공작새인 장면입니다.
이 아이디어는 처음에 '더 거칠었습니다'. 고양이가 달리면서 공작새, 말, 낙타 등 많은 동물의 그림자를 볼 수 있기를 바랐습니다. 이는 '모든 이슬람 예술이 함께 상하이에 도착했다'는 느낌을 주기 위함이었습니다. 텍스트-이미지와 텍스트-비디오를 시도했지만, 어느 것도 작동하지 않았습니다. 또한 고양이가 마음속으로 자신을 호랑이로 보고 그림자가 호랑이가 되는 것도 고려했지만, 영화와의 관련성이 너무 약해서 빠르게 제거했습니다.
나중에 이렇게 핵심 창의성을 한 번에 AI에 직접 맡기는 것은 신뢰할 수 없으며, 실행을 위해 분해해야 한다는 것을 발견했습니다. 먼저 스토리보드를 손으로 그려 약간 하이 앵글 샷을 결정하여 관객의 시선이 자연스럽게 호수 반사에 떨어지도록 했습니다.
구성은 '고양이 그림자가 공작새이다'로 단순화되었으며, 이것이 메인 라인과 가장 직접적으로 관련됩니다. 먼저 Photoshop을 사용하여 원하는 관계를 합성한 다음, 모델에 넘겨 통일된 스타일과 역동성을 완성했습니다. 전체 과정에서 우리는 조잡한 손그림조차도 AI가 이해하고 사람들이 소통하는 데 더 직관적이라는 것을 강하게 느꼈습니다.
클로징에서는 '거울' 콘셉트를 다시 반영하여 더 절제되고 아름다운 이미지로 마무리했습니다.
스토리보딩은 여기까지입니다.
다음으로 아트 부분은 아원에게 넘깁니다.
V. 아트
저(아원)는 주로 두 가지 작업을 합니다.
첫째, 하이신의 원고 스토리보드를 최종 시각 자료로 변환합니다. 둘째, 전체 아트 스타일을 제어합니다.
프로젝트를 받은 후 즉시 이슬람 예술에 대해 배우러 갔습니다. 평소에 접할 기회가 적은 예술 스타일이지만 매우 독특합니다. 몇 가지 핵심 키워드를 익히면 이국적인 특징을 가진 모자이크 스타일의 예술을 쉽게 만들 수 있습니다. 라이브 방송에서 매우 유용한 4가지 키워드를 요약했습니다. 가장 자주 사용하는 두 가지는 '이즈닉 스타일(Iznik style)'과 '모자이크 아트(Mosaic art)'입니다. 여기서 모자이크는 모자이크 아트를 의미하며, 픽셀 아트와는 다릅니다.
영화 제작에는 두 가지 원칙이 있습니다. 첫눈에 예뻐야 하고, 다시 봐도 질리지 않아야 합니다. AI 시대에 관객이 기꺼이 당신의 단편 영화를 끝까지 시청하는 것은 매우 귀중한 일입니다. 저희에게 예뻐 보인다는 것은 영화 같은 느낌과 같습니다. 질리지 않는다는 것은 가능한 한 많은 디테일과 창의적인 디테일, 아트 디테일을 의미합니다.
사실 모든 사람은 영화 같은 느낌에 매우 민감합니다. 동일한 이미지와 동일한 프롬프트, 다른 모델의 결과물이라도 어느 것이 더 영화 같은 느낌인지 쉽게 판단할 수 있습니다. 따라서 아트의 첫 번째 단계는 올바른 모델을 선택하는 것입니다. 현재 저희의 주요 이미지 생성 모델은 기본적으로 Nano Banana Pro입니다. 이미지 수정은 주로 텍스트 수정으로 직접 사용하며, 때로는 Photoshop과 결합합니다. 또한 일부 부분을 수동으로 미세 조정합니다.
올바른 모델을 선택하는 것은 올바른 벤더를 선택하는 것만큼 가치 있습니다. 작업을 잘 수행하고 많은 힘든 수정을 처리할 수 있습니다. 예를 들어, 매우 만족스러운 샷이 있었지만 첫 번째 초안을 제출한 후 박물관에서 이 샷을 제거해야 한다고 말했습니다. 전시품을 옮기는 것이 전문적이지 않게 보일 수 있고, 그런 느낌을 관객에게 전달하고 싶지 않았기 때문입니다. 내러티브 상으로는 이 샷이 고양이가 상자에 숨어 전시품을 따라 상하이로 가는 것을 설명하는 데 필요했습니다. 결국 Nano Banana를 사용하여 전시품을 '포장'하여 운반이 더 전문적으로 보이게 만들어 통과했습니다.
또 다른 예: 이미지의 마지막 프레임은 매우 아름답지만, 흰 고양이의 엉덩이에 오랫동안 시선이 머문다는 것을 알 수 있습니다. 이것은 흰 고양이로 변경한 후에야 드러난 문제였습니다. 해결책은 간단했습니다. 첫 번째 프레임에서 꼬리를 늘어뜨리면 나중에 걸어 올라갈 때 문제가 되지 않습니다.
더 과장된 것은 고양이를 바꿔서 위기를 해결한 경우입니다. 중간에 주인공을 검은 고양이에서 흰 고양이로 전환했을 때 많은 정지 프레임과 애니메이션이 이미 완료된 상태였습니다.
터무니없게 들리지만, AI는 정말로 그것을 바꿀 수 있습니다.
당시 사용할 수 있는 도구는 제한적이었습니다. 첫 번째 세대의 Nano Banana였고, 보통 Google의 Whisk에서 사용했습니다. 저희 습관은 샷당 하나의 폴더를 사용하는 것이므로, 각 폴더에 하나씩 들어가 고양이 색상을 변경했고, 하루 반 만에 모두 끝냈습니다.
나중에 검토할 때 Banana Pro가 출시되었고, 더 놀라운 효율성이 아직 오지 않았다는 것을 발견했습니다. AI는 변경할 수 있을 뿐만 아니라 점점 더 빠르게 변경할 수 있습니다. 타사 플랫폼에서는 모든 정지 프레임을 한 번에 업로드하고 한 문장만으로 검은 고양이 주인공을 흰 고양이로 변경할 수 있어 더 효율적입니다.
많은 분들이 Nano Banana Pro를 어디에 가장 잘 활용할 수 있는지 물어보십니다.
저희 경험상 구글 자체 멤버십 시스템에는 꽤 많은 함정이 있습니다. 저희는 구글 최상위 Ultra 멤버십이 출시된 이후로 지금까지 사용해 왔습니다. 다른 사람들이 구글에 할인이 있다고 말하는 것을 자주 보는데, 예를 들어 3개월 동안 월 79달러라든지, 6개월 치 가격이라든지 하죠. 하지만 자신의 구독 가격을 돌아보면 전혀 변하지 않고 여전히 매우 비싸며, 세금까지 포함하면 더 높습니다.
저희를 매우 불만족스럽게 만드는 또 다른 점은 4K 진입점이 불분명하다는 것입니다. 어떤 사람들은 Flow에 있다고 말하지만, Flow의 기본 생성 해상도는 1K이고, 다운로드할 때만 4K로 초고해상도 변환됩니다. 이것이 초고해상도인지 네이티브 4K인지 확실하지 않습니다. Google AI Studio는 더 네이티브하게 4K를 출력할 수 있지만, 별도로 요금이 부과됩니다.
저희처럼 Ultra 회원이라면, 여기에 저희의 더 실용적인 사용법이 있습니다. Flow는 빠른 가챠식 생성에 사용하세요. 기본이 1K여서 빠르기 때문입니다. Gemini는 다중 라운드 반복에 사용하세요. 대화 라운드가 매우 편리합니다. 결과물에 대한 확신이 생기면 AI Studio로 가서 네이티브 4K를 얻을 수 있습니다.
또한, 저희의 프롬프트는 점점 더 간단해지고 있습니다. 모델의 멀티모달 이해能力이 매우 강력해서 긴 에세이가 필요하지 않은 경우가 많습니다. 예를 들어, 사진을 하나 넣고 고양이와 나비를 추출하여 단색 배경에 배치한 다음 픽셀 아트로 만들어 달라고 합니다. 스타일이 안정화되면 소재를 확장하는 것이 매우 효율적입니다.
그리고 오늘날의 프롬프트가 정말 긴 에세이여야 할까요?
전시물의 정면 샷이 필요했지만, 설치 기간 동안 아무도 들어갈 수 없었습니다. 직원이 멀리서 찍은 두 장의 빠른 스냅샷만 보내줄 수 있었습니다.
이 두 장은 저희에게 이미 매우 소중했기 때문에 정보로 사용하여 Gemini가 두 사진을 기반으로 16:9 비율로 전시물의 정면 뷰를 바로 생성하도록 했습니다.
결과는 매우 좋았고, 최종 샷을 완성하는 데 사용했습니다.
더 놀라운 것은 개장일에 현장에 갔을 때 실제 위치와 거의 동일하다는 것을 발견한 것입니다. 사람들은 들어갈 수 없었지만 AI는 들어갔습니다.
모델이 충분히 강력하면 스토리보드의 출처를 신경 쓰지 않습니다. 즉, 때로는 다소 엉뚱한 스토리보드를 제공해도 즉시 원하는 것을 파악하고 아주 멋진 비주얼을 직접 생성할 수 있습니다. 이것들은 모두 Hai Xin의 스토리보드를 사용하여 모델이 직접 출력한 비주얼이며, 모두 매우 좋습니다.
하지만 복잡한 창작의 경우 반드시 단계적으로 반복해야 합니다.
"해변을 걷는 고양이, 물에 비친 모습은 공작새"라는 샷을 예로 들어 보겠습니다.
먼저, 스토리보드 스케치의 구도를 이해해야 합니다.
저는 PPT에서 매우 대략적인 스케치를 만드는 데 익숙합니다. 마침 흰 고양이 "베테랑 배우"의 투명 PNG 파일이 있어서 프레임에 배치하여 구도를 잡았습니다. 그런 다음 이 대략적인 스케치를 모델에 넣어 사실적인 스타일로 변환하고, 먼저 "호수가 근처에 있는 해변을 걷는 고양이"라는 기본 장면을 얻습니다.
두 번째 단계는 바닥 타일을 까는 것입니다. 실제로 콘크리트 바닥에 타일을 깔기 위해 프롬프트를 사용했으며, "적절한 밀도"의 버전을 찾을 때까지 많은 키워드를 시도했습니다. 타일을 깔고 나면 이미지가 형태를 갖추었지만, 여러 번 반복하면 고양이 자세가 변형될 수 있으므로 AI가 다시 조정하도록 했습니다.
세 번째 단계는 전시 정보를 추가하는 것입니다. 가장 간단한 방법은 PS에서 오버레이하고 레이어 스타일을 조정하는 것입니다. 하지만 호수에 비친 공작새 반사는 움직이게 만들기 어렵다는 것을 알게 되었습니다. 양식화된 공작새는 사실적인 움직임으로 쉽게 변환되지 않기 때문입니다. 그래서 PS로 돌아가 공작새를 지우고 사실적인 공작새 그림자로 교체한 다음 모델에 다시 넣어 계속 실행했습니다.
나중에 고양이 색상을 변경해야 했습니다. 변경한 후 바닥 타일이 흰 고양이를 "집어삼킨" 것을 발견하여 타일을 다시 깔고 최종 정적 프레임을 얻었습니다.
마지막으로, 애니메이션을 만드는 것이 실제로 가장 간단한 부분이었습니다. 보통은 직접 출력합니다. 두세 번 시도하면 좋은 움직임을 얻을 수 있습니다. 예를 들어, 해변을 따라 걷는 고양이와 물에 비친 공작새가 따라 움직이는 장면 같은 것 말이죠.
그리고 실제 장면 합성에 관한 약간의 예술적 경험.
단편 영화에는 틀릴 수 없는 많은 랜드마크와 전시물이 있으므로 확실성이 필요합니다. 많은 경우 실제 존재하는 랜드마크 위에 고양이를 합성합니다.
이제 이런 합성은 매우 간단합니다. Nano Banana Pro에게 장면에 카메라에 등을 돌린 주황색 고양이가 지정된 색상의 나비를 쫓고 있다고 말하면 바로 생성할 수 있습니다.
성공률을 높이는 두 가지 작은 팁이 있습니다. 첫째, 생성하기 전에 자릅니다. 예를 들어, Peace Hotel 소재의 아래쪽 장식이 필요 없어서 모델에 제공하기 전에 잘라냈습니다. 실내 샷도 마찬가지입니다. 불필요한 영역을 먼저 자르면 모델이 더 집중하게 됩니다.
둘째, 매치 컷을 하거나 피사체를 반복해서 재사용해야 하는 경우, 먼저 고양이와 나비를 단색 배경에 추출한 다음 다양한 배경을 변경하는 것이 좋습니다. 모델이 동일한 이미지에서 직접 장면을 계속 변경하게 하면 나비가 먹히거나, 고양이가 먹히거나, 고양이 색상이 변경되기 쉽습니다. 피사체를 먼저 추출한 다음 배경을 변경하면 성공률이 훨씬 높아집니다.
많은 분들이 왜 비디오 생성을 위해 다중 이미지 참조를 사용하지 않는지 묻습니다.
다중 참조 비디오 제품에 관해서는, 이 두 편의 단편 영화를 만드는 동안 시장에 나온 거의 모든 것을 시도해 보았습니다. 선명도 문제는 해결하기 어렵습니다. 약간만 움직여도 요소가 흐려집니다.
Flow에서 최근 출시된 새로운 다중 참조 기능도 시도해 보았지만, 저희가 원하는 전시물이 변경되지 않도록 보장하기 어렵습니다. 유지해야 할 안정적인 피사체가 너무 많습니다. 여러 전시물, 고양이, 나비 등이 있어서 결국 첫 번째와 마지막 프레임 방식을 사용하는 것이 더 안정적입니다.
또한 많은 친구들이 묻습니다. PS가 여전히 필요한가요?
저는 PS가 여전히 유용하다고 생각하지만, 점점 덜 열어보게 됩니다. "Harmonize"라고 하는 널리 사용되지 않는 기능을 적극 추천합니다.
PNG나 이미지를 정적 프레임에 붙여넣고 harmonize를 클릭하면 환경 조명을 자동으로 매칭하여 합성을 더 통합되게 만듭니다. 예를 들어, 떠 있는 접시 샷에서 harmonize를 클릭하면 전후 조명 차이가 매우 명확해지며 효율성이 높습니다.
동시에 Banana Pro는 충분히 강력해서 많은 것을 직접 처리할 수 있습니다. 예를 들어, 주황색 고양이 영화에서 Vidu를 사용하여 미리보기를 먼저 생성한 샷이 있습니다. 선명도가 충분하지 않았고 전시물이 안정적이지 않았지만, 고양이 움직임과 전시물 간의 관계는 정확했습니다.
그래서 미리보기와 전시물 자료를 모두 Banana Pro에 넣고 구도를 유지한 채 떠 있는 전시물을 제가 제공한 것으로 교체하여 반복적으로 흩어져 나타나도록 했습니다. 결과는 첫 번째 버전에서 매우 좋은 이미지였고, 전경/배경 심도와 모션 블러까지 자동으로 추가하여 기본적으로 제작 요구를 충족했습니다.
VI. 애니메이션
저희의 주요 비디오 도구는 Flow입니다. 주로 사용하는 비디오 모델은 VEO 3.1입니다.
Flow는 최근 4K 기능도 출시하여 이미지 품질에 도움이 됩니다. 보조 비디오 모델로는 Kling, Hailuo, Jimeng, Wanxiang, Luma 등을 사용하지만, Flow가 사용하기 더 편리하고 비주얼이 더 영화 같은 느낌을 줍니다.
저희는 비디오를 "편집"할 수 있는 시대에 접어들었다고 느낍니다. 많은 비디오 도구가 비디오를 직접 편집할 수 있습니다. Flow에는 진입점이 깊은 숨겨진 기능이 있습니다. 생성된 비디오의 왼쪽 상단에 "편집" 버튼이 있습니다. 들어가면 비디오에 무언가를 추가하거나, 잘라내거나, 카메라 위치와 움직임을 변경할 수도 있습니다. 실험적인 면이 있지만 때로는 유용합니다.
그 한계도 명백합니다. 예를 들어, 추가 및 잘라내기는 가능하지만 "편집 및 교체", 즉 검은 고양이를 흰 고양이로 바꾸는 것은 어렵습니다. 이를 위해서는 먼저 제거한 다음 삽입해야 하므로 매우 번거롭게 느껴집니다.
Flow에서는 낙서 기능도 많이 사용합니다. 순수한 텍스트만으로는 고양이가 특정 동작을 완료하도록 하는 것이 어렵습니다. 예를 들어, 고양이가 직접 점프하여 건너가게 하는 것은 여러 번 시도해도 얻을 수 없었습니다.
하지만 첫 번째 프레임에 낙서를 그려 움직임 지침을 제공하면 됩니다. 예를 들어, 나비가 어디로 날아가야 하고 고양이가 그것을 따라야 하는지 지시한 다음, "주석의 지침을 따르고 내 주석을 삭제하세요"라는 프롬프트를 추가하면 모델이 사용자가 주석으로 단 움직임 규칙에 따라 생성하고 고양이가 매끄럽게 프레임 밖으로 걸어 나갈 수 있습니다.
그리고 Luma의 Ray3는 예상외로 유용합니다. 크리스마스에 테스트를 해보았는데, 매우 거친 미리보기를 업로드하고 프롬프트를 추가하자 매우 아름답고 높은 선명도로 생성되었고, 원본 비디오에 없던 것을 만들어 내기도 했습니다.
단점은 생성 속도가 느리다는 것이지만, 장점은 합성 품질이 높아 제작에 적합하다는 것입니다.
Wan 2.6의 새로운 캐릭터 생성 기능도 주목할 만합니다. 사람 캐릭터는 여전히 캐릭터에서 벗어나기 쉽지만, 동물 캐릭터는 사람보다 훨씬 뛰어납니다. 제 고양이 Nika의 매우 흐릿하고 어두운 비디오를 아무렇게나 업로드했는데, 캐릭터를 구축한 후 Wan 2.6에서 @를 사용하여 소환할 수 있었습니다. 생성 품질은 "마스터 승인" 수준으로 매우 고화질이었습니다. 공룡이 구하러 오는 장면 등 많은 것을 시연하게 했습니다. 이 기능은 저희 두 편의 단편 영화가 이미 게시된 후에 출시되어 타이밍이 좋지 않았습니다.
또 다른 작은 팁: 엔드 스크린용 미세 애니메이션을 만들 때 "약간 좋지 않은 모델", 즉 이전 세대 모델을 선택할 수 있습니다. 이전 세대의 움직임 진폭은 일반적으로 더 작아서 엔드 스크린에 딱 맞는 경우가 있습니다. 예를 들어, 엔드 스크린에서 환경이 약간 움직이길 원하지만 Flow는 상상된 패턴을 많이 추가하고 너무 많이 움직일 수 있습니다.
실제로 이전 세대 모델을 사용하면 움직임이 적절합니다. 이번에는 Jimeng 3.0을 사용했는데, 그 미세한 움직임 진폭이 매우 적절했습니다.
VII. 폐기된 초안
이번에는 폐기된 초안이 많았습니다. 특히 주황색 고양이 편의 경우 Pro가 출시된 후 아이디어 구현 속도가 빨라지고 탐구량이 더 많아졌기 때문입니다. 다음은 저희가 특히 마음에 들어했지만 아쉽게 삭제한 몇 가지입니다.
하나는 상하이 관객들이 즐겨 묻는 "나비 페이스트리"입니다. 상하이의 나비 페이스트리는 매우 유명하며, 저희도 거대한 나비 페이스트리를 만들었고 비주얼을 매우 좋아했습니다. 하지만 AI에서는 나비 페이스트리가 움직이면 다시 진짜 나비로 변해 날아가 버리기 때문에 포기해야 했습니다.
또 다른 하나는 푸동 아트 뮤지엄의 인기 체크인 장소로 동방명주를 촬영할 수 있는 곳입니다. 저희는 나비가 날개 반쪽을 창문 밖에서 집어넣고 나머지 반쪽 날개는 햇빛의 그림자를 통해 완성되어 완전한 나비를 이루는 샷을 만들었습니다. 비주얼은 아름다웠지만, 움직일 때 나비가 여전히 날지 않아 삭제되었습니다.
또 다른 하나는 루브르 박물관 이슬람 미술관의 샷이었습니다. 처음에는 쓰나미 수준의 역동성까지 더 과장되게 만들고 싶었지만, 나중에 너무 환상적이어서 저희가 원했던 "절제되지만 환상적인" 느낌에 맞지 않아 삭제되었습니다.
마지막으로
마지막으로, 저희가 전달하고자 하는 핵심은 다음과 같습니다.
모델이 편리할수록, 스스로 더 잘하려고 노력해야 합니다.
이제 모델이 점점 더 편리해짐에 따라 많은 크리에이터가 에이전트를 사용하여 전체 스토리보드 솔루션을 직접 출력하거나 창작의 더 많은 부분을 완료하도록 하는 경향이 있습니다. 하지만 저희가 말하고 싶은 것은 모델의 편리함이 게으름에 대한 핑계가 되어서는 안 된다는 것입니다.
오히려 그것은 알림과 같습니다. 여러분의 작업을 더 좋게 만들 수 있는 더 많은 능력이 있다는 것을 기억하게 해줍니다.
저희가 자주 하는 말로 마무리하겠습니다.
행동하는 한, 당신은 앞으로 나아가고 있는 것입니다.
감사합니다. 오늘 저희의 공유는 여기서 마치겠습니다.
도움이 되셨다면 친구분들에게 공유해 주시면 저희에게 큰 힘이 됩니다!
