昨夜、私はとてもとても嬉しい気持ちで、二人の親友でありアイドルでもある海欣さんと阿文さんを招いて、一緒にライブ配信をしました。
彼らは、AI 動画作品「ルーブル猫」の全工程を共有しに来てくれました。
聞いた後、私は衝撃を受けました。私は言いました、「あなたたち、本当に何もかも話してくれるんだね、一切隠さずに、こんな風に全部共有してくれるなんて…」
本当に、このライブ配信は実用的な情報が満載でした。まとめるのももったいないくらい、情報量が多すぎました。私は一晩かけてこのトランスクリプトを詳細に整理し、彼らのプレゼンテーション用 PPT と照らし合わせて、今、彼らの許可を得て、皆さんと共有します。
これらの貴重な経験が、AI の活用やクリエイティブな仕事において、皆さんのインスピレーションになれば幸いです。
何しろ、彼らほど才能がありながら、惜しみなく全てを共有してくれる人は、そう多くはありません。
すべては映画から始まります。それが出発点です。
Ring Hyacinth
@ring_hyacinth
·
浦東美術館のご招待を受け、ルーブル美術館の上海初上陸展の公式プロモーションビデオを AI で制作しました。気に入っていただけると嬉しいです！
ルーブル美術館上海デビュー：「文様の奇跡：ルーブル美術館所蔵 インド、イラン、オスマン美術の名品」
2025年12月13日から2026年5月6日まで、浦東美術館にて大規模開催。
主催：ルーブル美術館、浦東美術館
プロデューサー：陸家嘴グループ
もっと見る
73 162 992 135K
この2つの作品は、当時、本当に息を呑むほどでした。
芸術、これこそが真の芸術です。
このライブ配信は、この2作品の主要クリエイターである海欣さんと阿文さんによる、「ルーブル猫」に関する一切の隠し事のない共有です。
以下はライブ配信のトランスクリプトで、全て海欣＆阿文の言葉です。
————
皆さんこんにちは、海欣と阿文です。私たちはデジタルアーティストであり、AI を活用したクリエイティブデュオです。
今日は、私たちが最近浦東美術館のために制作した公式プロモーションビデオの、コンセプトからストーリーボード、AI ツールの実行に至るまでの全工程を共有したいと思います。
私たちは以前、比較的有名な短編映画を2本制作しました。1本目は昨年初め、北京日報から依頼され、北京の都市文明プロモーション「故宮の猫、出勤する」を制作しました。完成後、インターネット上で広く拡散され、多くの機会をもたらしました。例えば、大阪万博での展示や、TED 2025 メイン会場のユニット 9 のオープニングフィルムに選ばれたことなどです。
その TED イベントでは、サム・アルトマンもユニット 11 でインタビューを受けており、私たちは短期間ながら同じステージに立てたことを光栄に思いました。自分の作品が、自分が訪れたことすらない国々に届くなんて、想像もしていませんでした。
2本目は、今年の上海・浦東の都市文明プロモーションで、「子猫」シリーズの続編となる「文明猫、浦東を巡る」です。公開後は大きな反響を呼び、上海発布や浦東文明などの公式アカウントからもリポストされ、データも素晴らしいものでした。
オフラインでは、陸家嘴駅の地下通路の超長尺スクリーンや、東方明珠塔に面したスーパーブランドモールの超大画面に登場し、陸家嘴の中心エリアでローテーション放映されました。また、東方明珠塔の下にある12面マルチスクリーンでも上映されました。さらに、上海市ネット情報弁公室から「インターネット高品質コミュニケーション作品賞」も受賞しました。私たちは以前から子猫に関連するシリーズを手掛けており、言わば「猫のプロフェッショナル」です。
年末、浦東美術館からお声がけいただきました。彼らは上海でルーブル美術館の大規模な公式展覧会を開催しており、上海で初めての大規模展覧会でした。そして、私たちに公式プロモーションビデオの制作を依頼したいとのことでした。美術館側は、約1〜2ヶ月の長いプロモーション期間をカバーするために、2本の短編映画を希望しました。
最終的に私たちは2本の作品を納品しました。前半は「フランスから上海にやってきた白い子猫」の物語で、後半への伏線（イースターエッグ）を仕込んでいます。
後半は、「浦東の広報担当であるオレンジ猫が、浦東美術館に展覧会を見に行く」という物語です。
両作品とも、実際の展示品を中心に物語をデザインしています。前半は孔雀文様の皿、後半は「詩歌コンテストの石碑」が中心です。後半では音楽も再処理し、サックスを加えてジャズ風にアレンジし、より上海らしい雰囲気を出しました。
作品公開後、様々なプラットフォームで拡散され、美術館の公式動画アカウントのデータも好調でした。私たち自身のアカウントには、この2本の短編映画を見て展覧会に行くことを決めたという視聴者からのダイレクトメッセージが多数届きました。
オフラインでの再生シナリオもあります。例えば、外灘のスクリーンでは、来年5月までループ再生されます。
次に、私たちのクリエイティブプロセス全体と、いくつかの洞察を共有したいと思います。皆さんのお役に立てれば幸いです。
I. キャスティング
最初に共有したいポイントはキャスティング、そしてなぜ最終的に白猫とオレンジ猫を選んだのか、ということです。
猫をテーマにすることは決めていましたが、猫そのものにも多くの考えが込められています。最初に、浦東美術館のテーマカラーから考え始めました。美術館は主に白と黒なので、最初に思い浮かんだ主人公は白黒の牛猫でした。
初期バージョンのストーリーは、最終的な作品とは全く異なっていました。中心となる展示品も孔雀の皿や詩歌の石碑ではなく、油絵を選んでいました。牛猫はもともと絵の中で王様の足元で寝ていたのですが、美術館のスタッフが絵を移動させた際に「振り落とされて」しまいます。猫はルーブル美術館を探検し始め、ついに展示品が上海行きのトラックに積み込まれるのを目撃します。牛猫はスケートボードに飛び乗ってトラックを追いかけることを決意し、途中で様々なスリリングな出来事が起こります。デモも作りました。
しかし、いくつかの理由からこの計画は断念しました。最も直接的な理由はプロモーション期間が長かったことで、美術館は2本の作品を希望していました。もしトラックチェイスをやった場合、分割後の後半はロードムービーのようになり、トーンが偏り、チェイスにエネルギーを費やしすぎて、「美術館の公式プロモーション」という雰囲気に合いませんでした。そこで、牛猫の計画は完全に破棄しました。
美術館から2本の作品を依頼された後、私たちの最初の直感的な解決策は単純で、牛猫を白猫と黒猫に分割することでした。しかし、進めていくうちに、黒猫は最終的な作品で暗くなりすぎて目立たないことがわかりました。主人公はより「明るく」して、観客の注意をより早く引きつけたいと考え、「黒と白」から「白とオレンジ」に調整しました。また、オレンジ猫は以前の作品で上海の広報担当として登場しており、上海パートに適しています。フランスパートには白猫の方が適していました。
II. トーン設定
2つ目のポイントはトーン設定です。
まずビジュアルと音楽を決めてから、全てのストーリーボードを進めます。
映画を制作する際、非常に必要なステップは「映画のトーン」を決めることです。トーンは2つの部分から成ります。1つ目は、核となるビジュアルがどのように見えるか、そして撮影の雰囲気です。2つ目は音楽です。TVC において、音楽は観客にどのように感じるべきかを直接伝え、逆に編集のリズムを導き、ショットが速いカットか遅いカットかを決定します。
このプロジェクトには多くの情報が含まれていました。浦東美術館、ルーブル美術館、イスラム美術、上海、パリなどです。
私たちはまず、浦東美術館の「鏡のホール」に注目し、「鏡」というコンセプトが構造に完璧だと感じました。ルーブル美術館と浦東美術館は鏡の関係にあるように、上海とパリ、そして2匹の子猫も同様です。そこで、最初は「分割画面アニメーション」を制作し、一方でパリ、もう一方で上海を描き、最後に浦東美術館で出会う、という構想を練りました。
初期の探索的なビジュアルもいくつか作りました。例えば、外灘から見た浦東美術館を上に、ルーブル美術館を下に配置したものや、2匹の猫がそれぞれの机の上のポスターを見ている構図などです。
その後、阿文がこれらのビジュアルを基に「根本的な見直し」を行い、「ルーブル美術館」を上に、「浦東美術館」を下の反射として配置しました。イメージは非常に風通しが良く、映画的な質感、優雅な雰囲気、そしてリアルで明るい照明でした。別のビジュアルセットも最適化され、「ポスター」を机の上から建物自体に移動させ、環境情報をより自然にしました。
これに基づいて、作品全体のビジュアルの雰囲気を決定しました。
III. 音楽
3つ目のポイントは音楽です。
私たちは一般的に音楽を非常に早い段階で制作します。なぜなら、音楽がリズムを決定し、リズムがショット数と編集戦略を決定するからです。このプロジェクトでは、メインの楽器をピアノに決めました。理由は2つあります。1つは、鏡のようなビジュアルの「水の波紋」のような反射の質感が好きで、それが清らかなピアノのコードを連想させたからです。もう1つは、鏡のホールの格子構造が、ピアノの鍵盤の秩序を連想させたからです。
ナラティブ短編映画のスコアには「弧」が必要です。ホワイトノイズのように最初から最後まで同じリズムであってはなりません。物語には起承転結が必要であり、音楽にも対応する構造が必要です。
私たちは Suno を使用しました。良いサウンドの音楽を生成でき、セグメントを細かく制御できるからです。各メロディーの長さを指定し、特定の時点でどのような感情を呼び起こすべきか（例えば、突然の転調、緊張、サスペンスなど）を明確に伝えることができます。
今回の音楽構造はおおよそ以下の通りです。オープニングは非常にシンプルなピアノコードで、ゆっくりと観客を物語に引き込みます。次に、主人公と環境に続くセグメントがあります。その後、小さな挫折感を与えて観客を引き続き注目させるためのトランジションセグメントがあります。そして、2番目のメロディーに入り、主人公の行動とクライマックスを担います。最後にエンディングですが、美しいピアノコードで締めくくりたかったので、特別にアウトロを追加しました。
Suno の利点の1つは、気に入らないセグメントを無限に再生成できることです。フランス音楽が完成した後、曲全体をエクスポートし、メロディーを維持したまま上海パート用のバリエーションを作るために、再び Suno にアップロードしました。Audio Influence を 50% に設定し、基本メロディーが維持されるようにしてから、サックスを追加し、古き良き上海ジャズのような雰囲気にするよう指示しました。元のメロディーに非常に適切なバリエーションを加えてくれました。
一度、かなり大げさなエンディングを提案してきましたが、最終的にはより抑制の効いたものにするために、元のエンディングに戻しました。
さらに、これらのスコアは私たちの猫、ニカの名義でオンラインに公開しています。ニカは「猫星の伝説的ミュージシャン」と見なされており、クライアント向けに制作したいくつかの TVC スコアも含まれています。
IV. ストーリーボード
次に、ストーリーボードへの取り組み方です。
私たちの個人的な美学は非常に強いので、これは経験を共有するという意味合いが強いです。
オープニングのストーリーボードに対する私たちの基本的な要求は、「情報密度が高いこと」です。
最初のショットで、この物語が何についてのものかをほのめかすようにしましょう。例えば、「故宮の猫、出勤する」の最初のショットは、猫が目を開け、その瞳に故宮が映っているもので、「猫と故宮」を素早く説明しています。「文明猫、浦東を巡る」の冒頭は、猫が上海の地図を押し開けるところから始まり、「猫が上海に観光に来た」ことを素早く説明しています。
ルーブル美術館の白い子猫のパートでは、3つのショットで物語を説明したいと考えました。1つ目のショットでは、猫がポスターを見ているところを映し、「展覧会ポスター」というキービジュアルを観客の心に植え付けます。2つ目のショットでは、クローズアップで主人公を紹介します。3つ目のショットでは、ワイドショットで環境を確立すると同時に、「ルーブル美術館が浦東美術館を映す」という鏡の関係を示します。
ストーリーボードにはリズム感も必要です。リズムは主にショットサイズの変化から生まれます。ワイドショットが続くと非常に単調になるため、ワイドショットとクローズアップを交互に使い、拡張と収縮の感覚を生み出します。オープニングショットに情報が多すぎると、観客は最初の1秒でどこを見ればいいかわからなくなります。そこで、シンプルなアニメーションを使って視線を誘導します。前半は「幕を開ける」ような方法を使い、後半も古典的なオープニングデザインを使用しています。
次に、物語の最初の部分です。これは核となる部分であり、私たちが非常に満足しているストーリーボードのセットです。
このシーケンスの目的は、白猫がルーブル美術館を歩き出し、孔雀文様の皿に恋をし、素晴らしい想像を膨らませる様子を示すことです。
このシーケンスでは、2つの情報を伝える必要があります。主人公がルーブル美術館にいること、そして主人公が孔雀の皿を好きだということです。
最初のショットでは、ルーブル美術館の古典的な展示品を使って場所を特定します。私たちはサモトラケのニケを選びました。非常に古典的な彫刻です。モナリザはあまりにも一般的で、ありきたりに見えるため、意図的に選びませんでした。構図に関しては、カメラを彫刻だけに焦点を当てるのではなく、観客に猫に注目してもらいたいと考えました。そこで、彫刻を背景に置いて装飾とし、極端なローアングルショットを使用することで、前景の白猫がフレーム内でより多くのボリュームを占めるようにし、観客に猫に注目させつつ、同時に「ここはルーブル美術館だ」と瞬時に認識させます。
2つ目のショットから、イスラム美術をさりげなく紹介し始めます。私たちは Instagram で有名なアーティストを参考にしました。彼のよく使う手法は、日常生活のシーンを撮影し、その中のシンボルを動かすことです。
その感覚は素晴らしく、幻想的でありながら、現実の生活でも起こり得るように感じられます。最初はより大げさなバージョンを作りました。例えば、猫が滑るように通り過ぎるにつれて、シーン全体が模様に変わっていくようなものです。しかし、後には動きが多すぎて現実の生活のようには感じられないと思い、より抑制の効いた固定カメラの計画に変更し、猫が歩くにつれて背景の模様が微妙に動くようにしました。
多くのバージョンを試しました。魔法陣のような模様、カメラがパンしてイスラム美術の世界に入り込むもの、模様が画面から飛び出してくるものなどです。その後、「面白い」だけでは不十分で、感情的な見返りも必要だと気づきました。そこで、対照的なデザインを使用しました。抑圧的な極端なハイアングルショットで始め、カメラが最終フレームに移動するにつれて、広大なオープンスペースに入り込み、観客に「目から鱗が落ちる」ような感覚を与えます。最終ショットでは、両側の模様がコンベアベルトのように動き、猫を開放的な展示スペースへと導きます。
また、トレードオフも行いました。フレーム内に人物の肖像画を入れないことです。フレーム内に人物の肖像画が現れると、観客は無意識に全ての肖像画を探してしまい、猫から注意がそれてしまいます。観客に猫を追ってもらいたかったので、注意を奪いやすい要素は可能な限り排除し、表現を微妙なものに保ちました。
このショットの最終フレームのデザインにおいて、阿文は非常に巧妙な操作を行いました。孔雀文様の皿を展示スペースに直接配置し、核となる展示品をクライマックスの早い段階で登場させたのです。最終フレームを決定した後、最初のフレームとカメラの動きを再設計し、ショットをよりコントロールされたものにしました。
感情的なクライマックスの後、新たな刺激を少し加える必要がありました。猫が上がった後に空間を見る、あるいは別の展示品を見る、といったことを考えましたが、どれも感動的ではありませんでした。
その後、猫が孔雀を見て、その孔雀が生きている、というアイデアが浮かびました。このアイデアは、すぐに作品が生き生きとしたものに感じられました。リズム的にも、段階的な進行を意識しました。孔雀はまず頭を回し、次に体を回し、最後に羽を広げ、驚きを最後の瞬間まで取っておきました。
クライマックスの後は、現実に戻る必要があります。非常にシンプルな方法を使いました。猫のクローズアップにカットバックし、まるで想像しているかのように見せ、その後、客観的なショットで現実を確立します。猫は実際に孔雀の皿の前に立って展示品を見ているのです。これにより、観客はファンタジーセグメントが猫の想像によるものだったと理解します。
次に、トランジションセグメントです。目的は、「展示品が上海に行くこと」と「猫が箱に入って一緒に行くことを決意すること」を説明することです。
モンタージュと分割画面処理を使用しました。短時間で多くの情報を伝えることができるからです。このようなショットを作る際は、人物を可能な限りカットアウトします。動物映画では、人間の顔は簡単に注目を奪います。観客は人物に共感しやすく、注意がそらされてしまうため、クローズアップと動作のみを残し、顔は見せませんでした。
2番目のセグメントは、もともと猫が飛行機の貨物箱の中で何が起こるかについてでした。
プロットを完全に決定する前に、Sora を使ってサンプルをいくつか実行し、リズムと構図を素早くチェックし、驚きや参考になる点を探します。実行した後、気に入りませんでした。画像が風通しが悪く、色が黄色っぽく、古く、暗く、以前設定したトーンと一致しませんでした。プロットのロジックも機能しませんでした。箱の中の猫は外の展示品を見ることができず、展示品も箱の中にあるはずだからです。
そこで、「箱の中を覗く」セグメント全体を破棄し、焦点を核となるナラティブに戻しました。白猫が孔雀の皿に同行して上海に行く、というものです。
上海到着については、当初は飛行機がルーブル美術館から上海へ飛ぶリアルなトランジションを考え、VEO 3 で実行しました。また、古典的な地図のマイクロアニメーションも試しました。しかし、これらの計画は全て却下しました。
なぜなら、地図があると観客は特に合理性を気にするようになり、例えばパリと上海の位置や飛行距離が正しいかどうかなどに注意が散ってしまうからです。また、より抽象的な「火の点の地図に足跡が付く」計画も試しましたが、ショットが広すぎるのが気に入らず、観客に主要な被写体がフレームのより大きな部分を占めているのを見てもらいたいと考えました。
最終的に、「ルーブル美術館の最初のフレーム」と「浦東美術館の最初のフレーム」の間で直接切り替え、トランジションをよりクローズアップで焦点を絞ったものにすることにしました。
多くの種類のトランジションアニメーションをテストしました。カーペットが広がる、タイルが反転する、飛行機のイメージなどです。最終的に飛行機を選びました。なぜなら、トランジションの前後のショットに飛行機のイメージが現れていたからです。連続したイメージは、たとえ途中でリアルなものからモザイクアートスタイルにジャンプしても、観客により快適に感じさせます。
上海に到着した後は、ストーリーボードはより直接的です。まず遠くから近くへ浦東美術館を見て、次に猫が美術館に向かって走っているのを見ます。私たちがとても気に入っているショットの1つは、猫が水辺を走り、水面に映る影が孔雀になっているというものです。
このアイデアは当初、もっと「ワイルド」でした。猫が走るにつれて、孔雀、馬、ラクダなど、多くの動物の影が見え、「全てのイスラム美術が一緒に上海にやって来た」という感覚を引き出したいと考えていました。テキストから画像、テキストから動画まで試しましたが、どれもうまくいきませんでした。また、猫が心の中で自分を虎だと思い、影が虎になるというアイデアも考えましたが、作品との関連性が弱すぎるため、すぐに削除しました。
その後、このような核となるクリエイティビティを一度に直接 AI に任せるのは信頼できないと気づき、実行のために分解する必要があると判断しました。まずストーリーボードを手描きし、ややハイアングルのショットにすることで、観客の注意が自然に湖の反射に向くようにしました。
構図は「猫の影が孔雀である」という、メインラインに最も直接関連するものに簡略化しました。まず Photoshop で希望する関係性を合成し、その後モデルに渡して統一されたスタイルとダイナミクスを完成させました。このプロセスを通じて、たとえ粗い手描きであっても、AI が理解し、人々がコミュニケーションを取る上でより直感的であると強く感じました。
クロージングでは、「鏡」のコンセプトを再び反映させ、より抑制の効いた美しいイメージで締めくくりました。
ストーリーボードは以上です。
次に、アートパートは阿文に引き継ぎます。
V. アート
私（阿文）は主に2つのことを行います。
1つ目は、海欣の原稿ストーリーボードを最終的なビジュアルに変換すること。2つ目は、全体的なアートスタイルをコントロールすることです。
プロジェクトを受注した後、すぐにイスラム美術について学びに行きました。普段はあまり触れることのないアートスタイルですが、非常に特徴的です。いくつかの核となるキーワードを習得すれば、異国情緒あふれるモザイクアートスタイルを簡単に作成できます。ライブ配信では、非常に役立つ4つのキーワードをまとめました。最もよく使う2つは「イズニク様式」と「モザイクアート」です。ここでのモザイクは Mosaic art を指し、Pixel art とは異なります。
映画制作には2つの原則があります。一目で美しく見えること、そして二度見ても飽きが来ないことです。AI 時代において、観客があなたの短編映画を最後まで見ようとしてくれることは、貴重なことです。私たちにとって、美しく見えることは映画的な雰囲気と同義です。飽きが来ないことは、可能な限り多くのディテールとクリエイティブなディテール、アートのディテールを含むことを意味します。
誰もが実際、映画的な雰囲気に非常に敏感です。同じ画像、同じプロンプトでも、異なるモデルの結果を見れば、どちらがより映画的かを簡単に判断できます。したがって、アートの最初のステップは適切なモデルを選ぶことです。現在、私たちの主要な画像生成モデルは基本的に Nano Banana Pro です。画像の修正は、主にテキスト修正で直接行い、時には Photoshop と組み合わせます。また、いくつかの部分は手動で微調整します。
適切なモデルを選ぶことは、適切なベンダーを選ぶことと同じくらい価値があります。仕事をうまくこなし、多くの骨の折れる修正を処理できます。例えば、非常に満足していたショットがありましたが、初稿を提出した後、美術館からこのショットは削除する必要があると言われました。展示品の移動がプロフェッショナルに見えず、そのような印象を観客に与えたくなかったからです。物語的には、猫が展示品を追って上海に行くために箱に隠れることを説明するためにこのショットが必要でした。最終的に、Nano Banana を使用して展示品を「ラッピング」し、取り扱いがよりプロフェッショナルに見えるようにして、承認されました。
別の例：画像の最後のフレームは非常に美しいですが、白猫のお尻に長時間注意が留まっていることがわかります。これは白猫に変更した後に初めて明らかになった問題でした。解決策は簡単で、最初のフレームで尻尾を垂らしておけば、後で歩き出すときに問題になりません。
さらに大げさな例は、猫を変更することで危機を救ったことです。途中で主人公を黒猫から白猫に変更したとき、多くの静止フレームとアニメーションがすでに完成していました。
馬鹿げているように聞こえますが、AI なら本当に変更できます。
当時、使用できるツールは限られており、Nano Banana の初代のみで、普段は Google の Whisk で使用していました。私たちの習慣はショットごとに1つのフォルダを作成することなので、各フォルダを1つずつ開いて猫の色を変更し、1日半で全て完了しました。
後でレビューしているときに、Banana Pro がリリースされ、さらに驚くべき効率化が待っていることに気づきました。AI は変更できるだけでなく、ますます高速に変更できるようになります。サードパーティのプラットフォームでは、全ての静止フレームを一度にアップロードし、たった一文で黒猫の主人公を白猫に変更でき、より効率的です。
多くの人が、Nano Banana Pro はどこで最も使えるのかと尋ねます。
私たちの経験では、Google のメンバーシップシステムにはかなりの落とし穴があります。私たちは、Google Ultra の最上位メンバーシップが発売されてから購入し、今まで使い続けています。他の人が、Google には割引があると言っているのをよく見かけます。例えば、3 か月間月額 79 ドルとか、半額の価格などですが、自分のサブスクリプション価格を見直しても、まったく変わらず非常に高いまま、税金を加えるとさらに高くなることもあります。
もう一つ、私たちを非常に不満にさせているのは、4K の入り口が不明確なことです。Flow にあると言う人もいますが、Flow のデフォルト生成は 1K で、ダウンロード時にのみ 4K に超解像されます。それが超解像なのか、ネイティブ 4K なのかはわかりません。Google AI Studio はよりネイティブに 4K を出力できますが、別途課金されます。
私たちのように Ultra メンバーであれば、より実用的な使い方はこちらです。Flow は 1K ベースで速いので、ガチャのような素早い生成に使用します。Gemini は複数回の反復に使用します。対話形式は非常に便利です。結果がしっかり把握できたら、AI Studio でネイティブ 4K を生成できます。
さらに、私たちのプロンプトはどんどんシンプルになっています。モデルのマルチモーダル理解は非常に強力で、長文を必要としないことがよくあります。例えば、画像を投げ込んで、猫と蝶を抽出させ、無地の背景に配置し、それをピクセルアートに変換します。スタイルを安定させた後、素材を拡張するのは非常に効率的です。
そして、今日のプロンプトは本当に長文である必要があるのでしょうか？
展示物の正面図が必要なショットがありましたが、設定期間中は誰も入れず、スタッフは遠くから 2 枚の簡単なスナップ写真しか送ってくれませんでした。これらの 2 枚は私たちにとってすでに非常に貴重だったので、それらを情報として使用し、Gemini に 2 枚の写真に基づいて展示物の正面図を 16:9 で直接生成させました。結果は非常に良く、それを使用して最終的なショットを完成させました。
さらに驚いたのは、開幕日に現地に行ってみると、実際の場所とほぼ同じだったことです。人は押し込めませんでしたが、AI はできました。
モデルが十分に強力であれば、絵コンテの出所は気にしません。つまり、時にはかなりとんでもない絵コンテを与えても、瞬時にあなたの意図を理解し、直接非常に素晴らしいビジュアルを生成することができます。これらはすべて、Hai Xin の絵コンテを使用してモデルから直接出力されたビジュアルであり、どれも非常に優れています。
しかし、複雑なクリエイティブの場合は、段階的に反復する必要があります。
例として、「猫が岸辺を歩き、水面の反射が孔雀になっている」ショットを取り上げます。
まず、絵コンテのスケッチの遠近感を理解します。PPT で非常にラフなスケッチを作成することに慣れています。たまたま白猫の「ベテラン俳優」の透過 PNG が手元にあったので、それをフレームに入れて遠近感を構築します。次に、このラフなスケッチをモデルに入れてリアルなスタイルに変換し、まず「猫が湖畔の岸辺を歩いている」という基本的なシーンを取得します。
2 番目のステップは、床タイルを敷くことです。実際にプロンプトを使用してコンクリートの地面に床タイルを敷き、「ちょうど良い密度」のバージョンが見つかるまで多くのキーワードを試しました。敷いた後、画像は形になりましたが、複数回の反復で猫の姿勢が変形するため、AI に再度調整させました。
3 番目のステップは、展示情報を追加することです。最も簡単な方法は、PS でオーバーレイし、レイヤースタイルを調整することです。しかし、湖の孔雀の反射を動かすのは難しいことがわかりました。様式化された孔雀は現実的な動きに簡単に変換できないからです。そこで PS に戻り、孔雀を消去し、現実的な孔雀の影に置き換えて、モデルに戻して処理を続けました。
その後、猫の色を変更する必要がありました。変更した後、床タイルが白猫を「食べて」しまったので、床タイルを再度敷き直して最終的な静止フレームを取得しました。
最後に、アニメーションを作成するのは実際には最も簡単な部分でした。通常は直接出力で、2、3 回の試行で良い動きが得られます。例えば、猫が岸辺を歩き、水面の孔雀の反射がそれに続くようなものです。
次に、実景合成に関するアートの経験です。短編映画には間違えてはいけない名所や展示物がたくさんあるため、確実性が必要です。多くの場合、実際に存在する名所に猫を合成します。
現在、この種の合成は非常に簡単です。Nano Banana Pro に、シーン内でカメラに背を向けたオレンジ色の猫が指定された色の蝶を追いかけていると伝えるだけで、生成できます。
成功率を上げるための 2 つの小さなヒント。
1 つ目は、生成前にトリミングすることです。例えば、Peace Hotel の素材の下部にある装飾は必要なかったので、モデルに渡す前にトリミングして除外しました。多くの室内ショットも同様で、不要な領域を先にトリミングすると、モデルがより集中できるようになります。
2 つ目は、マッチカットを行ったり、被写体を繰り返し再利用したりする必要がある場合、まず猫と蝶を無地の背景に抽出し、その後でさまざまな背景を変更することをお勧めします。モデルに同じ画像内で常にシーンを直接変更させると、簡単に蝶を食べたり、猫を食べたり、猫の色を変えたりします。最初に被写体を抽出してから背景を変更すると、成功率がはるかに高くなります。
多くの人が、なぜ動画生成に複数画像参照を使用しないのかと尋ねます。
マルチリファレンス動画製品については、これら 2 本の短編映画を作成する際に市場のほぼすべてを試しましたが、鮮明度の問題は治りにくく、わずかな動きでも要素がぼやけてしまいます。Flow で最近リリースされた新しいマルチリファレンス機能でも試しましたが、希望する展示物が変更されないようにするのは困難です。複数の展示物、猫、蝶など、維持すべき安定した被写体が多すぎるため、結局、最初と最後のフレームをルーチンにする方が安定しています。
多くの友人からも、PS はまだ必要ですか？と尋ねられます。PS はまだ便利だと思いますが、開く頻度はどんどん減っています。
あまり多くの人が使っていない機能で、「Harmonize」というものを強くお勧めします。PNG や画像を静止フレームに貼り付け、ハーモナイズをクリックすると、環境の照明に自動的に合わせられ、合成がより統合されます。例えば、浮遊するプレートのショットでハーモナイズをクリックすると、前後の照明の違いが非常に明確で、効率が高いです。
同時に、Banana Pro は十分に強力で、多くのことを直接実行できます。例えば、オレンジ猫の映画では、最初に Vidu を使用してプレビューを生成したショットがあります。鮮明度は十分ではなく、展示物も安定していませんでしたが、猫の動きと展示物の関係は正しかったです。そこで、プレビューと展示物の素材の両方を Banana Pro に投げ込み、構図を変更せずに、浮遊する展示物を私が提供したものに置き換え、繰り返し散在して表示されるようにしました。その結果、最初のバージョンで非常に良い画像が得られ、前景/背景の被写界深度やモーションブラーも自動的に追加され、基本的に制作ニーズを満たしていました。
VI. アニメーション
私たちのメインの動画ツールは Flow です。よく使う動画モデルは VEO 3.1 です。Flow は最近 4K 機能もリリースし、画質の向上に役立っています。
補助的な動画モデルとして、Kling、Hailuo、Jimeng、Wanxiang、Luma なども使用していますが、Flow の方が使いやすく、ビジュアルがより映画的な雰囲気を持っています。
私たちは「動画を編集できる」時代に入ったと感じています。多くの動画ツールは動画を直接編集できます。Flow には隠し機能があり、エントリーポイントが深いですが、生成された動画の左上に「編集」ボタンがあります。中に入ると、動画に要素を追加したり、切り取ったり、カメラの位置や動きを変更したりすることもできます。少し実験的ですが、時には便利です。
その制限も明らかで、例えば追加や切り取りはできますが、「編集して置き換える」、例えば黒猫を白猫に変更するのは困難です。これを実現するには、まず削除してから挿入する必要があり、非常にぎこちなく感じます。
Flow では、お絵かき機能もよく使用します。テキストだけでは、猫に特定のアクション（例えば、猫を直接飛び越えさせるなど）を実行させるのは難しく、何度試してもできませんでした。
しかし、最初のフレームに落書きを描いて動きの指示を与え（例えば、蝶がどこを飛ぶべきか、猫がそれに従うか）、その後「注釈の指示に従い、私の注釈を削除してください」というプロンプトを追加すると、モデルは注釈した動きのルールに従って生成し、猫はスムーズにフレームの外に歩いていくことができます。
そして、Luma の Ray3 は予想外に便利です。クリスマスにテストを行い、非常にラフなプレビューをアップロードしてプロンプトを追加したところ、非常に美しく鮮明に生成され、元の動画にないものまで作り出しました。欠点は生成が遅いことですが、利点は合成品質が高く、制作に適していることです。
Wan 2.6 の新しいキャラクター作成機能も注目に値します。その人間キャラクターはまだキャラクターが崩れやすいですが、動物キャラクターは人間よりもはるかに魅力的です。自分の猫 Nika の非常にぼやけて暗い動画を何気なくアップロードし、キャラクターを構築した後、Wan 2.6 で @ を使用して呼び出すことができました。生成品質は「マスター承認」レベルで、非常に高精細でした。恐竜が助けに来るなど、さまざまなことを実行させました。この機能は、私たちの 2 本の短編映画がすでに公開された後にリリースされたため、タイミングが少し悪かったです。
もう 1 つの小さなヒント：エンド画面用のマイクロアニメーションを作成する場合、「少し劣るモデル」、つまり前世代のモデルを選択できます。前世代の動きの振幅は通常小さく、エンド画面にちょうど良い場合があります。例えば、エンド画面では環境を少し動かしたいですが、Flow は多くの想像上のパターンを追加し、動きすぎる可能性があります。前世代のモデルを使用すると、実際にちょうど良い動きになります。今回は Jimeng 3.0 を使用しましたが、そのマイクロな動きの振幅は非常に適切でした。
VII. 没案
今回は多くの没案がありました。特にオレンジ猫のものは、Pro が登場した後、いくつかのアイデアの実装が速くなり、探索量も増えたためです。ここでは、特に気に入ったものの、苦渋の決断で削除したものをいくつか紹介します。
1 つは、上海の観客がよく尋ねる「バタフライペストリー」です。上海のバタフライペストリーは非常に有名で、実際に巨大なバタフライペストリーを作り、そのビジュアルをとても気に入っていました。しかし、AI では、バタフライペストリーが動くと本物の蝶に戻ってしまい、決して飛ばなかったため、断念せざるを得ませんでした。
もう 1 つは、浦東美術館にある非常に人気のチェックインスポットで、Oriental Pearl を撮影できる場所です。蝶が窓の外から半分の羽を差し込み、もう半分の羽が太陽光の影によって完成し、完全な蝶を形成するというショットを作りました。ビジュアルは美しかったですが、動かすと蝶がやはり飛ばなかったため、削除されました。
もう 1 つは、ルーブル美術館のイスラム美術ギャラリーのショットです。最初はもっと誇張して、津波レベルのダイナミクスにしようと思いましたが、後で幻想的すぎて、目指していた「控えめだが幻想的」な雰囲気に合わないと感じたため、これも削除されました。
最後に
最後に、伝えたい核心的なポイントは次のとおりです。
モデルが便利になればなるほど、より良いものを作ろうと自分を追い込むべきです。
モデルがますます便利になるにつれ、多くのクリエイターはエージェントを使用して絵コンテのセット全体を直接出力したり、より多くの作業を任せたりする傾向があります。しかし、私たちが言いたいのは、モデルの便利さを怠惰の言い訳にしてはいけないということです。それはむしろ、あなたには作品をより良くする能力がもっとあるということを思い出させるものです。
私たちがよく言う言葉で締めくくります。
行動している限り、前に進んでいます。
皆さん、ありがとうございました。本日の共有はこれで終わります。
参考になったと思われたら、ぜひお友達にも転送してご覧ください。それが私たちへの大きな助けになります！
