YouMind
ログイン

MUSE 高度なガイド: AI ビデオパイプラインにおける顔固定からカメラ制御まで

@loi_jinli
中国語2026年11月17日
118K
570
94
37
1.2K

TL;DR

Meta Muse を使用した AI ビデオ制作パイプライン構築に関する包括的なチュートリアルです。キャラクターの一貫性、クォータ管理、および ComfyUI と Blender を通じた高度なカメラ制御に焦点を当てています。

まず確認しておきましょう。なぜこのチュートリアルを読む必要があるのか?読み終えた後、何を作れるようになるのか?

Meta のパーソナル AI アシスタント Muse を使い始めたばかりなら、チャットや情報検索、数枚の画像生成にしか使っていないかもしれません。しかし「そのまま公開できる完成度の高いショート動画」を作ろうとすると、おそらく次の 4 つの落とし穴にはまります。

  1. カットごとに顔が変わる:ある瞬間は長髪の女の子だった主人公が、次の瞬間には別人になっている。
  2. 動きによる歪み:キャラクターが大きく動くと、手が顔を突き抜けたり、顔のパーツがぼやけたりする。
  3. 長い動画がスローモーションになる:AI に「20 秒の動画を生成して」と頼むと、5 秒分のアクションを無理に 20 秒に引き延ばされ、カクカクしたスライドショーのようになってしまう。
  4. 枠(クォータ)の枯渇:画像・動画生成は週ごとの無料枠をあっという間に消費し、数回試すだけで続行できなくなる。

これは単なる機能リストではなく、ゼロからイチへ導くステップバイステップのマニュアルです。

以下の手順に従えば、動画編集の経験がなくても、次のようなパイプラインを構築できます。

  • 基本:AI に同じ主人公の顔を記憶させ、歪みのない安定した 6 秒クリップを撮影する。
  • 枠の節約:レンダリング作業を完全無料の Web ツールに任せる。
  • 高度なカメラワークと視点:ComfyUI、MiniMax H3、Blender を準備し、「ターンアラウンド・オービット(旋回)」や「ストリート・プッシュイン」といった複雑なショットでも最終出力を安定させる方法を学ぶ。

以前の Muse 上級活用に関する記事では、4 つのワークステーション(無料枠レーダー、AI 動画ワークフロー、セルフメディア制作センター、ホットスポットダッシュボード)のセットアップを紹介しました。未読の場合はそちらも確認してください。本記事のリレーダッシュボード設定はそれを前提としています。

https://x.com/loi_jinli/status/2120499400586014862

1. 準備:アカウント、素材、そして心構え

ソフトを開く前に、基本事項と所要時間の目安を理解しておきましょう。

① 基本アカウントと素材

  • Muse アカウント 1 つ:muse.ai またはデスクトップクライアントからログインします。残りの枠を確認しましょう(6 秒クリップ 1 本で週枠の約 2%〜12% を消費するため、最初は短いテストから始めます)。
  • 正面を向いた清潔感のあるポートレート 1 枚:均一な照明、はっきりした顔立ち、サングラスや前髪で隠れていないもの。グリッド状のコラージュ画像は絶対にアップロードしないでください。AI が白い境界線を動画の一部として学習してしまう可能性があります。
  • アスペクト比は早めに決める:縦型(TikTok、Reels)なら `9:16`、横型(YouTube)なら `16:9` を指定します。横型で生成してから無理に縦型へ切り抜くのはやめましょう。自動クロップでは被写体がズレることがよくあります。

② 現実的な待ち時間

  • ベース画像 1 枚の生成:20〜40 秒。
  • 5〜6 秒クリップ 1 本の生成:1〜2 分。
  • 30 秒の台本+分割生成:確認作業を含めて 15〜30 分。生成中は焦らず待ち、何度も送信ボタンを押さないこと。

③ 上級ツール(今は知るだけで、導入は後で)

セクション 5〜7 では以下の無料外部ツールを使いますが、セクション 2〜4 では不要です。

  • [Meta AI](https://www.meta.ai/):画像やシンプルなアニメーションの処理を肩代わりさせ、Muse の枠を節約するための無料 Web ツール。
  • ComfyUI:「滑らかさ(RIFE 補間)」や「精密なカメラ制御(MiniMax H3)」を実現するオープンソースのノードベース AI ワークフローソフト。16GB〜24GB VRAM の GPU、またはクラウド環境が必要です。
  • Blender:AI 生成の前に、歪みのない街並みや建物のパースを設定するためのオープンソース 3D モデリングソフト。

2. ステップ 1:まずは Muse でルールを決める

初心者は「コーヒーを飲む美女」とだけ頼んでしまい、BGM や字幕が入ったり、手が歪んだりしがちです。

新しいチャットを始めます。まだ画像はアップロードしないでください。 次の「協業ルール」を送信します。

text
1私は中国のユーザーです。これから一貫したキャラクターのショート動画素材を作成します。以下の 3 つのルールを厳守してください。
21. 明示的に要求されない限り、BGM、ナレーション、画面内の字幕を追加しないこと。
32. キャラクターの動きは控えめで単一の動作にとどめること。顔の前を手が横切る動作は禁止。
43. 生成のたびに、次の 4 項目を自己チェックすること。「顔の一貫性、肌の質感(プラスチックっぽくないか)、自然な手や動作、照明の安定性」。発見した問題点を 1 つ報告すること。

注意:これらのルールは生成の癖を抑えるためのものです。外部アカウントとの連携やファイルアクセスが必要な場合は、設定画面で承認ポップアップを手動で許可してください。

3. ステップ 2:最小限のループ – 1 枚の画像で顔を固定する

目標:たった 1 枚の写真を使って、顔が安定した最初の 6 秒クリップを作ること。

① キャラクター設定を「メモ」として保存する

正面ポートレートをアップロードし、次のように送信します。

text
1添付画像の人物の顔の特徴を、再利用可能な「キャラクター設定メモ」として保存してください。
2要件:
31. 記録するのは顔の骨格、髪型、髪色、体型のみ。背景、照明、服装は記録しないこと。
42. 保存後にメモの全文を表示してください。

返信を確認します。 「カフェのドアに立っている」などの環境描写が混入していないかチェックしてください。もしあれば、「背景や服装の記述を削除し、顔と髪の特徴だけを保持して再保存して」と返信します。

② 最初の 6 秒テストクリップを生成する

同じチャットで、次のように送信します。

text
1保存した「キャラクター設定メモ」と参照画像を使って、6 秒の縦型(9:16)セルフィー風テスト動画を生成してください。
2シーン:薄暗い室内、暖色系の黄色いデスクランプが顔の輪郭を照らしている。リアルな肌の質感を保ち、過度なスムージングは避けること。
3アクション:「視線を外し、その後カメラを見て自然にまばたきをする」のみ。手は動かさないこと。
4動画を出力し、4 項目の自己チェック結果を報告してください。

1〜2 分待って動画を確認します。

锦鲤同学 - inline image
锦鲤同学 - inline image

③ 調整:一度に変更するのは 1 か所だけ

満足できない場合でも、複数の変更を同時に求めないでください。同じチャットで次のように送信します。

text
1キャラクターの外見、部屋の環境、アクションはそのまま維持してください。以下のみを変更します。
2デスクランプの明るさを 1 段階上げ、顔がよりはっきり見えるようにしてください。それ以外は変更しないでください。

やるべきこと:6 秒クリップの顔が一貫しており、余計な字幕がなく、目や肌が自然であることを確認する。やってはいけないこと:顔を固定する前に 30 秒のプロットを書こうとする。

4. ステップ 3:レンダリングを Meta AI に任せて枠を節約する

さまざまなショットを試していると、Muse の枠はすぐに尽きます。ワークフローを分割しましょう。Muse はプロンプト作成と QA(低コスト)を担当し、重いレンダリングは Meta AI(無料)に任せます。

手順:

  1. Muse の Space に「プロンプトリレーダッシュボード」を作成する:
text
1あなたは外部の Meta AI リンクを直接クリックできません。Space 内に「プロンプトリレーダッシュボード」を作成してください。
2機能:
31. 私がシーンを説明したら、完全で独立した画像/アニメーション用プロンプトを作成し、ダッシュボードに配置すること。
42. 各プロンプトに「コピー」ボタンと https://www.meta.ai/ へのリンクを追加すること。
53. 私は Meta AI でメディアを生成し、ここにアップロードし直すので、あなたはその不具合をチェックし、次のプロンプト案を提示してください。
  1. Meta AI で画像を生成する:ダッシュボードからプロンプトをコピーし、meta.ai に貼り付けます。生成(約 20 秒)し、何度でもリトライ可能です。
  2. Meta AI でアニメーション化する:Animate(デフォルト)または Custom animate(Muse のアクション説明を貼り付け)をクリックします。必要に応じて Music を追加できます。
  3. Muse で検証する:Meta AI の動画を Muse にアップロードし直します。「顔やアクションの不具合をチェックして。必要なら修正版プロンプトを提示して」と依頼します。
锦鲤同学 - inline image

5. ステップ 4:スローモーションを防ぎ、クリップを滑らかにする(20〜30 秒動画)

落とし穴:いきなり「20 秒生成」と指示するとスローモーションになり、AI 動画の生データはカクつきます(16/24fps)。

① ストーリーボード表を作る

30 秒のアイデアを 5 秒×6 ショットに分割するよう Muse に依頼します。

text
1このアイデアを、30 秒・6 ショットの縦型ストーリーボード表に分割してください:[東京の雨の中を歩く人物、一歩ごとに街が SF 都市へと変貌していく]。
2表の列:
31. ショット番号
42. 尺(約 5 秒)
53. 映像内容
64. カメラアングル(クローズ/ミディアム/ワイド)
75. カメラワーク(プッシュ/プル/フォロー)
86. 次のショットへのトランジション
9要件:主人公の服装と顔は全 6 ショットで完全に一致させること。

② 「20 秒生成して」という命令を避ける

時間を無理に引き延ばそうとすると、AI はアクションを遅くします。代わりに分割生成を依頼します。

text
1ストーリーボードのショット 1〜4 を「10 秒+10 秒」のセグメントに分けて生成し、連結してください。歩行や環境の変化は通常の物理速度を維持すること。スローモーションにはしないでください。

③ RIFE 補間で 60fps にする

AI 動画の生データは 16/24fps のことが多いです。RIFE を使って中間フレームを挿入し、滑らかな 60fps にします。

  • 簡単:Muse に「RIFE エンジンを使って、最後の動画を 60fps に補間して」と依頼します。
  • 上級(ComfyUI):ローカルの ComfyUI に動画を読み込みます。ComfyUI フレーム補間ガイドに従ってください。ComfyUI-Frame-Interpolation をインストールします。
  1. Frame Interpolation ワークフローを読み込む。
  2. 動画を入力し、`RIFE VFI` ノード(モデルは rife47 または 4.0〜4.9)を接続する。
  3. マルチプライヤーを `2`(24/30fps の場合)または `4`(16fps の場合)に設定する。Video Combine から 60fps で書き出す。

6. ステップ 5:MiniMax H3 で複雑なカメラワーク(ターンアラウンド・オービット)を実現する

「キャラクターが振り向きながらカメラが旋回する」のような映画的な動きは、テキストだけのプロンプトでは失敗します。解決策:Muse でプレビズを作り、ComfyUI + MiniMax H3 で仕上げることです。

セットアップ:ComfyUI + MiniMax H3

16GB 以上の VRAM、またはクラウド GPU(Kaggle / Modal / Paperspace)が必要です。

  1. ComfyUI を更新:最新バージョン(ネイティブで MiniMax H3 対応)であることを確認します。
  2. モデルをダウンロード:
  • ベースモデル:Hugging Face から MiniMax H3 Ref2VA のウェイトを取得 → ComfyUI/models/diffusion_models/ へ。
  • 8 ステップ Turbo LoRA(推奨):ComfyUI Wiki ガイドに従い minimax_h3_ref2v_turbo_8step_v1.0_768p_comfyui_bf16.safetensors をダウンロード → ComfyUI/models/loras/ へ。ステップ数を 20 以上から 8 に削減できます。

実行:

  1. Muse でプレビズを生成する:
text
15 秒のプレビズ動画を生成してください。
2シーン:午後のカフェの窓際席。
3アクション/カメラ:グレーのパーカーを着た人物が呼び声に気づき、左後ろに振り向く。同時にカメラは正面から斜め後ろへ半円を描くようにスムーズに旋回する。軌道は安定させ、フレーム内は整理すること。
  1. ComfyUI で MiniMax H3 テンプレートを読み込む:公式の video_minimax_h3_r2v.json を使用します。ノードを接続します。
  • Reference Image:用意した正面ポートレート。
  • Reference Video:Muse で作った 5 秒のプレビズ。
  • LoRA Loader:8 ステップ Turbo LoRA を接続。
  • パラメータ:幅 1344、高さ 768、長さ 121 フレーム(24fps で約 5 秒)、ステップ数 8(LoRA なしの場合は 20)。
  1. プロンプトのベストプラクティス:MiniMax-H3 Ref2VA 体験記にある通り、参照画像だけに頼らないことが重要です。「記憶喪失」や顔のすり替わりを防ぐため、すべてのプロンプト部分で髪色や服装を明示的に記述します。Queue Prompt を実行します。出力:数分で環境音付きの 768p 動画が得られます。

公式テンプレートのノード概要:

锦鲤同学 - inline image

ノード接続チェックリスト:

  • メインライン:Model Loader (MiniMax H3) → LoRA Loader (Turbo) → MiniMaxH3ReferenceToVideo → Sampler (steps=8) → Video Combine
  • 入力:Reference Image ← ポートレート;Reference Video ← Muse プレビズ
  • 主要パラメータ:width=1344, height=768, length=121

7. ステップ 6:Blender + PLATEAU データで街のパース歪みを修正する

AI が生成した街並みは建物が歪みがちです。解決策:実在する 3D 都市データでパースを固定し、静止画ベースをレンダリングしてから AI で動かすことです。

セットアップ:

  1. Blender をインストール:無料のオープンソース 3D ソフトウェアです。
  2. データを取得:Plateau-Blender-Importer プラグインと、日本の Project PLATEAU から CityGML(.gml)データをダウンロードします(実寸通りの建物・道路、最大 1m 精度)。

実行:

  1. プラグインをインストール:Edit → Preferences → Add-ons → .zip をインストール → 有効化。
  2. 街区を読み込む:File → Import → Plateau City GML。都市全体を読み込まないこと(クラッシュします)。Muse に「カメラから 500m〜1km 以内の建物だけをフィルタリングし、色分けする Blender Python スクリプト」を書いてもらいましょう。
  3. 静止画ベースをレンダリング:仮想カメラを配置(アイレベル/空撮)、太陽光の角度を設定。F12 キーでクリーンな静止画をレンダリングします。
  4. AI でアニメーション化:静止画を Muse / Meta AI / ComfyUI にアップロードします。プロンプト例:「建物の構造は変更しないこと。濡れたアスファルトのネオン反射、傘を差した歩行者、ゆっくり前方へ進むカメラプッシュインを追加して」。ジオメトリが固定されているため、歪みは一切発生しません。

品質チェック:

  • 静止画ベース:白やグレーのブロック、暗い道路、明確な奥行きとパース、テクスチャなし。
  • 最終動画:最終フレームを静止画ベースと比較。建物のエッジは真っ直ぐなままで、ゼリーのように歪んでいないこと。

8. トラブルシューティングとパイプラインチェックリスト

公開前によくある問題:

  1. 縦型で被写体が切れる:16:9 から 9:16 に変換する場合、全画面表示で確認し、顔が切れていないかチェックします。
  2. 冒頭のテキスト欠落:Muse が字幕を入れた動画は、最初の 0.2〜0.5 秒が空白になることがあります。冒頭をトリミングするか、CapCut / 剪映で字幕を追加します。
  3. 生成が止まる:3 分以上かかる場合はアクティビティログを確認します。テキストだけが返ってきたら、「動画ファイルが見当たりません。生成状況を確認し、再生リンクを提供してください」と尋ねます。
  4. 商用利用権:Muse の無料プランには明確な商用ライセンス保証がありません。有料広告に使う場合は、Muse はストーリーボード/メモ/プレビズ専用とし、最終素材はローカルでオープンソースモデル(ComfyUI)を使ってレンダリングし、編集ソフトで合成してください。

セルフチェックリスト:

  • [ ] 清潔感のある正面ポートレート 1 枚を用意し、Muse の週次枠を確認した。
  • [ ] 3 つの協業ルールを Muse に送信し、4 項目の自己チェックを実施させた。
  • [ ] 最初の 6 秒フェースロックテストを完了し、「一度に 1 か所だけ変更する」調整法を習得した。
  • [ ] Meta AI リレーダッシュボードを構築した、または「10 秒+10 秒」の分割生成を使用した。
  • [ ] RIFE(滑らかさ)、ComfyUI MiniMax H3(カメラ制御)、Blender+PLATEAU(パース安定)の使い分けを理解した。

参考資料とツール

@loi_jinli をフォローして、一緒に成長し稼ぎましょう。

YouMindで再制作

Turn one viral article into a full content workflow

Collect the source, decode the pattern, create assets, draft the story, and distribute from one AI workspace.

Explore YouMind
クリエイターのために

あなたの Markdown をきれいな 𝕏 記事に

自分の長文を投稿するとき、画像・表・コードブロックを 𝕏 向けに整形するのは手間がかかります。YouMind は Markdown 全体を、そのまま投稿できるきれいな 𝕏 記事に変換します。

Markdown → 𝕏 を試す

解読すべきパターンをもっと

最近のバイラル記事

バイラル記事をもっと見る