先说清楚:为什么要看这篇教程?看完后你能做出什么?
如果你刚接触 Meta 的个人 AI 助手 Muse,平时可能只用它聊聊天、查资料,或者试着生成过一两张图片。但当你真的想用它做一条「能发出去的完整短视频」时,大概率会撞上四个坑:
- 换个镜头就换张脸:上一秒主角还是长发女生,下一秒回头就变成了另一个人。
- 一动就崩、手脚乱飞:人物只要稍微做个大动作,手就会穿过脸,或者五官糊成一团。
- 想要长视频结果变慢动作:直接跟 AI 说“生成 20 秒视频”,它往往会把 5 秒的动作强行拉慢成 20 秒,看着像卡顿的幻灯片。
- 改几遍额度就见底:生图和生视频非常消耗账号的每周免费额度,试错几次就没法继续了。
这不是功能介绍清单,而是一份从 0 到 1 的跟练手册。
只要你按下面的顺序一步步跟着做,哪怕以前没做过视频剪辑,也能亲手搭出这样一套流水线:
- 基础过关:让 AI 记住同一个主角的长相,稳定拍出 6 秒不崩脸的短镜头;
- 省钱省额度:学会把耗算力的渲染工作分流给完全免费的网页工具;
- 进阶控运镜与透视:知道在需要高难度“转身环绕”或“街头推镜”时,怎么准备 ComfyUI、MiniMax H3 和 Blender,把最终成片稳稳做出来。
上期我们介绍的muse进阶第一贴,如何搭出 4 个工作台:免费额度雷达、AI 视频工作流、自媒体创作中心、热点看板。没看到的朋友可以复习下,后面中继看板的搭建可以参考。
https://x.com/loi_jinli/status/2120499400586014862
1. 动手前,先把这 3 样东西和心理预期准备好
在打开软件之前,先把基础物料和耗时预期摸清楚,心里不慌:
① 你要准备的基础账号和素材
- 1 个 Muse 账号:打开网页版 muse.ai 或桌面客户端登录。先看一眼右上角或设置里的剩余额度,心里有个底(通常单次生成一条 6 秒短视频会消耗大约 2%–12% 的周额度,所以前面试错一定要用短镜头)。
- 1 张干净的正面人像照片:光线均匀、五官清晰、没有墨镜或刘海遮挡的正面半身照。千万不要传“四宫格/九宫格”拼图,否则 AI 会把拼图的白线边框一起学进视频里。
- 提前定好画面比例:发手机竖屏(小红书、抖音、Reels)就统一用 `9:16`;发横屏(B站、YouTube)就用 `16:9`。不要先生成横图再在对话里强行转竖屏视频,系统自动裁切经常会把主角切偏。
② 了解真实的等待时间(别以为卡死了)
- 生成 1 张底图:通常需要 20–40 秒。
- 生成 1 条 5–6 秒短视频:通常需要 1–2 分钟。
- 跑一条带多个镜头的 30 秒完整脚本 + 分段生成:加上检查和微调,大概需要 15–30 分钟。如果页面显示正在生成中,耐心等 1–2 分钟,不要反复点发送。
③ 进阶工具按需准备(先知道它们是什么,用到那一步再装)
后面的第 5–7 节会用到几个免费外部工具,这里先用大白话认个脸,前面第 2–4 节完全不需要它们:
- \\Meta AI\\:Meta 自家的免费网页工具,用来分担画图和简单动画,帮你省下 Muse 的额度。
- ComfyUI:一个开源免费的本地/云端 AI 工作流软件(长得像连连看节点图),后面用来做「画面变丝滑(RIFE 补帧)」和「精准控运镜(MiniMax H3)」。需要电脑有一张 16GB–24GB 显存的显卡,或者使用云端算力。
- Blender:开源免费的 3D 建模软件,用来在拍街景前先摆好不会变形的房子和街道透视。
2. 第一步:打开 Muse,先发一段话立规矩
很多小白一上来就说“帮我拍个美女喝咖啡的视频”,结果出来的视频自己加了土味配乐、乱飘的英文字幕,人物还自己乱挥手导致手指变形。
新建一个对话,什么图都先别传,先把下面这段“合作规矩”直接复制发给 Muse:
1我是中文用户。接下来我们要一起制作人物长相一致的短视频素材,请严格遵守这 3 条规则:21. 除非我明确要求,否则视频里不要自动添加背景音乐(BGM)、台词配音和屏幕字幕。32. 人物动作尽量收敛成单一的小动作,严禁出现手部从脸前面晃过去的动作。43. 每次生成完视频后,你先自己检查这 4 项:「脸有没有变样、皮肤是不是像塑料、手和动作是否自然、前后光影有没有突然闪烁」,并直接告诉我你发现的 1 个隐患。
注意:对话里的规矩只是约束它的生成习惯;如果后面涉及到连接外部账号或访问你电脑里的文件夹,仍然需要你到 Settings(设置)里亲自看清授权弹窗后再点同意。
3. 第二步:跟练最小闭环——用 1 张图锁住主角的脸
这一步的目标很简单:只用 1 张照片,做出第 1 条“脸没崩、动作自然”的 6 秒短视频。 跑通这一步,你就已经超过一半的新手了。
① 先让 Muse 把主角长相记进“备忘录”
点击输入框旁的附件图标,上传你准备好的正面人像照,然后复制发送这段话:
1请帮我把附图里这个人的长相特征,保存成一份可以重复使用的「角色设定备忘录」。2要求:31. 只记录这个人的五官轮廓、发型、发色和体型,绝对不要记录原图里的背景、灯光和穿衣排版。42. 保存好以后,把备忘录的原文完整发给我看一遍。
收到回复后,你一定要自己看一眼。 重点查它发回来的字里行间有没有混进“站在咖啡馆门口”“穿着蓝色牛仔外套”这种环境词。如果有,直接回复它:“把背景和衣服描述删掉,只留五官和发型特征重新保存。”
② 调用备忘录,拍出第 1 条 6 秒单动作测试片
拿到干净的备忘录后,不要新开对话,直接在当前对话里发这段话:
1请调用刚才保存的「角色设定备忘录」和参考图,生成 1 条 6 秒的竖屏(9:16)自拍风格测试视频。2画面要求:主角在一个光线偏暗的室内,脸旁边有一盏暖黄色的台灯照亮轮廓;保留真实的皮肤纹理,不要过度磨皮。3动作要求:只做「视线往旁边看一眼,再转回来看向镜头并自然眨眼」这一个动作,手不要动。4生成后请把视频发给我,并按之前的 4 项标准汇报你的自检结果。
等 1–2 分钟,点开生成的视频看一眼。


③ 画面不满意?在原对话里“一次只改一个点”
第一版如果觉得光线太暗或者表情有点僵,千万别一次性提三四个修改意见(模型会顾此失彼把脸改崩),也不要重开新窗口,直接在下面接着发:
1请保留刚才的人物长相、房间环境和动作,只修改下面这 1 个地方并重新生成:2把台灯的亮度调高一档,让脸部看得更清楚,其他全部不要动。
先做什么:确保这 1 条 6 秒片“脸和原图一致、没有多余字幕、眼睛和皮肤自然”。别做什么:在脸还没锁稳之前,不要急着去写 30 秒长剧情。
4. 第三步:额度不够用怎么办?把渲染甩给免费的 Meta AI
当你掌握了锁脸技巧,想多试几个镜头和场景时,很快会发现 Muse 每周给的免费额度经不起反复试错。
这时候可以把工作拆成两半:让 Muse 只负责写提示词和当质检员(几乎不耗额度),真正费算力的画图和动起来,交给完全免费的网页工具 [Meta AI](https://www.meta.ai/)。
具体操作步骤(1-2-3-4 跟着点):
- 让 Muse 帮你搭一个“提示词中继看板”:在 Muse 对话里发下面这段话,它会自动在 Space(应用空间) 里给你生成一个带按钮的小网页:
1你没法直接帮我点外部的 Meta AI 网页,所以请你在 Space 里帮我做一个「提示词中继看板」。2功能要求:31. 以后我告诉你想要什么画面,你帮我写好完整、独立、不需要上下文就能直接用的生图和动画提示词,放到看板上。42. 每条提示词旁边配一个「一键复制」按钮,再放一个打开 https://www.meta.ai/ 的跳转链接。53. 我去 Meta AI 生成好图片或视频后,会传回来给你检查,你负责告诉我哪里穿帮、下一版怎么改提示词。
- 去 Meta AI 免费生图:点看板上的按钮复制提示词,打开 meta.ai 登录你的账号,把提示词粘贴进去生成图片(大约 20 秒出图,不满意可以免费多刷几遍)。
- 在 Meta AI 里让图片动起来:根据 Meta 官方帮助说明,点开你满意的那张图片,在画面右侧操作栏点击 `Animate`(一键生成默认动画),或者点击 `Custom animate`(把 Muse 写好的动作描述粘进去);如果想顺便配点声音,左下角还有 `Music` 按钮可以点。
- 传回 Muse 验收:把 Meta AI 做好的视频下载下来,拖回 Muse 对话框里问它:“帮我看看这条视频的脸和动作有没有穿帮?如果有,给我下一版修改后的提示词。”

5. 第四步:拍 20–30 秒完整短片,怎么防慢动作、变丝滑?
学会拍单个 6 秒镜头后,接下来我们要把多个镜头拼成一条 20–30 秒的完整短片。小白最容易在这里踩两个坑:一是直接让 AI“生成 20 秒视频”结果变成慢动作;二是拼完发现画面一顿一顿的,不够丝滑。
按下面这三步来,就能解决:
① 先用 Muse 写一张“6 镜头分镜表”
不要凭空硬想下一镜拍什么,直接让 Muse 帮你把 30 秒拆成 6 个 5 秒镜头,发这段:
1请把下面这个想法,拆成 30 秒、一共 6 个镜头的竖屏短视频分镜表:【一个人雨后走在东京街头,每迈出一步,周围的街道就切换成未来科幻城市】。2请用表格输出,必须包含这 6 列:31. 镜号42. 秒数(每镜控制在 5 秒左右)53. 画面里有什么64. 机位角度(特写/中景/全景)75. 镜头怎么动(推进/拉远/跟随)86. 怎么自然衔接到下一镜910要求:主角的衣服和长相从第 1 镜到第 6 镜必须完全一致。
② 为什么不能直接写“生成 20 秒”?改成「10秒 + 10秒」
实测中如果你直接下令“生成 20 秒视频”,AI 往往会把正常走路拖成 0.5 倍速慢动作。正确的写法是明确要求它分段生成再拼接:
1请按上面分镜表的第 1–4 镜,采用「10秒 + 10秒」两段拼接的方式生成总共 20 秒的视频。保持人物走路和环境的正常物理速度,不要变成慢动作。
③ 画面一顿一顿的?用 RIFE 插帧拉到 60fps
AI 生成的原生视频大多只有 16fps 或 24fps(每秒 16 或 24 张画面),直接发到短视频平台看着会有轻微卡顿感。这时候不需要重新生成视频,只需要用 RIFE 算法在原画面之间自动“补出中间过渡帧”,就能变成丝滑的 60fps。
- 简单做法:在 Muse 里直接对生成的视频追加一句:请调用 RIFE 引擎,把刚才这段视频插帧提升到 60fps。
- 进阶本地做法(ComfyUI):如果你把视频导进了自己的电脑,可以参考 ComfyUI 官方帧插值指南,装好 ComfyUI-Frame-Interpolation 插件:
- 在 ComfyUI 模板库里打开 Frame Interpolation 工作流。
- 加载需要变丝滑的视频,中间接上 `RIFE VFI` 节点(模型选 rife47 或 4.0–4.9 系列)。
- 把倍率(multiplier)设为 `2`(如果是 24fps/30fps 视频)或 `4`(如果是 16fps 视频),最后接 Video Combine 导出,帧率设为 60。
6. 第五步:想拍“转身回头 + 环绕运镜”?用 Muse 预演 + MiniMax H3 精修
如果你想拍一个电影感的镜头——比如“主角坐在咖啡馆,听到身后有人叫他于是回头,同时镜头从他正面顺滑绕到他背影”——靠纯文字几乎拍不出来,人物必定扭曲。
真正的稳妥做法叫 “先拍草稿预演(Previz),再换主角精修”:先让 Muse 快速拍一条不管长相、只管动作和机位对不对的 5 秒草稿视频;再把这条草稿视频连同你的主角照片,一起送进 ComfyUI + MiniMax H3 模型里重绘。
准备工作:小白怎么把 ComfyUI 和 MiniMax H3 配齐?
在开始连线前,你需要先准备好这套环境(如果你的电脑没有 16GB–24GB 显存的 NVIDIA 显卡,建议在 Kaggle、Modal 或 Paperspace 等云端 GPU 平台运行 ComfyUI):
- 安装/更新 ComfyUI:确保你的 ComfyUI 是最新版本(MiniMax H3 已经内置原生支持,不用自己写代码装复杂插件)。
- 下载 2 个模型文件:
- 基础模型:从 Hugging Face 下载 MiniMax H3 的 Ref2VA(Reference-to-Video,支持参考图转带音效视频)主模型权重,放进 ComfyUI/models/diffusion_models/(或按官方模板提示放入对应目录)。
- 8 步加速 LoRA(强烈推荐,省时间):根据 ComfyUI Wiki 的 MiniMax H3 Turbo 指南,下载 minimax_h3_ref2v_turbo_8step_v1.0_768p_comfyui_bf16.safetensors,放进 `ComfyUI/models/loras/` 文件夹。挂上它之后,原本要算 20 步甚至更久的视频,只要 8 步就能出片。
一步一步实操出片:
- 先在 Muse 里生成 5 秒“动作预演片”:发下面这段,重点是把机位怎么绕写清楚:
1请生成 1 条 5 秒的动作预演视频:2场景:午后咖啡馆靠窗的座位。3动作与运镜:一个穿灰色连帽衫的人坐在桌前,听到身后有人叫他,自然地往左后方回头;与此同时,摄像机从人物正面顺滑环绕半周,移动到人物斜后方。运动轨迹要稳,画面干净。
1请生成 1 条 5 秒的动作预演视频:2场景:午后咖啡馆靠窗的座位。3动作与运镜:一个穿灰色连帽衫的人坐在桌前,听到身后有人叫他,自然地往左后方回头;与此同时,摄像机从人物正面顺滑环绕半周,移动到人物斜后方。运动轨迹要稳,画面干净。
- 打开 ComfyUI 的 MiniMax H3 参考生视频模板:加载官方的 MiniMax H3 R2V 工作流模板,找到核心节点 `MiniMaxH3ReferenceToVideo`。把素材连进去并填好参数:
- 在 参考图(Reference Image) 分支:上传你第 1 步准备好的主角正面图。
- 在 参考视频/动作引导 分支:上传刚才 Muse 生成的 5 秒预演片。
- 在 LoRA 加载器:挂上刚才放进 loras 文件夹的 8-Step Turbo LoRA。
- 分辨率与帧数:宽设为 1344、高设为 768(768p);帧数设为 `121` 帧(按 24fps 算正好约 5 秒);采样步数填 `8`(如果没挂加速 LoRA 用原版模型,则填 `20`)。
- 填写提示词时的致命避坑:根据 MiniMax-H3 Ref2VA 实测经验,哪怕你传了参考图,也千万不要在提示词里偷懒只写“主角回头”。每一段提示词都必须把主角的头发颜色、衣服款式完整写一遍,否则模型跑到后半段会“失忆”,给你换张路人脸。点击 Queue Prompt 运行,通常几分钟内就能拿到运镜完美、还自带咖啡馆环境音效的 768p 成片。
官方模板的节点连线全景(按 Comfy-Org 官方 video_minimax_h3_r2v.json 渲染,节点、连线与分组以官方文件为准):

不用看图也能对照的连线清单(按顺序核对节点):
- 主线连接:模型加载器(MiniMax H3) → LoRA 加载器(挂载 8-Step Turbo) → MiniMaxH3ReferenceToVideo(Ref2VA) → 采样器(steps=8) → 视频合成导出
- 素材输入:Reference Image 接口连你的正面人像图;Reference Video 接口连 Muse 做的 5 秒预演片
- 核心参数:width = 1344、height = 768、length = 121(约 5 秒)
7. 第六步:想拍街景大楼不扭曲?用 Blender + 3D 城市数据打底
如果你要拍“主角走在东京街头”或者“无人机从高楼间飞过”,直接用 AI 生成街景,你会发现两边的楼房线条像果冻一样一边走一边歪。
解决这个问题的思路和刚才一样:先拿真实的 3D 城市模型把透视和机位焊死,渲染出一张绝对不会歪的静态“底图”,再让 AI 给这张底图加上光影和动态。
准备工作:下载两样免费工具
- 安装 Blender:去 Blender 官网下载安装开源免费的 3D 软件。
- 下载导入插件与城市数据:去 GitHub 下载开源插件 Plateau-Blender-Importer(压缩包 .zip),并去日本国土交通省的 Project PLATEAU 开放数据平台下载你想拍的街区数据包(格式为 .gml 的 CityGML 文件,包含真实高度的建筑、道路和地形,部分核心区精度高达 1 米网格)。
一步一步实操打底:
- 在 Blender 里装插件:打开 Blender,点顶部菜单 Edit(编辑) → Preferences(偏好设置) → Add-ons(插件) → Install...,选中刚才下载的 .zip 插件压缩包并勾选启用(具体官方操作可对照 PLATEAU Blender 导入教程)。
- 导入城市街区(别一次全导,会卡死):点 File → Import → Plateau City GML (.gml) 选中目标区域的 .gml 文件。注意,整个城市的 3D 面数非常庞大,让 Muse 帮你写一段简单的 Blender Python 脚本,只保留摄像机周边 500 米到 1 公里范围内的建筑和道路,顺便把建筑和地面设成不同颜色方便区分。
- 定好机位、渲染静态底图:在 Blender 里把虚拟摄像机摆到你想要的高度(比如人眼平视视角或俯拍视角),调好太阳光照方向,按 F12 渲染导出 1 张干净的静态图片。
- 送进视频 AI 赋予真实质感:把这张透视完全准确的静态图上传给 Muse(或 Meta AI / ComfyUI),写上动态提示词:“保持建筑结构不变,赋予阴天雨后湿润柏油路面的霓虹灯反光,街上行人撑伞走动,镜头缓慢向前推进”。因为底层线条已经由 3D 模型定死了,做出来的推镜几乎零变形。
不用看图也能对照的检查标准:
- 导出的静态基底图合格标准:画面里只有纯白或浅灰的建筑方块与深灰路面,没有多余贴图,但能一眼看清街道纵深、楼宇高低和镜头俯仰角度。
- 图生视频后的验收标准:对比静图和视频的最后一帧,两侧大楼的边缘线依然是直的,没有随着镜头推进出现果冻状扭曲。
8. 常见翻车排查 & 完整流水线自检表
哪怕每一步都按流程走,最后导出发片前也一定要自己过一遍这 4 个高频翻车点:
- 竖屏画面主角被裁偏了:如果你在对话里是先出 16:9 横图再转 9:16 竖屏视频,一定要点开全屏看一眼,确认主角的脸没有被系统裁到画面边缘外。
- 开头几帧文字没出来:如果让 Muse 直接往视频下半屏压字幕,开头 0.2–0.5 秒往往是空白的,剪辑拼接时记得把开头那几帧裁掉,或者统一进剪映/CapCut 里后加字幕。
- 生成卡住不动或只回了文字:等超过 3 分钟没动静,先点助手头像看看活动记录里是不是还在排队;如果它只回复了一段文字描述却没给视频文件,直接追问一句:“没有看到视频文件,请确认是否已生成,给我播放入口。”
- 商用版权风险:Muse 免费版目前不提供明确的商业使用版权担保。如果你做的视频是用来接商业广告或付费投放,建议只用 Muse 做前面的分镜、备忘录和预演草稿,最终成片走本地 ComfyUI 开源模型渲染,并在剪辑软件里完成最终合成。
跟着做完这一轮,对照勾一遍:
- [ ] 我已经准备好了 1 张干净无网格的正面人像照,看清了自己的 Muse 周额度。
- [ ]我在对话开头给 Muse 发了 3 条协作规矩,让它每次出片先自检 4 项再交卷。
- [ ]我跑通了第 1 条 6 秒锁脸测试片,并且学会了“一次只改 1 个点”的微调方法。
- [ ]我在 Muse Space 里搭好了 Meta AI 中继看板,或者跑通了「10秒+10秒」分段生成。
- [ ]我弄清楚了什么时候该用 RIFE 补帧到 60fps、什么时候该上 ComfyUI MiniMax H3 控运镜、什么时候用 Blender + PLATEAU 稳住街景透视。
延伸参考与工具直达
- Meta 官方帮助:使用 Meta AI 生成图像与 Vibes 动画
- ComfyUI 官方教程:Frame Interpolation(RIFE 帧插值拉至 60fps)
- ComfyUI Wiki:MiniMax H3 Turbo Ref2VA 8-Step v1.0 指南与模型参数
- 日本国土交通省 PLATEAU:Blender 3D 城市模型导入官方教程 & Plateau-Blender-Importer 插件
关注我@loi_jinli,一起成长,一起赚钱。





