먼저 분명히 짚고 넘어가겠습니다. 이 튜토리얼을 왜 읽어야 할까요? 읽고 나면 무엇을 만들 수 있을까요?
Meta 의 개인 AI 어시스턴트 Muse 를 처음 접했다면, 아마 채팅이나 정보 검색, 이미지 몇 장 생성 정도로만 사용하고 있을 것입니다. 하지만 바로 게시할 수 있는 완성도 높은 숏폼 영상을 만들려고 하면 대부분 다음 네 가지 함정에 빠지게 됩니다.
- 컷마다 얼굴이 바뀜: 1 초 전에는 긴 머리 소녀였던 주인공이 다음 순간 전혀 다른 사람으로 변합니다.
- 움직일 때 발생하는 왜곡: 캐릭터가 크게 움직이면 손이 얼굴을 뚫고 지나가거나 이목구비가 흐려집니다.
- 긴 영상은 슬로우 모션이 됨: AI 에게 "20 초짜리 영상 만들어줘"라고 요청하면 5 초 분량의 동작을 20 초로 늘려버려, 버벅거리는 슬라이드쇼처럼 보입니다.
- 크레딧 소진: 이미지와 영상 생성은 주간 무료 크레딧을 빠르게 소모합니다. 몇 번 테스트해 보면 더 이상 진행할 수 없게 됩니다.
이 글은 단순한 기능 소개가 아니라, 0 에서 1 까지 따라 하는 단계별 매뉴얼입니다.
아래 단계를 따르면 영상 편집 경험이 없더라도 다음과 같은 파이프라인을 구축할 수 있습니다.
- 기본기: AI 가 동일한 주인공의 얼굴을 기억하게 하여, 왜곡 없이 안정적인 6 초 클립을 촬영합니다.
- 크레딧 절약: 렌더링 작업을 완전히 무료인 웹 도구로 넘깁니다.
- 고급 카메라 및 구도: "턴어라운드 오비트(주변 선회)"나 "스트리트 푸시인(거리 전진)" 같은 복잡한 컷을 위해 ComfyUI, MiniMax H3, Blender 를 준비하는 방법을 익혀 최종 결과물의 안정성을 확보합니다.
이전 Muse 고급 활용 글에서는 무료 크레딧 레이더, AI 영상 워크플로우, 셀프 미디어 제작 센터, 핫스팟 대시보드 등 4 개 워크스테이션 설정법을 소개했습니다. 놓치셨다면 다시 확인해 보세요. 릴레이 대시보드 설정 시 해당 내용을 참고합니다.
https://x.com/loi_jinli/status/2120499400586014862
1. 준비: 계정, 소스, 그리고 예상 시간
소프트웨어를 열기 전에 기본 사항과 소요 시간을 먼저 이해하세요.
① 기본 계정 및 소스
- Muse 계정 1 개: muse.ai 또는 데스크톱 클라이언트로 로그인합니다. 남은 크레딧을 확인하세요 (6 초 클립 1 개에 주간 크레딧의 약 2%~12% 가 소모되므로 짧은 테스트부터 시작하세요).
- 정면 인물 사진 1 장: 조명이 균일하고 이목구비가 선명하며 선글라스나 앞머리가 없는 사진이어야 합니다. 격자 콜라주는 절대 업로드하지 마세요. AI 가 흰색 테두리를 영상에 그대로 학습할 수 있습니다.
- 화면 비율 조기 결정: 세로형(TikTok, Reels)은 `9:16`, 가로형(YouTube)은 `16:9` 를 사용합니다. 가로로 생성한 뒤 억지로 세로로 자르지 마세요. 자동 크롭은 피사체 위치를 자주 어긋나게 만듭니다.
② 현실적인 대기 시간
- 기본 이미지 1 장 생성: 20~40 초.
- 5~6 초 클립 1 개 생성: 1~2 분.
- 30 초 전체 스크립트 + 분할 생성: 확인 작업 포함 15~30 분. 생성 중이라면 인내심을 가지고 기다리세요. 전송 버튼을 연타하지 마십시오.
③ 고급 도구 (지금 알아두고 나중에 설치)
5~7 장에서는 아래 무료 외부 도구를 사용하지만, 2~4 장에서는 필요하지 않습니다.
- [Meta AI](https://www.meta.ai/): Muse 크레딧을 아끼기 위해 이미지나 간단한 애니메이션 작업을 넘길 수 있는 무료 웹 도구입니다.
- ComfyUI: "부드러움(RIFE 보간)"과 "정밀한 카메라 제어(MiniMax H3)"를 위한 오픈소스 노드 기반 AI 워크플로우 소프트웨어입니다. 16GB~24GB VRAM GPU 또는 클라우드 컴퓨팅 환경이 필요합니다.
- Blender: AI 생성 전 왜곡 없는 거리/건물 원근감을 설정하기 위한 오픈소스 3D 모델링 소프트웨어입니다.
2. 1 단계: Muse 에 규칙 먼저 설정하기
초보자들은 종종 "커피 마시는 미녀"라고만 요청해서 엉뚱한 BGM, 자막, 손 왜곡이 포함된 결과물을 얻습니다.
새 채팅을 시작하세요. 아직 이미지를 업로드하지 마십시오. 다음 "협업 규칙"을 전송합니다.
1나는 한국 사용자입니다. 우리는 일관된 캐릭터의 숏폼 영상 소스를 만들 것입니다. 다음 3 가지 규칙을 엄격히 따르세요:21. 명시적으로 요청하지 않는 한 배경 음악(BGM), 내레이션, 화면 자막을 추가하지 마세요.32. 캐릭터의 동작은 미세하거나 단일하게 유지하세요. 손이 얼굴 앞을 지나가는 동작은 절대 금지입니다.43. 매 생성 후 다음 4 개 항목을 자체 점검하세요: "얼굴 일관성, 피부 질감(플라스틱 느낌 금지), 자연스러운 손/동작, 조명 안정성". 발견된 잠재적 문제 1 가지를 보고하세요.
참고: 이 규칙들은 생성 습관을 제한하는 용도입니다. 외부 계정 연결이나 파일 접근이 필요한 경우 설정에서 권한 팝업을 수동으로 승인해야 합니다.
3. 2 단계: 최소 루프 – 이미지 1 장으로 얼굴 고정하기
목표: 사진 1 장만으로 얼굴이 안정적인 첫 6 초 클립을 만드는 것입니다.
① 캐릭터 프로필을 "메모"로 저장
정면 인물 사진을 업로드하고 다음을 전송하세요.
1첨부된 이미지 속 인물의 이목구비를 재사용 가능한 "캐릭터 설정 메모"로 저장해 줘.2요구사항:31. 얼굴 구조, 헤어스타일, 머리카락 색, 체형만 기록해. 배경, 조명, 의상은 기록하지 마.42. 저장 후 전체 메모 텍스트를 보여줘.
답변을 검토하세요. "카페 문 앞에 서 있음" 같은 환경 묘사가 섞이지 않았는지 확인합니다. 만약 있다면 이렇게 답하세요. "배경/의상 설명을 삭제하고 얼굴/머리카락 특징만 남겨서 다시 저장해 줘."
② 첫 6 초 테스트 클립 생성
같은 채팅창에서 다음을 전송하세요.
1저장된 "캐릭터 설정 메모"와 참조 이미지를 사용해 6 초짜리 세로형(9:16) 셀카 스타일 테스트 영상을 생성해 줘.2장면: 어두운 실내, 따뜻한 노란색 책상 램프가 얼굴 윤곽을 비춤. 사실적인 피부 질감을 유지하고 과도한 보정은 금지.3동작: "곁눈질하다가 다시 카메라를 보며 자연스럽게 눈 깜빡이기"만 수행. 손은 움직이지 않게 유지.4영상을 보내주고 4 개 항목 자체 점검 결과를 보고해 줘.
1~2 분 정도 기다린 후 영상을 확인하세요.


③ 다듬기: 한 번에 하나씩만 수정
결과가 마음에 들지 않더라도 여러 가지를 동시에 수정 요청하지 마세요. 같은 채팅창에서 다음을 전송합니다.
1캐릭터 외모, 방 환경, 동작은 그대로 유지해. 다음 항목만 수정해 줘:2책상 램프 밝기를 한 단계 높여서 얼굴이 더 잘 보이게 해. 나머지는 절대 바꾸지 마.
해야 할 것: 6 초 클립의 얼굴 일관성 확보, 불필요한 자막 제거, 자연스러운 눈/피부 표현. 하지 말아야 할 것: 얼굴을 고정하기 전에 30 초짜리 스토리를 작성하는 것.
4. 3 단계: Meta AI 로 렌더링을 넘겨 크레딧 절약하기
다양한 컷을 실험하다 보면 Muse 크레딧이 금방 바닥납니다. 워크플로우를 분리하세요. Muse 는 프롬프트 작성과 QA 역할을 맡아 비용을 낮추고, 무거운 렌더링은 Meta AI(무료)가 처리하게 합니다.
단계:
- Muse Space 에 "프롬프트 릴레이 대시보드" 만들기:
1너는 외부 Meta AI 링크를 직접 클릭할 수 없어. Space 에 "프롬프트 릴레이 대시보드"를 만들어 줘.2기능:31. 내가 장면을 설명하면 완전하고 독립적인 이미지/애니메이션 프롬프트를 작성해서 대시보드에 올려줘.42. 각 프롬프트마다 "복사" 버튼과 https://www.meta.ai/ 링크를 추가해 줘.53. 나는 Meta AI 에서 미디어를 생성한 뒤 여기에 다시 업로드할 거야. 그러면 너는 오류를 점검하고 다음 프롬프트 버전을 제안해 줘.
- Meta AI 에서 이미지 생성: 대시보드에서 프롬프트를 복사해 meta.ai 에 붙여넣습니다. 생성(약 20 초) 후 자유롭게 재시도하세요.
- Meta AI 에서 애니메이션 적용:
Animate(기본) 또는Custom animate(Muse 의 동작 설명 붙여넣기)를 클릭합니다. 필요시Music을 추가할 수 있습니다. - Muse 에서 검증: Meta AI 영상을 다시 Muse 에 업로드합니다. "얼굴/동작 오류를 점검해 줘. 필요하면 수정된 프롬프트를 제공해 줘"라고 요청하세요.

5. 4 단계: 슬로우 모션 방지 및 클립 부드럽게 만들기 (20~30 초 영상)
함정: "20 초 생성"을 직접 요청하면 슬로우 모션이 되고, 원본 AI 영상은 끊기는 현상(16/24fps)이 발생합니다.
① 스토리보드 표 만들기
Muse 에게 30 초짜리 아이디어를 5 초 컷 6 개로 나누도록 요청하세요.
1이 아이디어를 30 초, 6 컷짜리 세로형 스토리보드 표로 나눠줘: [도쿄 빗속을 걷는 인물, 걸을 때마다 거리가 SF 도시로 변함].2표 열 구성:31. 컷 번호42. 길이(약 5 초)53. 시각적 내용64. 카메라 앵글(클로즈업/미디엄/와이드)75. 카메라 움직임(푸시/풀/팔로우)86. 다음 컷으로의 전환9요구사항: 주인공의 옷과 얼굴은 6 개 컷 모두 동일해야 해.
② "20 초 생성" 명령 피하기
AI 는 억지로 시간을 늘리면 동작을 느리게 만듭니다. 대신 분할 생성을 요청하세요.
1스토리보드의 1~4 번 컷을 "10 초 + 10 초" 분할로 생성해서 이어붙여 줘. 걷기와 환경 변화의 물리적 속도는 정상으로 유지해. 슬로우 모션은 절대 금지야.
③ RIFE 보간으로 60fps 만들기
원본 AI 영상은 보통 16/24fps 입니다. RIFE 를 사용해 중간 프레임을 삽입하여 부드러운 60fps 로 만드세요.
- 간단한 방법: Muse 에게 "RIFE 엔진을 적용해서 마지막 영상을 60fps 로 보간해 줘"라고 요청합니다.
- 고급 방법(ComfyUI): 영상을 로컬 ComfyUI 로 가져옵니다. ComfyUI 프레임 보간 가이드를 따르세요. ComfyUI-Frame-Interpolation을 설치합니다.
- Frame Interpolation 워크플로우를 로드합니다.
- 영상을 입력하고 `RIFE VFI` 노드를 연결합니다 (모델 rife47 또는 4.0~4.9).
- 배수를 `2`(24/30fps 용) 또는 `4`(16fps 용)로 설정합니다. Video Combine 을 통해 60fps 로 내보냅니다.
6. 5 단계: MiniMax H3 로 복잡한 카메라 무빙(턴어라운드 오비트) 구현하기
"캐릭터가 고개를 돌리는 동안 카메라가 주변을 선회한다" 같은 영화적 무빙은 텍스트 프롬프트만으로는 실패합니다. 해결책: Muse 에서 프리비즈(Previz)를 만들고, ComfyUI + MiniMax H3 에서 정교하게 다듬기.
설정: ComfyUI + MiniMax H3
16GB 이상의 VRAM 또는 클라우드 GPU(Kaggle/Modal/Paperspace)가 필요합니다.
- ComfyUI 업데이트: 최신 버전인지 확인하세요 (MiniMax H3 네이티브 지원).
- 모델 다운로드:
- 기본 모델: Hugging Face 에서 MiniMax H3 Ref2VA 가중치를 다운로드 →
ComfyUI/models/diffusion_models/. - 8 스텝 터보 LoRA(권장): ComfyUI 위키 가이드에 따라
minimax_h3_ref2v_turbo_8step_v1.0_768p_comfyui_bf16.safetensors다운로드 →ComfyUI/models/loras/. 스텝 수를 20 회 이상에서 8 회로 줄여줍니다.
실행:
- Muse 에서 프리비즈 생성:
15 초짜리 프리비즈 영상을 생성해 줘:2장면: 오후 카페 창가 좌석.3동작/카메라: 회색 후드티를 입은 인물이 부르는 소리를 듣고 왼쪽 뒤로 고개를 돌림. 동시에 카메라가 정면에서 대각선 뒤쪽으로 반원을 그리며 부드럽게 선회함. 궤적이 안정적이고 프레임이 깔끔해야 함.
- ComfyUI 에서 MiniMax H3 템플릿 로드: 공식 video_minimax_h3_r2v.json을 사용합니다. 노드를 연결하세요.
- 참조 이미지: 본인의 정면 인물 사진.
- 참조 영상: Muse 에서 만든 5 초 프리비즈.
- LoRA Loader: 8 스텝 터보 LoRA 연결.
- 파라미터: 너비 1344, 높이 768, 길이 121 프레임(24fps 기준 약 5 초), 스텝 8(LoRA 미사용 시 20).
- 프롬프트 모범 사례: MiniMax-H3 Ref2VA 경험담에 따르면 참조 이미지만 의존해서는 절대 안 됩니다. "기억 상실"과 얼굴 교체를 막기 위해 모든 프롬프트 구간에 머리카락 색, 의상을 명시적으로 묘사하세요. Queue Prompt 를 실행합니다. 결과: 몇 분 안에 환경음이 포함된 768p 영상이 출력됩니다.
공식 템플릿 노드 개요:

노드 연결 체크리스트:
- 메인 라인: Model Loader (MiniMax H3) → LoRA Loader (Turbo) → MiniMaxH3ReferenceToVideo → Sampler (steps=8) → Video Combine
- 입력: Reference Image ← 인물 사진; Reference Video ← Muse 프리비즈
- 핵심 파라미터: width=1344, height=768, length=121
7. 6 단계: Blender + PLATEAU 데이터로 거리 원근감 왜곡 수정하기
AI 가 생성한 거리 영상은 건물이 일그러지는 경우가 많습니다. 해결책: 실제 3D 도시 데이터로 원근감을 고정하고 정적 베이스를 렌더링한 뒤 AI 로 애니메이션을 적용합니다.
설정:
- Blender 설치: 무료 오픈소스 3D 소프트웨어입니다.
- 데이터 확보: Plateau-Blender-Importer 플러그인과 일본 Project PLATEAU의 CityGML(.gml) 데이터를 다운로드합니다 (최대 1m 정밀도의 실제 높이 건물/도로 데이터).
실행:
- 플러그인 설치: Edit → Preferences → Add-ons → .zip 설치 → 활성화.
- 도시 블록 가져오기: File → Import → Plateau City GML. 도시 전체를 가져오지 마세요 (충돌이 발생합니다). Muse 에게 카메라 반경 500m~1km 이내 건물만 필터링하고 색상으로 구분하는 Blender Python 스크립트를 작성해 달라고 요청하세요.
- 정적 베이스 렌더링: 가상 카메라(눈높이/항공 뷰)를 배치하고 태양 각도를 설정합니다. F12 를 눌러 깔끔한 정적 이미지를 렌더링합니다.
- AI 로 애니메이션 적용: 정적 이미지를 Muse/Meta AI/ComfyUI 에 업로드합니다. 프롬프트: "건물 구조는 변경하지 마. 젖은 아스팔트의 네온 반사, 우산을 쓴 행인, 카메라의 느린 전진 푸시를 추가해 줘." 지오메트리가 고정되어 있으므로 왜곡이 전혀 발생하지 않습니다.
품질 점검:
- 정적 베이스: 흰색/회색 블록, 어두운 도로, 명확한 깊이감과 원근감, 텍스처 없음.
- 최종 영상: 마지막 프레임을 정적 베이스와 비교합니다. 건물 모서리는 곧게 유지되어야 하며 젤리처럼 일그러지면 안 됩니다.
8. 문제 해결 및 파이프라인 체크리스트
게시 전 흔히 발생하는 문제들:
- 세로 화면에서 피사체가 잘림: 16:9 를 9:16 으로 변환할 때는 전체 화면 뷰를 확인하세요. 얼굴이 잘리지 않았는지 점검합니다.
- 영상 초반 텍스트 누락: Muse 가 자막을 넣은 영상은 종종 처음 0.2~0.5 초가 비어 있습니다. CapCut/Jianying(캡컷/젠잉)에서 앞부분을 자르거나 자막을 추가하세요.
- 생성 멈춤: 3 분이 초과되면 활동 로그를 확인하세요. 텍스트만 반환되었다면 "영상 파일이 보이지 않아. 생성 여부를 확인하고 재생 링크를 제공해 줘"라고 요청하세요.
- 상업적 권리: Muse 무료 요금제는 명시적인 상업용 라이선스를 보장하지 않습니다. 유료 광고용이라면 Muse 는 스토리보드/메모/프리비즈 용도로만 사용하세요. 최종 소스는 오픈소스 모델(ComfyUI)로 로컬에서 렌더링하고 편집 소프트웨어에서 합성하십시오.
자체 점검 리스트:
- [ ] 깨끗한 정면 인물 사진 1 장을 준비했고, Muse 주간 크레딧을 확인했다.
- [ ] Muse 에 3 가지 협업 규칙을 전송했고, 4 개 항목 자체 점검을 강제했다.
- [ ] 첫 6 초 얼굴 고정 테스트를 완료했고, "한 번에 하나씩 수정" 방식을 숙달했다.
- [ ] Meta AI 릴레이 대시보드를 구축했거나 "10 초+10 초" 분할 방식을 사용했다.
- [ ] RIFE(부드러움), ComfyUI MiniMax H3(카메라 제어), Blender+PLATEAU(원근감 안정성)를 언제 사용해야 하는지 이해했다.
참고 자료 및 도구
- Meta 도움말: 이미지 및 Vibes 애니메이션 생성
- ComfyUI 튜토리얼: 프레임 보간(RIFE)
- ComfyUI 위키: MiniMax H3 Turbo Ref2VA 가이드
- PLATEAU 공식 Blender 임포트 튜토리얼 & 플러그인 GitHub
@loi_jinli를 팔로우하고 함께 성장하며 수익을 창출하세요.





