YouMind
로그인

MUSE 심화 가이드: AI 영상 파이프라인을 위한 얼굴 고정부터 카메라 제어까지

@loi_jinli
중국어2026년 11월 17일
118K
570
94
37
1.2K

TL;DR

Meta Muse를 활용한 AI 영상 제작 파이프라인 구축에 대한 종합 튜토리얼로, 캐릭터 일관성 유지, 할당량 관리 및 ComfyUI와 Blender를 통한 고급 카메라 제어 기술에 중점을 둡니다.

먼저 분명히 짚고 넘어가겠습니다. 이 튜토리얼을 왜 읽어야 할까요? 읽고 나면 무엇을 만들 수 있을까요?

Meta 의 개인 AI 어시스턴트 Muse 를 처음 접했다면, 아마 채팅이나 정보 검색, 이미지 몇 장 생성 정도로만 사용하고 있을 것입니다. 하지만 바로 게시할 수 있는 완성도 높은 숏폼 영상을 만들려고 하면 대부분 다음 네 가지 함정에 빠지게 됩니다.

  1. 컷마다 얼굴이 바뀜: 1 초 전에는 긴 머리 소녀였던 주인공이 다음 순간 전혀 다른 사람으로 변합니다.
  2. 움직일 때 발생하는 왜곡: 캐릭터가 크게 움직이면 손이 얼굴을 뚫고 지나가거나 이목구비가 흐려집니다.
  3. 긴 영상은 슬로우 모션이 됨: AI 에게 "20 초짜리 영상 만들어줘"라고 요청하면 5 초 분량의 동작을 20 초로 늘려버려, 버벅거리는 슬라이드쇼처럼 보입니다.
  4. 크레딧 소진: 이미지와 영상 생성은 주간 무료 크레딧을 빠르게 소모합니다. 몇 번 테스트해 보면 더 이상 진행할 수 없게 됩니다.

이 글은 단순한 기능 소개가 아니라, 0 에서 1 까지 따라 하는 단계별 매뉴얼입니다.

아래 단계를 따르면 영상 편집 경험이 없더라도 다음과 같은 파이프라인을 구축할 수 있습니다.

  • 기본기: AI 가 동일한 주인공의 얼굴을 기억하게 하여, 왜곡 없이 안정적인 6 초 클립을 촬영합니다.
  • 크레딧 절약: 렌더링 작업을 완전히 무료인 웹 도구로 넘깁니다.
  • 고급 카메라 및 구도: "턴어라운드 오비트(주변 선회)"나 "스트리트 푸시인(거리 전진)" 같은 복잡한 컷을 위해 ComfyUI, MiniMax H3, Blender 를 준비하는 방법을 익혀 최종 결과물의 안정성을 확보합니다.

이전 Muse 고급 활용 글에서는 무료 크레딧 레이더, AI 영상 워크플로우, 셀프 미디어 제작 센터, 핫스팟 대시보드 등 4 개 워크스테이션 설정법을 소개했습니다. 놓치셨다면 다시 확인해 보세요. 릴레이 대시보드 설정 시 해당 내용을 참고합니다.

https://x.com/loi_jinli/status/2120499400586014862

1. 준비: 계정, 소스, 그리고 예상 시간

소프트웨어를 열기 전에 기본 사항과 소요 시간을 먼저 이해하세요.

① 기본 계정 및 소스

  • Muse 계정 1 개: muse.ai 또는 데스크톱 클라이언트로 로그인합니다. 남은 크레딧을 확인하세요 (6 초 클립 1 개에 주간 크레딧의 약 2%~12% 가 소모되므로 짧은 테스트부터 시작하세요).
  • 정면 인물 사진 1 장: 조명이 균일하고 이목구비가 선명하며 선글라스나 앞머리가 없는 사진이어야 합니다. 격자 콜라주는 절대 업로드하지 마세요. AI 가 흰색 테두리를 영상에 그대로 학습할 수 있습니다.
  • 화면 비율 조기 결정: 세로형(TikTok, Reels)은 `9:16`, 가로형(YouTube)은 `16:9` 를 사용합니다. 가로로 생성한 뒤 억지로 세로로 자르지 마세요. 자동 크롭은 피사체 위치를 자주 어긋나게 만듭니다.

② 현실적인 대기 시간

  • 기본 이미지 1 장 생성: 20~40 초.
  • 5~6 초 클립 1 개 생성: 1~2 분.
  • 30 초 전체 스크립트 + 분할 생성: 확인 작업 포함 15~30 분. 생성 중이라면 인내심을 가지고 기다리세요. 전송 버튼을 연타하지 마십시오.

③ 고급 도구 (지금 알아두고 나중에 설치)

5~7 장에서는 아래 무료 외부 도구를 사용하지만, 2~4 장에서는 필요하지 않습니다.

  • [Meta AI](https://www.meta.ai/): Muse 크레딧을 아끼기 위해 이미지나 간단한 애니메이션 작업을 넘길 수 있는 무료 웹 도구입니다.
  • ComfyUI: "부드러움(RIFE 보간)"과 "정밀한 카메라 제어(MiniMax H3)"를 위한 오픈소스 노드 기반 AI 워크플로우 소프트웨어입니다. 16GB~24GB VRAM GPU 또는 클라우드 컴퓨팅 환경이 필요합니다.
  • Blender: AI 생성 전 왜곡 없는 거리/건물 원근감을 설정하기 위한 오픈소스 3D 모델링 소프트웨어입니다.

2. 1 단계: Muse 에 규칙 먼저 설정하기

초보자들은 종종 "커피 마시는 미녀"라고만 요청해서 엉뚱한 BGM, 자막, 손 왜곡이 포함된 결과물을 얻습니다.

새 채팅을 시작하세요. 아직 이미지를 업로드하지 마십시오. 다음 "협업 규칙"을 전송합니다.

text
1나는 한국 사용자입니다. 우리는 일관된 캐릭터의 숏폼 영상 소스를 만들 것입니다. 다음 3 가지 규칙을 엄격히 따르세요:
21. 명시적으로 요청하지 않는 한 배경 음악(BGM), 내레이션, 화면 자막을 추가하지 마세요.
32. 캐릭터의 동작은 미세하거나 단일하게 유지하세요. 손이 얼굴 앞을 지나가는 동작은 절대 금지입니다.
43. 매 생성 후 다음 4 개 항목을 자체 점검하세요: "얼굴 일관성, 피부 질감(플라스틱 느낌 금지), 자연스러운 손/동작, 조명 안정성". 발견된 잠재적 문제 1 가지를 보고하세요.

참고: 이 규칙들은 생성 습관을 제한하는 용도입니다. 외부 계정 연결이나 파일 접근이 필요한 경우 설정에서 권한 팝업을 수동으로 승인해야 합니다.

3. 2 단계: 최소 루프 – 이미지 1 장으로 얼굴 고정하기

목표: 사진 1 장만으로 얼굴이 안정적인 첫 6 초 클립을 만드는 것입니다.

① 캐릭터 프로필을 "메모"로 저장

정면 인물 사진을 업로드하고 다음을 전송하세요.

text
1첨부된 이미지 속 인물의 이목구비를 재사용 가능한 "캐릭터 설정 메모"로 저장해 줘.
2요구사항:
31. 얼굴 구조, 헤어스타일, 머리카락 색, 체형만 기록해. 배경, 조명, 의상은 기록하지 마.
42. 저장 후 전체 메모 텍스트를 보여줘.

답변을 검토하세요. "카페 문 앞에 서 있음" 같은 환경 묘사가 섞이지 않았는지 확인합니다. 만약 있다면 이렇게 답하세요. "배경/의상 설명을 삭제하고 얼굴/머리카락 특징만 남겨서 다시 저장해 줘."

② 첫 6 초 테스트 클립 생성

같은 채팅창에서 다음을 전송하세요.

text
1저장된 "캐릭터 설정 메모"와 참조 이미지를 사용해 6 초짜리 세로형(9:16) 셀카 스타일 테스트 영상을 생성해 줘.
2장면: 어두운 실내, 따뜻한 노란색 책상 램프가 얼굴 윤곽을 비춤. 사실적인 피부 질감을 유지하고 과도한 보정은 금지.
3동작: "곁눈질하다가 다시 카메라를 보며 자연스럽게 눈 깜빡이기"만 수행. 손은 움직이지 않게 유지.
4영상을 보내주고 4 개 항목 자체 점검 결과를 보고해 줘.

1~2 분 정도 기다린 후 영상을 확인하세요.

锦鲤同学 - inline image
锦鲤同学 - inline image

③ 다듬기: 한 번에 하나씩만 수정

결과가 마음에 들지 않더라도 여러 가지를 동시에 수정 요청하지 마세요. 같은 채팅창에서 다음을 전송합니다.

text
1캐릭터 외모, 방 환경, 동작은 그대로 유지해. 다음 항목만 수정해 줘:
2책상 램프 밝기를 한 단계 높여서 얼굴이 더 잘 보이게 해. 나머지는 절대 바꾸지 마.

해야 할 것: 6 초 클립의 얼굴 일관성 확보, 불필요한 자막 제거, 자연스러운 눈/피부 표현. 하지 말아야 할 것: 얼굴을 고정하기 전에 30 초짜리 스토리를 작성하는 것.

4. 3 단계: Meta AI 로 렌더링을 넘겨 크레딧 절약하기

다양한 컷을 실험하다 보면 Muse 크레딧이 금방 바닥납니다. 워크플로우를 분리하세요. Muse 는 프롬프트 작성과 QA 역할을 맡아 비용을 낮추고, 무거운 렌더링은 Meta AI(무료)가 처리하게 합니다.

단계:

  1. Muse Space 에 "프롬프트 릴레이 대시보드" 만들기:
text
1너는 외부 Meta AI 링크를 직접 클릭할 수 없어. Space 에 "프롬프트 릴레이 대시보드"를 만들어 줘.
2기능:
31. 내가 장면을 설명하면 완전하고 독립적인 이미지/애니메이션 프롬프트를 작성해서 대시보드에 올려줘.
42. 각 프롬프트마다 "복사" 버튼과 https://www.meta.ai/ 링크를 추가해 줘.
53. 나는 Meta AI 에서 미디어를 생성한 뒤 여기에 다시 업로드할 거야. 그러면 너는 오류를 점검하고 다음 프롬프트 버전을 제안해 줘.
  1. Meta AI 에서 이미지 생성: 대시보드에서 프롬프트를 복사해 meta.ai 에 붙여넣습니다. 생성(약 20 초) 후 자유롭게 재시도하세요.
  2. Meta AI 에서 애니메이션 적용: Animate(기본) 또는 Custom animate(Muse 의 동작 설명 붙여넣기)를 클릭합니다. 필요시 Music 을 추가할 수 있습니다.
  3. Muse 에서 검증: Meta AI 영상을 다시 Muse 에 업로드합니다. "얼굴/동작 오류를 점검해 줘. 필요하면 수정된 프롬프트를 제공해 줘"라고 요청하세요.
锦鲤同学 - inline image

5. 4 단계: 슬로우 모션 방지 및 클립 부드럽게 만들기 (20~30 초 영상)

함정: "20 초 생성"을 직접 요청하면 슬로우 모션이 되고, 원본 AI 영상은 끊기는 현상(16/24fps)이 발생합니다.

① 스토리보드 표 만들기

Muse 에게 30 초짜리 아이디어를 5 초 컷 6 개로 나누도록 요청하세요.

text
1이 아이디어를 30 초, 6 컷짜리 세로형 스토리보드 표로 나눠줘: [도쿄 빗속을 걷는 인물, 걸을 때마다 거리가 SF 도시로 변함].
2표 열 구성:
31. 컷 번호
42. 길이(약 5 초)
53. 시각적 내용
64. 카메라 앵글(클로즈업/미디엄/와이드)
75. 카메라 움직임(푸시/풀/팔로우)
86. 다음 컷으로의 전환
9요구사항: 주인공의 옷과 얼굴은 6 개 컷 모두 동일해야 해.

② "20 초 생성" 명령 피하기

AI 는 억지로 시간을 늘리면 동작을 느리게 만듭니다. 대신 분할 생성을 요청하세요.

text
1스토리보드의 1~4 번 컷을 "10 초 + 10 초" 분할로 생성해서 이어붙여 줘. 걷기와 환경 변화의 물리적 속도는 정상으로 유지해. 슬로우 모션은 절대 금지야.

③ RIFE 보간으로 60fps 만들기

원본 AI 영상은 보통 16/24fps 입니다. RIFE 를 사용해 중간 프레임을 삽입하여 부드러운 60fps 로 만드세요.

  1. Frame Interpolation 워크플로우를 로드합니다.
  2. 영상을 입력하고 `RIFE VFI` 노드를 연결합니다 (모델 rife47 또는 4.0~4.9).
  3. 배수를 `2`(24/30fps 용) 또는 `4`(16fps 용)로 설정합니다. Video Combine 을 통해 60fps 로 내보냅니다.

6. 5 단계: MiniMax H3 로 복잡한 카메라 무빙(턴어라운드 오비트) 구현하기

"캐릭터가 고개를 돌리는 동안 카메라가 주변을 선회한다" 같은 영화적 무빙은 텍스트 프롬프트만으로는 실패합니다. 해결책: Muse 에서 프리비즈(Previz)를 만들고, ComfyUI + MiniMax H3 에서 정교하게 다듬기.

설정: ComfyUI + MiniMax H3

16GB 이상의 VRAM 또는 클라우드 GPU(Kaggle/Modal/Paperspace)가 필요합니다.

  1. ComfyUI 업데이트: 최신 버전인지 확인하세요 (MiniMax H3 네이티브 지원).
  2. 모델 다운로드:
  • 기본 모델: Hugging Face 에서 MiniMax H3 Ref2VA 가중치를 다운로드 → ComfyUI/models/diffusion_models/.
  • 8 스텝 터보 LoRA(권장): ComfyUI 위키 가이드에 따라 minimax_h3_ref2v_turbo_8step_v1.0_768p_comfyui_bf16.safetensors 다운로드 → ComfyUI/models/loras/. 스텝 수를 20 회 이상에서 8 회로 줄여줍니다.

실행:

  1. Muse 에서 프리비즈 생성:
text
15 초짜리 프리비즈 영상을 생성해 줘:
2장면: 오후 카페 창가 좌석.
3동작/카메라: 회색 후드티를 입은 인물이 부르는 소리를 듣고 왼쪽 뒤로 고개를 돌림. 동시에 카메라가 정면에서 대각선 뒤쪽으로 반원을 그리며 부드럽게 선회함. 궤적이 안정적이고 프레임이 깔끔해야 함.
  1. ComfyUI 에서 MiniMax H3 템플릿 로드: 공식 video_minimax_h3_r2v.json을 사용합니다. 노드를 연결하세요.
  • 참조 이미지: 본인의 정면 인물 사진.
  • 참조 영상: Muse 에서 만든 5 초 프리비즈.
  • LoRA Loader: 8 스텝 터보 LoRA 연결.
  • 파라미터: 너비 1344, 높이 768, 길이 121 프레임(24fps 기준 약 5 초), 스텝 8(LoRA 미사용 시 20).
  1. 프롬프트 모범 사례: MiniMax-H3 Ref2VA 경험담에 따르면 참조 이미지만 의존해서는 절대 안 됩니다. "기억 상실"과 얼굴 교체를 막기 위해 모든 프롬프트 구간에 머리카락 색, 의상을 명시적으로 묘사하세요. Queue Prompt 를 실행합니다. 결과: 몇 분 안에 환경음이 포함된 768p 영상이 출력됩니다.

공식 템플릿 노드 개요:

锦鲤同学 - inline image

노드 연결 체크리스트:

  • 메인 라인: Model Loader (MiniMax H3) → LoRA Loader (Turbo) → MiniMaxH3ReferenceToVideo → Sampler (steps=8) → Video Combine
  • 입력: Reference Image ← 인물 사진; Reference Video ← Muse 프리비즈
  • 핵심 파라미터: width=1344, height=768, length=121

7. 6 단계: Blender + PLATEAU 데이터로 거리 원근감 왜곡 수정하기

AI 가 생성한 거리 영상은 건물이 일그러지는 경우가 많습니다. 해결책: 실제 3D 도시 데이터로 원근감을 고정하고 정적 베이스를 렌더링한 뒤 AI 로 애니메이션을 적용합니다.

설정:

  1. Blender 설치: 무료 오픈소스 3D 소프트웨어입니다.
  2. 데이터 확보: Plateau-Blender-Importer 플러그인과 일본 Project PLATEAU의 CityGML(.gml) 데이터를 다운로드합니다 (최대 1m 정밀도의 실제 높이 건물/도로 데이터).

실행:

  1. 플러그인 설치: Edit → Preferences → Add-ons → .zip 설치 → 활성화.
  2. 도시 블록 가져오기: File → Import → Plateau City GML. 도시 전체를 가져오지 마세요 (충돌이 발생합니다). Muse 에게 카메라 반경 500m~1km 이내 건물만 필터링하고 색상으로 구분하는 Blender Python 스크립트를 작성해 달라고 요청하세요.
  3. 정적 베이스 렌더링: 가상 카메라(눈높이/항공 뷰)를 배치하고 태양 각도를 설정합니다. F12 를 눌러 깔끔한 정적 이미지를 렌더링합니다.
  4. AI 로 애니메이션 적용: 정적 이미지를 Muse/Meta AI/ComfyUI 에 업로드합니다. 프롬프트: "건물 구조는 변경하지 마. 젖은 아스팔트의 네온 반사, 우산을 쓴 행인, 카메라의 느린 전진 푸시를 추가해 줘." 지오메트리가 고정되어 있으므로 왜곡이 전혀 발생하지 않습니다.

품질 점검:

  • 정적 베이스: 흰색/회색 블록, 어두운 도로, 명확한 깊이감과 원근감, 텍스처 없음.
  • 최종 영상: 마지막 프레임을 정적 베이스와 비교합니다. 건물 모서리는 곧게 유지되어야 하며 젤리처럼 일그러지면 안 됩니다.

8. 문제 해결 및 파이프라인 체크리스트

게시 전 흔히 발생하는 문제들:

  1. 세로 화면에서 피사체가 잘림: 16:9 를 9:16 으로 변환할 때는 전체 화면 뷰를 확인하세요. 얼굴이 잘리지 않았는지 점검합니다.
  2. 영상 초반 텍스트 누락: Muse 가 자막을 넣은 영상은 종종 처음 0.2~0.5 초가 비어 있습니다. CapCut/Jianying(캡컷/젠잉)에서 앞부분을 자르거나 자막을 추가하세요.
  3. 생성 멈춤: 3 분이 초과되면 활동 로그를 확인하세요. 텍스트만 반환되었다면 "영상 파일이 보이지 않아. 생성 여부를 확인하고 재생 링크를 제공해 줘"라고 요청하세요.
  4. 상업적 권리: Muse 무료 요금제는 명시적인 상업용 라이선스를 보장하지 않습니다. 유료 광고용이라면 Muse 는 스토리보드/메모/프리비즈 용도로만 사용하세요. 최종 소스는 오픈소스 모델(ComfyUI)로 로컬에서 렌더링하고 편집 소프트웨어에서 합성하십시오.

자체 점검 리스트:

  • [ ] 깨끗한 정면 인물 사진 1 장을 준비했고, Muse 주간 크레딧을 확인했다.
  • [ ] Muse 에 3 가지 협업 규칙을 전송했고, 4 개 항목 자체 점검을 강제했다.
  • [ ] 첫 6 초 얼굴 고정 테스트를 완료했고, "한 번에 하나씩 수정" 방식을 숙달했다.
  • [ ] Meta AI 릴레이 대시보드를 구축했거나 "10 초+10 초" 분할 방식을 사용했다.
  • [ ] RIFE(부드러움), ComfyUI MiniMax H3(카메라 제어), Blender+PLATEAU(원근감 안정성)를 언제 사용해야 하는지 이해했다.

참고 자료 및 도구

@loi_jinli를 팔로우하고 함께 성장하며 수익을 창출하세요.

YouMind에서 다시 만들기

Turn one viral article into a full content workflow

Collect the source, decode the pattern, create assets, draft the story, and distribute from one AI workspace.

Explore YouMind
크리에이터를 위해

당신의 Markdown을 깔끔한 𝕏 글로

직접 쓴 장문을 올릴 때 이미지, 표, 코드 블록을 𝕏에 맞게 정리하는 일은 번거롭습니다. YouMind는 전체 Markdown 초안을 깔끔하고 바로 게시할 수 있는 𝕏 글로 바꿔 줍니다.

Markdown → 𝕏 사용해 보기

분석할 패턴 더 보기

최근 바이럴 아티클

더 많은 바이럴 아티클 보기