이번 주, 저는 Opus 5.5 + Tripo + Blender 를 활용해 "어린 왕자" 속 성간 여행을 사용자가 직접 탐험할 수 있는 3D 게임으로 만들었습니다. 공개 후 웹 전체에서 약 300만 뷰를 기록했습니다.
https://x.com/Saccc_c/status/2109962425512734739
많은 분들이 이 게임을 좋아해 주셨습니다. 장면 구성과 캐릭터 제작부터 코드 개발 및 디버깅까지 주요 제작 작업은 AI 가 담당했습니다.
그래서 실제 사례와 참고할 만한 프롬프트를 곁들여 제작 과정을 공유하기로 했습니다. 여러분을 AI 3D 게임 제작의 세계로 한 단계씩 안내하여, 상상 속 세상을 직접 구축할 수 있도록 돕겠습니다.
이 글은 세 부분으로 나뉩니다:
- 게임 개발 워크플로우 및 준비
- 장면(Scene) 구축
- 캐릭터 구축
1. 게임 개발 워크플로우 및 준비
게임 개발 워크플로우: Fable 5.1 이 PRD 작성, 핵심 장면·캐릭터·스토리라인 정리를 담당 + Image 2.5 가 장면 및 캐릭터 이미지 생성 + Tripo 가 핵심 3D 에셋 생성 + Opus 5.5 가 핵심 코드 구축 + Astra 가 최적화 및 버그 수정을 반복합니다.
게임 도구 설정:
- Blender: Blender CLI 를 다운로드하여 Tripo 에서 생성된 3D 모델을 최적화하고 전체 3D 모델링을 완성합니다. 유료 플러그인인 Auto-Rig Pro 를 설치해 캐릭터 리깅과 스키닝을 수행하면 애니메이션 인터랙션 제작이 훨씬 수월해집니다.
- Unity: Unity 앱(https://unity.com/)을 게임 엔진으로 설치하여 장면, 캐릭터, 인터랙티브 효과를 하나의 완전한 게임으로 패키징합니다. Unity CLI 를 설치하고 프로젝트에 Pipeline 패키지를 추가하면, Claude 가 공식 Unity MCP 를 통해 Unity 프로젝트를 직접 조작할 수 있습니다.
이어서 본문에서는 장면 구축과 캐릭터 제작에 집중해서 설명하겠습니다.
2. 장면 구축
간단히 말하면: Image 2.5 로 장면 이미지 생성 — 3D 에셋을 분해해 Tripo 에서 생성 — Opus 5.5 가 Blender+Unity 를 조작해 장면 모델링을 진행합니다.
상세 단계는 다음과 같습니다 👇:
(1) GPT Image 2.5 를 사용해 장면 레퍼런스 이미지를 생성하여 아이디어를 명확한 비주얼로 바꿉니다.
미리 정리해 둔 게임 요구사항을 바탕으로 Image 2.5 를 사용해 장면 레퍼런스 이미지를 생성하고, 전체적인 아트 스타일, 색감, 주요 오브젝트의 위치를 결정합니다.
먼저 마음에 드는 장면 효과 이미지를 하나 확정한 뒤, 이를 중심으로 다른 각도의 이미지를 보완하는 것을 추천합니다(특히 실내외 장면의 경우). 탑다운 뷰는 주로 장면 배치를 보여주고, 사선 측면 뷰는 오브젝트의 높이, 형태, 계층 관계를 보완합니다. 아래처럼 전체 뷰를 바로 생성할 수도 있습니다:
재사용 가능한 레퍼런스 프롬프트:
업로드된 장면 레퍼런스 이미지를 바탕으로, 전체 환경의 다중 시점과 세부 부분의 표현을 포함하는 이 장면의 종합적인 레퍼런스 이미지를 생성해 주세요.
(2) AI 가 장면 에셋을 분해하게 하여, Tripo 에서 개별적으로 생성해야 할 모델을 걸러냅니다.
레퍼런스 이미지가 준비되면 AI 를 활용해 장면 내 어떤 에셋을 Tripo 에서 따로 생성해야 하고, 어떤 에셋을 Opus 5.5 가 Blender/Unity 에서 직접 구축할 수 있는지 판단하게 할 수 있습니다.
참고용 프롬프트:
지금 게임 개발을 진행하고 있으며, 제 기술 스택은 Tripo + Blender + Unity 입니다. 위에서 생성한 장면 레퍼런스 이미지를 바탕으로, 어떤 에셋이 Tripo 생성에 적합하고 어떤 에셋이 Blender 로 직접 구축하기에 적합한지 심층 분석해 주세요. Tripo 로 생성해야 하는 에셋은 제가 확인할 수 있도록 이미지 위에 표시해 주세요.
Tripo 에서 장면 소품 3D 에셋을 제작할 때는 H3.1 모델을 사용하는 것을 권장합니다. 에셋의 고정밀 디테일을 보장해 줍니다.
(3) 전문적인 프롬프트를 사용해 Opus 5.5 가 Blender 와 Unity 를 제어하여 모델링을 시작하게 합니다. 모델링의 핵심은 상세한 레퍼런스 이미지를 제공하고 여러 카메라 앵글에서 반복 개선하는 것입니다.
Tripo 에서 개별 제작이 필요한 3D 소품을 생성하고 내보낸 뒤, 해당 에셋과 1단계의 장면 레퍼런스 이미지를 Opus 5.5 에 전달합니다. 그러면 Opus 5.5 가 Blender + Unity 를 제어해 전체 환경을 구축하고, 레퍼런스 이미지에 따라 소품을 배치하며 비율과 위치를 조정합니다.
완성 후에는 정면, 측면 등 다양한 각도에서 장면을 확인하고, 스크린샷 피드백을 결합해 레이아웃과 디테일을 점진적으로 조정합니다.
참고용 프롬프트는 다음과 같습니다:
업로드된 실내외 장면의 다중 시점 레퍼런스 이미지와 생성된 Tripo 3D 에셋을 바탕으로, 레퍼런스 이미지를 완벽하게 재현해 주세요. 요구사항은 레퍼런스 이미지와 동일한 놀라운 질감과 디테일 복원을 달성하는 것입니다. 구현이 끝나면 독립적인 리뷰 에이전트를 투입해 여러 카메라 위치에서 장면을 블라인드 감사하게 하세요. 레퍼런스 이미지와 차이가 발견되면 지속적으로 반복 개선해 주세요.
3. 캐릭터 모델링
Image 2.5 로 캐릭터 이미지 생성 — Tripo 에서 3D 캐릭터 모델 생성 — Blender 의 Auto-Rig Pro 플러그인으로 리깅 및 스키닝 — Mixamo 애니메이션 통합 — 복잡한 인터랙션을 위한 Blender 2차 조정(선택 사항).
여기서는 어린 왕자의 디자인을 예로 들어 구체적으로 설명하겠습니다.
(1) Image 2.5 를 사용해 캐릭터의 다중 시점 레퍼런스 이미지를 생성합니다.
캐릭터 이미지와 설정을 바탕으로, 먼저 Image 2.5 를 사용해 어린 왕자의 T-포즈 4면도를 생성하여 모든 시점에서 캐릭터 디테일이 균일하도록 만듭니다.
(2) Tripo 의 Smart Mesh P2.0 모델을 사용해 3D 캐릭터 에셋을 생성합니다.
Smart Mesh P2.0 은 게임 및 인터랙티브 콘텐츠를 위해 특별히 설계된 3D 생성 모델입니다. 폴리곤 수를 제어할 수 있고 편집 가능한 캐릭터 구조를 생성한다는 점이 특징이며, 이후 리깅과 애니메이션 제작이 용이합니다.
Tripo 에서 "Multi-view to 3D Generation"을 선택하고 4면도를 순서대로 업로드합니다. 기본 토폴로지는 사각형이며, 정밀도는 최대로 설정할 수 있습니다. P2.0 모델을 선택하고 생성을 시작하세요.
이후 처음 생성된 흰색 메쉬 그리드가 깔끔하고 오류가 없다면 "Texture"를 클릭해 모델 텍스처를 생성합니다. 메쉬 형태가 부자연스럽다면 "edit mesh"를 선택해 일부를 다시 생성하세요.
(3) Blender 의 Auto-Rig Pro 플러그인을 사용해 캐릭터를 자동으로 리깅하고 스키닝합니다.
플러그인을 설정한 후 캐릭터 모델을 Claude 에 직접 업로드하고, 제가 반복 테스트하며 정리한 다음 프롬프트를 입력하면 효율적으로 리깅과 스키닝을 완료할 수 있습니다 👇:
Auto-Rig Pro 를 사용해 캐릭터의 리깅과 스키닝을 완료하고, 본 위치가 캐릭터 관절과 정확히 일치하도록 해주세요. 완료 후 팔 들기, 다리 굽히기, 방향 전환 같은 기본 동작을 테스트하고, 눈에 띄는 변형, 늘어남, 클리핑 문제를 확인하여 수정해 주세요.
(4) Mixamo 에서 캐릭터에 필요한 동작 파일을 다운로드하고, Opus 5.5 가 해당 캐릭터 스켈레톤에 맞게 적용하도록 합니다.
게임 설정에 따라 mixamo(https://www.mixamo.com/)에 접속해 키워드로 어린 왕자에게 필요한 동작을 검색하고, 해당하는 FBX 동작 파일을 다운로드합니다.
그런 다음 Opus 가 관련 동작이 어린 왕자의 실제 스켈레톤과 일치하는지 확인하고 통합을 완료하도록 할 수 있습니다.
(5) Blender 에서 특수 동작과 접촉 디테일을 조정합니다(복잡한 인터랙티브 동작에 필요).
"주전자를 든 어린 왕자"처럼 캐릭터와 소품이 접촉하는 복잡한 인터랙션의 경우, Mixamo 에 완벽하게 맞는 동작이 없는 경우가 많습니다. 이때는 먼저 비슷한 기본 동작을 선택한 뒤, Opus 5.5 가 Blender 에서 디테일을 반복 조정하도록 할 수 있습니다.
프롬프트 참고용은 다음과 같습니다:
제공된 Mixamo 동작을 참고하여 적용 가능한 부분은 유지하고, Auto-Rig Pro 의 팔 IK 컨트롤러를 사용해 팔 포즈를 조정해 주세요. 손가락 그립과 주전자 위치의 세부 수정을 조율하여 주전자를 드는 동작을 완성하세요. 손바닥과 손잡이의 접촉이 안정적이고 들어 올리는 과정이 자연스러우며, 클리핑, 그립 이탈, 주전자가 떠 보이는 현상이 없도록 해주세요.
다음 주에는 전체 게임 코드와 더 완성도 높은 제작 세부 사항을 GitHub 에 오픈소스로 공개할 예정입니다. 많은 관심 부탁드립니다!
ps. 여러분도 Tripo 로 나만의 3D 창작을 시도해 보고 싶다면, 제 링크를 통해 가입해 500 크레딧을 무료로 받아보세요: https://studio.tripo3d.ai/home?invite_code=H2DB1X&utm_source=X&utm_medium=kol&utm_campaign=kol_Saccc
