Questa settimana ho usato Opus 5.5 + Tripo + Blender per trasformare il viaggio interstellare de "Il Piccolo Principe" in un gioco 3D esplorabile direttamente dagli utenti. Dopo la pubblicazione, ha accumulato quasi 3 milioni di visualizzazioni in tutta la rete.
https://x.com/Saccc_c/status/2109962425512734739
Molti amici hanno adorato questo gioco. Dalla costruzione delle scene e la creazione dei personaggi fino allo sviluppo del codice e al debugging, il lavoro principale di produzione è stato gestito dall'IA.
Così ho deciso di condividere il processo di produzione, combinando casi reali e prompt riutilizzabili come riferimento, per guidarti passo dopo passo nella creazione di giochi 3D con l'IA, permettendoti di iniziare a costruire anche tu i mondi che hai immaginato.
Questo articolo è diviso in tre parti:
- Flusso di lavoro e preparazione dello sviluppo del gioco
- Costruzione delle scene
- Creazione dei personaggi
1. Flusso di lavoro e preparazione dello sviluppo del gioco
Flusso di lavoro dello sviluppo del gioco: Fable 5.1 si occupa della creazione del PRD, organizzando scene principali, personaggi e trama + Image 2.5 genera le immagini di scene e personaggi + Tripo genera gli asset 3D principali + Opus 5.5 costruisce il codice base + Astra itera ottimizzazioni e correzioni di bug.
Configurazione degli strumenti di gioco:
- Blender: scarica Blender CLI per ottimizzare i modelli 3D generati da Tripo e completare la modellazione 3D complessiva; installa il plugin a pagamento Auto-Rig Pro per il rigging e lo skinning dei personaggi, facilitando la creazione delle animazioni interattive.
- Unity: installa l'app Unity (https://unity.com/) come motore di gioco per assemblare scene, personaggi ed effetti interattivi in un gioco completo; installa Unity CLI e aggiungi il pacchetto Pipeline nel progetto, così Claude potrà operare direttamente sui progetti Unity tramite l'MCP ufficiale di Unity.
Di seguito, questo articolo si concentrerà sulla spiegazione della costruzione delle scene e della creazione dei personaggi.
2. Costruzione delle scene
In parole semplici: Image 2.5 genera le immagini delle scene — scomponi gli asset 3D e generane una parte in Tripo — Opus 5.5 opera su Blender+Unity per la modellazione della scena.
I passaggi dettagliati sono i seguenti 👇:
(1) Usa GPT Image 2.5 per generare immagini di riferimento delle scene, trasformando le idee in visual chiari.
Sulla base dei requisiti di gioco precedentemente organizzati, usa Image 2.5 per generare le immagini di riferimento delle scene, definendo lo stile artistico generale, la palette cromatica e le posizioni degli oggetti principali.
Ti consiglio di definire prima un'immagine dell'effetto scenico che ti soddisfi, per poi integrarla con altre angolazioni (soprattutto per le scene interne ed esterne). La vista dall'alto illustra principalmente il layout della scena, mentre la vista laterale obliqua integra altezza, forma e relazioni gerarchiche degli oggetti. Puoi anche generare direttamente una vista d'insieme come quella qui sotto:
Prompt di riferimento riutilizzabile:
Sulla base dell'immagine di riferimento della scena caricata, aiutami a generare un'immagine di riferimento completa di questa scena, includendo prospettive multi-vista dell'ambiente generale e visualizzazioni dei dettagli locali.
(2) Lascia che l'IA scomponga gli asset della scena, filtrando i modelli che devono essere generati separatamente in Tripo.
Con le immagini di riferimento pronte, puoi usare direttamente l'IA per valutare quali asset della scena debbano essere generati separatamente in Tripo e quali possano invece essere costruiti da Opus 5.5 in Blender/Unity.
Prompt di riferimento:
Ora sto procedendo con lo sviluppo del gioco, il mio stack tecnologico è Tripo + Blender + Unity. Sulla base delle immagini di riferimento della scena che abbiamo generato sopra, aiutami ad analizzare in profondità quali asset sono adatti alla generazione con Tripo e quali sono adatti alla costruzione diretta con Blender. Segna nell'immagine gli asset che devono essere generati da Tripo per permettermi di confermarli.
Per la produzione degli asset 3D degli oggetti di scena in Tripo, ti consiglio di usare il modello H3.1, che garantisce dettagli ad alta precisione.
(3) Usa prompt professionali per far controllare Blender e Unity a Opus 5.5 e avviare la modellazione. La chiave della modellazione è fornire immagini di riferimento dettagliate e iterare da più angolazioni della telecamera.
Dopo aver generato ed esportato in Tripo gli oggetti 3D che richiedono una produzione separata, consegna questi asset e le immagini di riferimento della scena del primo passaggio a Opus 5.5, lasciandogli controllare Blender + Unity per costruire l'ambiente complessivo, posizionare gli oggetti secondo le immagini di riferimento e regolare proporzioni e posizioni.
Una volta completato, controlla la scena da diverse angolazioni, come frontale e laterale, combinando il feedback degli screenshot per regolare gradualmente layout e dettagli.
Il prompt di riferimento è il seguente:
Sulla base delle immagini di riferimento multi-vista caricate delle scene interne ed esterne e degli asset 3D generati con Tripo, esegui una replica di livello perfetto rispetto alle immagini di riferimento. I requisiti includono ottenere la stessa straordinaria resa delle texture e il medesimo ripristino dei dettagli presenti nelle immagini di riferimento. Dopo l'implementazione, invia un agente di revisione indipendente per condurre audit ciechi della scena da più posizioni della telecamera. Se vengono riscontrate differenze rispetto alle immagini di riferimento, continua a iterare e migliorare.
3. Modellazione dei personaggi
Image 2.5 genera le immagini dei personaggi — Genera i modelli 3D dei personaggi in Tripo — Esegui rigging e skinning usando il plugin Auto-Rig Pro di Blender — Integra le animazioni Mixamo — Regolazioni secondarie in Blender per interazioni complesse (opzionale).
Qui prendiamo come esempio il design del Piccolo Principe per una spiegazione specifica.
(1) Usa Image 2.5 per generare immagini di riferimento multi-vista del personaggio.
Sulla base dell'immagine e delle impostazioni del personaggio, usa prima Image 2.5 per generare il diagramma a quattro viste in T-pose del Piccolo Principe, assicurandoti che i dettagli del personaggio siano uniformi in tutte le viste.
(2) Usa il modello Smart Mesh P2.0 di Tripo per generare gli asset 3D del personaggio.
Smart Mesh P2.0 è un modello di generazione 3D progettato specificamente per giochi e contenuti interattivi. La sua caratteristica è la generazione di un numero di poligoni controllabile e di strutture dei personaggi modificabili, facilitando il successivo rigging e la produzione delle animazioni.
In Tripo, seleziona "Generazione da multi-vista a 3D" e carica le quattro viste in sequenza. La topologia predefinita è quadrilatera, la precisione può essere impostata al massimo; seleziona il modello P2.0 e avvia la generazione.
Successivamente, se la griglia mesh bianca inizialmente generata è ordinata e priva di errori, clicca su "Texture" per generare le texture del modello; se la forma della mesh non è adeguata, scegli "edit mesh" per una rigenerazione parziale.
(3) Usa il plugin Auto-Rig Pro in Blender per eseguire automaticamente il rigging e lo skinning del personaggio.
Dopo aver configurato il plugin, carica direttamente il modello del personaggio su Claude e inserisci il seguente prompt, che ho ripetutamente testato e perfezionato, per un rigging e uno skinning efficienti 👇:
Usa Auto-Rig Pro per completare il rigging e lo skinning del personaggio, assicurandoti che le posizioni delle ossa siano allineate con le articolazioni del personaggio. Una volta terminato, testa azioni di base come alzare le mani, piegare le gambe e girarsi, verificando e correggendo evidenti deformazioni, stiramenti e problemi di compenetrazione.
(4) Scarica da Mixamo i file delle azioni necessarie per il personaggio e lascia che Opus 5.5 li adatti allo scheletro corrispondente.
In base alle impostazioni del gioco, vai su Mixamo (https://www.mixamo.com/), cerca per parola chiave le azioni necessarie al Piccolo Principe e scarica i corrispondenti file FBX delle animazioni.
Successivamente, possiamo far verificare a Opus se le relative azioni corrispondono allo scheletro effettivo del Piccolo Principe e completare l'integrazione.
(5) Regola le azioni speciali e i dettagli di contatto in Blender (necessario per azioni interattive complesse).
Per interazioni complesse che implicano il contatto tra personaggio e oggetto, come "il Piccolo Principe che porta una teiera", Mixamo spesso non dispone di azioni perfettamente adattate. Possiamo prima selezionare un'azione di base simile, per poi lasciare che Opus 5.5 regoli iterativamente i dettagli in Blender.
Il prompt di riferimento è il seguente:
Fai riferimento all'azione Mixamo fornita, conserva le parti applicabili e usa i controller IK del braccio di Auto-Rig Pro per regolare le pose delle braccia, coordinando la presa delle dita e le correzioni di dettaglio della posizione della teiera per completare l'azione di trasporto. Assicurati che il contatto palmo-maniglia sia stabile e il processo di sollevamento naturale, evitando compenetrazioni, distacchi della presa o teiere fluttuanti.
La prossima settimana renderò open-source su GitHub l'intero codice del gioco e dettagli di produzione ancora più completi. Vi invito a restare sintonizzati!
ps. Se anche tu vuoi provare a creare i tuoi contenuti 3D con Tripo, puoi registrarti tramite il mio link per ricevere gratuitamente 500 crediti: https://studio.tripo3d.ai/home?invite_code=H2DB1X&utm_source=X&utm_medium=kol&utm_campaign=kol_Saccc
