A febbraio, far costruire modelli LEGO a Codex richiedeva una skill personalizzata, istruzioni complicate e ore di iterazione. E non era comunque un granché. Ne ero uscito pensando che non fosse un punto di forza dei modelli.
Con GPT-6 Astra, gli ho dato accesso a BrickLink Studio e gli ho chiesto del Golden Gate Bridge. Dopo circa dieci minuti, avevo una prima versione, completa di macchinine sulla strada. L'ho continuata a perfezionare in seguito.
Esperienze come questa mi hanno fatto riconsiderare il mio modo di usare Codex: quali app gli affido, quanto specifico nei dettagli e quanto ragionamento richiede un compito. Ecco cinque cose che ho imparato usando Astra.
1. Astra sa usare tutte le tue app (a volte, meglio di te) 2. Astra fa più lavoro di product thinking 3. Astra è eccezionale con Blender 4. Astra non ha bisogno di Max per stupire 5. Astra controlla sempre il suo lavoro
1. Astra sa usare tutte le tue app (a volte, meglio di te)
Torniamo a quel ponte LEGO. Avevo già visto Astra funzionare in altre app, quindi volevo vedere come se la sarebbe cavata con BrickLink Studio, l'app per progettare modelli LEGO digitali.
Gli ho dato una richiesta semplice:
Prompt: "Usa Studio per costruire il golden gate bridge in lego"
Ecco la prima versione:
Il primo ponte, renderizzato successivamente con l'illuminazione di Studio.
Aveva persino aggiunto le macchinine.
Astra ha capito quali pezzi erano disponibili nella libreria inclusa di Studio, ha usato Python per assemblare il modello, poi lo ha aperto in Studio per ispezionarlo e iterare.
Ciò che mi ha sorpreso è stata la naturalezza con cui ha combinato codice e app. È così veloce che comincio a chiedermi se fare il compito da solo sarebbe effettivamente più rapido.
Mi ha anche fatto riconsiderare le skill che abbiamo creato per i modelli precedenti. Quando facevamo modificare video ad Astra per il lancio, alcune delle nostre vecchie skill lo ostacolavano. Una configurazione più semplice, senza le skill di editing video, ha funzionato meglio per quel compito.
Se hai una skill costruita attorno a qualcosa che un modello più vecchio non sapeva fare, prova il compito senza e vedi se ti serve ancora.
L'uso del computer permette anche ad Astra di collegare il lavoro tra diverse app. Può creare qualcosa in un posto, ispezionarlo da un'altra parte e mettere insieme i pezzi. Dargli questo accesso lo ha aiutato a verificare il proprio lavoro e a completare più parti del compito.
Quindi pensa a quale app useresti per il lavoro e dai accesso ad Astra. Potrebbe essere Bricklink Studio per i LEGO, Blender per il 3D, o DaVinci Resolve o un editor simile per i video. Non deve fare tutto il lavoro video tramite FFmpeg se c'è un'app dedicata che può aiutare.
Consiglio: Dai ad Astra le app che useresti per il lavoro e prova prima senza skill extra. Potrebbe aver bisogno di meno indicazioni di quanto pensi.
2. Astra fa più lavoro di product thinking
Per un test volevo creare Thumbnail Studio per aiutare a creare asset creativi. Sono riuscito a divagare rapidamente su alcune idee e fare riferimento a conversazioni avute con un collega. Astra ha capito gran parte delle interazioni dettagliate che ci si aspetterebbe da un editor di immagini nel browser, inclusi ⌘-Z e altre scorciatoie familiari, i livelli e la possibilità di nasconderli. Non ho dovuto essere così prescrittivo come lo sarei stato in precedenza.
Il prompt che gli ho dato e la prima versione che ha costruito.
Thumbnail Studio dopo ulteriori iterazioni.
Più tardi, ho chiesto una modalità di Feedback sul Prodotto e un'automazione per controllare, classificare e implementare il feedback. Ciò che mi ha sorpreso è stato quanto a fondo Astra abbia pensato all'interfaccia di feedback. Potevo evidenziare parti dell'app, aggiungere commenti a quelle parti, impostare priorità, modificare il feedback e segnarlo come risolto. Non avevo descritto nessuna di quelle interazioni in dettaglio.
Il prompt che gli ho dato e la modalità di feedback che ha costruito.
Potevo lanciare rapidamente un compito per una funzionalità che volevo, e Astra elaborava come dovesse essere l'esperienza. Questo mi rende molto più facile creare software personalizzato. Posso reagire a ciò che costruisce invece di pianificare ogni interazione prima di iniziare.
Le animazioni nel mio articolo su WebMCP e in questo articolo sono un altro esempio. Mi piaceva l'animazione di Nick Baumann su X, così ho dato ad Astra un Appshot di quella, l'articolo che stavo scrivendo e l'accesso al codebase dell'app Codex. L'Appshot includeva uno screenshot e il contesto dell'app.
Codex ha letto l'articolo, ha capito la demo 3D a cui mi riferivo e ha ricreato un'interfaccia 3D completa che poteva animare. Ha pensato alla composizione, agli angoli della telecamera e al testo che spiegava cosa stava succedendo. Poi mi ha costruito un piccolo strumento di anteprima dove potevo riprodurre, mettere in pausa, ripetere l'animazione e vederla da diverse angolazioni.
Non avevo chiesto quello strumento di anteprima, ma ha reso molto più facile iterare. Potevo dargli feedback dettagliati usando lo strumento Annotazioni nel browser dell'app.
Lo strumento di anteprima, la prima animazione e la versione che ho pubblicato.
In alcuni casi questo comportamento potrebbe rivelarsi controproducente: se hai idee molto specifiche in mente, assicurati di essere prescrittivo con le tue aspettative.
Sto anche passando meno tempo a preparare tutto ciò di cui il modello ha bisogno prima di chiedergli di fare qualcosa. Per fare il confronto qui sopra, ho chiesto ad Astra di esaminare la vecchia conversazione e recuperare una versione precedente dell'animazione, trovare una registrazione dello schermo da qualche parte sul mio desktop e ottenere l'animazione finale dall'articolo su X.
Ha trovato i pezzi e li ha combinati in un video senza che io dovessi indicargli ogni file. Potevo descrivere il risultato che volevo e lasciare che capisse come mettere tutto insieme.
Quando ho chiesto un sito per mostrare i suoi modelli LEGO, volevo che le persone li esplorassero in 3D e scaricassero i file di costruzione. Astra ha anche aggiunto un'interfaccia per caricare altri modelli. Ha protetto quell'interfaccia con Accedi con ChatGPT in modo che solo io potessi usarla come amministratore.
Devo ancora sapere cosa voglio e dargli una direzione per ottenere il massimo da Astra. Per il sito vetrina, gli ho dato più esempi e ho chiesto pianeti interattivi rotanti per ottenere il tema spaziale che avevo in mente. Ma non devo essere pedante su ogni funzionalità. Migliori sono i riferimenti che gli do, più Astra mi sorprende con la cura con cui elabora l'esperienza.
Consiglio: Non devi specificare ogni interazione in anticipo. Dai ad Astra l'idea e qualche buon riferimento; se vuoi che agisca in modo mirato, digli i requisiti, poi perfeziona l'esperienza che costruisce.
3. Astra è eccezionale con Blender
Il nostro team era già rimasto colpito dalle esperienze 3D che Astra poteva costruire con Three.js o anche con WebGL puro. Ma una cosa che è emersa è stata la sua abilità nell'usare Blender, sia tramite l'uso del computer che la riga di comando. Anche quando il risultato finale appartiene a un browser, ho trovato utile lasciare che Astra ne costruisca parti in Blender.
Per testarlo, gli ho dato dieci foto rapide di un home bar e gli ho chiesto di ricostruire la stanza in Blender. Non gli ho dato nessuna misura.
Astra è stato meticoloso con le proporzioni. Ha trovato oggetti di riferimento nelle foto, come i libri di cocktail, e li ha usati per stimare la scala. Ha modellato singoli oggetti, li ha controllati separatamente, li ha posizionati nella scena e ha continuato a iterare. Ha costruito la stanza, i mobili, gli scaffali, le bottiglie e i bicchieri. Ha persino azzeccato la sedia nell'angolo e dei cavi casuali nella stanza.
Avere i singoli oggetti in Blender gli ha permesso di ispezionare e perfezionare ogni parte della scena. Ho continuato a iterare sui materiali e l'illuminazione, e potevo aprire la scena e guardarmi intorno da diverse angolazioni.
L'home bar ricostruito in Blender da dieci foto.
Consiglio: Se stai lavorando a un progetto con elementi 3D, chiedi ad Astra di usare Blender per ottenere risultati migliori.
4. Astra non ha bisogno di Max per stupire
Quanto lontano possa arrivare con il ragionamento Light/Low è stata una delle più grandi sorprese. Con ogni nuova generazione di modelli, la tentazione di usare il livello di ragionamento più alto è forte. Soprattutto se è quello che usavi prima.
Nei miei esperimenti con Blender, ho ottenuto risultati da Astra su Low che preferisco a quelli di Sol su Max. Astra è anche molto attento nel verificare il suo lavoro indipendentemente dal livello di ragionamento, rendendo il ragionamento Low incredibilmente potente.
I miei esperimenti con Blender: Sol in alto e Astra in basso, da Low a Max.
Se hai usato Sol con ragionamento alto, non dare per scontato di dover alzare anche Astra. Prova prima qualcosa come Medium, poi sperimenta in entrambe le direzioni e vedi cosa funziona per il compito. Se hai bisogno di ispirazione per altri confronti, dai un'occhiata al nostro Model Observatory.
Consiglio: Inizia con ragionamento Light/Low o Medium. Guarda cosa ottieni prima di decidere se hai bisogno di più ragionamento.
5. Astra controlla sempre il suo lavoro
Astra tende a verificare di aver effettivamente completato il compito. Se stai costruendo un gioco, potrebbe iniziare a testarlo. Chiedigli di ottimizzare qualcosa e potrebbe impostare un ambiente per misurare se l'ottimizzazione ha funzionato. Per un video, potrebbe ispezionare singoli fotogrammi o persino le forme d'onda audio per controllare cosa sta facendo.
Quando ho fatto lavorare Astra sull'immagine di copertina di questo articolo, ha usato il browser per controllare il codice della pagina live dell'articolo su X e confermare i requisiti dell'immagine di testata. Ha trovato un rapporto d'aspetto 5:2 e una copertina di 1200 × 480.
Ha controllato il codice della pagina live prima di confermare il formato dell'immagine di testata.
Questo può essere utile, ma devo essere chiaro su quanto lontano voglio che si spinga. Se vuoi un prototipo che testerai tu stesso, dillo. Se vuoi che giochi fino in fondo e sistemi ciò che trova, dillo anche quello. Per un controllo finale, potresti chiedergli di fare un passaggio attraverso i controlli che ti interessano, poi riferire cosa ha trovato e cosa è ancora irrisolto.
Consiglio: Di' ad Astra quale dovrebbe essere il risultato finale, cosa vuoi che verifichi e quando deve restituirti il lavoro.
Riprova il compito che hai abbandonato
Avevo passato ore a cercare di far costruire modelli LEGO a Codex e ne ero uscito pensando che non fosse molto bravo. Con Astra, ho avuto una prima versione del ponte in circa dieci minuti.
Dagli le app che useresti per il lavoro e qualche buon riferimento. Inizia con ragionamento Light o Medium. Digli quale dovrebbe essere il risultato finale e cosa vuoi che verifichi, poi guarda quanto lontano arriva prima di aggiungere altre indicazioni.
Se hai un compito che hai provato con un modello più vecchio e hai abbandonato, riprova con Astra.
