En février, faire construire des modèles LEGO par Codex nécessitait une compétence personnalisée, des instructions complexes et des heures d'itération. Et ce n'était toujours pas génial. J'en suis ressorti en pensant que ce n'était pas quelque chose que les modèles maîtrisaient bien.
Avec GPT-6 Astra, je lui ai donné accès à BrickLink Studio et lui ai demandé le Golden Gate Bridge. Environ dix minutes plus tard, j'avais une première version, complète avec de petites voitures sur la route. J'ai continué à l'affiner par la suite.
Des expériences comme celle-ci m'ont fait reconsidérer la façon dont j'utilise Codex : quelles applications je lui donne, à quel point je spécifie les choses, et la quantité de raisonnement nécessaire pour une tâche. Voici cinq choses que j'ai apprises en utilisant Astra.
1. Astra peut utiliser toutes vos applications (parfois, mieux que vous) 2. Astra fait davantage de réflexion produit 3. Astra excelle avec Blender 4. Astra n'a pas besoin de Max pour impressionner 5. Astra vérifie constamment son travail
1. Astra peut utiliser toutes vos applications (parfois, mieux que vous)
Revenons à ce pont LEGO. J'avais déjà vu Astra fonctionner dans d'autres applications, donc je voulais voir comment il gérerait BrickLink Studio, l'application de conception de modèles LEGO numériques.
Je lui ai fait une demande simple :
Invite : "Utilise Studio pour construire le golden gate bridge en lego"
Voici cette première version :
Le premier pont, rendu ensuite avec l'éclairage du studio.
Il a même ajouté les petites voitures.
Astra a déterminé quelles pièces étaient disponibles dans la bibliothèque intégrée de Studio, a utilisé Python pour assembler le modèle, puis l'a ouvert dans Studio pour l'inspecter et l'itérer.
Ce qui m'a surpris, c'est la façon dont il combinait naturellement le code et l'application. C'est assez rapide pour que je commence à me demander si effectuer la tâche moi-même serait réellement plus rapide.
Cela m'a également amené à revoir les compétences que nous avons développées pour les modèles précédents. Lorsque nous faisions éditer des vidéos par Astra pour le lancement, certaines de nos anciennes compétences le gênaient. Une configuration plus simple, sans les compétences d'édition vidéo, fonctionnait mieux pour cette tâche.
Si vous avez une compétence construite autour de quelque chose qu'un modèle plus ancien ne pouvait pas faire, essayez la tâche sans elle et voyez si vous en avez encore besoin.
L'utilisation de l'ordinateur permet également à Astra de relier le travail entre les applications. Il peut créer quelque chose à un endroit, l'inspecter ailleurs, et rassembler les pièces. Lui donner cet accès l'a aidé à vérifier son propre travail et à accomplir davantage de la tâche.
Alors, réfléchissez à l'application que vous utiliseriez pour le travail et donnez à Astra l'accès à celle-ci. Cela pourrait être Bricklink Studio pour LEGO, Blender pour la 3D, ou DaVinci Resolve ou un éditeur similaire pour la vidéo. Il n'a pas besoin de faire tout son travail vidéo via FFmpeg s'il existe une application dédiée qui peut aider.
Astuce : Donnez à Astra les applications que vous utiliseriez pour le travail et essayez d'abord sans compétences supplémentaires. Il pourrait avoir besoin de moins de conseils que vous ne le pensez.
2. Astra fait davantage de réflexion produit
Pour un test, je voulais construire Thumbnail Studio pour aider à créer des ressources créatives. J'ai pu rapidement divaguer sur quelques idées et faire référence à des conversations que j'avais eues avec un collègue. Astra a compris une grande partie des interactions détaillées que l'on attend d'un éditeur d'images dans le navigateur, y compris ⌘-Z et d'autres raccourcis familiers, les calques et la possibilité de les masquer. Je n'ai pas eu besoin d'être aussi prescriptif que je l'aurais été auparavant.
L'invite que je lui ai donnée et la première version qu'il a construite.
Thumbnail Studio après plus d'itérations.
Plus tard, j'ai demandé un mode Retour Produit et une automatisation pour vérifier, classer et mettre en œuvre les retours. Ce qui m'a surpris, c'est la manière dont Astra a pensé en profondeur l'interface de retour. Je pouvais mettre en évidence des parties de l'application, épingler des commentaires, définir des priorités, modifier les retours et les marquer comme résolus. Je n'avais décrit aucune de ces interactions en détail.
L'invite que je lui ai donnée et le mode retour qu'il a construit.
Je pouvais rapidement lancer une tâche pour une fonctionnalité que je voulais, et Astra réfléchissait à ce à quoi l'expérience devrait ressembler. Cela me rend la construction de logiciels personnalisés beaucoup plus facile. Je peux réagir à ce qu'il construit au lieu de planifier chaque interaction avant de commencer.
Les animations dans mon article WebMCP et dans cet article en sont un autre exemple. J'ai aimé l'animation de Nick Baumann sur X, alors j'ai donné à Astra un Appshot de celle-ci, l'article que j'écrivais, et l'accès à la base de code de l'application Codex. L'Appshot comprenait une capture d'écran et le contexte de l'application.
Codex a lu l'article, compris la démo 3D à laquelle je faisais référence, et recréé une interface 3D complète qu'il pouvait animer. Il a réfléchi à la composition, aux angles de caméra et au texte expliquant ce qui se passait. Ensuite, il m'a construit un petit outil de prévisualisation où je pouvais lire, mettre en pause, répéter l'animation et la visualiser sous différents angles.
Je n'avais pas demandé cet outil de prévisualisation, mais il a rendu l'itération beaucoup plus facile. Je pouvais lui donner des commentaires détaillés en utilisant l'outil d'annotations dans le navigateur intégré à l'application.
L'outil de prévisualisation, la première animation et la version que j'ai publiée.
Dans certains cas, ce comportement pourrait se retourner contre vous. Si vous avez des choses très spécifiques en tête, assurez-vous d'être prescriptif avec vos attentes.
Je passe également moins de temps à préparer tout ce dont le modèle a besoin avant de lui demander de faire quelque chose. Pour faire la comparaison ci-dessus, j'ai demandé à Astra de parcourir l'ancienne conversation et de récupérer une version antérieure de l'animation, de trouver un enregistrement d'écran quelque part sur mon bureau, et d'obtenir l'animation finale de l'article X.
Il a trouvé les pièces et les a combinées en une vidéo sans que j'aie à le diriger vers chaque fichier. Je pouvais décrire le résultat que je voulais et le laisser comprendre comment tout rassembler.
Quand j'ai demandé un site pour présenter ses modèles LEGO, je voulais que les gens puissent les parcourir en 3D et télécharger les fichiers de construction. Astra a également ajouté une interface pour télécharger plus de modèles. Il a verrouillé cette interface avec Connexion avec ChatGPT afin que seul moi, en tant qu'administrateur, puisse l'utiliser.
J'ai encore besoin de savoir ce que je veux et de lui donner une direction pour tirer le meilleur parti d'Astra. Pour la vitrine, je lui ai donné plus d'exemples et demandé des planètes interactives et rotatives pour obtenir le thème spatial que j'avais en tête. Mais je n'ai pas besoin d'être pointilleux sur chaque fonctionnalité. Plus les références que je lui donne sont bonnes, plus Astra me surprend par la minutie avec laquelle il réfléchit à l'expérience.
Astuce : Vous n'avez pas besoin de décrire chaque interaction à l'avance. Donnez l'idée à Astra et quelques bonnes références, si vous voulez qu'il agisse de manière étroite, dites-lui les exigences, puis affinez l'expérience qu'il construit.
3. Astra excelle avec Blender
Notre équipe avait déjà été impressionnée par les expériences 3D qu'Astra pouvait construire avec Three.js ou même du WebGL brut. Mais ce qui ressortait, c'est à quel point il pouvait bien utiliser Blender, à la fois via l'utilisation de l'ordinateur et la ligne de commande. Même lorsque le résultat final doit être dans un navigateur, j'ai trouvé utile de laisser Astra en construire des parties dans Blender.
Pour tester cela, je lui ai donné dix photos rapides d'un bar à domicile et lui ai demandé de reconstruire la pièce dans Blender. Je ne lui ai donné aucune mesure.
Astra a été méticuleux sur les proportions. Il a trouvé des objets de référence dans les photos, comme les livres de cocktails, et les a utilisés pour estimer l'échelle. Il a modélisé des objets individuels, les a vérifiés séparément, les a placés dans la scène et a continué à itérer. Il a construit la pièce, les meubles, les étagères, les bouteilles et la verrerie. Il a même réussi la chaise dans le coin et les câbles aléatoires dans la pièce.
Le fait d'avoir les objets individuels dans Blender lui a permis d'inspecter et d'affiner chaque partie de la scène. J'ai continué à itérer sur les matériaux et l'éclairage, et je pouvais ouvrir la scène et regarder autour sous différents angles.
Le bar à domicile reconstruit dans Blender à partir de dix photos.
Astuce : Si vous travaillez sur un projet en 3D, demandez à Astra d'utiliser Blender pour de meilleurs résultats.
4. Astra n'a pas besoin de Max pour impressionner
Jusqu'où je peux aller avec un raisonnement Léger/Faible a été l'une des plus grandes surprises. À chaque nouvelle génération de modèle, la tentation est grande d'essayer d'utiliser le plus haut niveau de raisonnement. Surtout si c'est ce que vous utilisiez avant.
Dans mes expériences Blender, j'ai obtenu des résultats d'Astra en Faible que je préfère à ceux de Sol en Max. Astra est également très réfléchi pour vérifier son travail, quel que soit le niveau de raisonnement, ce qui rend le raisonnement Faible incroyablement puissant.
Mes expériences Blender avec Sol en haut et Astra en bas, de Faible à Max.
Si vous utilisiez Sol avec un raisonnement élevé, ne supposez pas que vous devez aussi monter Astra. Essayez d'abord quelque chose comme Moyen, puis expérimentez dans les deux directions et voyez ce qui fonctionne pour la tâche. Si vous avez besoin d'inspiration pour plus de comparaisons, consultez notre Observatoire des Modèles.
Astuce : Commencez avec un raisonnement Léger/Faible ou Moyen. Regardez ce que vous obtenez avant de décider que vous avez besoin de plus de raisonnement.
5. Astra vérifie constamment son travail
Astra a tendance à vérifier qu'il a réellement accompli la tâche. Si vous construisez un jeu, il pourrait commencer à le tester. Demandez-lui d'optimiser quelque chose et il pourrait mettre en place un environnement pour mesurer si l'optimisation a fonctionné. Pour une vidéo, il pourrait inspecter des images individuelles ou même des formes d'onde sonores pour vérifier ce qu'il fait.
Quand j'ai demandé à Astra de travailler sur l'image titre de cet article, il a utilisé le navigateur pour vérifier le code derrière la page d'article en direct de X et confirmer les exigences de l'image d'en-tête. Il a trouvé un rapport d'aspect de 5:2 et une couverture de 1200 × 480.
Il a vérifié le code de la page en direct avant de confirmer le format de l'en-tête.
Cela peut être utile, mais je dois être clair sur jusqu'où je veux qu'il aille. Si vous voulez un prototype que vous testerez vous-même, dites-le. Si vous voulez qu'il joue au jeu et corrige ce qu'il trouve, dites-le aussi. Pour une vérification finale, vous pourriez lui demander de faire un passage sur les vérifications qui vous intéressent, puis de signaler ce qu'il a trouvé et tout ce qui n'est pas encore résolu.
Astuce : Dites à Astra quel doit être le résultat final, ce que vous voulez qu'il vérifie et quand il doit vous rendre le travail.
Essayez la tâche que vous avez abandonnée
J'avais passé des heures à essayer de faire construire des modèles LEGO par Codex et j'en étais ressorti en pensant qu'il n'était pas très bon pour ça. Avec Astra, j'ai eu une première version du pont en environ dix minutes.
Donnez-lui les applications que vous utiliseriez pour le travail et quelques bonnes références. Commencez avec un raisonnement Léger ou Moyen. Dites-lui quel doit être le résultat final et ce que vous voulez qu'il vérifie, puis voyez jusqu'où il va avant d'ajouter plus de conseils.
Si vous avez une tâche que vous avez essayée avec un modèle plus ancien et abandonnée, réessayez avec Astra.
