Im Februar brauchte es noch eine eigene Fähigkeit, komplizierte Anleitungen und stundenlange Iterationen, um Codex LEGO-Modelle bauen zu lassen. Und selbst dann war es nicht wirklich gut. Ich dachte damals, dass Modelle dafür einfach nicht geeignet sind.
Mit GPT-6 Astra gab ich ihm Zugriff auf BrickLink Studio und bat um die Golden Gate Bridge. Etwa zehn Minuten später hatte ich eine erste Version, komplett mit kleinen Autos auf der Straße. Danach habe ich sie weiter verfeinert.
Solche Erfahrungen haben mich dazu gebracht, meine Nutzung von Codex zu überdenken: Welche Apps ich ihm gebe, wie genau ich Vorgaben mache und wie viel Denkleistung eine Aufgabe erfordert. Hier sind fünf Dinge, die ich durch die Arbeit mit Astra gelernt habe.
1. Astra kann alle deine Apps nutzen (manchmal besser als du) 2. Astra übernimmt mehr vom Produktdenken 3. Astra ist hervorragend in Blender 4. Astra braucht nicht Max, um zu beeindrucken 5. Astra überprüft ständig seine Arbeit
1. Astra kann alle deine Apps nutzen (manchmal besser als du)
Kommen wir zurück zu dieser LEGO-Brücke. Ich hatte Astra bereits in anderen Apps arbeiten sehen, also wollte ich testen, wie es mit BrickLink Studio zurechtkommt, der App zum Entwerfen digitaler LEGO-Modelle.
Ich gab ihm eine einfache Anfrage:
Prompt: "Verwende Studio, um die Golden Gate Bridge aus LEGO zu bauen"
Hier ist diese erste Version:
Die erste Brücke, nachträglich mit Studio-Beleuchtung gerendert.
Es hat sogar die kleinen Autos hinzugefügt.
Astra fand heraus, welche Teile in Studios integrierter Bibliothek verfügbar waren, verwendete Python, um das Modell zusammenzusetzen, und öffnete es dann in Studio, um es zu inspizieren und zu iterieren.
Was mich überraschte, war, wie natürlich es Code und die App kombinierte. Es ist schnell genug, dass ich anfange zu hinterfragen, ob die Aufgabe selbst zu erledigen tatsächlich schneller wäre.
Es hat mich auch dazu gebracht, die Fähigkeiten zu überdenken, die wir für frühere Modelle entwickelt haben. Als wir Astra für den Launch Videos bearbeiten ließen, waren einige unserer alten Fähigkeiten eher hinderlich. Ein schlichterer Aufbau ohne die Videobearbeitungsfähigkeiten funktionierte für diese Aufgabe besser.
Wenn du eine Fähigkeit hast, die für etwas entwickelt wurde, was ein älteres Modell nicht konnte, versuche die Aufgabe ohne sie und schau, ob du sie noch brauchst.
Die Computernutzung ermöglicht es Astra auch, Arbeiten über verschiedene Apps hinweg zu verbinden. Es kann etwas an einem Ort erstellen, es woanders inspizieren und die Teile zusammenführen. Dieser Zugang hat ihm geholfen, seine eigene Arbeit zu überprüfen und mehr von der Aufgabe zu erledigen.
Überlege also, welche App du für die Aufgabe verwenden würdest, und gib Astra Zugriff darauf. Das könnte Bricklink Studio für LEGO sein, Blender für 3D oder DaVinci Resolve oder ein ähnlicher Editor für Videos. Es muss nicht die gesamte Videobearbeitung über FFmpeg erledigen, wenn es eine spezielle App gibt, die helfen kann.
Tipp: Gib Astra die Apps, die du für die Aufgabe verwenden würdest, und probiere es zuerst ohne zusätzliche Fähigkeiten. Es braucht vielleicht weniger Anleitung, als du denkst.
2. Astra übernimmt mehr vom Produktdenken
Für einen Test wollte ich Thumbnail Studio bauen, um kreative Assets zu erstellen. Ich konnte schnell einige Ideen skizzieren und auf Gespräche verweisen, die ich mit einem Kollegen geführt hatte. Astra hat viele der detaillierten Interaktionen umgesetzt, die man von einem Bildeditor im Browser erwartet, darunter ⌘-Z und andere bekannte Tastenkombinationen, Ebenen und die Möglichkeit, sie auszublenden. Ich musste nicht so genau vorgeben wie früher.
Der Prompt, den ich gab, und die erste Version, die es baute.
Thumbnail Studio nach weiteren Iterationen.
Später bat ich um einen Produktfeedback-Modus und eine Automatisierung zum Prüfen, Bewerten und Umsetzen des Feedbacks. Was mich überraschte, war, wie gründlich Astra die Feedback-Oberfläche durchdacht hatte. Ich konnte Teile der App markieren, Kommentare daran heften, Prioritäten setzen, Feedback bearbeiten und als erledigt markieren. Keine dieser Interaktionen hatte ich im Detail beschrieben.
Der Prompt, den ich gab, und der Feedback-Modus, den es baute.
Ich konnte schnell eine Aufgabe für eine gewünschte Funktion losschicken, und Astra arbeitete aus, wie das Erlebnis aussehen sollte. Das macht es mir viel leichter, personalisierte Software zu bauen. Ich kann auf das reagieren, was es baut, anstatt jede Interaktion vorab zu planen.
Die Animationen in meinem WebMCP-Artikel und in diesem Artikel sind ein weiteres Beispiel. Nick Baumanns Animation auf X gefiel mir, also gab ich Astra einen Appshot davon, den Artikel, den ich schrieb, und Zugriff auf die Codex-App-Codebasis. Der Appshot enthielt einen Screenshot und Kontext aus der App.
Codex las den Artikel, verstand die 3D-Demo, auf die ich mich bezog, und erstellte eine vollständige 3D-Oberfläche, die es animieren konnte. Es dachte über die Komposition, die Kamerawinkel und den erklärenden Text nach. Dann baute es mir ein kleines Vorschau-Tool, mit dem ich die Animation abspielen, pausieren, wiederholen und aus verschiedenen Winkeln betrachten konnte.
Ich hatte nicht nach diesem Vorschau-Tool gefragt, aber es machte das Iterieren viel einfacher. Ich konnte detailliertes Feedback mit dem Annotationstool im In-App-Browser geben.
Das Vorschau-Tool, die erste Animation und die Version, die ich veröffentlichte.
In manchen Fällen könnte dieses Verhalten für dich nach hinten losgehen. Wenn du sehr spezifische Vorstellungen hast, stelle sicher, dass du deine Erwartungen genau vorgibst.
Ich verbringe auch weniger Zeit damit, alles vorzubereiten, was das Modell braucht, bevor ich es um etwas bitte. Für den obigen Vergleich bat ich Astra, die alte Unterhaltung zu durchsuchen, eine frühere Version der Animation wiederherzustellen, eine Bildschirmaufnahme irgendwo auf meinem Desktop zu finden und die endgültige Animation aus dem X-Artikel zu holen.
Es fand die Teile und kombinierte sie zu einem Video, ohne dass ich auf jede einzelne Datei verweisen musste. Ich konnte das gewünschte Ergebnis beschreiben und es selbst herausfinden lassen, wie alles zusammengebracht wird.
Als ich nach einer Website zur Präsentation seiner LEGO-Modelle fragte, wollte ich, dass Leute sie in 3D durchstöbern und die Baupläne herunterladen können. Astra fügte auch eine Oberfläche zum Hochladen weiterer Modelle hinzu. Diese Oberfläche schützte es mit „Anmelden mit ChatGPT", sodass nur ich sie als Admin nutzen konnte.
Ich muss immer noch wissen, was ich will, und eine Richtung vorgeben, um das Beste aus Astra herauszuholen. Für die Präsentationsseite gab ich ihm mehr Beispiele und bat um interaktive, rotierende Planeten, um das Weltraumthema zu bekommen, das ich im Kopf hatte. Aber ich muss nicht bei jeder Funktion pedantisch sein. Je besser die Referenzen, die ich gebe, desto mehr überrascht mich Astra damit, wie sorgfältig es das Erlebnis durchdenkt.
Tipp: Du musst nicht jede Interaktion im Voraus festlegen. Gib Astra die Idee und ein paar gute Referenzen. Wenn du möchtest, dass es eng agiert, nenne die Anforderungen. Verfeinere dann das Erlebnis, das es baut.
3. Astra ist hervorragend in Blender
Unser Team war bereits von den 3D-Erlebnissen beeindruckt, die Astra mit Three.js oder sogar nacktem WebGL bauen konnte. Aber was besonders herausstach, war, wie gut es Blender nutzen konnte, sowohl über die Computernutzung als auch über die Kommandozeile. Selbst wenn das Endergebnis in einen Browser gehört, finde ich es nützlich, Astra Teile davon in Blender bauen zu lassen.
Um das zu testen, gab ich ihm zehn schnelle Fotos einer Hausbar und bat es, den Raum in Blender nachzubauen. Ich gab ihm keine Maße.
Astra war akribisch bei den Proportionen. Es fand Referenzobjekte auf den Fotos, wie die Cocktailbücher, und nutzte sie, um den Maßstab zu schätzen. Es modellierte einzelne Objekte, überprüfte sie separat, platzierte sie in der Szene und iterierte weiter. Es baute den Raum, die Möbel, Regale, Flaschen und Gläser. Es traf sogar den Stuhl in der Ecke und die zufälligen Kabel im Raum.
Die einzelnen Objekte in Blender ermöglichten es ihm, jeden Teil der Szene zu inspizieren und zu verfeinern. Ich iterierte weiter an den Materialien und der Beleuchtung und konnte die Szene öffnen und aus verschiedenen Winkeln betrachten.
Die Hausbar, aus zehn Fotos in Blender nachgebaut.
Tipp: Wenn du an einem 3D-Projekt arbeitest, bitte Astra, Blender zu verwenden, um bessere Ergebnisse zu erzielen.
4. Astra braucht nicht Max, um zu beeindrucken
Wie weit ich mit niedriger/geringer Denkleistung komme, war eine der größten Überraschungen. Bei jeder neuen Modellgeneration ist die Versuchung groß, die höchste Denkstufe zu verwenden. Besonders, wenn man das vorher getan hat.
In meinen Blender-Experimenten hatte ich mit Astra auf Niedrig Ergebnisse erzielt, die ich denen von Sol auf Max vorziehe. Astra ist auch sehr gründlich bei der Überprüfung seiner Arbeit, unabhängig von der Denkstufe, was die niedrige Denkstufe unglaublich leistungsstark macht.
Meine Blender-Experimente mit Sol oben und Astra unten, von Niedrig bis Max.
Wenn du Sol mit hoher Denkleistung verwendet hast, nimm nicht an, dass du Astra auch hochdrehen musst. Probiere zuerst etwas wie Mittel aus, experimentiere dann in beide Richtungen und schau, was für die Aufgabe funktioniert. Wenn du Inspiration für weitere Vergleiche brauchst, schau dir unser Model Observatory an.
Tipp: Beginne mit niedriger/geringer oder mittlerer Denkleistung. Schau dir das Ergebnis an, bevor du entscheidest, dass du mehr Denkleistung brauchst.
5. Astra überprüft ständig seine Arbeit
Astra neigt dazu zu überprüfen, ob es die Aufgabe tatsächlich erledigt hat. Wenn du ein Spiel baust, fängt es vielleicht an, es zu testen. Bittest du es, etwas zu optimieren, richtet es vielleicht eine Umgebung ein, um zu messen, ob die Optimierung funktioniert hat. Bei einem Video könnte es einzelne Frames oder sogar Tonwellenformen inspizieren, um zu überprüfen, was es tut.
Als ich Astra am Titelbild für diesen Artikel arbeiten ließ, nutzte es die Browsernutzung, um den Code hinter X‘ Live-Artikelseite zu überprüfen und die Anforderungen für das Header-Bild zu bestätigen. Es fand ein Seitenverhältnis von 5:2 und ein Cover von 1200 × 480.
Es überprüfte den Code der Live-Seite, bevor es das Header-Format bestätigte.
Das kann nützlich sein, aber ich muss klar sagen, wie weit es gehen soll. Wenn du einen Prototypen willst, den du selbst testest, sag das. Wenn du möchtest, dass es das Spiel durchspielt und behebt, was es findet, sag das auch. Für eine finale Überprüfung könntest du es bitten, einen Durchlauf mit den für dich wichtigen Checks zu machen und dann zu berichten, was es gefunden hat und was noch ungelöst ist.
Tipp: Sag Astra, wie das fertige Ergebnis aussehen soll, was es überprüfen soll und wann es die Arbeit zurückgeben soll.
Probiere die Aufgabe, die du aufgegeben hast
Ich hatte stundenlang versucht, Codex zum Bau von LEGO-Modellen zu bringen, und dachte, es sei nicht sehr gut darin. Mit Astra hatte ich in etwa zehn Minuten eine erste Version der Brücke.
Gib ihm die Apps, die du für die Aufgabe verwenden würdest, und ein paar gute Referenzen. Beginne mit niedriger oder mittlerer Denkleistung. Sag ihm, wie das fertige Ergebnis aussehen soll und was es überprüfen soll, und schau dann, wie weit es kommt, bevor du weitere Anleitung gibst.
Wenn du eine Aufgabe hast, die du mit einem älteren Modell versucht und aufgegeben hast, probiere sie noch einmal mit Astra.
