2月に、Codex で LEGO モデルを構築するには、カスタムスキル、複雑な指示、そして何時間もの反復作業が必要でした。それでも、出来はあまり良くありませんでした。私は、これはモデルが得意とする分野ではない、と結論付けていました。
GPT-6 Astra では、BrickLink Studio へのアクセス権を与え、ゴールデンゲートブリッジを依頼しました。約10分後には、道路上に小さな車も配置された最初のバージョンが完成しました。その後も改良を続けました。
このような経験から、Codex の使い方、つまりどのアプリを渡すか、どの程度詳細に指定するか、タスクにどれだけの推論が必要か、といった点を再考するようになりました。以下は、Astra を使って学んだ5つのことです。
1. Astra はすべてのアプリを使いこなせる（時にはあなた以上に） 2. Astra はプロダクト思考の大部分を担う 3. Astra は Blender で優れた成果を出す 4. Astra は Max を必要としない 5. Astra は作業を常に確認する
1. Astra はすべてのアプリを使いこなせる（時にはあなた以上に）
あの LEGO の橋の話に戻りましょう。私はすでに Astra が他のアプリで動作するのを見ていたので、デジタル LEGO モデルをデザインするアプリである BrickLink Studio をどのように扱うかを見てみたくなりました。
シンプルなリクエストを出しました。
プロンプト：「Studio を使って、LEGO でゴールデンゲートブリッジを構築してください」
これが最初のバージョンです：
最初の橋。後でスタジオ照明を当ててレンダリングしたもの。
小さな車まで追加されていました。
Astra は、Studio のバンドルライブラリで利用可能なパーツを把握し、Python を使ってモデルを組み立て、その後 Studio で開いて検査と反復を行いました。
私が驚いたのは、コードとアプリをいかに自然に組み合わせたかということです。その速さに、自分でタスクを実行する方が本当に早いのか疑問に思い始めています。
また、以前のモデル用に構築したスキルを見直すきっかけにもなりました。ローンチに向けて Astra に動画を編集させていたとき、古いスキルのいくつかが邪魔をしていました。動画編集スキルがない、よりバニラなセットアップの方が、そのタスクには適していました。
もし、以前のモデルではできなかったことに基づいてスキルを構築しているなら、そのスキルなしでタスクを試し、本当に必要かどうかを確認してみてください。
コンピューター使用により、Astra はアプリ間で作業を連携させることもできます。ある場所で何かを作成し、別の場所でそれを検査し、それらのピースをまとめることができます。そのアクセス権を与えることで、Astra は自身の作業を検証し、タスクのより多くの部分を完了できるようになります。
ですから、その仕事にどのアプリを使うかを考え、Astra にそのアクセス権を与えてください。それは、LEGO 用の Bricklink Studio、3D 用の Blender、動画用の DaVinci Resolve や類似のエディターかもしれません。専用のアプリが役立つのであれば、すべての動画作業を FFmpeg で行う必要はありません。
ヒント：その仕事に自分が使うアプリを Astra に与え、まずは余分なスキルなしで試してみてください。思っているよりも指示は必要ないかもしれません。
2. Astra はプロダクト思考の大部分を担う
あるテストでは、クリエイティブアセット作成を支援する Thumbnail Studio を構築したいと考えました。私はいくつかのアイデアを素早くざっと話し、同僚と交わした会話を参照することができました。Astra は、ブラウザ上の画像エディターに期待されるような詳細なインタラクションの多くを理解しました。これには、⌘-Z やその他のおなじみのショートカット、レイヤー、レイヤーを非表示にする機能などが含まれます。以前ほど詳細に指示する必要はありませんでした。
私が与えたプロンプトと、それが構築した最初のバージョン。
さらに反復を重ねた後の Thumbnail Studio。
その後、製品フィードバックモードと、フィードバックをチェック、ランク付け、実装するための自動化を依頼しました。驚いたのは、Astra がフィードバックインターフェースをどれほど徹底的に考え抜いたかということです。アプリの一部をハイライトし、それらにコメントをピン留めし、優先順位を設定し、フィードバックを編集し、解決済みとしてマークすることができました。私はそれらのインタラクションの詳細を何一つ説明していませんでした。
私が与えたプロンプトと、それが構築したフィードバックモード。
私は、欲しい機能のタスクを素早く送信でき、Astra はそのエクスペリエンスがどうあるべきかを考え抜いてくれました。そのおかげで、パーソナライズされたソフトウェアを構築することが非常に容易になりました。すべてのインタラクションを事前に計画する代わりに、Astra が構築したものに反応すればよいのです。
私の WebMCP の記事 やこの記事内のアニメーションもその一例です。X での Nick Baumann のアニメーション が気に入ったので、Astra にその Appshot、私が書いていた記事、そして Codex アプリのコードベースへのアクセス権を与えました。Appshot には、アプリのスクリーンショットとコンテキストが含まれていました。
Codex は記事を読み、私が言及している 3D デモを理解し、アニメーション化できる完全な 3D インターフェースを再現しました。構図、カメラアングル、そして何が起こっているかを説明するテキストを考え抜きました。そして、アニメーションを再生、一時停止、繰り返し、さまざまな角度から表示できる小さなプレビューツールを構築してくれました。
そのプレビューツールは依頼していませんでしたが、反復作業が非常に容易になりました。アプリ内ブラウザの Annotations ツールを使用して、詳細なフィードバックを与えることができました。
プレビューツール、最初のアニメーション、そして公開したバージョン。
場合によっては、この動作が逆効果になることもあります。非常に具体的なことを考えている場合は、期待することを明確に指示するようにしてください。
また、モデルに何かを依頼する前に準備する時間も減っています。上記の比較を行うために、Astra に、以前の会話からアニメーションの初期バージョンを探し出し、デスクトップ上のスクリーンレコーディングを見つけ、X の記事から最終的なアニメーションを取得するように依頼しました。
Astra はそれらのピースを見つけ出し、私がすべてのファイルを指定しなくても、それらを組み合わせて 1 つの動画にしました。私が望む結果を説明すれば、Astra がすべてをまとめる方法を考えてくれました。
LEGO モデルを紹介するサイトを依頼したときは、ユーザーが 3D でモデルを閲覧し、ビルドファイルをダウンロードできるようにしたいと考えていました。Astra はさらに、モデルをアップロードするためのインターフェースも追加しました。そのインターフェースには「Sign in with ChatGPT」でゲートを設け、管理者である私だけが使用できるようにしました。
Astra を最大限に活用するには、やはり自分が何を望んでいるかを把握し、方向性を示す必要があります。ショーケースサイトでは、より多くの例を与え、私が思い描いていた宇宙をテーマにするために、インタラクティブで回転する惑星を依頼しました。しかし、すべての機能について細かく指示する必要はありません。私が与える参考資料が優れていればいるほど、Astra はエクスペリエンスを注意深く考え抜き、私を驚かせてくれます。
ヒント：すべてのインタラクションを事前に詳細に説明する必要はありません。Astra にアイデアといくつかの優れた参考資料を与えてください。狭い範囲で動作させたい場合は要件を伝え、その後、Astra が構築したエクスペリエンスを洗練させてください。
3. Astra は Blender で優れた成果を出す
私たちのチームは、Astra が Three.js や生の WebGL で構築できる 3D エクスペリエンスにすでに感銘を受けていました。しかし、特に際立っていたのは、コンピューター使用とコマンドラインの両方を通じて、Blender を非常にうまく使いこなせたことです。最終的な結果がブラウザ上にある場合でも、Astra にその一部を Blender で構築させることが有用だとわかりました。
それをテストするために、ホームバーの写真を10枚素早く与え、その部屋を Blender で再構築するように依頼しました。寸法は一切与えませんでした。
Astra は比率に非常に細心の注意を払いました。写真の中からカクテル本などの参照オブジェクトを見つけ、それらを使ってスケールを推定しました。個々のオブジェクトをモデリングし、それらを個別にチェックし、シーンに配置し、反復を続けました。部屋、家具、棚、ボトル、グラス類を構築しました。隅の椅子や部屋の中の無造作な配線までも正確に再現しました。
個々のオブジェクトが Blender にあることで、シーンの各部分を検査し、洗練させることができました。マテリアルとライティングを繰り返し調整し、シーンを開いてさまざまな角度から見回すことができました。
10枚の写真から Blender で再構築されたホームバー。
ヒント：3D を伴うプロジェクトに取り組んでいる場合は、より良い結果を得るために Astra に Blender を使うように依頼してください。
4. Astra は Max を必要としない
Light / Low 推論でどこまでできるかは、最大の驚きの一つでした。新しいモデル世代が出るたびに、最高レベルの推論を使いたくなる誘惑にかられます。特に、以前それを使っていた場合はなおさらです。
私の Blender の実験では、Low 推論の Astra の結果が、Max 推論の Sol の結果よりも好ましい場合がありました。Astra は推論レベルに関係なく、自身の作業を検証する際にも非常に思慮深く、Low 推論を非常に強力なものにしています。
上段が Sol、下段が Astra を使用した私の Blender 実験。Low から Max まで。
これまで Sol を高い推論レベルで使用していたとしても、Astra でも同様に引き上げる必要があるとは考えないでください。まずは Medium あたりを試し、その後、両方向で実験し、タスクに何が最適かを見極めてください。さらに比較のインスピレーションが必要な場合は、Model Observatory をご覧ください。
ヒント：Light / Low または Medium の推論から始めてください。より多くの推論が必要だと判断する前に、得られた結果を確認してください。
5. Astra は作業を常に確認する
Astra は、タスクを実際に完了したかどうかを確認する傾向があります。ゲームを構築している場合、プレイテストを開始するかもしれません。何かを最適化するように依頼すると、最適化が機能したかどうかを測定するための環境をセットアップするかもしれません。動画の場合、個々のフレームやサウンドの波形を検査して、何をしているかを確認するかもしれません。
この記事のタイトル画像を Astra に作成させたとき、ブラウザ使用を使って X のライブ記事ページの背後にあるコードをチェックし、ヘッダー画像の要件を確認しました。5:2 のアスペクト比と 1200 × 480 のカバーサイズを特定しました。
ヘッダーフォーマットを確認する前に、ライブページのコードをチェックしました。
これは便利ですが、どこまでやらせたいかを明確にする必要があります。自分でプレイテストするプロトタイプが欲しいなら、そう伝えてください。ゲームを最後までプレイし、見つけた問題を修正してほしいなら、それも伝えてください。最終チェックとして、自分が気にするチェックを一通り実行し、見つけたことと未解決の事項を報告するように依頼することもできます。
ヒント：Astra に、完成した結果がどうあるべきか、何を検証してほしいか、そしていつ作業を戻すべきかを伝えてください。
諦めたタスクをもう一度試してみてください
私は何時間もかけて Codex に LEGO モデルを構築させようとしましたが、あまり得意ではないという結論に至りました。Astra では、約10分で橋の最初のバージョンができました。
その仕事に自分が使うアプリといくつかの優れた参考資料を Astra に与えてください。Light または Medium の推論から始めてください。完成した結果がどうあるべきか、何を検証してほしいかを伝え、その後、より多くのガイダンスを追加する前に、どこまで進むかを見てみてください。
以前のモデルで試して諦めたタスクがあれば、Astra でもう一度挑戦してみてください。
