Mon avis sur GPT-5.6 : la deuxième place n'a jamais été aussi séduisante

TL;DR

• Je teste GPT-5.6 depuis le 27 mai. Pendant les deux premières semaines, c'était le modèle le plus impressionnant que j'aie jamais utilisé. Le mode Goal combiné à ce modèle, c'est de la pure sorcellerie. Il m'a construit une simulation voxel de Manhattan avec un métro fonctionnel, et un jeu de destruction façon Teardown, en grande partie tout seul, sur des sessions qui ont duré des jours.

• Puis Claude Fable est sorti, et j'ai arrêté d'utiliser GPT-5.6 presque du jour au lendemain, parce que Fable est bien meilleur pour mes tâches.

• Sur les benchmarks, les deux semblent proches. Dans le monde réel, ils ne le sont pas. Fable a l'odeur d'un gros modèle. GPT-5.6 donne l'impression d'un modèle plus petit qui a été incroyablement bien entraîné par renforcement, et cette différence apparaît dès que vous dépassez le travail de codage classique. Elle apparaît aussi dans la confiance : avec les bonnes garde-fous et la bonne configuration, je n'ai pas besoin de vérifier le code de Fable. Je dois encore vérifier celui de 5.6.

• Avec GPT-5.6, pour faire un travail ambitieux, vous devez encore le guider, alors qu'avec Fable, vous décrivez une fois la destination finale, et il y arrive généralement de manière autonome.

• GPT-5.6 bat encore Fable sur quelques points importants : les limites, l'interface et la volonté de faire du travail de sécurité. C'est désormais mon auditeur de sécurité et mon deuxième regard, pas mon modèle principal.

• Hormis Fable, GPT-5.6 est le meilleur modèle que vous puissiez utiliser. Et l'utiliser en mode Goal est la meilleure configuration agentique qu'OpenAI ait jamais livrée.

Les points positifs

• Le mode Goal. Tapez /goal et le modèle ne s'arrête pas tant que l'objectif n'est pas réellement atteint. C'est ce qu'OpenAI a fait de plus proche de la façon dont je veux réellement travailler.

• Il est obsessionnel et peut fonctionner pendant des jours pour accomplir une tâche. Mes sessions Goal les plus longues ont duré presque une semaine sur un seul objectif, largement sans surveillance.

• Beaucoup moins besoin de guidage que tout précédent modèle GPT. Il prend des décisions raisonnables en cas d'ambiguïté et continue. Revenir à GPT-5.5 après avoir essayé 5.6 m'a semblé être une énorme régression à cet égard.

• Le travail de sécurité est vraiment solide, et il est bien plus disposé à le faire que Fable.

• La conception (design) est bien meilleure que celle des précédents modèles GPT.

• Les limites sont beaucoup plus généreuses que celles d'Anthropic, comme toujours.

• L'application Codex reste la meilleure interface pour exécuter des agents, surtout depuis votre téléphone.

• Si vous utilisez 5.6 comme vous utilisiez les modèles précédents pour coder, vous aimerez ce modèle. Fable est plus cher et plus lent pour le même travail. Mais si vous faites des prompts plus ambitieux, en essayant d'aller de a à z d'un coup, ou en travaillant sur des tâches plus atypiques, Fable est nettement meilleur.

Les points moins positifs

• Ce n'est pas Fable. C'est l'essentiel de cette critique, honnêtement.

• Le design ne tient toujours pas la comparaison avec Fable. Il ne tient même pas la comparaison avec Opus 4.8.

• Le travail créatif ambitieux nécessite beaucoup plus de guidage qu'avec Fable, et même avec beaucoup de guidage, il ne peut pas atteindre ce que Fable peut faire en un seul essai. Moins que les modèles plus anciens, mais l'écart est réel.

• Il peut être trop zélé. Une fois, je lui ai demandé d'écrire un cahier des charges, et il est allé trouver des fichiers vaguement pertinents sur ma machine et a commencé à les modifier, ce qui était agaçant.

• Si votre travail consiste en des tâches d'ingénierie simples, vous pourriez parfois avoir du mal à ressentir l'amélioration. La génération précédente était déjà assez bonne pour la plupart de ces tâches. Plus vous poussez le modèle sur des tâches difficiles, ou plus vous lui demandez d'en faire à la fois, plus vous ressentirez l'amélioration.

C'est la critique la plus étrange que j'aie écrite, car mon opinion sur ce modèle a complètement changé au milieu des tests, et le modèle n'y était pour rien.

J'ai eu accès à GPT-5.6 le 27 mai. Pendant environ deux semaines, j'ai été totalement époustouflé. Je l'utilisais matin, midi et soir. À un moment donné, j'avais tellement de sessions Goal en parallèle que j'avais utilisé 3 fois les tokens mensuels de l'utilisateur le plus actif d'OpenAI en 17 jours, sur une seule machine. Je construisais des choses que je ne pensais pas que les modèles pouvaient construire, et je tapais à peine.

Puis Fable est sorti, j'y ai eu accès, et j'ai presque immédiatement arrêté d'utiliser GPT-5.6.

Vous devez savoir d'où je viens. Si vous avez lu mes critiques précédentes, vous savez que je suis généralement un adepte de GPT. Je ne fais pas beaucoup de travail frontend ou UX. Je fais surtout du backend, des systèmes et du travail agentique, et les modèles GPT ont historiquement été meilleurs pour moi dans ce domaine. Ils ont tendance à réussir le changement demandé et rien de plus. Alors quand je vous dis qu'un modèle Claude m'a fait abandonner un modèle GPT que j'adorais, comprenez que cela va à l'encontre de mon habitude.

Laissez-moi vous expliquer les deux moitiés : pourquoi GPT-5.6 m'a époustouflé, et pourquoi je l'utilise à peine maintenant.

Le mode Goal est de la pure sorcellerie

Le mode Goal est simple à décrire. Vous tapez /goal dans le CLI Codex ou l'application, vous lui donnez un objectif avec des critères d'achèvement clairs, et le modèle ne s'arrête pas tant que l'objectif n'est pas atteint. Lorsqu'une session se termine, le mode Goal vérifie si l'objectif est réellement atteint. Si ce n'est pas le cas, il démarre une nouvelle session et continue. Et ainsi de suite. Pendant des jours si nécessaire.

Si vous lisez mon guide de prompt pour Fable, tout ce qui y est écrit s'applique directement ici, car j'ai développé une grande partie de ces techniques d'abord sur GPT-5.6. Faites de "fini" un test, pas un adjectif. Ne le laissez jamais terminer. Faites des agents bâtisseurs et juges séparés. Demandez-lui de tenir une page de progression que vous pouvez consulter depuis votre téléphone. GPT-5.6 répond à tout cela.

Deux astuces spécifiques au mode Goal :

1. Les objectifs sont limités à 4 000 caractères. Ne luttez pas contre la limite et n'essayez pas de tout caser... écrivez plutôt le véritable objectif dans un fichier Markdown et faites de l'objectif lui-même une seule ligne : "Complete the objective and completion criteria in goal.md. Treat this file as the durable source of truth throughout the run." (Complétez l'objectif et les critères d'achèvement dans goal.md. Traitez ce fichier comme la source de vérité durable tout au long de la session.) En prime, vous pouvez modifier le fichier pendant que la session est en cours.

1. Passez beaucoup de temps sur ce fichier d'objectif. Faites-vous aider par un modèle pour l'écrire. Le fichier d'objectif fait le travail qu'un manager ferait normalement, et chaque ambiguïté que vous y laissez est une décision que le modèle prendra sans vous.

Il a construit Manhattan

La meilleure façon de vous montrer à quoi cela ressemble, c'est ce qu'il a construit.

Je lui ai donné un fichier d'objectif qui disait, en substance : construis une reconstitution voxel 3D explorable de Manhattan qui ressemble, sonne et fonctionne comme la vraie ville, y compris le véritable système de métro de New York. Le standard que j'ai écrit dans l'objectif était simple : quelqu'un qui connaît New York doit pouvoir dire où il se trouve.

Des jours plus tard, j'avais ceci.

Vue aérienne de Manhattan construite par GPT-5.6

C'est la véritable île. La ligne d'horizon correspond. Les formes des bâtiments correspondent. La géographie et la topographie correspondent. Il a utilisé des données réelles de la ville pour le faire, donc l'Empire State Building est à 40.7485° N, 73.9868° W, là où il doit être.

Empire State Building précis

Et le métro fonctionne. Pas "il y a une texture de métro." Vous descendez dans une vraie rue, trouvez une entrée de station à son emplacement réel, descendez sous terre, montez dans un train sur la bonne ligne, parcourez les tunnels, changez là où vous changeriez réellement, et sortez par une vraie sortie ailleurs dans la ville. Il a même trouvé un moyen de correspondre aux horaires réels du métro du vrai Manhattan, de sorte que les trains numériques étaient synchronisés avec la réalité.

Embarquement à Grand Central-42 St

Le jeu de destruction que je lui ai demandé de construire était la même histoire. L'objectif : un jeu de destruction voxel à la première personne qui tient la comparaison avec Teardown, avec de vrais voxels et de vraies physiques structurelles. Faites sauter la base d'un bâtiment et tout ce qui est au-dessus s'effondre sous son propre poids. Cette session a duré cinq jours et plus de soixante-dix itérations.

Redline Demolition, le jeu de destruction voxel construit par GPT-5.6

Voir la vidéo

Deux choses de ces sessions m'ont marqué. Premièrement, il s'est noté honnêtement. Au début de la session Manhattan, son propre journal de progression refusait de compter l'ébauche comme un progrès : "visiblement pas Manhattan et n'est pas accepté comme un jalon de la ville." Il n'a pas déclaré victoire pendant des jours, parce que le fichier d'objectif ne le lui permettait pas. Deuxièmement, il a pris le jugement au sérieux d'une manière que je n'avais jamais demandée. Il a lancé des centaines d'agents réviseurs adversariaux, et a trouvé des tonnes de petits problèmes à résoudre.

Une session a même rempli le disque de mon Mac en plein milieu de l'objectif, a nettoyé les caches dont il pouvait vérifier qu'elles étaient sûres à supprimer, puis a installé un CLI de sandbox cloud et s'y est déplacé pour continuer à travailler. Impressionnant et légèrement alarmant à la fois, ce qui est un bon résumé de ce modèle.

Alors oui : pendant deux semaines, j'ai pensé que c'était l'avenir.

Puis Fable est arrivé

Puis j'ai eu Fable, et la comparaison n'était pas proche.

Je suis revenu en arrière et j'ai relancé certains de mes projets GPT-5.6 pour être juste. Le test le plus clair était le travail programmatique 3D et vidéo, le même genre de choses derrière les mondes que j'ai postés. La sortie de GPT-5.6 était meilleure que celle de tout précédent modèle GPT. Elle n'était également pas du tout au niveau de Fable. Les résultats étaient tout simplement nettement moins bons, et aucune quantité d'itérations n'a comblé l'écart.

C'est devenu mon nouveau benchmark pour les modèles, d'ailleurs : demandez-lui de construire un moteur voxel physiquement précis à partir de zéro et voyez jusqu'où il peut aller. C'est un test impitoyable car il n'y a aucune bibliothèque sur laquelle s'appuyer et aucun moyen de tricher. Les moteurs de GPT-5.6 se sont situés bien en dessous du niveau de Fable.

La différence plus profonde est le guidage. Avec Fable, vous dites ce que vous voulez et c'est fait. Avec GPT-5.6, beaucoup de choses sont faites, mais les choses ambitieuses nécessitent d'être guidées. Vous corrigez le cap, réexpliquez le niveau d'exigence, le poussez à être moins conservateur. C'est encore beaucoup moins de surveillance que les modèles de la génération précédente. C'est beaucoup plus que ce dont Fable a besoin, qui est approximativement zéro.

La confiance est l'autre moitié de ceci. Avec les bonnes garde-fous et la bonne configuration, je ne vérifie plus le code de Fable. Je sais que je peux lui faire confiance. Je vérifie encore celui de 5.6, assez souvent.

Certaines des choses que j'ai construites sur GPT-5.6, je n'ai même pas pris la peine de les retester, car après quelques semaines avec Fable, elles me semblaient en dessous du seuil de qualité.

L'odeur du gros modèle

Voici mon interprétation honnête de la raison.

Fable a l'odeur d'un gros modèle. On sent tout de suite qu'on parle à quelque chose d'énorme. Il généralise. Vous le poussez dans un endroit étrange et il y est toujours intelligent.

GPT-5.6 donne l'impression d'un modèle plus petit. Encore gros, mais plus petit, avec une quantité incroyable d'apprentissage par renforcement par-dessus. Et l'apprentissage par renforcement vous donne exactement ce à quoi vous vous attendez : le modèle est extrêmement bon sur les formes de travail sur lesquelles il a été entraîné, et les benchmarks sont la forme la plus entraînée de toutes. C'est pourquoi les scores semblent proches. Ensuite, vous faites un pas hors de la route pavée, vers un moteur voxel à partir de zéro ou un rendu 3D, et la différence est immédiate.

Cela fait de GPT-5.6 un outil plus ciblé que les benchmarks ne le suggèrent.

J'espère sincèrement qu'OpenAI entraînera un modèle vraiment gros, car leur apprentissage par renforcement sur quelque chose de la taille de Fable serait absolument incroyable. Ce modèle n'existe tout simplement pas encore (à notre connaissance... il existera probablement bientôt).

Là où GPT-5.6 gagne encore

Ce n'est pas à sens unique, et les exceptions sont importantes à noter.

Sécurité. GPT-5.6 est plus disposé à faire du travail de cybersécurité que Fable, qui peut refuser des tâches qui ressemblent à des activités dangereuses. Et il est vraiment bon dans ce domaine. Mon workflow actuel : Fable écrit le code, et GPT-5.6 l'audite. Comme l'exécution de Codex se fait sans tête, vous pouvez le connecter à un hook qui audite chaque commit, ou qui se déclenche après chaque session Fable terminée.

Limites. Les limites d'OpenAI sont beaucoup plus généreuses que celles d'Anthropic. Cela a toujours été vrai et ça l'est toujours. Si vous rationnez les tokens de Fable, GPT-5.6 est une excellente deuxième option (ou vous pouvez l'utiliser pour exécuter pendant que Fable planifie).

L'interface. L'application Codex reste la meilleure façon d'exécuter et de guider des agents, surtout depuis un téléphone. Appairez-la une fois et vous pouvez envoyer du travail, examiner les diffs et maintenir des sessions Goal en cours depuis n'importe où. Je l'utilise moins qu'avant, car j'ai trouvé ma propre façon de faire cela avec Fable : je lui fais travailler dans un document sur workbench.md, et je peux lire ses mises à jour et le guider directement depuis un composant de chat dans le document sur mon téléphone. Mais en tant que produit, l'équipe d'OpenAI reste en avance ici, et ce n'est pas proche.

Quand utiliser quoi

• Si vous pouvez utiliser Fable : Fable pour pratiquement tout. GPT-5.6 pour les audits de sécurité, pour un deuxième regard sur les changements importants, et comme exécutant des plans de Fable lorsque vous voulez économiser des coûts.

• Si vous ne pouvez pas : GPT-5.6, sans hésitation. C'est le meilleur modèle que n'importe qui d'autre fabrique, l'utiliser en mode Goal est la meilleure configuration agentique que vous puissiez avoir aujourd'hui, et tout ce qui semble tiède dans cette critique ne l'est que par rapport à Fable.

Dernières réflexions

Si Fable n'existait pas, ce serait la critique la plus élogieuse que j'aie jamais écrite. Un modèle qui peut fonctionner pendant des jours sur un fichier d'objectif, juger son propre travail de manière adversariale, et livrer un Manhattan voxel fonctionnel n'est pas une petite chose. Il y a six mois, cela aurait été de la science-fiction.

Mais Fable existe. Et le résumé honnête de GPT-5.6 est que la deuxième place n'a jamais été aussi bonne, et elle n'a jamais eu aussi peu d'importance. La frontière n'est pas un classement où l'argent a de la valeur. Si un modèle peut faire ce que l'autre ne peut pas, vous utilisez ce modèle, et l'écart est actuellement suffisamment large pour que j'aie réorganisé tout mon workflow autour de lui en quelques jours.

GPT-5.6 est un modèle incroyable. J'espère que le prochain d'OpenAI me fera revenir. Ils l'ont déjà fait avant.

Si vous avez trouvé cela utile, suis-moi sur X pour plus de réflexions sur les modèles d'IA et comment en tirer le meilleur parti.

Lis ma critique originale ici : https://shumer.dev/gpt56review.html