Pourquoi les LLM à grande échelle (GPT-6) ne sont pas l'AGI :
L'illusion de l'échelle et la réalité de l'intelligence générale
Le récit dominant dans le secteur technologique suggère que l'Intelligence Générale Artificielle (AGI) est principalement un défi d'ingénierie lié à l'échelle : plus de calcul, des ensembles de données plus vastes, des fenêtres de contexte plus longues et des clusters d'apprentissage par renforcement massifs. Des personnalités éminentes comme Sam Altman, PDG d'OpenAI, et Jensen Huang, PDG de NVIDIA, ont présenté à plusieurs reprises les trajectoires actuelles des modèles de pointe — jusqu'à un hypothétique « GPT-6 » — comme plaçant l'humanité au seuil immédiat d'une agentivité de niveau humain. Cependant, traiter les transformeurs autorégressifs à grande échelle comme une AGI confond la récupération statistique de haute dimension avec la véritable intelligence générale. Une critique architecturale, mathématique et économique révèle pourquoi les prédicteurs du prochain jeton sont confrontés à des limites structurelles d'échelle, pourquoi les benchmarks dominants sont erronés et ce que la véritable intelligence générale exige réellement.
- Définir l'AGI : La base opérationnelle
Pour évaluer pourquoi la mise à l'échelle de l'autorégression ne parvient pas à produire une AGI, nous devons d'abord établir une base de référence rigoureuse et non marketing. Dans son article fondateur On the Measure of Intelligence, le chercheur en IA François Chollet formalise l'intelligence non pas comme une encyclopédie de compétences statiques, mais comme une capacité d'apprentissage efficace en termes d'échantillons :
L'Intelligence Générale Artificielle (AGI) est un système autonome capable d'acquérir, de synthétiser et d'appliquer de nouvelles compétences pour résoudre des problèmes jamais rencontrés dans l'incertitude — égalant ou dépassant l'efficacité humaine dans l'apprentissage à partir d'échantillons, l'adaptation continue, le raisonnement causal et la formulation d'objectifs sans intervention manuelle ni pré-entraînement spécifique à une tâche. L'AGI n'est pas la somme de toutes les connaissances humaines compressée dans une matrice de poids ; c'est le moteur de méta-apprentissage capable de générer des modèles du monde entièrement nouveaux lorsque les connaissances existantes échouent.
- Les goulots d'étranglement architecturaux des transformeurs autorégressifs
Même si un futur modèle de pointe est entraîné sur $10^{27}$ FLOPs avec des entrées multimodales, il reste lié à la mécanique fondamentale de l'architecture du transformeur :
$$\text{Tokens d'entrée} \longrightarrow \text{Multiplication matricielle statique (poids figés)} \longrightarrow \text{Distribution de probabilité du prochain jeton}$$
Les goulots d'étranglement architecturaux de « GPT-6 »
Même si un futur « GPT-6 » est entraîné sur $10^{27}$ FLOPs avec des entrées multimodales, il reste lié à la mécanique fondamentale de l'architecture du transformeur :
1[ Tokens d'entrée ] ──> [ Multiplication matricielle statique (poids figés) ] ──> [ Distribution de probabilité du prochain jeton ]2│3└── (Aucune plasticité en cours d'exécution / Aucun modèle dynamique du monde)
A. L'absence d'apprentissage autonome et continu
- Poids statiques : Les LLM standard ont des phases d'entraînement et d'inférence séparées. Une fois la rétropropagation terminée, les poids du modèle sont figés. Lorsqu'un LLM interagit avec le monde, il ne peut pas modifier ses propres paramètres internes en temps réel.
- Oubli catastrophique : Les réseaux de neurones souffrent d'oubli catastrophique — la mise à jour des poids sur de nouvelles tâches dégrade les capacités précédemment acquises.
- Les fenêtres de contexte $\neq$ mémoire : L'expansion des fenêtres de contexte (ou l'utilisation du RAG) fournit des blocs-notes temporaires, et non une mémoire épisodique ou sémantique consolidée. Un système qui ne peut pas élaguer indépendamment les fausses croyances et assimiler de nouveaux axiomes pendant l'exécution est un moteur de récupération d'informations, pas un apprenant dynamique.
B. Corrélation statistique vs. Raisonnement causal
- L'horizon du prochain jeton : Les transformeurs optimisent pour $P(\text{Token}_n \mid \text{Tokens}_{1 \dots n-1})$. Comme le souligne le lauréat du prix Turing Judea Pearl dans The Seven Tools of Causal Inference (CACM), les modèles associatifs occupent l'échelon le plus bas de la Hiérarchie Causale (Association / « Voir »).
- Le goulot d'étranglement de l'intervention : La véritable intelligence générale nécessite un raisonnement aux niveaux de l'Intervention (« Que se passe-t-il si nous faisons X ? ») et des Contrefactuels (« Que se serait-il passé si nous avions agi différemment ? »). Les LLM approximativent ces mécanismes via des motifs de tokens, mais sans moteur causal explicite, ils restent fragiles lorsqu'ils raisonnent en dehors de leur distribution d'entraînement.
Poids statiques lors de l'inférence : Les LLM standard maintiennent une frontière structurelle stricte entre l'entraînement et l'inférence. Une fois la rétropropagation terminée, les poids du modèle restent figés. Pendant l'exécution, un LLM ne peut pas modifier ses propres paramètres internes en temps réel.
Oubli catastrophique : La mise à jour des poids du réseau de neurones sur de nouvelles tâches dégrade les capacités précédemment acquises.
Les fenêtres de contexte $
eq$ mémoire : L'expansion des fenêtres de contexte (ou l'ajout de la Génération Augmentée de Récupération) fournit un bloc-notes temporaire, et non une mémoire épisodique ou sémantique consolidée. Un système qui ne peut pas élaguer indépendamment les fausses croyances et assimiler de nouveaux axiomes pendant l'exécution fonctionne comme un système de récupération d'informations, pas comme un apprenant dynamique.
B. Corrélation statistique vs. Raisonnement causal
L'horizon du prochain jeton : Les transformeurs optimisent pour $P(\text{Token}_n \mid \text{Tokens}_{1 \dots n-1})$. Comme le souligne le lauréat du prix Turing Judea Pearl dans The Seven Tools of Causal Inference, les modèles associatifs occupent l'échelon le plus bas de la Hiérarchie Causale (Association / « Voir »).
Le goulot d'étranglement de l'intervention : La véritable intelligence générale nécessite un raisonnement aux niveaux de l'Intervention (« Que se passe-t-il si nous faisons X ? ») et des Contrefactuels (« Que se serait-il passé si nous avions agi différemment ? »). Les LLM approximativent ces mécanismes via des motifs de tokens, mais sans modèle causal explicite du monde, ils restent fragiles lorsqu'ils sont forcés en dehors de leur distribution d'entraînement.
- Analyse critique : Le récit des dirigeants vs. la réalité architecturale
Les déclarations publiques concernant les échéances de l'AGI méritent une analyse objective parallèlement aux incitations structurelles des entreprises qui les formulent.
Jensen Huang (NVIDIA) : L'incitation à l'expansion matérielle
Le cadre : Huang a déclaré à plusieurs reprises que l'AGI arriverait dans un délai de cinq ans, la définissant spécifiquement comme le point où l'IA pourrait obtenir un score dans le centile supérieur aux tests professionnels humains dans les domaines juridique, médical et technique.
La perspective : Définir l'AGI principalement par la performance à des examens standardisés évalue la récupération de connaissances statiques et la reconnaissance de formes — des tâches où les modèles autorégressifs excellent grâce à la mémorisation à l'échelle d'Internet. D'un point de vue architectural, réussir les examens du barreau ou les conseils de l'ordre des médecins n'indique pas un raisonnement hors distribution ou une adaptabilité autonome. Présenter la réussite aux examens comme une AGI encourage des dépenses d'investissement continues dans les clusters de GPU d'entreprise, s'alignant directement sur les objectifs de vente de matériel.
Sam Altman (OpenAI) : L'incitation au capital et à la valorisation
Le cadre : Altman fait fréquemment référence à un calendrier agressif vers l'AGI, projetant des transitions rapides des systèmes agentiques vers une autonomie cognitive complète pour justifier des investissements massifs dans les infrastructures, tels que des initiatives de puces et de centres de données de plusieurs billions de dollars.
Le problème d'incitation : Rhétorique industrielle trompeuse
Comprendre les déclarations publiques des dirigeants technologiques nécessite d'analyser leurs incitations structurelles :
1┌───────────────────────────────┐ ┌───────────────────────────────┐2│ Jensen Huang (NVIDIA) │ │ Sam Altman (OpenAI) │3├───────────────────────────────┤ ├───────────────────────────────┤4│ Incitation : Vendre H100/B200│ │ Incitation : Levées de fonds │5│ Stratégie : Redéfinir l'AGI │ │ de plusieurs milliards et │6│ comme la réussite aux examens│ │ Stargate. Stratégie : Osciller│7│ standardisés en 5 ans. │ │ entre « AGI divine imminente »│8│ │ │ et « juste un outil utile ». │9└───────────────────────────────┘ └───────────────────────────────┘
La perspective : L'orientation opérationnelle d'OpenAI repose sur l'obtention de vastes réserves de capitaux pour financer les exécutions de calcul. Promouvoir un récit d'AGI imminente maintient des valorisations de capital-risque élevées et garantit un soutien stratégique souverain. Cependant, des définitions changeantes — alternant entre la présentation des nouvelles versions comme des sauts technologiques et le recul sur les affirmations concernant l'AGI lors des discussions réglementaires — mettent en évidence une tension entre le message marketing et la capacité technique. Des techniques comme la mise à l'échelle du calcul au moment de l'inférence améliorent la recherche dans des espaces de problèmes structurés, mais elles ne résolvent pas le gel des poids, l'adaptation en temps réel ou la véritable autonomie épistémique.
- L'erreur du benchmark : Pourquoi les métriques actuelles induisent en erreur
La perception que les modèles de pointe se rapprochent de l'AGI découle en grande partie de la saturation des benchmarks. Les méthodologies d'évaluation actuelles souffrent de trois défauts structurels fondamentaux :
Contamination des données et saturation des benchmarks : Des suites d'évaluation populaires comme MMLU et GSM8K fuient régulièrement dans les ensembles de données de pré-entraînement à l'échelle du web. Des scores élevés reflètent fréquemment un rappel de motifs de haute dimension plutôt qu'un raisonnement hors distribution.
Loi de Goodhart dans l'optimisation de l'IA : Comme le démontre la recherche sur l'évaluation des modèles d'IA de pointe, « lorsqu'une métrique devient un objectif, elle cesse d'être une bonne métrique. » Les techniques de post-entraînement (RLHF, DPO, génération de données synthétiques) optimisent agressivement les modèles pour réussir les évaluations publiques standard.
Le Corpus de Raisonnement et d'Abstraction (ARC-AGI) : L'évaluation des modèles sur des énigmes logiques visuo-abstraites nouvelles, conçues spécifiquement pour résister à la mémorisation — comme le benchmark ARC-AGI — révèle que si la recherche à grande échelle et le calcul au moment du test peuvent pousser les scores plus haut, la recherche statistique par force brute nécessite des ordres de grandeur de calcul de plus que l'efficacité d'échantillonnage humaine pour résoudre des problèmes d'abstraction identiques.
- Exigences architecturales pour une véritable AGI
Combler le fossé entre la reconnaissance de formes statistiques et une véritable AGI nécessite des changements architecturaux fondamentaux, loin de la pure autorépression :
Exigence fondamentale | Limitations des modèles de transformeurs | Exigence architecturale pour l'AGI |
|---|---|---|
Plasticité synaptique continue | Poids figés lors de l'inférence ; oubli catastrophique lors des mises à jour. | Adaptation continue des paramètres en temps réel et apprentissage en ligne pendant l'exécution. |
Modèles causaux du monde | Cartographie de distribution de probabilité unidimensionnelle au niveau du jeton. | Moteurs causaux multidimensionnels ancrés dans la logique opérationnelle et le suivi d'état dynamique. |
Efficacité d'échantillonnage | Nécessite des billions de tokens / des données à l'échelle du web pour maîtriser des tâches étroites. | Capacité à abstraire des règles complexes à partir de démonstrations à un seul chiffre (méta-apprentissage). |
Auto-calibration épistémique | Hallucinations confiantes ; incapacité à vérifier les limites internes des connaissances. | Auto-vérification intrinsèque avec suivi explicite de la certitude et de l'ignorance. |
Mémoire épistémique durable | Fenêtres de contexte éphémères et recherche vectorielle externe (RAG). | Représentations de connaissances unifiées qui distillent, vérifient et élaguent continuellement les faits. |
Conclusion
Ce que la véritable AGI exige réellement
Combler le fossé entre la reconnaissance de formes statistiques de haute dimension et une véritable AGI nécessite des changements architecturaux fondamentaux :
Exigence fondamentale | Limitation dans les modèles de transformeurs (GPT-4/6) | Exigence architecturale pour une véritable AGI |
|---|---|---|
Plasticité synaptique continue | Poids du modèle figés ; oubli catastrophique lors des mises à jour de gradient. | Adaptation continue des paramètres et de la mémoire en temps réel pendant l'exécution. |
Modèles causaux du monde | Cartographie de probabilité associative unidimensionnelle au niveau du jeton. | Moteurs causaux multidimensionnels ancrés dans la mécanique opérationnelle et la logique. |
Efficacité d'échantillonnage | Nécessite des billions de tokens / des données à l'échelle d'Internet pour apprendre des tâches rudimentaires. | Abstraction d'axiomes complexes à partir de démonstrations à un seul chiffre (méta-apprentissage). |
Auto-calibration épistémique | Hallucinations confiantes ; incapable de vérifier indépendamment les limites de la vérité. | Auto-vérification intrinsèque et suivi explicite de la certitude/de l'ignorance. |
Intégration durable du graphe de connaissances | Fenêtres de contexte éphémères et recherche vectorielle externe (RAG). | Graphes de connaissances unifiés qui distillent, vérifient, mémorisent et élaguent continuellement les faits d'état. |
La mise à l'échelle du calcul, du nombre de paramètres et des données de pré-entraînement produit des outils exceptionnels, des assistants de codage très compétents et des interfaces en langage naturel fluides. Cependant, la mise à l'échelle de la prédiction statistique ne génère pas spontanément un raisonnement autonome, un apprentissage dynamique ou une agentivité authentique.
Un futur GPT-6 pourrait être plus rapide, plus grand et plus articulé dans le texte humain, mais sans plasticité continue, ancrage causal et auto-vérification dynamique, il reste un moteur de corrélation avancé — pas une AGI.
Résumé par Seedthink
