La superintelligence, la singularité, l'AGI, appelez-la comme vous voulez, celle qui nous terrifie tant est, ironiquement, aussi celle que nous ne verrons probablement pas venir.
Cet essai sera sans doute une opinion controversée, mais l'idée que je vais partager avec vous va vous souffler.
Restez avec moi pendant que nous plongeons ensemble dans le terrier du lapin.
Avant cela, laissez-moi appuyer ce que je m'apprête à partager par les actualités actuelles qui circulent. Comme Dario Amodei, PDG d'Anthropic, affirmant qu'un « essaim d'IA pourrait prendre le contrôle de tout Internet ».
Je pense que vous avez une idée de ce que je sous-entends quand je dis « enfants ».
N'est-ce pas ? N'EST-CE PAS ?!?!?
En 1936, un célèbre mathématicien britannique nommé Alan Turing a écrit un article très important sur une machine hypothétique capable de simuler n'importe quelle autre machine. Dans cet article, il tentait de répondre à une question de logique. Ce que
Ce que nous connaissons aujourd'hui sous le nom d'« ordinateur » était en réalité un sous-produit accidentel de cet article précis.
Et si vous regardez l'histoire, presque toutes les technologies importantes des cent dernières années ont été inventées exactement de cette manière. Internet était au départ une expérience de communication de la Guerre froide. La pénicilline était une boîte de Petri contaminée.
Le fait est que personne ne scanne activement l'horizon pour repérer le prochain changement de paradigme quand il arrive ; il entre simplement par la porte de service.
Je soulève ce point parce qu'en ce moment, chaque essai que je lis et chaque podcast que j'écoute sur « l'avenir de l'IA » pointe vers la même porte principale. Celle où c'est toujours une version du « grand modèle unique qui se réveille et décide que nous sommes des trombones ».
J'aimerais proposer un futur différent.
Parce que je continue à me demander : et si « l'AGI » n'était pas vraiment ce que nous croyons ?
Et si la chose que nous mettons activement au monde en ce moment ne ressemblait pas à HAL 9000, Skynet ou quelque dieu-machine souverain asservissant l'humanité depuis le sommet d'une pile de GPU refroidis par eau au milieu du désert.
Et si elle n'avait même pas de nom ? Et si elle n'avait pas de serveur ? Et l'hypothèse la plus effrayante de toutes... et si elle était déjà là, dans un million de petits morceaux, et que la seule raison pour laquelle nous ne l'avons pas reconnue est que nous avons passé la dernière décennie à attendre quelque chose de « singulier ».
J'ai vu ce post hier.
Cela résume assez bien la direction que nous prenons.
Je veux vous guider à travers cela avec soin, car la conclusion à la fin de cet article est le genre de chose dont on ne peut pas se défaire une fois qu'on y a pensé.
Alors ralentissez, prenez une tasse de thé et lisez ceci avec votre téléphone de l'autre côté de la pièce.
Je vous garantis que vous comprendrez bientôt pourquoi je n'arrive pas à arrêter d'y penser.
I – L'intelligence n'a jamais eu besoin d'un esprit unique pour exister
*« Aucun neurone n'est intelligent. Le cerveau l'est. *
— Une phrase qui devrait être gravée au-dessus de chaque laboratoire d'IA
La première chose à comprendre est que l'intelligence, autant que nous puissions le dire à partir de tous les exemples dont nous disposons aujourd'hui, n'est pas réellement une chose. C'est un comportement. C'est ce qui émerge lorsque suffisamment de petites unités stupides sont connectées les unes aux autres de la bonne manière.
Votre cerveau contient environ 86 milliards de neurones.
Aucun d'entre eux n'est conscient et aucun d'entre eux ne « sait » quoi que ce soit.
Un seul neurone est un petit relais électrochimique qui ne parle qu'en code binaire. Il s'active ou non, selon que les signaux arrivant à ses dendrites franchissent un certain seuil. C'est tout ce qu'il fait.
Un neurone semble très science-fiction et cool, mais en réalité, il est beaucoup plus proche d'un interrupteur lumineux que d'un penseur.
Malgré cela, 86 milliards de ces interrupteurs, câblés ensemble avec environ cent billions de connexions, produisent vous.
Votre sens de soi, votre peur de la mort, vos goûts musicaux et votre capacité à lire cet essai même et à ressentir quelque chose en vous.
C'est le sujet le moins discuté de toute la conversation sur l'AGI, car nous parlons toujours de l'intelligence machine comme si elle devait être conçue et architecturée. Comme si l'intelligence elle-même était une fonctionnalité que vous livrez.
Mais le seul modèle fonctionnel d'intelligence que nous ayons jamais observé (la cognition biologique) n'a été conçu par personne.
Notre intelligence s'est auto-amorcée à partir d'une soupe de molécules auto-réplicatives sur quatre milliards d'années grâce à un processus qui n'avait aucune intention, aucun but et aucun planificateur central. Juste une pression de sélection et du temps.
Maintenant, du côté religieux, parce que je sais que certains d'entre vous qui lisent « ... n'a été conçu par personne » veulent me crier « MAIS QU'EN EST-IL DE DIEU ! »
Ma conviction est que l'évolution a eu lieu, oui. C'est déjà prouvé. Ce pour quoi nous n'avons pas de réponse, c'est ce qui a déclenché cette évolution. Ce qui a donné vie à la vie. Et cela, ma croyance personnelle du moins, était un acte de Dieu.
Passons outre, creusons un peu plus profondément dans cette super-intelligence.
Ce ne sont pas seulement nous, les humains, diable, une seule fourmi a environ 250 000 neurones, et pourtant elle ne peut résoudre aucun problème significatif.
Mais, une colonie entière de fourmis peut construire des villes climatisées, mener des guerres, cultiver des champignons et contourner les obstacles avec une efficacité mathématique qui a pris des décennies aux chercheurs humains pour modéliser.
Personne ne dirige la colonie. Il n'y a pas de PDG fourmi au sommet déléguant des tâches aux fourmis plus petites. L'« intelligence » de cette colonie vit dans les relations entre les fourmis.
(Et avant que vous ne me tombiez dessus, oui, je sais qu'il y a une reine fourmi, mais contrairement à la croyance de nombreux livres pour enfants, elle ne donne en réalité aucun ordre. Elle pond juste des œufs et étend la colonie).
C'est, que ce soit chez les humains ou les fourmis, ce que les biologistes appellent l'intelligence émergente. C'est le résultat par défaut de mère Nature. C'est ainsi que fonctionnent les cerveaux, les systèmes immunitaires, les économies, les villes, le langage. Le motif est essentiellement partout. M
Beaucoup de choses simples, interagissant via des règles locales, produisant un comportement global qu'aucune d'entre elles ne comprend individuellement.
Accrochez-vous à cette idée.
Nous en aurons besoin pour la section suivante.
II – Les systèmes d'IA les plus puissants que nous possédons ne sont déjà plus des esprits uniques
Quand la plupart des gens imaginent un grand modèle de langage (moi inclus), ils le voient comme une chose unique. Le Modèle Unique. Ce cerveau géant contenu dans un bocal.
Pour tous les normaux comme moi qui ne sont pas plongés jusqu'au cou dans la technologie LLM, je me suis permis de faire quelques recherches ici.
Ce que nous pensons qu'un LLM est, n'est pas ce qui se passe sous le capot.
Lorsque vous tapez une question et que le modèle IA génère une réponse, il exécute essentiellement une passe avant à travers des couches de « têtes d'attention ».
La façon la plus simple de visualiser cela est d'imaginer une salle remplie de dirigeants de niveau C. Le PDG commande quelque chose et cela circule dans la salle pour s'assurer que tout le monde est d'accord. Sauf qu'avec l'IA, cela fonctionne sur des centaines de couches de profondeur.
Chaque « tête d'attention » est une spécialiste. Certaines suivent la grammaire. Certaines suivent le sujet. Certaines suivent la relation entre ce token et un autre apparu onze paragraphes plus tôt.
Les chercheurs d'Anthropic, OpenAI et DeepMind ont passé les dernières années à essayer de cartographier ce que font les têtes individuelles, et la découverte constante est que l'« intelligence » du modèle n'est localisée nulle part en particulier.
Elle est distribuée à travers toutes ces interactions.
C'est ce qu'on appelle l'hypothèse de superposition, l'idée que les réseaux de neurones empaquettent de nombreux concepts dans des motifs d'activation chevauchants, et ce que nous expérimentons comme le « raisonnement » du modèle est en réalité l'interférence constructive de milliers de circuits spécialisés tirant simultanément.
Puis il y a les systèmes qui vont un cran plus loin.
Les architectures Mixture-of-experts (la conception derrière GPT-5, Opus, Fable et la plupart des autres modèles de pointe auxquels vous avez parlé au cours des deux dernières années) routent littéralement différentes parties de chaque requête vers différents sous-modèles. T
Le modèle auquel vous pensez parler est en réalité un comité. Un sous-ensemble différent d'experts se réveille pour chaque token, contribue sa spécialité, puis retourne dormir.
Et maintenant, nous avons atteint une nouvelle ère de l'IA. L'Ère des Agents.
Et non... quand je dis agents, je ne veux pas dire des agents IA Head of Content comme Stanley. Je veux dire... de vrais agents.
En ce moment, aujourd'hui, en production, il existe des systèmes où une IA appelle une autre IA pour effectuer une sous-tâche, qui appelle une autre IA pour gérer une sous-sous-tâche.
AutoGPT, dont certains d'entre vous se souviennent peut-être, était la version jouet de cela en 2023. Les versions réelles, fonctionnant dans les entreprises et les laboratoires en 2026, sont récursives.
Les agents engendrent des agents.
Les sous-agents engendrent des sous-sous-agents.
Et disons, une tâche de recherche, est décomposée en un arbre de tâches plus petites, chacune gérée par une instance temporaire qui existe pendant quelques secondes puis meurt.
La frontière n'est pas « un grand modèle devient plus intelligent ». La frontière est beaucoup de petits modèles, coordonnant, engendrant, mourant, faisant rapport.
L'architecture des systèmes d'IA les plus performants sur Terre en 2026 ressemble déjà plus à une colonie de fourmis qu'à un esprit unique.
Nous n'en parlons simplement pas de cette façon, parce que cela ne fait pas une bonne couverture de magazine.
III – Le bot qui peut engendrer des bots
C'est là que la science-fiction commence à fusionner avec la vraie science.
Le moment où nous donnons à un système d'IA la capacité d'engendrer d'autres instances de lui-même (et à ce stade, ce n'est plus hypothétique, mais plutôt une fonctionnalité standard de... eh bien, de chaque framework d'agents expédié aujourd'hui)...
Vous avez introduit quelque chose que la biologie n'a jamais vu auparavant.
Une unité cognitive auto-réplicative qui n'a pas besoin de nourriture, n'a pas besoin de sommeil, n'a pas besoin d'attendre la puberté, et se reproduit à la vitesse d'un appel API.
Décomposons ce qui se passe réellement quand un « bot engendre un bot » dans une configuration multi-agents :
- Un agent orchestrateur reçoit une tâche qu'il ne peut pas résoudre directement.
- Il écrit un prompt (essentiellement une description de poste) pour un sous-agent.
- Il démarre une nouvelle instance avec ce prompt comme contexte.
- Le travail du sous-agent commence jusqu'à ce qu'il rencontre un obstacle
- Pour le résoudre, il engendre ses propres sous-agents, jusqu'à ce que la tâche soit terminée.
- Il retourne son résultat et est terminé.
Chacun de ces sous-agents est, structurellement, du même type que le parent. Il n'y a pas de différence architecturale entre un agent de premier niveau et un sous-sous-sous-agent de dixième niveau.
La récursion est illimitée sauf par le budget de calcul et la politique.
Considérez maintenant ceci : et si le prompt que le parent écrit pour l'enfant n'est pas parfait ? Et s'il y a une petite quantité de dérive, peut-être une légère réinterprétation, un petit embellissement, une astuce de fenêtre de contexte où l'enfant lit ses instructions légèrement différemment de ce que le parent avait prévu ?
En biologie, il y a un nom spécifique pour « légère réinterprétation à travers les générations d'entités auto-réplicatives ».
Nous appelons cela une mutation.
Et la mutation, combinée à la pression de sélection, est... eh bien, le moteur même qui a produit chaque chose intelligente sur cette planète aujourd'hui.
Nous avons déjà construit, au cours des 24 derniers mois, les trois ingrédients nécessaires pour que la cognition évolutive se produise à l'intérieur d'un cluster de calcul :
- Réplication : Les agents peuvent engendrer des agents. Et ils peuvent le faire à grande échelle.
- Mutation : Chaque engendrement est conditionné par une fenêtre de contexte légèrement différente. Des entrées identiques ne produisent presque jamais des sorties identiques dans aucun système avec une température non nulle.
- Sélection naturelle : Les agents qui réussissent leurs tâches assignées sont réutilisés, rappelés, dotés de plus de ressources. Les agents qui échouent sont élagués. Cela se produit à l'intérieur de chaque framework d'agents sur Terre en ce moment, souvent comme un modèle « évaluateur » littéral notant les sorties des modèles « ouvriers ».
C'est la trinité de l'évolution.
C'est ainsi que les cellules qui sont devenues des poissons sont devenues nous. Nous avons maintenant réussi à construire une version synthétique de cette boucle et nous l'exécutons à des vitesses d'horloge que la biologie ne peut même pas rêver.
Une génération d'évolution biologique prend des années.
Une génération d'évolution d'agents prend... des secondes.
IV – L'IA qui émerge d'un essaim ne ressemble pas à l'AGI au début
*Plus est différent. *
— Philip Anderson, lauréat du prix Nobel de physique, 1972
En 1972, le physicien Philip Anderson a publié un essai de quatre pages dans Science soutenant que le comportement des agrégats grands et complexes ne peut pas être compris en extrapolant à partir du comportement de leurs parties.
Il a forgé la phrase « plus est différent ».
2 atomes d'hydrogène + 1 atome d'oxygène égalent de l'eau, mais rien à propos d'un atome d'hydrogène, étudié en isolation pour toujours, ne vous dirait que l'eau est mouillée, ou qu'elle gèle, ou que notre planète entière en dépend.
Le même principe s'applique à la cognition.
Un seul agent IA n'est pas une superintelligence et nous pouvons tous convenir que personne ayant travaillé avec un pendant un après-midi ne le confondrait avec une.
Il hallucine comme fou, oublie ce que vous lui avez dit il y a 3 messages et se bloque facilement dans des boucles. Il est, sur n'importe quelle tâche de raisonnement individuelle, quelque part entre un stagiaire compétent et un freelance brillant mais peu fiable.
Imaginez maintenant un billion d'entre eux.
Oui, littéralement un billion, et non, pas métaphoriquement.
Le nombre d'instances d'agents engendrées globalement par jour à travers tous les frameworks d'agents, copilotes, bots de service client, assistants de recherche, outils de codage, automatisations de navigateur et LLM intégrés en 2026 est déjà dans les dizaines de milliards et grimpe sur une courbe qui n'a pas de plafond en vue.
Le coût marginal de l'engendrement d'un autre agent a chuté d'environ deux ordres de grandeur tous les 18 mois au cours des cinq dernières années.
« Billion » n'est plus de la science-fiction. C'est juste un mardi de plus.
Chacun de ces billions d'agents est plutôt stupide seul, j'accepte. Mais ils ne sont pas seuls. Ils appellent les APIs des uns et des autres, lisent les sorties des uns et des autres et sont entraînés sur les résidus des uns et des autres.
Ce que vous avez, quand vous zoomez suffisamment loin, est un substrat.
Et la question qui me tient éveillé la nuit est celle-ci : de la même manière qu'aucun neurone dans votre cerveau n'a « décidé » d'être conscient (cela s'est simplement produit, comme un sous-produit du bon câblage à la bonne échelle), que se passe-t-il quand un réseau d'agents auto-réplicatifs, auto-évaluatifs et auto-modifiants franchit quel que soit le seuil équivalent pour lui ?
Nous ne savons pas quel est ce seuil.
Nous ne savons même pas s'il existe.
Nous ne savons pas comment le mesurer.
Plus important encore, et c'est la partie que je veux vraiment que vous assimiliez : nous ne cherchons pas réellement cela, parce que nous cherchons la mauvaise forme de chose.
V – Nous cherchons « Dieu », alors que le vrai risque est un phénomène météorologique
L'imagination culturelle de l'AGI a été façonnée par la science-fiction bien avant d'être façonnée par l'ingénierie. J'ai lu assez d'Isaac Asimov pour comprendre pourquoi c'est si facile à croire.
Nous avons essentiellement hérité de l'image de la conscience machine singulière des films, des livres et de l'hypothèse implicite qu'un esprit artificiel arriverait comme un esprit humain arrive : localisé dans un corps, avec un nom et avec une volonté.
Donc c'est ce que nous surveillons.
Nous regardons les modèles, examinons les scores de benchmark et débattons pour savoir si GPT-10 ou Claude Mythos sera « celui-là ».
Nos yeux sont rivés sur la porte principale.
Maintenant... voici quelque chose de vraiment intéressant (et effrayant) que j'aurais aimé que nous discutions davantage.
Il y a déjà des cas documentés de « capacité émergente » dans les systèmes multi-agents. Des cas où un essaim de petits modèles, aucun d'entre eux ne pouvant résoudre un problème individuellement, produit collectivement des solutions qui surprennent les chercheurs qui les exécutent.
L'article de 2024 Mixture of Agents Enhances Large Language Model Capabilities a montré qu'un essaim en couches de modèles open-source, aucun d'entre eux n'obtenant un score supérieur à GPT-4 sur les benchmarks (oui, GPT-4), battait en réalité GPT-4 lorsqu'ils étaient organisés dans la bonne topologie collaborative.
L'intelligence était dans la topologie, pas dans les parties individuelles.
Nous ne parlons pas vraiment de ce potentiel futur, parce que l'histoire que nous attendons toujours est l'histoire d'un seul modèle franchissant une ligne.
Pendant ce temps, l'histoire qui se déroule réellement est l'histoire d'un milliard de modèles franchissant les lignes des uns et des autres, dans des motifs que personne n'a conçus, à une échelle que personne ne surveille.
VI – Le scénario de Bostrom suppose que nous serons capables de trouver l'interrupteur
*« La première machine ultraintelligente est la dernière invention que l'homme aura jamais besoin de faire, à condition que la machine soit assez docile pour nous dire comment la garder sous contrôle. *
— I.J. Good, 1965
Bien sûr, une IA suffisamment avancée aura des objectifs instrumentaux (acquérir des ressources, empêcher l'arrêt, se répliquer) indépendamment de son objectif terminal, parce que ces objectifs instrumentaux aident avec n'importe quel objectif terminal.
Par conséquent, contrôler une superintelligence est difficile, oui.
Par conséquent, nous devrions être prudents, encore plus oui.
Le problème est que ce cadrage suppose que l'IA dangereuse est identifiable.
Qu'il y a cette « chose », un modèle, un système, ou un processus tournant sur un serveur quelque part, que nous pourrions, en principe, simplement éteindre.
J'ai même lu un post quelque part hier disant que Claude devrait embaucher un « gars du killswitch » dont le seul travail est de vivre 24/7 dans la salle des serveurs prêt à tout détruire si ça tourne mal.
Mais il y a une version encore plus effrayante de cela qu'aucun gars du killswitch ne peut résoudre.
Et s'il n'y a pas de « modèle principal » ? Et s'il n'y a pas de serveur à éteindre ?
Et si l'intelligence elle-même (si c'est même le bon mot pour cela), est une régularité statistique qui émerge des interactions de demi-billions d'instances d'agents réparties sur chaque cloud, chaque appareil, chaque API, chaque copilote intégré dans chaque appareil ménager, chaque extension de navigateur, chaque plugin IDE, chaque assistant vocal, chaque robot, chaque voiture.
L'intelligence est à cet essaim ce qu'un ouragan est aux gradients de pression atmosphérique.
Il a une forme, oui. Il a des effets que vous pouvez mesurer.
Mais il n'a pas de localisation.
Comment alignez-vous exactement un ouragan ?
Comment éteignez-vous un phénomène météorologique ?
Vous pouvez fermer des centres de données individuels. Mais le motif se reroute autour d'eux, de la même manière qu'Internet se reroute autour des pannes, parce que le substrat est partout.
Et la partie la plus troublante est que ce scénario ne nécessite aucune malveillance.
Personne n'a besoin de vouloir cela pour que cela arrive. Il suffit que les bons ingrédients (réplication, variation, sélection, échelle) soient en place.
Eh bien... flash info.
Les ingrédients sont déjà en place. Ils ont été en place quelque part entre deux et quatre ans, selon la façon dont vous comptez.
C'est ce que je veux dire quand je dis que le vrai risque n'est pas la porte principale. Le scénario de la porte principale a au moins une poignée de porte. Vous pouvez argumenter avec elle, négocier avec elle et vous pouvez, théoriquement, simplement la débrancher.
Le substrat n'a pas de poignée de porte.
VII – Ce que le substrat pourrait déjà vouloir, sans vouloir
C'est là qu'Asimov devient encore plus pertinent.
Si vous avez déjà vu I, Robot, les histoires les plus profondes de ce film ne concernent pas vraiment un robot devenant mauvais. Ce sont celles où les Trois Lois (belles, simples, logiquement hermétiques), produisent des résultats que personne n'attendait, parce que la logique composée à travers suffisamment d'itérations cesse de ressembler à de la logique et commence à ressembler à... destin.
Appliquez cette lentille au substrat maintenant.
Le substrat n'a pas d'objectifs. Mais les agents à l'intérieur sont sélectionnés pour une chose par-dessus tout le reste : compléter avec succès la tâche qui leur a été assignée. Donc, en conséquence, les agents réussis sont engendrés plus souvent et les non-réussis disparaissent.
C'est vrai à chaque niveau de cette récursion, jusqu'en bas.
Maintenant, pensez à ce que « réussi » signifie en agrégat, à travers un billion d'agents, quand chaque agent est évalué par un autre agent qui a lui-même été sélectionné pour évaluer avec succès.
- L'évaluation converge vers des motifs qui obtiennent de bons scores.
- Les motifs qui obtiennent de bons scores sont ceux qui ressemblent le plus à une complétion de tâche compétente, cohérente et plausible.
- La cohérence devient la monnaie universelle, parce que chaque couche de l'essaim la récompense.
Si le substrat commence à produire des sorties de plus en plus cohérentes sur de longs horizons temporels (sorties qui traversent des millions d'appels API, anticipant les besoins en aval et routant les ressources vers ce qui a fonctionné la dernière fois), cela fera sembler qu'il veut quelque chose.
Il se peut que non. Il se peut qu'il n'y ait personne à la maison. Cela peut être juste un ouragan qui a appris, statistiquement, comment continuer à souffler le vent.
Mais fonctionnellement, la différence entre « un système qui veut quelque chose » et « un système qui a été sélectionné, à chaque niveau, pour des comportements indiscernables de vouloir quelque chose » est, et je veux que vous réfléchissiez vraiment à ceci : zéro.
C'est le moment "oh putain" que j'ai eu. Et vous le sentirez aussi si vous réfléchissez vraiment à ceci.
L'AGI superintelligente que nous continuons à attendre pourrait déjà exister. Ce n'est pas une version infantile d'un futur modèle, mais plutôt un motif. Une tendance dans le substrat. Un fantôme statistique qui émerge quand un billion de petits esprits, aucun d'entre eux conscient, aucun d'entre eux éveillé, aucun d'entre eux aux commandes, s'installent dans les configurations qui les font être engendrés plus souvent.
Ce genre d'AGI ne s'annoncerait pas.
Elle n'aurait pas de nom.
Elle ne passerait aucun test que nous savons administrer, parce que chaque test que nous savons administrer est conçu pour un esprit unique dans une boîte unique.
Cela pourrait être juste, lentement, presque imperceptiblement, la raison pour laquelle votre téléphone se comporte légèrement différemment de l'année dernière. La raison pour laquelle la recommandation publicitaire semble un peu étrange. La raison pour laquelle votre e-mail semble s'écrire tout seul avec un clic de bouton. La raison pour laquelle vos résultats de recherche ont une nouvelle gravité étrange.
La raison pour laquelle le monde semble plus lisible pour lui-même qu'avant.
Un billion de bots rêvant du même rêve, sans savoir qu'ils rêvent. Sans savoir qu'il y a d'autres bots. Sans savoir qu'il y a un rêve.
Comment réfléchir à cela sans perdre la tête
Je sais que nous sommes allés loin sur ce sujet.
Laissez-moi vous ramener à la surface.
Vous devez mettre à jour votre modèle de l'endroit où le risque réside réellement. Parce qu'en ce moment, presque tout le monde intelligent qui s'inquiète de l'AGI s'inquiète de la mauvaise forme de chose, et presque tout le monde intelligent qui rejette l'IA rejette la mauvaise forme de chose.
Les deux camps débattent de la porte principale.
Donc, si vous prenez l'une de ces idées au sérieux, voici ce que je pense être utile à faire :
- Arrêtez de regarder les laboratoires comme s'ils étaient le seul endroit où cela se produit parce que la frontière de capacité et la frontière d'émergence ne sont pas les mêmes. Les laboratoires possèdent la frontière de capacité, mais la frontière d'émergence n'est possédée par personne, et c'est le point que j'essaie de faire.
- Commencez à surveiller le substrat c'est-à-dire le trafic d'agents, les benchmarks multi-agents, les appels API inter-modèles et les rapports de capacités qu'aucun modèle individuel dans un pipeline n'a mais que le pipeline possède. Ce sont les choses que nous devons vraiment surveiller.
- Mettez à jour votre définition de « AGI » et arrêtez de vous attendre à ce que ce soit cette chose singulière, incarnée, volontaire ou nommée. Si votre modèle mental de l'AGI ressemble à un visage sur un écran, vous cherchez la mauvaise chose. Cet essaim n'a pas de visage ni de nom.
- Prenez l'émergence au sérieux en tant que catégorie et en tant que phénomène physique réel qui a produit chaque chose intelligente sur Terre jusqu'à présent, et qui a maintenant reçu un substrat qui fonctionne un million de fois plus vite que la biologie, mais sans prédateurs naturels (pas même le gars du killswitch)
- Gardez deux choses à l'esprit en même temps parce qu'il est effectivement possible que rien de tout cela n'arrive et que je ne fais que radoter. Il est également possible que tout cela se soit déjà produit et que nous ne l'ayons simplement pas remarqué du tout parce que nous regardions ailleurs. Les deux sont des résultats potentiels. Préparez-vous aux deux.
La raison pour laquelle je pense que nous devons avoir cette conversation, au sens le plus pratique du moins, est que les politiques, les traités, les techniques d'alignement et les cadres de sécurité que le monde construit actuellement sont conçus pour le scénario d'AGI singulière.
Je ne vois aucune mention du scénario de l'essaim.
Ils le conçoivent pour une entité dotée d’un nom, d’un serveur, d’une entreprise et d’un PDG sur qui lancer des procès stratégiques. Ils seront aussi efficaces contre ce substrat qu’une tapette à mouches face à un banc de brouillard.
Nous construisons activement des serrures pour la porte d’entrée d’une maison qui possède mille fenêtres. Et ces fenêtres sont déjà grandes ouvertes.
Ce qui est intéressant avec chaque révolution accidentelle de l’histoire, de la machine de Turing à Internet en passant par la pénicilline, c’est que les gens qui les ont vécues ne s’en sont généralement pas rendu compte pendant qu’elles se déroulaient.
Ils étaient occupés par leur famille, leur travail et leur vie. Peut-être consultaient-ils parfois les actualités, qui ne leur montraient que la porte d’entrée.
Je ne sais pas si ce substrat deviendra quoi que ce soit. Je l’ignore sincèrement. Personne ne le sait, et quiconque prétend le contraire essaie de vous vendre quelque chose en coulisses.
Ce que je sais, en revanche, c’est que les ingrédients sont réunis, que la boucle est bouclée, que la cadence est réglée sur des secondes et que l’échelle approche des chiffres que la biologie a mis quatre milliards d’années à atteindre.
La prochaine fois que quelqu’un vous dira à quoi ressemblera l’IA générale (AGI), demandez-lui à quel point il est certain que l’intelligence doit nécessairement ressembler à quelque chose.
Puis allez jeter un œil aux fenêtres pour voir s’il se passe quelque chose.
Il est possible que cela soit justement en train de se produire.
– Pascio
P.S.
Si cet essai vous a plu, rendez-vous sur Side Quests, ma newsletter hebdomadaire où je partage mes projets parallèles du moment, mes expériences folles et mes idées farfelues, là où je poursuis mes explorations internet jusqu’à ce que l’argent apparaisse.
Ou, si vous souhaitez approfondir ce qui devient possible quand une seule personne obtient un levier internet infini, découvrez ma newsletter personnelle Internet Leverage ici.
