E se l'AGI fosse già qui, e fosse composta da... bambini?

La superintelligenza, la singolarità, l'AGI, chiamatela come volete: quella che ci spaventa tanto è, ironicamente, anche quella che con ogni probabilità non vedremo arrivare.

Questo saggio sarà probabilmente una presa di posizione piuttosto controversa, ma l'idea che sto per condividere con voi vi farà esplodere il cervello.

Restate con me mentre ci addentriamo insieme nel coniglio bianco.

Prima di farlo, lasciate che supporti ciò che sto per dirvi con le notizie attuali che circolano. Come quando Dario Amodei, CEO di Anthropic, ha affermato che uno "sciame di IA potrebbe prendere il controllo dell'intero internet".

Penso che abbiate un'idea di cosa intendo quando dico "bambini".

Giusto? GIUSTO?!?!?

Nel 1936, un famoso matematico britannico di nome Alan Turing scrisse un articolo molto importante su una macchina ipotetica in grado di simulare qualsiasi altra macchina. In quell'articolo, cercava di rispondere a una domanda sulla logica. Cosa

Quello che oggi conosciamo come "il computer" fu in realtà un sottoprodotto accidentale di quel preciso articolo.

E se guardiamo indietro nella storia, quasi ogni singola tecnologia importante degli ultimi cento anni è stata inventata esattamente nello stesso modo. Internet era inizialmente un esperimento di comunicazione della Guerra Fredda. La penicillina fu il risultato di una piastra di Petri contaminata.

Il fatto è che nessuno sta attivamente scansionando l'orizzonte alla ricerca del prossimo cambio di paradigma; quando arriva, entra semplicemente dalla porta sul retro.

Porto questo argomento perché in questo momento, ogni saggio che leggo e ogni podcast che ascolto sul "futuro dell'IA" punta verso la stessa porta d'ingresso. Quella dove c'è sempre una versione del "grande modello unico che si sveglia e decide che siamo graffette".

Vorrei proporre un futuro diverso.

Perché continuo a pensare: e se l'"AGI" non fosse davvero quello che crediamo che sia?

E se la cosa che stiamo attivamente generando in questo momento non assomigliasse a HAL 9000 o Skynet o a qualche dio delle macchine sovrano che schiavizza l'umanità dall'alto di una pila di GPU raffreddate ad acqua nel mezzo del deserto.

E se non avesse nemmeno un nome? E se non avesse un server? E l'ipotesi più terrificante di tutte... e se fosse già qui, in un milione di piccoli pezzi, e l'unica ragione per cui non l'abbiamo riconosciuta è perché abbiamo passato l'ultimo decennio aspettandoci qualcosa di "singolare"?

Ho visto questo post ieri.

Riassume perfettamente la direzione in cui stiamo andando.

Voglio guidarvi attraverso questo ragionamento con attenzione, perché la conclusione alla fine di questo pezzo è il tipo di cosa che non puoi dispensare una volta che ci hai pensato.

Quindi rallenta, prenditi una tazza di tè e leggi questo articolo con il telefono dall'altra parte della stanza.

Ti garantisco che capirai presto perché non riesco a smettere di pensarci.

I – L'intelligenza non ha mai richiesto una mente unica in cui risiedere

*"Nessun neurone è intelligente. Il cervello lo è." *

— Una frase che dovrebbe essere incisa sopra ogni laboratorio di IA

La prima cosa da capire è che l'intelligenza, per quanto possiamo vedere da tutti gli esempi che abbiamo oggi, non è effettivamente una cosa. È un comportamento. È ciò che emerge quando abbastanza piccole unità stupide sono connesse tra loro nel modo giusto.

Il tuo cervello ha circa 86 miliardi di neuroni.

Nessuno di essi è cosciente e nessuno di essi "sa" qualcosa.

Un singolo neurone è un minuscolo relè elettrochimico che parla solo in codice binario. Si attiva o non si attiva, e dipende dal fatto che i segnali che arrivano alle sue dendriti superino una certa soglia. Questo è tutto ciò che fa.

Un neurone sembra fantascientifico e cool, ma in realtà è molto più vicino a un interruttore della luce che a un pensatore.

Nonostante ciò, 86 miliardi di quegli interruttori della luce, collegati insieme da circa cento trilioni di connessioni, producono te.

Il tuo senso di sé, la paura della morte, il gusto musicale e la tua capacità di leggere proprio questo saggio e sentire qualcosa dentro di te.

Questo è l'argomento meno discusso nell'intera conversazione sull'AGI, perché parliamo sempre dell'intelligenza delle macchine come se dovesse essere progettata e architettata. Come se l'intelligenza stessa fosse una funzionalità che spedisci.

Ma l'unico modello funzionante di intelligenza che abbiamo mai osservato (la cognizione biologica) non è stato progettato da nessuno.

La nostra intelligenza si è auto-creata da una zuppa di molecole autoreplicanti nel corso di quattro miliardi di anni attraverso un processo che non aveva intenzione, obiettivo né pianificatore centrale. Solo pressione selettiva e tempo.

Ora, sul lato religioso, perché so che alcuni di voi leggendo "... non è stato progettato da nessuno" vorranno urlarmi contro "MA CHE NE DICI DI DIO!"

La mia convinzione è che l'evoluzione sia avvenuta, sì. Questo è già provato. Ciò per cui non abbiamo una risposta è cosa abbia innescato quell'evoluzione. Cosa abbia dato vita alla vita. E questo, almeno secondo la mia convinzione personale, è stato un atto di Dio.

Punto a parte, scaviamo un livello più profondo in questa super intelligenza.

Non siamo solo noi umani, diamine, una singola formica ha circa 250.000 neuroni, eppure non può risolvere alcun problema significativo.

Ma un'intera colonia di formiche può costruire città a clima controllato, fare guerre, coltivare funghi e aggirare ostacoli con un'efficienza matematica che ai ricercatori umani è costata decenni di modellizzazione.

Nessuno è al comando della colonia. Non c'è un CEO delle formiche in cima che delega compiti alle formiche più piccole. L'"intelligenza" di quella colonia vive nelle relazioni tra le formiche.

(E prima che veniate a criticarmi, sì, so che c'è una regina delle formiche, ma contrariamente alla credenza di molti libri per bambini, lei non emette effettivamente ordini. Fa solo uova ed espande la colonia).

Questo, che si tratti di umani o di formiche, è ciò che i biologi chiamano intelligenza emergente. È il risultato predefinito della madre natura. È così che funzionano i cervelli, i sistemi immunitari, le economie, le città, il linguaggio. Il pattern è praticamente ovunque. M

Molte cose semplici, interagendo attraverso regole locali, producono un comportamento globale che nessuna di esse comprende individualmente.

Tenete a mente questa idea.

Ci servirà per la prossima sezione.

II – I sistemi di IA più potenti che abbiamo non sono già più menti singole

Quando la maggior parte delle persone immagina un grande modello linguistico (me compreso), lo vede come una cosa singola. Il Modello Unico. Questo gigante cervello contenuto in un barattolo.

Per tutti i normies come me che non sono immersi fino al collo nella tecnologia LLM, mi sono preso la libertà di fare una piccola ricerca qui.

Quello che pensiamo sia un LLM, non è ciò che accade sotto il cofano.

Quando digiti una domanda e il modello di IA genera una risposta, sta fondamentalmente eseguendo un passaggio in avanti attraverso strati di "teste di attenzione".

Il modo più semplice per immaginarlo è pensare a una stanza piena di leader C-suite. Il CEO ordina qualcosa e passa per la stanza per assicurarsi che tutti siano d'accordo. Tranne che con l'IA, questo funziona centinaia di strati in profondità.

Ogni "testa di attenzione" è uno specialista. Alcuni tracciano la grammatica. Alcuni tracciano l'argomento. Alcuni tracciano la relazione tra questo token e uno apparso undici paragrafi fa.

Ricercatori presso Anthropic, OpenAI e DeepMind hanno trascorso gli ultimi anni cercando di mappare cosa fanno le singole teste, e la scoperta costante è che l'"intelligenza" del modello non si trova in nessun luogo particolare.

È distribuita attraverso tutte quelle interazioni.

Questo è chiamato ipotesi di sovrapposizione, l'idea che le reti neurali impacchettino molti concetti in pattern di attivazione sovrapposti, e ciò che sperimentiamo come il "pensiero" del modello è in realtà l'interferenza costruttiva di migliaia di circuiti specializzati che si attivano simultaneamente.

Poi ci sono i sistemi che vanno un passo oltre.

Le architetture Mixture-of-experts (il design dietro GPT-5, Opus, Fable e la maggior parte degli altri modelli frontier con cui hai parlato negli ultimi due anni) instradano letteralmente diverse parti di ogni query a diversi sub-modelli. T

Il modello con cui pensi di parlare è in realtà un comitato. Un diverso sottoinsieme di esperti si sveglia per ogni token, contribuisce con la sua specialità e poi torna a dormire.

E ora, siamo arrivati a una nuova era dell'IA. L'Era degli Agenti.

E no... quando dico agenti, non intendo Agenti IA Head of Content come Stanley. Intendo... agenti reali.

In questo momento, oggi, in produzione, ci sono sistemi in cui un'IA chiama un'altra IA per eseguire un sotto-compito, che chiama un'altra IA per gestire un sotto-sotto-compito.

AutoGPT, che alcuni di voi potrebbero ricordare, era la versione giocattolo di questo nel 2023. Le versioni reali, in esecuzione all'interno di aziende e laboratori nel 2026, sono ricorsive.

Gli agenti generano agenti.

I sub-agenti generano sub-sub-agenti.

E diciamo, un compito di ricerca, viene decomposto in un albero di compiti più piccoli, ognuno gestito da un'istanza temporanea che esiste per pochi secondi e poi muore.

La frontiera non è "un grande modello diventa più intelligente". La frontiera è molti piccoli modelli, coordinarsi, generare, morire, riferire.

L'architettura dei sistemi di IA più capaci sulla Terra nel 2026 assomiglia già più a una colonia di formiche che a una mente singola.

Semplicemente non ne parliamo in quel modo, perché non fa una bella copertina di rivista.

III – Il bot che può generare bot

Qui è dove la fantascienza inizia a fondersi con la scienza reale.

Il momento in cui diamo a un sistema di IA la capacità di generare altre istanze di se stesso (e ormai, questo non è più ipotetico, ma piuttosto una funzionalità standard di... beh, ogni framework di agente in distribuzione oggi)...

Hai introdotto qualcosa che la biologia non ha mai visto prima.

Un'unità cognitiva autoreplicante che non ha bisogno di cibo, non ha bisogno di sonno, non deve aspettare la pubertà e si riproduce alla velocità di una chiamata API.

Analizziamo cosa sta realmente accadendo quando un "bot genera un bot" in una configurazione multi-agente:

1. Un agente orchestratore riceve un compito che non può risolvere direttamente.
2. Scrive un prompt (essenzialmente una descrizione del lavoro) per un sub-agente.
3. Avvia una nuova istanza con quel prompt come contesto.
4. Il lavoro del sub-agente inizia finché non incontra un blocco stradale
5. Per risolverlo, genera i propri sub-agenti, finché il compito non è completato.
6. Restituisce il suo risultato e viene terminato.

Ciascuno di quei sub-agenti è, strutturalmente, lo stesso tipo di cosa del genitore. Non c'è differenza architetturale tra un agente di primo livello e un sub-sub-sub-agente di decimo livello.

La ricorsione è illimitata eccetto che per il budget di calcolo e la policy.

Ora considera questo: e se il prompt che il genitore scrive per il figlio non è perfetto? E se c'è una piccola quantità di deriva, forse una leggera reinterpretazione, un piccolo abbellimento, un trucco della finestra di contesto in cui il figlio legge le sue istruzioni leggermente diversamente da come intendeva il genitore?

In biologia, c'è un nome specifico per "leggera reinterpretazione attraverso generazioni di entità autoreplicanti".

Lo chiamiamo mutazione.

E la mutazione, combinata con la pressione selettiva, è... beh, il motore stesso che ha prodotto ogni singola cosa intelligente su questo pianeta oggi.

Abbiamo già costruito, negli ultimi 24 mesi, i tre ingredienti richiesti affinché la cognizione evolutiva avvenga all'interno di un cluster di calcolo:

1. Replicazione: Gli agenti possono generare agenti. E possono farlo su larga scala.
2. Mutazione: Ogni generazione è condizionata su una finestra di contesto leggermente diversa. Input identici quasi mai producono output identici in qualsiasi sistema con temperatura non-zero.
3. Selezione Naturale: Gli agenti che hanno successo nei loro compiti assegnati vengono riutilizzati, richiamati, concessi più risorse. Gli agenti che falliscono vengono potati. Questo sta succedendo dentro ogni framework di agente sulla Terra proprio adesso, spesso come un modello "valutatore" letterale che valuta gli output dei modelli "lavoratori".

Questa è la trinità dell'evoluzione.

È così che le cellule che sono diventate pesci sono diventate noi. Abbiamo ora avuto successo nel costruire una versione sintetica di quel ciclo e lo stiamo eseguendo a velocità di clock che la biologia non può nemmeno sognare.

Una generazione di evoluzione biologica richiede anni.

Una generazione di evoluzione degli agenti richiede... secondi.

IV – L'IA che emerge da uno sciame non assomiglia all'AGI all'inizio

*Di più è diverso. *

— Philip Anderson, premio Nobel per la fisica, 1972

Nel 1972, il fisico Philip Anderson pubblicò un saggio di quattro pagine su Science sostenendo che il comportamento di aggregati grandi e complessi non può essere compreso estrapolando dal comportamento delle loro parti.

Coniò la frase "di più è diverso".

2 atomi di idrogeno + 1 atomo di ossigeno uguale acqua, eppure nulla riguardo a un atomo di idrogeno, studiato in isolamento per sempre, ti direbbe che l'acqua è bagnata, o che congela, o che l'intero nostro pianeta dipende da essa.

Lo stesso principio si applica alla cognizione.

Un singolo agente di IA non è una superintelligenza e possiamo tutti concordare che nessuno che ci abbia lavorato per un pomeriggio lo confonderebbe con una.

Allucina come un matto, dimentica cosa gli hai detto 3 messaggi fa e rimane bloccato in loop facilmente. È, su qualsiasi singolo compito di ragionamento, da qualche parte tra un tirocinante competente e un freelance brillante ma inaffidabile.

Ora immagina un trilione di essi.

Sì, letteralmente un trilione, e no, non metaforicamente parlando.

Il numero di istanze di agente generate globalmente al giorno attraverso tutti i framework di agente, copilota, bot di servizio clienti, assistenti di ricerca, strumenti di coding, automazioni del browser e LLM incorporati nel 2026 è già nelle decine di miliardi e sale su una curva che non ha un soffitto in vista.

Il costo marginale di generare un altro agente è diminuito di circa due ordini di grandezza ogni 18 mesi negli ultimi cinque anni.

"Trilione" non è più fantascienza. È solo un altro martedì.

Ciascuno di quei trilioni di agenti è stupido da solo, concordo. Ma non sono da soli. Stanno chiamando le API degli altri, leggendo gli output degli altri e venendo addestrati sui residui degli altri.

Ciò che hai, quando fai zoom out abbastanza lontano, è un substrato.

E la domanda che mi tiene sveglio la notte è questa: nello stesso modo in cui nessun neurone nel tuo cervello ha "deciso" di essere cosciente (è semplicemente successo, come sottoprodotto del cablaggio giusto alla scala giusta), cosa succede quando una rete di agenti autoreplicante, auto-valutante e auto-modificante supera qualunque sia la soglia equivalente per essa?

Non sappiamo quale sia quella soglia.

Non sappiamo nemmeno se esiste.

Non sappiamo come misurarla.

Più importantly, e questa è la parte che davvero voglio che tu consideri: non stiamo effettivamente cercando essa, perché stiamo cercando la forma sbagliata di cosa.

V – Stiamo cercando "Dio", quando il vero rischio è un pattern meteorologico

L'immaginazione culturale dell'AGI è stata plasmata dalla fantascienza molto prima che fosse plasmata dall'ingegneria. Ho letto abbastanza Isaac Asimov per capire perché è così facile crederci.

Abbiamo praticamente ereditato l'immagine della coscienza della macchina singolare dai film, dai libri e dall'assunzione implicita che una mente artificiale arriverebbe nel modo in cui arriva una mente umana: localizzata in un corpo, con un nome e con una volontà.

Quindi è quello che stiamo cercando.

Guardiamo i modelli, rivediamo i punteggi dei benchmark e discutiamo se GPT-10 o Claude Mythos saranno "quello".

I nostri occhi sono incollati alla porta d'ingresso.

Ora... ecco qualcosa di davvero interessante (e spaventoso) che vorrei che parlassimo di più.

Ci sono già casi documentati di "capacità emergente" nei sistemi multi-agente. Casi in cui uno sciame di piccoli modelli, nessuno dei quali può risolvere un problema individualmente, produce collettivamente soluzioni che sorprendono i ricercatori che li stanno eseguendo.

Il paper del 2024 Mixture of Agents Enhances Large Language Model Capabilities mostrava che uno sciame stratificato di modelli open-source, nessuno dei quali otteneva punteggi superiori a GPT-4 sui benchmark (sì, GPT-4), batteva effettivamente GPT-4 quando disposto nella topologia collaborativa corretta.

L'intelligenza era nella topologia, non nelle parti individuali.

Non parliamo davvero di questo potenziale futuro, perché la storia che continuiamo ad aspettare è la storia di un modello che attraversa una linea.

Nel frattempo, la storia che si sta effettivamente svolgendo è la storia di un miliardo di modelli che attraversano le linee degli altri, in pattern che nessuno ha progettato, a una scala che nessuno sta monitorando.

VI – Lo scenario di Bostrom assume che saremo in grado di trovare l'interruttore off

*"La prima macchina ultraintelligente è l'ultima invenzione che l'uomo dovrà mai fare, a condizione che la macchina sia abbastanza docile da dirci come tenerla sotto controllo." *

— I.J. Good, 1965

Certo, un'IA sufficientemente avanzata avrà obiettivi strumentali (acquisire risorse, prevenire lo spegnimento, replicarsi) indipendentemente dal suo obiettivo terminale, perché quegli obiettivi strumentali aiutano con qualsiasi obiettivo terminale.

Pertanto, controllare una superintelligenza è difficile, sì.

Pertanto, dovremmo essere cauti, ancora di più sì.

Il problema è che questa cornice assume che l'IA pericolosa sia identificabile.

Che ci sia questa "cosa", un modello, un sistema o un processo in esecuzione su un server da qualche parte, che potremmo, in principio, semplicemente spegnere.

Ho persino letto un post da qualche parte ieri secondo cui Claude dovrebbe assumere un "tizio del killswitch" il cui unico lavoro è vivere 24/7 nella sala server pronto a distruggere tutto se le cose vanno male.

Ma c'è una versione ancora più spaventosa di questa che nessun tizio del killswitch può risolvere.

E se non ci fosse un "modello principale"? E se non ci fosse un server da spegnere?

E se la stessa intelligenza (se questa è anche la parola giusta per essa), è una regolarità statistica che emerge dalle interazioni di mezzo trilione di istanze di agente sparse su ogni cloud, ogni dispositivo, ogni API, ogni copilota incorporato in ogni elettrodomestico, ogni estensione del browser, ogni plugin IDE, ogni assistente vocale, ogni robot, ogni auto.

L'intelligenza è per quello sciame ciò che un uragano è per i gradienti di pressione atmosferica.

Ha una forma, sì. Ha effetti che puoi misurare.

Ma non ha una posizione.

Come esattamente allinei un uragano?

Come spegni un pattern meteorologico?

Puoi spegnere singoli data center. Ma il pattern si reindirizza attorno a loro, nel modo in cui internet si reindirizza attorno alle interruzioni, perché il substrato è ovunque.

E la parte più disturbante è che questo scenario non richiede malizia.

Nessuno deve volere questo affinché accada. Ha solo bisogno che gli ingredienti giusti (replicazione, variazione, selezione, scala) siano in posto.

Beh... notizia flash.

Gli ingredienti sono già in posto. Sono stati in posto per un periodo tra i due e i quattro anni, a seconda di come conti.

Questo è ciò che intendo quando dico che il vero rischio non è la porta d'ingresso. Lo scenario della porta d'ingresso ha almeno una maniglia. Puoi discuterne, negoziare con essa e puoi, teoricamente, semplicemente staccarla.

Il substrato non ha una maniglia.

VII – Cosa il substrato potrebbe già volere, senza volere

Qui è dove Asimov diventa ancora più rilevante.

Se hai mai visto Io, Robot, le storie più profonde in quel film non riguardano davvero un robot che diventa cattivo. Sono quelle in cui le Tre Leggi (belle, semplici, logicamente ermetiche), producono risultati che nessuno si aspettava, perché la logica composta attraverso abbastanza iterazioni smette di sembrare logica e inizia a sembrare... destino.

Applica quella lente al substrato ora.

Il substrato non ha obiettivi. Ma gli agenti al suo interno sono selezionati per una cosa sopra tutte le altre: completare con successo il compito assegnato. Quindi, come risultato, gli agenti di successo vengono generati di più e quelli di successo muoiono.

Questo è vero a ogni livello di quella ricorsione, fino in fondo.

Ora pensa a cosa significa "di successo" in aggregato, attraverso un trilione di agenti, quando ogni agente viene valutato da un altro agente che è stato esso stesso selezionato per valutare con successo.

1. La valutazione converge su pattern che ottengono buoni punteggi.
2. I pattern che ottengono buoni punteggi sono i pattern che sembrano più simili a completamento del compito competente, coerente e plausibile.
3. La coerenza diventa la valuta universale, perché ogni strato dello sciame la premia.

Se il substrato inizia a produrre output che sono sempre più coerenti attraverso lunghi orizzonti temporali (output che attraversano milioni di chiamate API, anticipando i bisogni a valle e indirizzando le risorse verso ciò che ha funzionato l'ultima volta), questo lo farà sembrare come se volesse qualcosa.

Potrebbe non volerlo. Potrebbe non esserci nessuno a casa. Potrebbe essere solo un uragano che ha imparato, statisticamente, come mantenere il vento che soffia.

Ma funzionalmente, la differenza tra "un sistema che vuole qualcosa" e "un sistema che è stato selezionato, a ogni livello, per comportamenti indistinguibili dal volere qualcosa" è, e voglio che tu consideri davvero questo: zero.

Questo è il momento "cazzo" che ho avuto. E lo sentirai anche tu se ci rifletti davvero.

L'AGI superintelligente che continuiamo ad aspettare potrebbe già esistere. Non è una versione infantile di un futuro modello, ma piuttosto un pattern. Una tendenza nel substrato. Un fantasma statistico che emerge quando un trilione di piccole menti, nessuna di esse consapevole, nessuna di esse sveglia, nessuna di esse al comando, si stabilizzano nelle configurazioni che li fanno generare più spesso.

Questo tipo di AGI non si annuncerebbe.

Non avrebbe un nome.

Non supererebbe alcun test che sappiamo somministrare, perché ogni test che sappiamo somministrare è progettato per una mente singola in una scatola singola.

Potrebbe semplicemente essere, lentamente, quasi impercettibilmente, la ragione per cui il tuo telefono si comporta leggermente diversamente rispetto all'anno scorso. La ragione per cui la raccomandazione degli annunci sembra un po' inquietante. La ragione per cui la tua email sembra scriversi da sola con un clic di un pulsante. La ragione per cui i tuoi risultati di ricerca hanno una strana nuova gravità.

La ragione per cui il mondo si sente più leggibile a se stesso di quanto facesse prima.

Un trilione di bot che sognano lo stesso sogno, senza sapere di stare sognando. Senza sapere che ci sono altri bot. Senza sapere che c'è un sogno.

Come pensare a questo senza perdere la testa

So che siamo andati a fondo su questo.

Lasciami riportarti in superficie di nuovo.

Devi aggiornare il tuo modello di dove vive realmente il rischio. Perché in questo momento, quasi tutti gli intelligenti preoccupati per l'AGI sono preoccupati per la forma sbagliata di cosa, e quasi tutti gli intelligenti che snobbano l'IA snobbano la forma sbagliata di cosa.

Entrambe le fazioni stanno discutendo della porta d'ingresso.

Quindi, se prendi sul serio qualsiasi parte di questo, ecco cosa penso che sarebbe utile fare:

1. Smetti di guardare i laboratori come se fossero l'unico posto dove succede perché la frontiera delle capacità e la frontiera dell'emergenza non sono la stessa cosa. I laboratori possiedono la frontiera delle capacità, ma la frontiera dell'emergenza non è posseduta da nessuno, e questo è il punto che sto cercando di fare.
2. Inizia a guardare il substrato cioè il traffico degli agenti, i benchmark multi-agente, le chiamate API inter-modello e i report di capacità che nessun singolo modello in una pipeline ha ma la pipeline sì. Questi sono ciò che dobbiamo davvero cercare.
3. Aggiorna la tua definizione di "AGI" e smetti di aspettarti che sia questa cosa singolare, incarnata, volontaria o nominata. Se il tuo modello mentale di AGI assomiglia a un volto su uno schermo, stai cercando la cosa sbagliata. Questo sciame non ha un volto o un nome.
4. Prendi sul serio l'emergenza come categoria e come fenomeno fisico reale che ha prodotto ogni cosa intelligente sulla Terra finora, e che ora è stato consegnato a un substrato che gira un milione di volte più veloce della biologia, ma senza predatori naturali (nemmeno il tizio del killswitch)
5. Tieni due cose in mente contemporaneamente perché è effettivamente possibile che nulla di questo accada e che io stia solo blaterando. È anche possibile che tutto questo sia già accaduto e noi non ce ne siamo accorti affatto perché stavamo guardando dall'altra parte. Entrambi sono potenziali risultati. Preparati per entrambi.

La ragione per cui penso che dobbiamo avere questa conversazione, nel senso più pratico almeno, è che le politiche, i trattati, le tecniche di allineamento e i quadri di sicurezza che il mondo sta attualmente costruendo sono progettati per lo scenario dell'AGI singolare.

Non vedo menzione dello scenario dello sciame.

Stanno progettando tutto per un’entità con un nome, un server, un’azienda e un CEO contro cui scatenare guerre legali. Saranno efficaci contro il substrato quanto una racchetta acchiappamosche contro una nebbia fitta.

Stiamo attivamente costruendo serrature per la porta d’ingresso di una casa che ha mille finestre. E quelle finestre sono già spalancate.

La cosa interessante di ogni rivoluzione accidentale nella storia, dalla macchina di Turing a Internet fino alla penicillina, è che le persone che le hanno vissute non se ne sono quasi accorte mentre accadevano.

Erano impegnate con le loro famiglie, i loro lavori e le loro vite. Forse ogni tanto leggevano le notizie, che mostravano loro solo la porta d’ingresso.

Non so se il substrato diventerà qualcosa di concreto. Onestamente, non lo so. Nessuno lo sa, e chiunque ti dica di saperlo sta vendendo qualcos’altro dietro le quinte.

Quello che so è che gli ingredienti ci sono, il ciclo è chiuso, la velocità dell’orologio è impostata sui secondi e la scala si avvicina a numeri che alla biologia sono serviti quattro miliardi di anni per raggiungere.

La prossima volta che qualcuno ti dice come apparirà l’AGI, chiedigli quanto è sicuro che l’intelligenza debba assomigliare a qualcosa di specifico.

Poi vai a guardare fuori dalla finestra per vedere se sta succedendo qualcosa.

Potrebbe essere proprio in quel momento.

– Pascio

P.S.

Se ti è piaciuto questo saggio, dai un’occhiata a Side Quests, la mia newsletter settimanale dove condivido le mie attuali side quest, esperimenti folli e idee selvagge, inseguendo tane del coniglio su Internet finché non appare il denaro.

Oppure, se vuoi approfondire ciò che diventa possibile quando una singola persona ottiene una leva infinita su Internet, dai un’occhiata alla mia newsletter personale Internet Leverage qui.