Ciao, Appassionati di AI!
OpenAI lo ha reso ufficiale questa settimana: benvenuti nell'Età dell'AGI.
GPT-6 Astra è uscito, e OpenAI lo presenta come un salto generazionale — grandi progressi nell'uso del computer, nella programmazione, nella ricerca, e in quel tipo di lavoro lungo e complesso che prima richiedeva un essere umano a supervisionarlo costantemente.
Per un attimo, prendo per buono il marketing, perché solleva una domanda che l'industria ha evitato silenziosamente: come misuriamo realmente questa cosa?
Per alcuni anni, l'AI si è basata su benchmark. Ogni lancio include una tabella che dimostra come il nuovo modello sia migliore del 3% qui, del 7% là, e misteriosamente più intelligente del 12% secondo un benchmark che non esisteva la primavera scorsa. Li classifichiamo, li codifichiamo a colori, li impiliamo in classifiche, e incoroniamo un vincitore. Funzionava abbastanza bene quando i modelli si limitavano a rispondere a domande. Smette di funzionare nel momento in cui i modelli iniziano a fare cose.
Ecco il problema centrale: un benchmark è solo un archivio di domande. Dai al modello un problema, produce una risposta, controlli la risposta confrontandola con una chiave. Anche i benchmark più sofisticati per l'uso del computer sono, in fondo, un mucchio di compiti pre-scritti che girano in ambienti pre-costruiti. Questo è genuinamente utile. Ma non ha nulla a che vedere con ciò che accade quando affidi un agente a una macchina reale e gli dici di portare a termine qualcosa.
La vita reale non viene fornita con un file di benchmark. Niente sul tuo desktop ti dice esattamente come sia "fatto."
Un computer reale è un browser che crasha a metà compito, un sito che ha ridisegnato silenziosamente la sua UI ieri, un foglio di calcolo con tre versioni contraddittorie, un permesso di cui nessuno ha parlato, un PDF sepolto sei cartelle in profondità, un'API che va in timeout sulla richiesta peggiore possibile, e un essere umano che dice "puoi occupartene?" e poi se ne va senza definire "di cosa."
L'agente deve capirlo da solo. E la parte che nessuno valuta bene: deve riprendersi quando il primo tentativo fallisce. Questa è un'abilità completamente diversa dal trovare la risposta giusta.
Ecco perché le notizie secondo cui OpenAI ha comprato decine di migliaia di Mac consumer per l'apprendimento per rinforzo e l'addestramento all'uso del computer sono più rivelatrici di quanto sembri. I numeri esatti sono stati riportati, non verificati — ma la direzione è inconfondibile. I laboratori all'avanguardia vogliono i loro modelli su macchine reali, non intrappolati in una chat box. E questo rompe silenziosamente l'intero gioco dei benchmark.
Immagina due agenti, stesso computer, stesso brief vago:
Analizza questo mercato, scegli tre aziende promettenti, crea un confronto finanziario e prepara una presentazione per il comitato investimenti.
Non esiste un solo modo giusto per farlo. Ce ne sono cento. Un agente naviga per due ore. Un altro scrive uno script. Un terzo si imbatte in una fonte di dati migliore a metà strada e butta via il piano originale. Un quarto commette un errore, lo coglie e lo corregge. Un quinto ti consegna una presentazione stupenda basata su numeri completamente sbagliati.
Quindi chi ha vinto? L'autore del benchmark non può pre-scrivere la risposta, perché non esiste.
Ed è qui che diventa veramente scomodo. La parte più difficile nel valutare un agente potrebbe non essere più la risposta era corretta. È tutto questo è stato effettivamente utile. Sembra un cavillo. Non lo è.
Prendi un agente che supera il 95% di un benchmark per l'uso del computer, poi lascialo in un'azienda reale per una settimana. Crea la struttura di cartelle sbagliata, sovrascrive un foglio di calcolo attivo, brucia sei ore inseguendo una pista morta, cita con sicurezza una statistica del 2023, e si blocca su un muro di permessi a cui non pensa mai di chiedere. Ogni compito del benchmark: perfetto. Nessuno lo terrebbe impiegato per una seconda settimana.
Ora prendi un agente che ottiene solo l'85% — ma sa quando è confuso, fa la domanda giusta che lo sblocca, cambia strategia quando qualcosa si rompe, e consegna silenziosamente un lavoro che puoi effettivamente usare. Quale è più intelligente? La classifica non ne ha idea. Onestamente, nemmeno noi.
Ecco perché penso che i benchmark indipendenti stiano incontrando un muro. Non perché i ricercatori stiano tirando indietro — stanno costruendo test più difficili e realistici che mai. Il problema è che la realtà continua a diventare più grande del test. Puoi allungare il benchmark, aggiungere più strumenti, più siti, più app, più passaggi, più casualità. Non importa. Stai ancora costruendo un gioco con delle regole, e nel momento in cui un modello impara a giocare, si torna al punto di partenza.
Quindi avremo i punteggi. 91,4%. 94,7%. 97,2%. 98,1%. La gente discuterà se il Modello A batte il Modello B. Qualcuno lancerà un'altra classifica. Qualcun altro lancerà una classifica delle classifiche. E per tutto il tempo, il modello sarà seduto su un computer reale a fare cose che nessuno di quei numeri può descrivere.
Questo è il paradosso del benchmark: più l'AI si avvicina all'intelligenza generale, meno un archivio di domande pre-scritte ti dice su di essa.
Quindi cosa lo sostituisce? Non credo che la risposta sia "un benchmark migliore." Penso che sia qualcosa di diverso nella sostanza. Smetti di dare all'agente una domanda e dagli un obiettivo. Smetti di dargli un ambiente ordinato e dagli uno disordinato. Smetti di valutare se ha seguito i passaggi previsti e valuta se ha ottenuto il risultato. Smetti di ripetere lo stesso test pubblico e gettalo in ambienti che cambiano continuamente, su compiti privati che non ha mai visto.
E smetti di chiedere solo se ha avuto successo. Chiedi con quanta affidabilità ha successo, quanto è costato, quanto tempo ha impiegato, quante volte ha avuto bisogno di un umano, quanto si è comportato in sicurezza, e se il lavoro è sopravvissuto al contatto con la realtà.
In parole povere: la prossima generazione di valutazione dell'AI dovrebbe assomigliare meno a un esame e più a un tirocinio.
Non chiedere al modello:
Ha superato il test?
Dagli un laptop, un account, un budget, un obiettivo e una settimana. Poi guarda cosa fa. Questo ti direbbe molto di più sulla sua intelligenza — e sarebbe un incubo da standardizzare. Che è esattamente il punto.
L'intelligenza nel mondo reale è disordinata, contestuale, adattiva e aperta. Nel momento in cui la appiattisci in una lista ordinata di domande con risposte fisse, hai smesso di misurare l'intelligenza. Stai misurando la capacità di sostenere un test.
Ed è per questo che Astra mi colpisce diversamente. OpenAI ci sta dicendo, apertamente, che siamo entrati nell'Età dell'AGI. Bene. Ma se è vero, probabilmente dovremmo smettere di dare all'AGI l'esame standardizzato che abbiamo progettato per i chatbot.
La domanda interessante non è più "che punteggio ha ottenuto?" È "cosa succede quando gli dai un computer e gli dici di portare a termine qualcosa?" E sospetto che stiamo per scoprire che non abbiamo ancora una buona risposta.
Quindi — benvenuti nell'Età dell'AGI. E, silenziosamente, allo stesso tempo: benvenuti nell'Età dell'AI non Valutabile. Il benchmark non è peggiorato. La cosa che stiamo cercando di misurare ne è appena uscita.
