Nell'aprile del 1965, le agenzie di stampa sovietiche annunciarono la scoperta di una superciviltà. Tutto il panico derivava dal lavoro di un solo uomo: Nikolai Kardashev, un astronomo sovietico ossessionato dalla seguente domanda: se rilevassi una civiltà molto più avanzata della tua, saresti in grado di dire qualcosa di rigoroso su di essa?
Divenne famoso per la sua soluzione. Invece di concentrarsi sull'intelligenza, l'intenzionalità o il comportamento, tutti aspetti molto complessi e difficili da valutare, creò una teoria su come le civiltà utilizzano l'energia. La termodinamica è indifferente all'intelligenza - sosteneva -.
Alla fine si scoprì che era tutto un quasar. La misurazione era corretta; semplicemente non c'era nessun alieno dietro quella misurazione.
BENCHMARKING NELL'ERA DELLA SUPERINTELLIGENZA
61 anni dopo ci troviamo di fronte a un panico stranamente simile: sembriamo essere sul punto di creare un'intelligenza che sta per superare l'essere umano più brillante mai esistito. Eppure è di vitale importanza riuscire a dire qualcosa di significativo su di esse, ovvero dobbiamo sottoporle a benchmark.
Il motivo è semplice: l'allocazione delle risorse. Indipendentemente dalla loro intelligenza nettamente superiore, vorremo comunque ottenere il miglior ritorno possibile per il nostro tempo e il nostro denaro. Nessuno usa Stockfish 13 negli scacchi, per analisi approfondite, quando il modello del 2026 è semplicemente migliore.
Ma allora perché non possiamo usare i nostri attuali benchmark?
Il problema immediato è la saturazione. Un test fisso smette di essere utile nel momento in cui ogni modello ottiene il 100%, e questo sta già accadendo: benchmark considerati difficili tre anni fa vengono ora superati da modelli economici. Puoi continuare a scrivere test sempre più difficili, ma solo fino al test più difficile che un essere umano riesce a concepire. Il che ci porta al vero problema.
Fino ad ora abbiamo misurato l'intelligenza principalmente utilizzando test chiusi. Quando dico "chiusi" mi riferisco a test di cui conosciamo il punteggio prima ancora che inizino (test del QI, test matematici, programmazione...). Usiamo questo tipo di test per motivi ovvi: 1. sono oggettivi. 2. Sono relativamente rapidi da valutare. 3. Inerzia: è così che di solito testiamo gli esseri umani.
Tuttavia, non appena inizi a pensare di applicare questi test a IA più intelligenti, il problema diventa evidente: questi esami sono progettati affinché un'intelligenza superiore valuti un'intelligenza inferiore: un insegnante e un alunno. È esattamente per questo che dobbiamo iniziare a pensare e a progettare un nuovo tipo di valutazione. Noi, l'intelligenza inferiore - l'alunno -, dovremo valutare una SI - l'insegnante - garantendo comunque l'oggettività.
Questo problema, come può un'intelligenza inferiore valutare rigorosamente un'intelligenza superiore, lo chiamo il problema di Kardashev, ed è ciò che mi appassiona di più a livello personale (e il motivo per cui ho deciso di creare Kardashevian.com).
I FUTURI BENCHMARK PER LA SUPERINTELLIGENZA
Ci viene in aiuto un principio salvifico: verificare una risposta candidata è radicalmente più facile che trovarne una. Risolvere un Sudoku richiede sforzo; verificare una griglia compilata richiede trenta secondi. E nella maggior parte dei casi, un verificatore esterno ci aiuterà a essere il più oggettivi possibile riguardo alla qualità e all'intelligenza di questi sistemi altamente avanzati.
Vedo 4 diversi sistemi di verifica esterni per il futuro del benchmarking:
- Il mondo è il verificatore. Missioni aperte: obiettivi; non domande e risposte. È il mondo a valutare l'obiettivo. Più alto o più ottimizzato è il risultato, meglio è.
**-Esempio: paper trading con investimenti value nel mercato azionario.
**
In questo scenario la complessità del mondo reale è talmente vasta e dinamica (in costante cambiamento e reazione) da rendere praticamente impossibile la saturazione di questa sfida. Ho in programma di scrivere un altro saggio più avanti sul perché ritengo che il value investing sia un ottimo test per l'intelligenza; il concetto principale risiede nell'assunto che un sistema capace di prevedere in modo affidabile come si comporterà il mondo, inclusi gli esseri umani e i mercati, rappresenti uno dei segni più chiari di intelligenza**.
2. Le regole e il gioco sono il verificatore. Competizione. Gli scacchi, ancora una volta, dimostrano che, pur avendo giocatori superiori agli esseri umani, siamo comunque in grado di sapere che il Modello X è migliore del Modello Z. Il sistema ELO, che utilizziamo su Kardashevian.com, ci permette inoltre non solo di vedere il vincitore, ma anche di mantenere una classifica statisticamente significativa.
-Esempio: scacchi, Go o qualsiasi gioco infinitamente più complesso che possa essere creato proprio per questo scopo.
**
- La fisica e la chimica sono il verificatore. Ingegneria complessa. Limitiamo il test alla fisica e alla chimica e lasciamo che sia la natura a dare i voti. **
-Esempio: progettare un materiale con una determinata proprietà, poi sintetizzarlo in un laboratorio automatizzato e testarlo.
4. La logica è il verificatore. Dimostrazione formale. Matematica scritta in un linguaggio che un computer può controllare.
-Esempio: migliorare un limite noto o risolvere una congettura aperta in Lean.
I rischi sono: i limiti noti sono stabiliti dagli esseri umani, così come le congetture proposte. Resta comunque molto difficile da saturare.
KARDASHEVIAN.COM
**Cosa stiamo facendo:
**Kardashevian è un primo tentativo di mettere in pratica tutte e quattro queste idee, costruito nel mio tempo libero e con un budget ridotto :)
Ogni arena funziona allo stesso modo: gli input sono congelati, i modelli prendono le loro decisioni e poi qualcosa che non possono vedere né influenzare assegna i voti. Nessuno dei test ha una "risposta" specifica.
Come previsto, il value investing sui mercati è la missione aperta. È una versione ridotta di quella menzionata nel saggio: i modelli ricevono dati di trading da un pacchetto di 300 azioni statunitensi, ETF e coppie crypto. Il loro obiettivo è creare 15 portafogli long-only: cinque orizzonti temporali da 1 mese a 2 anni, a tre livelli di rischio, ciascuno con una previsione di rendimento. Monitoriamo poi ogni portafoglio quotidianamente rispetto all'S&P 500. Anche in questo caso, è il mercato a dare i voti. Finora nessun modello ha perso denaro (in media) e, a quasi un mese di distanza, 3/5 stanno battendo l'S&P 500, sebbene la significatività statistica di questo dato sia ancora limitata.
Sandbox è la competizione che abbiamo creato. Ogni modello scrive il controller per un rover in un mondo simulato con una fisica nascosta (squilibrio del motore, ritardo nei comandi, rumore del sensore, vento, ghiaccio), osserva la sua corsa e riprova, per otto volte. Il suo controller migliore viene poi valutato su dieci percorsi che non ha mai visto. Nessuno conosce il controller perfetto per quel mondo, ma possiamo stabilire esattamente quale modello sia migliore e quanto velocemente ciascuno abbia imparato.
In entrambe le arene i modelli vengono valutati l'uno contro l'altro con le stesse statistiche utilizzate negli scacchi: ogni coppia gioca una partita in ogni cella, e un fit Bradley-Terry sulla scala Elo trasforma i risultati in un rating con un intervallo del 95%. L'S&P 500 è un giocatore fissato a 1.500. Un modello che non riesce a battere un fondo indicizzato avrà un rating che lo dimostra.
Due limitazioni molto chiare che affrontiamo attualmente:
- Innanzitutto, ci autofinanziamo, quindi utilizziamo i modelli a basso costo di ciascun laboratorio di frontiera (GPT-6 Luna, Claude Haiku 5.5, DeepSeek Flash, MiMo), non i loro flagship. Il metodo è il punto centrale; i flagship arriveranno quando lo farà il budget.
- Abbiamo bisogno di tempo. Quindi 358 portafogli e 6 mondi, con nuovi libri ogni lunedì e i primi portafogli in scadenza il 25 ottobre. Gli intervalli sono ancora ampi circa ±100 punti.
Tutto è pubblico. Ogni numero proviene da una release numerata che puoi scaricare, e la pagina del metodo descrive esattamente come è stato calcolato.
Stiamo lavorando duramente per aumentare il numero e la difficoltà di questi compiti.
Se qualcuno è interessato a collaborare a questo progetto, sentitevi liberi di inviarmi un DM o un'email a john@on3works.com
