Dentro GPT 6 Astra: come funzionano i transformer a ciclo

OpenAI descrive GPT 6 Astra come il suo modello più capace e allineato mai realizzato.

Greg Brockman è andato oltre, affermando che sarebbe ragionevole considerare Astra come una forma iniziale di intelligenza generale artificiale.

Il modello è anche diventato il primo a superare la soglia Critica di OpenAI per la cybersecurity. Secondo l'azienda, può scoprire vulnerabilità precedentemente sconosciute e creare exploit funzionanti con una guida umana limitata.

Queste affermazioni sono drammatiche, ma non rappresentano la parte più importante del rilascio.

Il vero cambiamento è architetturale.

Un modello linguistico convenzionale passa le informazioni attraverso una sequenza fissa di blocchi transformer e genera il token successivo. Astra può elaborare il suo stato interno attraverso gli stessi blocchi computazionali più volte prima di mostrare all'utente una singola parola.

Non si limita a generare una catena di pensiero più lunga.

Impiega più tempo a pensare prima di rispondere.

1 Come Funzionano i Modelli Linguistici Moderni

Immagina di digitare:

L'Everest è...

Il modello deve prevedere cosa viene dopo.

Il suo meccanismo di attenzione determina quali parti del contesto sono rilevanti. La parola Everest attiva concetti correlati come montagne, altitudine, Himalaya, Nepal, Tibet, alpinismo e spedizioni.

Il modello combina poi queste associazioni con il contesto circostante. Nella maggior parte dei casi, una continuazione come la montagna più alta della Terra diventa altamente probabile.

All'interno di un transformer convenzionale, questa rappresentazione si muove attraverso una sequenza di blocchi. Ogni blocco la trasforma una volta e passa il risultato al successivo.

Se un modello contiene 40 blocchi, lo stato nascosto attraversa tutti e 40 in sequenza. La rappresentazione finale viene convertita in una distribuzione di probabilità per il token successivo.

Più blocchi di solito significano maggiore profondità computazionale. Un modello più profondo può eseguire più trasformazioni prima di impegnarsi in una risposta.

Ma aggiungere blocchi aumenta anche il numero di parametri, i requisiti di memoria e il costo di addestramento.

Il presupposto abituale è stato semplice: se vuoi un modello più profondo, devi costruire una pila più grande di strati.

Un'architettura a loop cambia questo principio.

2 Cosa Cambia un'Architettura a Loop

Secondo quanto riportato da The Information, GPT 6 Astra utilizza un'architettura transformer a loop.

OpenAI non ha pubblicato una specifica tecnica completa, quindi l'implementazione esatta rimane privata. Ma il meccanismo generale è già ben compreso dalla ricerca pubblica.

Invece di inviare lo stato nascosto attraverso ogni blocco una sola volta, il modello può restituire il risultato a un blocco computazionale e rielaborarlo.

Pensalo come una bozza interna.

Il modello produce una rappresentazione preliminare, la invia attraverso gli stessi pesi di nuovo, la perfeziona e ripete il processo diverse volte. Solo dopo che il loop è completo appare il successivo token visibile.

Il conteggio dei parametri rimane lo stesso. I pesi rimangono all'interno di un blocco, il calcolo cresce con il numero di loop e solo il token finale viene emesso.

Il dettaglio chiave è che il numero di parametri non aumenta necessariamente.

Gli stessi pesi vengono riutilizzati a ogni passaggio.

Ciò che aumenta è la quantità di calcolo.

In un transformer convenzionale, un token viaggia attraverso una sequenza di blocchi diversi. In un transformer a loop, può viaggiare attraverso la stessa struttura condivisa più volte.

Il modello diventa più profondo attraverso il calcolo senza diventare più grande attraverso il conteggio dei parametri.

Questo crea un nuovo compromesso:

Più parametri richiedono più memoria
Più loop richiedono più calcolo
Un modello può spendere diverse quantità di calcolo per compiti diversi

L'ultimo punto è particolarmente importante. La profondità computazionale può cambiare senza creare un nuovo modello.

3 Come Viene Addestrata la Profondità Ricorrente

Semplicemente posizionare un blocco transformer all'interno di un loop non è sufficiente.

Se un modello esegue sempre esattamente 32 passaggi durante l'addestramento, potrebbe imparare a fare affidamento sulla posizione di ogni passo. Il primo passaggio potrebbe imparare una funzione, il decimo un'altra e il trentaduesimo potrebbe diventare uno strato di output fisso.

Il risultato sarebbe una rete convenzionale a 32 strati mascherata da loop.

I ricercatori risolvono questo problema variando il numero di passaggi ricorrenti durante l'addestramento.

Una delle dimostrazioni più chiare è arrivata dal modello a profondità ricorrente Huginn. I suoi creatori hanno addestrato una rete da 3,5 miliardi di parametri su circa 800 miliardi di token.

A ogni passo di addestramento, il numero di loop veniva campionato da una distribuzione con una media vicina a 32. Un esempio poteva ricevere quattro passaggi, un altro 17, un altro 40 e un altro quasi 90.

Il modello non poteva sapere in anticipo quale passaggio sarebbe stato l'ultimo.

Doveva quindi imparare qualcosa di più generale di una sequenza fissa di operazioni.

Doveva imparare come migliorare il suo stato interno corrente.

Abstract dal Paper sulla Profondità Ricorrente su arXiv

L'addestramento attraverso dozzine di passaggi ricorrenti crea un altro problema: la memoria.

La retropropagazione standard richiederebbe di memorizzare le attivazioni intermedie di ogni loop. Con abbastanza ripetizioni, il costo della memoria diventa enorme.

I ricercatori di Huginn hanno utilizzato un compromesso pratico. Il passaggio in avanti poteva eseguire molti loop, ma i gradienti venivano calcolati solo attraverso gli ultimi otto.

I passaggi precedenti influenzavano ancora il risultato finale, ma la loro storia completa di attivazione non doveva rimanere in memoria.

Questo è simile alla retropropagazione troncata nel tempo. La differenza è che la ricorrenza avviene attraverso la profondità computazionale piuttosto che attraverso le parole in una sequenza.

Il numero di loop viene campionato a ogni passo di addestramento, mentre il gradiente viene calcolato solo attraverso gli ultimi otto passaggi.

Al modello non viene insegnato a eseguire una sequenza rigida di 32 operazioni.

Gli viene insegnato a spostare il suo stato nascosto verso una risposta utile indipendentemente da quando il processo viene interrotto.

Questo cambia cosa significa profondità.

La profondità non è più solo una proprietà scelta dagli ingegneri prima dell'addestramento. Può diventare una variabile durante l'inferenza.

4 Calcolo Adattivo Durante l'Inferenza

La maggior parte dei controlli di ragionamento attuali opera a livello di token visibili.

Se a un modello viene chiesto di pensare più a lungo, genera una catena di pensiero più lunga, usa più token di output o crea testo intermedio aggiuntivo.

Un'architettura a loop offre un meccanismo diverso.

Il numero di passaggi interni può cambiare senza modificare i pesi e senza costringere il modello a scrivere una spiegazione più lunga.

Un compito semplice potrebbe ricevere quattro loop.

Una dimostrazione matematica difficile potrebbe riceverne 32.

Un problema di codifica complesso potrebbe riceverne 64.

Il modello rimane lo stesso. Solo la quantità di calcolo interno cambia.

I pesi rimangono fissi. Solo il numero di passaggi interni utilizzati per elaborare ogni token cambia.

Gli esperimenti pubblici sulla profondità ricorrente mostrano già il modello atteso.

Le prestazioni migliorano rapidamente durante i primi loop. I guadagni diventano poi più piccoli fino a quando le curve si avvicinano a un plateau.

Questo suggerisce che lo stato nascosto sta convergendo.

I primi passaggi apportano grandi correzioni. I passaggi successivi perfezionano dettagli più piccoli. Alla fine, il calcolo aggiuntivo smette di produrre miglioramenti significativi.

Un sistema futuro potrebbe rilevare quel momento automaticamente.

Invece di assegnare a ogni prompt un numero fisso di loop, il modello potrebbe continuare a elaborare fino a quando il suo stato nascosto diventa sufficientemente stabile. I token facili sarebbero economici. I token difficili riceverebbero più calcolo.

Questo creerebbe una genuina profondità computazionale adattiva.

Pensare più a lungo non dovrebbe più significare scrivere di più.

5 Ricerca e Primi Risultati Pratici

Riutilizzare gli strati transformer non è un'idea nuova.

I Transformer Universali hanno introdotto l'elaborazione ricorrente nel 2018. ALBERT ha ridotto il conteggio dei parametri condividendo i pesi tra gli strati. Mixture of Recursions ha esplorato il routing dei token attraverso diverse quantità di calcolo.

Il modello open Nanbeige4.2 3B fornisce un esempio particolarmente diretto.

La sua configurazione contiene 22 strati e num_loops: 2. In effetti, il modello attraversa quegli strati due volte. Ha approssimativamente il conteggio dei parametri di una rete a 22 strati ma circa la profondità computazionale di una rete a 44 strati.

Configurazione Nanbeige4.2 3B su Hugging Face

Ventidue strati, num_loops: 2 e una licenza Apache 2.0. Il meccanismo è già visibile in una configurazione di modello aperto.

Per anni, i design transformer ricorrenti sono rimasti idee di ricerca interessanti piuttosto che l'approccio dominante.

L'ingrediente mancante erano prove solide di scalabilità.

Il 1° settembre, un gruppo di ricercatori ha pubblicato SMELT, uno studio progettato per confrontare transformer a loop e convenzionali in condizioni abbinate.

Hanno controllato il conteggio dei parametri, il calcolo di addestramento e la dimensione della cache KV. Sotto questi vincoli, i modelli a loop richiedevano dal 6,8% al 18% in meno di calcolo di addestramento per raggiungere lo stesso livello di prestazioni.

I maggiori guadagni sono apparsi sul codice.

Abstract dal Paper SMELT su arXiv

Con calcolo, parametri e cache KV abbinati, il looping risparmia dal 6,8% al 18% del calcolo di addestramento, con i guadagni più forti sul codice.

I ricercatori hanno anche osservato un cambiamento nel comportamento dell'attenzione.

Nei transformer convenzionali, i primi token in una sequenza spesso diventano pozzi di attenzione. Ricevono una quantità sproporzionata di attenzione anche quando la loro importanza semantica è limitata.

Dopo un secondo passaggio attraverso gli stessi blocchi, l'attenzione del modello si è spostata verso token più rilevanti.

Il secondo loop non si è limitato a ripetere il primo. Ha utilizzato il risultato del primo passaggio come base per un'elaborazione più selettiva.

SMELT non dimostra che ogni modello futuro dovrebbe essere ricorrente. Mostra che il looping rimane competitivo dopo che le principali condizioni sperimentali sono state abbinate.

La domanda non è più se la profondità ricorrente può funzionare.

La domanda è quanto lontano può scalare.

6 Interpretabilità e Controllo

La stessa caratteristica architetturale che rende attraenti i loop complica anche il monitoraggio del modello.

Con il ragionamento esplicito della catena di pensiero, almeno alcuni passaggi intermedi appaiono come testo leggibile. I ricercatori possono ispezionarli, cercare schemi sospetti e confrontare il ragionamento dichiarato con la risposta finale.

Un modello ricorrente può eseguire più elaborazione all'interno delle attivazioni nascoste senza generare alcun testo.

Buck Shlegeris e Ryan Greenblatt hanno sostenuto che questo potrebbe ridurre l'utilità del monitoraggio della catena di pensiero. Se più elaborazione si sposta nel calcolo nascosto, la spiegazione visibile potrebbe rivelare meno su come il modello ha raggiunto il suo risultato.

Sebastian Raschka ha offerto un importante contrappunto.

Riutilizzare i pesi non crea automaticamente cognizione segreta o inaccessibile. Le attivazioni interne possono ancora essere studiate con strumenti di interpretabilità. La differenza principale è che il modello potrebbe aver bisogno di meno token intermedi visibili perché più calcolo avviene prima che inizi la generazione.

Il capo scienziato di OpenAI Jakub Pachocki ha anche detto che il grafico computazionale di Astra rimane entro circa un fattore due della profondità di GPT 4 e che il loop è stato deliberatamente limitato per preservare le capacità di monitoraggio.

Questo suggerisce un'implementazione contenuta piuttosto che un processo ricorrente illimitato.

Una catena di pensiero non è comunque garantita essere una trascrizione fedele del calcolo interno di un modello. Il sistema viene premiato per produrre risposte utili, non per fornire un resoconto scientificamente accurato di ogni operazione nascosta.

La ricerca che coinvolge OpenAI, Anthropic e Google DeepMind mostra che la spiegazione di un modello può omettere fattori importanti, razionalizzare una decisione dopo il fatto o presentare un percorso più pulito di quello che ha effettivamente influenzato il risultato.

Un'architettura a loop rende questa distinzione più difficile da ignorare.

Il ragionamento visibile potrebbe essere un'interfaccia.

Il calcolo principale potrebbe avvenire all'interno del modello prima che appaia qualsiasi testo.

7 Risultati di GPT 6 Astra

Il risultato più spettacolare di GPT 6 Astra nei benchmark è un punteggio del 99,9% su ARC AGI 3.

Quel numero sembra quasi definitivo, ma dipende fortemente da come viene eseguito il test.

Simon Willison ha evidenziato che il risultato del 99,9% proveniva dall'harness Provider Adapter personalizzato di OpenAI. Sotto l'harness standard ARC Prize, lo stesso modello ha ottenuto il 62,7%.

Il modello non è cambiato.

L'ambiente di valutazione sì.

Lo stesso modello produce due punteggi diversi a due costi di esecuzione diversi.

L'esecuzione di OpenAI è costata circa $19.000. L'esecuzione standard è costata circa $26.000.

Il punteggio significativamente più alto è stato prodotto anche dalla configurazione più economica.

Questo non rende necessariamente il risultato invalido. Un adattatore personalizzato potrebbe interagire con il modello in modo più efficace o esporre capacità che un framework di valutazione generico non coglie.

Ma il numero principale non può essere interpretato separatamente dalle condizioni che lo hanno prodotto.

GPT 6 Astra su ARC AGI 3

Un modello, due harness di valutazione e un divario di 37,2 punti percentuali.

Altre valutazioni sono meno drammatiche.

Sull'Artificial Analysis Intelligence Index, Astra ottiene punteggi approssimativamente alla pari con GPT 5.6 Sol e circa cinque punti sotto Claude Fable 5.1.

Il suo vantaggio più pratico potrebbe essere l'efficienza nei compiti agentici, dove può raggiungere prestazioni competitive a un costo inferiore.

I benchmark mostrano cosa un modello può ottenere. L'architettura aiuta a spiegare da dove provengono quelle capacità e come potrebbero svilupparsi.

8 Cosa Significa Questo per il Futuro dell'IA

Per anni, scalare i modelli linguistici ha significato principalmente aggiungere parametri, aggiungere dati e costruire pile fisse più grandi di blocchi transformer.

Ogni nuova generazione diventava più grande, più costosa e più impegnativa da eseguire.

GPT 6 Astra indica un'altra strada.

Un modello può riutilizzare gli stessi parametri, allocare più calcolo ai compiti difficili e perfezionare la sua rappresentazione interna prima di produrre la sua prima parola.

Questo separa la dimensione del modello dalla profondità del suo ragionamento.

Invece di seguire un percorso computazionale fisso, il sistema può regolare la quantità di lavoro in base alla difficoltà di un problema specifico.

Questo potrebbe cambiare sia le prestazioni del modello che l'economia dell'uso dell'IA. La stessa intelligenza potrebbe operare in una modalità veloce ed economica per richieste semplici, poi aumentare la sua profondità computazionale quando un compito richiede genuinamente più ragionamento.

La ricorrenza sta tornando nei modelli linguistici. Questa volta, opera non principalmente tra le parole, ma all'interno del processo che le crea.

La prossima generazione di sistemi potrebbe non diventare più potente solo perché contiene più parametri.

Il loro vantaggio distintivo potrebbe essere sapere quando una buona risposta è già stata trovata e quando vale la pena fare un altro giro nel loop interno.

Come pensa davvero GPT 6 Astra