Por dentro do GPT 6 Astra: Como funcionam os transformadores em loop

A OpenAI descreve o GPT 6 Astra como seu modelo mais capaz e alinhado até o momento.

Greg Brockman foi além, afirmando que seria razoável considerar o Astra como uma forma inicial de inteligência artificial geral.

O modelo também se tornou o primeiro a ultrapassar o limite Crítico da OpenAI para segurança cibernética. De acordo com a empresa, ele pode descobrir vulnerabilidades anteriormente desconhecidas e construir explorações funcionais com orientação humana limitada.

Essas afirmações são dramáticas, mas não são a parte mais importante do lançamento.

A verdadeira mudança é arquitetural.

Um modelo de linguagem convencional passa informações por uma sequência fixa de blocos transformadores e gera o próximo token. O Astra pode processar seu estado interno através dos mesmos blocos computacionais várias vezes antes de mostrar ao usuário uma única palavra.

Ele não simplesmente gera uma cadeia de pensamento mais longa.

Ele gasta mais tempo pensando antes de responder.

1 Como os Modelos de Linguagem Modernos Funcionam

Imagine digitar:

Everest é...

O modelo precisa prever o que vem a seguir.

Seu mecanismo de atenção determina quais partes do contexto importam. A palavra Everest ativa conceitos relacionados como montanhas, altitude, Himalaia, Nepal, Tibete, escalada e expedições.

O modelo então combina essas associações com o contexto ao redor. Na maioria dos casos, uma continuação como a montanha mais alta da Terra se torna altamente provável.

Dentro de um transformador convencional, essa representação se move através de uma sequência de blocos. Cada bloco a transforma uma vez e passa o resultado para o próximo.

Se um modelo contém 40 blocos, o estado oculto se move por todos os 40 em sequência. A representação final é convertida em uma distribuição de probabilidade para o próximo token.

Mais blocos geralmente significam maior profundidade computacional. Um modelo mais profundo pode realizar mais transformações antes de se comprometer com uma resposta.

Mas adicionar blocos também aumenta o número de parâmetros, requisitos de memória e custo de treinamento.

A suposição usual tem sido simples: se você quer um modelo mais profundo, precisa construir uma pilha maior de camadas.

Uma arquitetura em loop muda esse princípio.

2 O que uma Arquitetura em Loop Muda

De acordo com reportagens do The Information, o GPT 6 Astra usa uma arquitetura de transformador em loop.

A OpenAI não publicou uma especificação técnica completa, então a implementação exata permanece privada. Mas o mecanismo geral já é bem compreendido a partir de pesquisas públicas.

Em vez de enviar o estado oculto por cada bloco apenas uma vez, o modelo pode retornar o resultado a um bloco computacional e processá-lo novamente.

Pense nisso como um rascunho interno.

O modelo produz uma representação preliminar, envia-a pelos mesmos pesos novamente, refina-a e repete o processo várias vezes. Somente após o loop ser concluído é que o próximo token visível aparece.

A contagem de parâmetros permanece a mesma. Os pesos permanecem dentro de um bloco, o cálculo cresce com o número de loops, e apenas o token final é emitido.

O detalhe chave é que o número de parâmetros não aumenta necessariamente.

Os mesmos pesos são reutilizados em cada passagem.

O que aumenta é a quantidade de computação.

Em um transformador convencional, um token viaja por uma sequência de blocos diferentes. Em um transformador em loop, ele pode viajar pela mesma estrutura compartilhada várias vezes.

O modelo se torna mais profundo através da computação sem se tornar maior através da contagem de parâmetros.

Isso cria uma nova compensação:

Mais parâmetros exigem mais memória
Mais loops exigem mais computação
Um modelo pode gastar diferentes quantidades de computação em diferentes tarefas

O último ponto é especialmente importante. A profundidade computacional pode mudar sem criar um novo modelo.

3 Como a Profundidade Recorrente é Treinada

Simplesmente colocar um bloco transformador dentro de um loop não é suficiente.

Se um modelo sempre realiza exatamente 32 passagens durante o treinamento, ele pode aprender a confiar na posição de cada etapa. A primeira passagem pode aprender uma função, a décima outra, e a trigésima segunda pode se tornar uma camada de saída fixa.

O resultado seria uma rede convencional de 32 camadas disfarçada de loop.

Os pesquisadores resolvem esse problema variando o número de passagens recorrentes durante o treinamento.

Uma das demonstrações mais claras veio do modelo de profundidade recorrente Huginn. Seus criadores treinaram uma rede de 3,5 bilhões de parâmetros em aproximadamente 800 bilhões de tokens.

Em cada etapa de treinamento, o número de loops era amostrado de uma distribuição com média próxima de 32. Um exemplo poderia receber quatro passagens, outro 17, outro 40 e outro próximo de 90.

O modelo não podia saber antecipadamente qual passagem seria a última.

Portanto, teve que aprender algo mais geral do que uma sequência fixa de operações.

Teve que aprender como melhorar seu estado interno atual.

Resumo do artigo sobre Profundidade Recorrente no arXiv

Treinar através de dezenas de etapas recorrentes cria outro problema: memória.

A retropropagação padrão exigiria armazenar as ativações intermediárias de cada loop. Com repetições suficientes, o custo de memória se torna enorme.

Os pesquisadores do Huginn usaram um compromisso prático. A passagem direta podia executar muitos loops, mas os gradientes eram calculados apenas através dos oito finais.

Passagens anteriores ainda influenciavam o resultado final, mas seu histórico completo de ativação não precisava permanecer na memória.

Isso é semelhante à retropropagação truncada ao longo do tempo. A diferença é que a recorrência acontece através da profundidade computacional, em vez de através de palavras em uma sequência.

O número de loops é amostrado a cada etapa de treinamento, enquanto o gradiente é calculado apenas através das oito passagens finais.

O modelo não está sendo ensinado a realizar uma sequência rígida de 32 operações.

Ele está sendo ensinado a mover seu estado oculto em direção a uma resposta útil, independentemente de quando o processo é interrompido.

Isso muda o que profundidade significa.

Profundidade não é mais apenas uma propriedade escolhida por engenheiros antes do treinamento. Pode se tornar uma variável durante a inferência.

4 Computação Adaptativa Durante a Inferência

A maioria dos controles de raciocínio atuais opera no nível de tokens visíveis.

Se um modelo é solicitado a pensar mais, ele gera uma cadeia de pensamento mais longa, usa mais tokens de saída ou cria texto intermediário adicional.

Uma arquitetura em loop oferece um mecanismo diferente.

O número de passagens internas pode mudar sem modificar os pesos e sem forçar o modelo a escrever uma explicação mais longa.

Uma tarefa simples pode receber quatro loops.

Uma prova matemática difícil pode receber 32.

Um problema de codificação complexo pode receber 64.

O modelo permanece o mesmo. Apenas a quantidade de computação interna muda.

Os pesos permanecem fixos. Apenas o número de passagens internas usadas para processar cada token muda.

Experimentos públicos de profundidade recorrente já mostram o padrão esperado.

O desempenho melhora rapidamente durante os primeiros loops. Os ganhos então se tornam menores até que as curvas se aproximam de um platô.

Isso sugere que o estado oculto está convergindo.

Passagens iniciais fazem grandes correções. Passagens posteriores refinam detalhes menores. Eventualmente, computação adicional para de produzir melhorias significativas.

Um sistema futuro poderia detectar esse momento automaticamente.

Em vez de atribuir a cada prompt uma contagem fixa de loops, o modelo poderia continuar processando até que seu estado oculto se tornasse suficientemente estável. Tokens fáceis seriam baratos. Tokens difíceis receberiam mais computação.

Isso criaria profundidade computacional adaptativa genuína.

Pensar mais tempo não precisaria mais significar escrever mais.

5 Pesquisa e Resultados Práticos Iniciais

Reutilizar camadas de transformadores não é uma ideia nova.

Os Transformadores Universais introduziram o processamento recorrente em 2018. O ALBERT reduziu as contagens de parâmetros compartilhando pesos entre camadas. O Mixture of Recursions explorou o roteamento de tokens através de diferentes quantidades de computação.

O modelo aberto Nanbeige4.2 3B fornece um exemplo especialmente direto.

Sua configuração contém 22 camadas e num_loops: 2. Com efeito, o modelo viaja por essas camadas duas vezes. Ele tem aproximadamente a contagem de parâmetros de uma rede de 22 camadas, mas aproximadamente a profundidade computacional de uma rede de 44 camadas.

Configuração do Nanbeige4.2 3B no Hugging Face

Vinte e duas camadas, num_loops: 2 e uma licença Apache 2.0. O mecanismo já está visível em uma configuração de modelo aberto.

Por anos, os designs de transformadores recorrentes permaneceram ideias de pesquisa interessantes, em vez da abordagem dominante.

O ingrediente que faltava eram evidências sólidas de escalabilidade.

Em 1º de setembro, um grupo de pesquisadores publicou o SMELT, um estudo projetado para comparar transformadores em loop e convencionais sob condições equivalentes.

Eles controlaram a contagem de parâmetros, a computação de treinamento e o tamanho do cache KV. Sob essas restrições, os modelos em loop exigiram de 6,8% a 18% menos computação de treinamento para atingir o mesmo nível de desempenho.

Os maiores ganhos apareceram em código.

Resumo do artigo SMELT no arXiv

Com computação, parâmetros e cache KV equivalentes, o looping economiza de 6,8% a 18% da computação de treinamento, com os maiores ganhos em código.

Os pesquisadores também observaram uma mudança no comportamento da atenção.

Em transformadores convencionais, os primeiros tokens em uma sequência frequentemente se tornam sumidouros de atenção. Eles recebem uma quantidade desproporcional de atenção, mesmo quando sua importância semântica é limitada.

Após uma segunda passagem pelos mesmos blocos, a atenção do modelo se deslocou para tokens mais relevantes.

O segundo loop não meramente repetiu o primeiro. Ele usou o resultado da primeira passagem como base para um processamento mais seletivo.

O SMELT não prova que todo modelo futuro deve ser recorrente. Ele mostra que o looping permanece competitivo após as principais condições experimentais serem equiparadas.

A questão não é mais se a profundidade recorrente pode funcionar.

A questão é até onde ela pode escalar.

6 Interpretabilidade e Controle

A mesma característica arquitetural que torna os loops atraentes também complica o monitoramento do modelo.

Com o raciocínio explícito de cadeia de pensamento, pelo menos algumas etapas intermediárias aparecem como texto legível. Os pesquisadores podem inspecioná-las, procurar padrões suspeitos e comparar o raciocínio declarado com a resposta final.

Um modelo recorrente pode realizar mais processamento dentro de ativações ocultas sem gerar nenhum texto.

Buck Shlegeris e Ryan Greenblatt argumentaram que isso poderia reduzir a utilidade do monitoramento de cadeia de pensamento. Se mais processamento se move para a computação oculta, a explicação visível pode revelar menos sobre como o modelo alcançou seu resultado.

Sebastian Raschka ofereceu um contraponto importante.

Reutilizar pesos não cria automaticamente cognição secreta ou inacessível. As ativações internas ainda podem ser estudadas com ferramentas de interpretabilidade. A principal diferença é que o modelo pode precisar de menos tokens intermediários visíveis porque mais computação acontece antes da geração começar.

O Cientista Chefe da OpenAI, Jakub Pachocki, também disse que o grafo computacional do Astra permanece dentro de aproximadamente um fator de dois da profundidade do GPT 4 e que o loop foi deliberadamente limitado para preservar as capacidades de monitoramento.

Isso sugere uma implementação contida, em vez de um processo recorrente ilimitado.

Uma cadeia de pensamento não é garantida de ser uma transcrição fiel da computação interna de um modelo em primeiro lugar. O sistema é recompensado por produzir respostas úteis, não por fornecer um relatório cientificamente preciso de cada operação oculta.

Pesquisas envolvendo OpenAI, Anthropic e Google DeepMind mostram que a explicação de um modelo pode omitir fatores importantes, racionalizar uma decisão após o fato ou apresentar um caminho mais limpo do que aquele que realmente influenciou o resultado.

Uma arquitetura em loop torna essa distinção mais difícil de ignorar.

O raciocínio visível pode ser uma interface.

A computação principal pode acontecer dentro do modelo antes de qualquer texto aparecer.

7 Resultados do GPT 6 Astra

O resultado de benchmark mais espetacular do GPT 6 Astra é uma pontuação de 99,9% no ARC AGI 3.

Esse número parece quase final, mas depende fortemente de como o teste é executado.

Simon Willison destacou que o resultado de 99,9% veio do harness personalizado Provider Adapter da OpenAI. Sob o harness padrão do ARC Prize, o mesmo modelo obteve 62,7%.

O modelo não mudou.

O ambiente de avaliação mudou.

O mesmo modelo produz duas pontuações diferentes a dois custos de execução diferentes.

A execução da OpenAI custou aproximadamente US$ 19.000. A execução padrão custou aproximadamente US$ 26.000.

A pontuação significativamente maior também foi produzida pela configuração mais barata.

Isso não torna necessariamente o resultado inválido. Um adaptador personalizado pode interagir com o modelo de forma mais eficaz ou expor capacidades que uma estrutura de avaliação genérica perde.

Mas o número principal não pode ser interpretado separadamente das condições que o produziram.

GPT 6 Astra no ARC AGI 3

Um modelo, dois harnesses de avaliação e uma diferença de 37,2 pontos percentuais.

Outras avaliações são menos dramáticas.

No Artificial Analysis Intelligence Index, o Astra pontua aproximadamente no mesmo nível do GPT 5.6 Sol e cerca de cinco pontos abaixo do Claude Fable 5.1.

Sua vantagem mais prática pode ser a eficiência em tarefas agentivas, onde pode alcançar desempenho competitivo a um custo menor.

Os benchmarks mostram o que um modelo pode alcançar. A arquitetura ajuda a explicar de onde vêm essas capacidades e como elas podem se desenvolver.

8 O que Isso Significa para o Futuro da IA

Por anos, escalar modelos de linguagem significou principalmente adicionar parâmetros, adicionar dados e construir pilhas fixas maiores de blocos transformadores.

Cada nova geração se tornava maior, mais cara e mais exigente para executar.

O GPT 6 Astra aponta para outro caminho.

Um modelo pode reutilizar os mesmos parâmetros, alocar mais computação para tarefas difíceis e refinar sua representação interna antes de produzir sua primeira palavra.

Isso separa o tamanho do modelo da profundidade de seu raciocínio.

Em vez de seguir um caminho computacional fixo, o sistema pode ajustar a quantidade de trabalho à dificuldade de um problema específico.

Isso pode mudar tanto o desempenho do modelo quanto a economia do uso de IA. A mesma inteligência poderia operar em um modo rápido e barato para solicitações simples, depois aumentar sua profundidade computacional quando uma tarefa exigir genuinamente mais raciocínio.

A recorrência está retornando aos modelos de linguagem. Desta vez, ela opera não principalmente entre palavras, mas dentro do processo que as cria.

A próxima geração de sistemas pode não se tornar mais poderosa apenas porque contém mais parâmetros.

Sua vantagem definidora pode ser saber quando uma boa resposta já foi encontrada e quando vale a pena dar mais uma volta no loop interno.

Como o GPT 6 Astra realmente pensa