MiniMax M3: Como a Sparse Attention torna práticos os agentes de longo horizonte

O GLM 5.2 tem dominado grande parte da linha do tempo da IA ultimamente, e a maior parte da conversa girou em torno de como ele se compara ao Opus. Essa é a manchete. A carga de trabalho conta uma história mais silenciosa: os desenvolvedores com quem trabalho continuaram rodando o MiniMax M3 em escala, porque ele oferece capacidade de longo horizonte comparável a uma fração do custo. Na verdade, o MiniMax M3 ainda lidera o GLM 5.2 no uso de tokens no Open Router por mais de 50%.

Fonte: Rankings do Open Router

A principal restrição para agentes de longo horizonte não tem sido a inteligência; tem sido o custo da atenção em um contexto crescente. O @MiniMax_AI M3 foi construído para remover essa restrição. Sua janela de contexto de 500 mil tokens é uma das maiores disponíveis em um modelo de pesos abertos, mas a capacidade que realmente importa é a habilidade de permanecer em uma única tarefa por horas enquanto o contexto continua crescendo. O M3 é multimodal com compreensão nativa de imagem e vídeo, então o mesmo agente pode trabalhar com texto, código e entradas visuais em uma única execução.

O post de lançamento da Fireworks faz o mesmo ponto do lado da infraestrutura. Ele apresenta o M3 como o primeiro modelo de pesos abertos no Fireworks a combinar codificação de ponta, compreensão nativa de imagem e vídeo e uma janela de contexto de 500 mil tokens em um único sistema. As alegações práticas que importam para este artigo são aquelas que a Fireworks relata nesse post de lançamento. O M3 atinge uma decodificação de contexto longo até 15x mais rápida que o M2.7, o custo por token cai para 1/20 em contexto longo, e a Fireworks cita execuções autônomas de 12 a 24 horas em tarefas de reprodução de artigos e otimização de kernels CUDA.

Tarefas de longo horizonte são exigentes porque o contexto nunca para de crescer. Uma execução de agente de várias horas acumula código, logs, saídas de ferramentas e raciocínio intermediário, e, com a atenção densa padrão, cada novo token efetivamente relê tudo isso. O custo cresce com o quadrado do comprimento, então, quanto mais tempo um agente trabalha, mais caro cada passo se torna. Essa é a razão prática pela qual a maioria dos agentes de longa duração são interrompidos precocemente.

O mecanismo que muda isso é a Atenção Dispersa MiniMax (MSA), documentada no relatório recente da MiniMax, MiniMax Sparse Attention. A MSA muda o que o modelo lê a cada passo. Antes de atender, ela executa uma passagem leve de pré-filtragem: um Ramo de Índice pontua o contexto em blocos, seleciona os blocos mais relevantes para o token atual, e o modelo atende apenas a esses blocos. Ela lê o índice em vez da biblioteca inteira, o que mantém o custo de cada passo aproximadamente estável, mesmo quando o contexto cresce para centenas de milhares de tokens.

A Atenção Dispersa MiniMax: um Ramo de Índice leve pontua blocos de chave-valor e seleciona os top-k por grupo de consulta, e o ramo principal atende apenas a esses blocos. Fonte: Artigo MiniMax Sparse Attention.

O que isso significa se você está construindo com o M3:

• Custo previsível em qualquer comprimento. O artigo define Bk = 128 e k = 16, então cada consulta e grupo GQA seleciona 16 blocos, ou 2.048 tokens de chave-valor. Uma execução prolongada ainda tem custo de indexação, mas o orçamento principal de atenção permanece fixo.
• Contexto longo barato. Na configuração do modelo no artigo, eles relatam uma redução de 28,4x nos FLOPs de atenção por token em comprimentos de sequência extremos em comparação com GQA densa sob a mesma configuração de cabeçalhos.
• Rápido em produção. No H800 em comprimentos de sequência longos, eles relatam acelerações de 14,2x no preenchimento e 7,6x na decodificação em tempo real. O benchmark separado de top-k diz que o kernel especializado da MiniMax é o mais rápido contra torch.topk e TileLang em todas as configurações testadas.
• Custo de qualidade mínimo. Nos experimentos com 109B MoE, o artigo relata 6B parâmetros ativos por token e diz que o MSA-CPT permanece próximo à linha de base de atenção total após a extensão de contexto longo. Ele avalia MMLU, GSM8K, HumanEval, RULER, HELMET e muitos outros benchmarks enquanto cada consulta atende a 2.048 tokens.

Os FLOPs de atenção por token e a latência permanecem quase estáveis para MSA à medida que o comprimento da sequência cresce, enquanto a GQA densa (atenção de consulta agrupada) sobe acentuadamente: 28,4x menos computação, 14,2x preenchimento mais rápido e 7,6x decodificação mais rápida em comprimentos de sequência extremos. Fonte: Artigo MiniMax Sparse Attention.

O Que Isso Desbloqueia

A parte interessante não é apenas que o M3 pode conter mais tokens. É que o contexto longo se torna barato e rápido o suficiente para estar dentro de sistemas iterativos que precisam manter estado ao longo do tempo.

• Agentes auto-melhoráveis. Esta é a primeira aplicação que eu observaria. Um agente auto-melhorável precisa manter o código atual, edições anteriores com falha, logs de avaliação, resultados de benchmark e suas próprias hipóteses à vista enquanto propõe a próxima mudança. A atenção dispersa não resolve a avaliação, mas torna o loop de propor, validar e revisar de longa duração muito menos propenso a colapsar sob o custo do contexto.
• Engenharia em escala de repositório. A Fireworks destaca a compreensão de código em repositório completo e codificação agentiva forte. Isso importa porque o trabalho de engenharia real raramente cabe em um prompt simples. Depurar em uma base de código, rastrear regressões e fazer alterações em vários arquivos se beneficiam de um agente que pode manter o repositório, a saída de teste e o histórico de edições vivos em uma única sessão.
• Pesquisa científica e de sistemas. A Fireworks aponta para execuções autônomas longas em reprodução de artigos e otimização de kernels CUDA. Esses são exemplos úteis porque o trabalho não é uma única resposta. É uma sequência de experimentos, logs, falhas, correções e medições onde a continuidade é o recurso do produto.
• Fluxos de trabalho multimodais de contexto longo. O M3 é nativamente multimodal, não apenas texto com visão acoplada. Ele combina contexto longo com compreensão nativa de imagem e vídeo, então uma única execução pode raciocinar através de texto, código, capturas de tela, diagramas e quadros de vídeo juntos. Isso abre caminho para código visual a partir de um mockup ou captura de tela, análise de vídeo, revisão multimodal de documentos e agentes que mantêm o contexto visual vivo junto com seus rastros de código e ferramentas ao longo de uma longa sessão.

É por isso que o modelo é interessante para desenvolvedores. Ele move o contexto longo de um recurso de leitura de documentos para um substrato de execução para agentes que precisam de memória, iteração e verificação.

Vale a pena notar por que isso está chegando agora. A MiniMax introduziu a atenção dispersa durante a geração M2 e a deixou de lado porque a infraestrutura ainda não estava madura. Para o M3, o foco estava nos kernels. A MSA particiona o contexto em blocos, lê cada bloco uma vez com acesso de memória contíguo e atende apenas aos blocos relevantes, o que a permite rodar várias vezes mais rápido do que outros métodos abertos de atenção dispersa, mantendo a qualidade.

Isso se conecta diretamente ao trabalho de engenharia de contexto no qual tenho me concentrado. Por anos, incentivei os desenvolvedores a selecionar o que entra na janela de contexto. A MSA é o modelo aprendendo a selecionar a que atender dentro da janela; o mesmo princípio desce um nível na arquitetura.

Para desenvolvedores e pesquisadores, esta é a diferença entre uma demonstração curta e uma ferramenta na qual você pode confiar. Significa um agente que lê um repositório inteiro em uma passagem, depura em uma base de código completa em uma única sessão sustentada, ou carrega uma tarefa de pesquisa através de horas de experimentos, logs e revisões sem perder o contexto. Nas próprias execuções de longo horizonte da MiniMax, o resultado mais forte frequentemente emergia no fundo de uma sessão de várias horas, muito depois de a maioria dos modelos estagnar e parar. O contexto longo acessível é o que dá a um agente esse tipo de persistência.

Esta é a parte que acho mais convincente. Os agentes que construo geralmente falham não porque o modelo é fraco, mas porque eles não conseguem sustentar uma tarefa longa, e um contexto longo confiável é a infraestrutura fundamental que finalmente aborda isso.

Por Onde Começar com o MiniMax M3

Para uma equipe técnica, o ponto do @FireworksAI_HQ é operacional. O design de atenção dispersa do M3 só se torna útil se a camada de serviço conseguir manter latência, throughput e custo estáveis em contexto longo. A Fireworks diz que alimenta a API de inferência de primeira parte da MiniMax, oferece o endpoint mais rápido na série de modelos MiniMax e precifica o M3 a partir de $0,60 por 1M de tokens de entrada com opções de implantação serverless e sob demanda. A essa taxa, o M3 chega a aproximadamente 75% menos que o GLM 5.2 para uso comparável, o que torna a história menos sobre uma janela de contexto maior e mais sobre se agentes de longo horizonte podem rodar economicamente em produção.

O preço é útil porque reformula o M3 como um caminho de atualização do M2.7, não apenas um novo modelo de fronteira. A Fireworks diz que o preço de lançamento de pesos abertos caiu para a paridade com o M2.7 para uso serverless padrão, então as equipes obtêm o contexto longo e a compreensão multimodal nativa do M3 sem pagar um prêmio sobre a geração anterior.

Para testar o M3, use o mesmo endpoint de chat completions do Fireworks que você usaria para outros modelos do Fireworks. O id do modelo é accounts/fireworks/models/minimax-m3, e como o modelo é multimodal, uma única requisição pode incluir texto mais URLs de imagem na mesma mensagem.

1import json
2import requests
3
4url = "https://api.fireworks.ai/inference/v1/chat/completions"
5
6payload = {
7    "model": "accounts/fireworks/models/minimax-m3",
8    "max_tokens": 32768,
9    "temperature": 0.6,
10    "top_p": 1,
11    "top_k": 40,
12    "messages": [
13        {
14            "role": "user",
15            "content": [
16                {"type": "text", "text": "Você pode descrever esta imagem?"},
17                {
18                    "type": "image_url",
19                    "image_url": {
20                        "url": "https://images.unsplash.com/photo-1582538885592-e70a5d7ab3d3?auto=format&fit=crop&w=1770&q=80"
21                    },
22                },
23            ],
24        }
25    ],
26}
27
28headers = {
29    "Accept": "application/json",
30    "Content-Type": "application/json",
31    "Authorization": "Bearer <FIREWORKS_API_KEY>",
32}
33
34response = requests.post(url, headers=headers, data=json.dumps(payload), timeout=120)
35response.raise_for_status()
36print(response.json())

Para tarefas agentivas ou de raciocínio mais difíceis, adicione "thinking": {"type": "enabled"} ao payload. Para cargas de trabalho de produção, a Fireworks posiciona o serverless como o caminho mais rápido para avaliação e implantações sob demanda como a opção para throughput previsível.

Experimente aqui:Fireworks AI