MiniMax M3: Como a Sparse Attention torna agentes de longo horizonte práticos

O GLM 5.2 dominou grande parte do noticiário de IA recentemente, e a maioria das discussões se concentrou em como ele se compara ao Opus. Essa é a manchete. Mas os bastidores contam uma história mais discreta: os builders com quem trabalho continuam usando o MiniMax M3 em escala, porque ele oferece capacidade comparável de longo horizonte por uma fração do custo. Na verdade, o MiniMax M3 ainda lidera o GLM 5.2 no uso de tokens no Open Router por mais de 50%.

Fonte: Open Router Rankings

A principal limitação dos agentes de longo horizonte nunca foi a inteligência; foi o custo da atenção sobre um contexto crescente. O @MiniMax_AI M3 foi construído para remover essa limitação. Sua janela de contexto de 500 mil tokens é uma das maiores disponíveis em um modelo de pesos abertos, mas a capacidade que realmente importa é a de permanecer em uma única tarefa por horas enquanto o contexto continua crescendo. O M3 é multimodal, com compreensão nativa de imagem e vídeo, permitindo que um mesmo agente trabalhe com texto, código e entradas visuais em uma única execução.

O post de lançamento da Fireworks reforça esse ponto pelo lado da infraestrutura. Ele apresenta o M3 como o primeiro modelo de pesos abertos na Fireworks a combinar codificação de ponta, compreensão nativa de imagem e vídeo e uma janela de contexto de 500 mil tokens em um único sistema. As alegações práticas que importam para este artigo são aquelas que a Fireworks relata nesse post de lançamento. O M3 alcança uma decodificação de contexto longo até 15 vezes mais rápida que o M2.7, o custo por token em contexto longo cai para 1/20, e a Fireworks cita execuções autônomas de 12 a 24 horas em tarefas de reprodução de artigos e otimização de kernels CUDA.

Tarefas de longo horizonte são exigentes porque o contexto nunca para de crescer. Uma execução de agente com várias horas acumula código, logs, saídas de ferramentas e raciocínio intermediário. Com a atenção densa padrão, cada novo token efetivamente relê tudo isso. O custo cresce com o quadrado do comprimento, então quanto mais tempo um agente trabalha, mais caro cada passo se torna. Essa é a razão prática pela qual a maioria dos agentes de longa duração são interrompidos antes do tempo.

O mecanismo que muda isso é o MiniMax Sparse Attention (MSA), documentado no relatório recente da MiniMax, MiniMax Sparse Attention. O MSA muda o que o modelo lê a cada passo. Antes de atender, ele executa uma passagem de pré-filtragem leve: um Index Branch pontua o contexto em blocos, seleciona os blocos mais relevantes para o token atual, e o modelo atende apenas a esses blocos. Ele lê o índice em vez da biblioteca inteira, o que mantém o custo de cada passo aproximadamente estável, mesmo quando o contexto cresce para centenas de milhares de tokens.

MiniMax Sparse Attention: um Index Branch leve pontua os blocos de chave-valor e seleciona os top-k por grupo de consulta, e o branch principal atende apenas a esses blocos. Fonte: MiniMax Sparse Attention paper.

O que isso significa se você está construindo com o M3:

• Custo previsível em qualquer comprimento. O artigo define Bk = 128 e k = 16, então cada consulta e grupo GQA seleciona 16 blocos, ou 2.048 tokens de chave-valor. Uma execução estendida ainda tem custos de indexação, mas o orçamento principal de atenção permanece fixo.
• Contexto longo barato. Na configuração do modelo no artigo, eles relatam uma redução de 28,4x nos FLOPs de atenção por token em comprimentos de sequência extremos em comparação com GQA densa sob a mesma configuração de cabeçotes.
• Rápido em produção. No H800 em comprimentos de sequência longos, eles relatam acelerações de 14,2x no prefill e 7,6x na decodificação em tempo real. O benchmark separado de top-k mostra que o kernel especializado da MiniMax é o mais rápido contra torch.topk e TileLang em todas as configurações testadas.
• Custo mínimo de qualidade. Nos experimentos com 109B MoE, o artigo relata 6B parâmetros ativos por token e afirma que o MSA-CPT permanece próximo da linha de base de atenção total após a extensão de contexto longo. Ele avalia MMLU, GSM8K, HumanEval, RULER, HELMET e muitos outros benchmarks enquanto cada consulta atende a 2.048 tokens.

Os FLOPs de atenção por token e a latência permanecem quase estáveis para o MSA à medida que o comprimento da sequência cresce, enquanto o GQA denso (atenção de consulta agrupada) sobe acentuadamente: 28,4x menos computação, 14,2x prefill mais rápido e 7,6x decodificação mais rápida em comprimentos de sequência extremos. Fonte: MiniMax Sparse Attention paper.

O Que Isso Desbloqueia

A parte interessante não é apenas que o M3 pode armazenar mais tokens. É que o contexto longo se torna barato e rápido o suficiente para estar dentro de sistemas iterativos que precisam manter estado ao longo do tempo.

• Agentes auto-aprimoráveis. Esta é a primeira aplicação que eu observaria. Um agente auto-aprimorável precisa manter o código atual, edições anteriores com falha, logs de avaliação, resultados de benchmark e suas próprias hipóteses à vista enquanto propõe a próxima mudança. A atenção esparsa não resolve a avaliação, mas torna o loop de propor, validar e revisar muito menos propenso a colapsar sob o custo do contexto.
• Engenharia em escala de repositório. A Fireworks destaca a compreensão de código em repositório completo e codificação agentiva forte. Isso é importante porque o trabalho de engenharia real raramente cabe em um prompt simples. Depurar em uma base de código, rastrear regressões e fazer alterações em vários arquivos se beneficiam de um agente que pode manter o repositório, a saída de teste e o histórico de edições vivos em uma única sessão.
• Pesquisa científica e de sistemas. A Fireworks aponta para execuções autônomas longas em reprodução de artigos e otimização de kernels CUDA. Esses são exemplos úteis porque o trabalho não é uma única resposta. É uma sequência de experimentos, logs, falhas, correções e medições onde a continuidade é o recurso do produto.
• Fluxos de trabalho multimodais de contexto longo. O M3 é nativamente multimodal, não apenas texto com visão acoplada. Ele combina contexto longo com compreensão nativa de imagem e vídeo, permitindo que uma única execução raciocine sobre texto, código, capturas de tela, diagramas e quadros de vídeo juntos. Isso abre caminho para código visual a partir de um mockup ou captura de tela, análise de vídeo, revisão multimodal de documentos e agentes que mantêm o contexto visual vivo junto com seus rastros de código e ferramentas ao longo de uma sessão longa.

É por isso que o modelo é interessante para builders. Ele move o contexto longo de um recurso de leitura de documentos para um substrato de execução para agentes que precisam de memória, iteração e verificação.

Vale a pena notar por que isso está chegando agora. A MiniMax introduziu a atenção esparsa durante a geração M2 e a deixou de lado porque a infraestrutura ainda não estava madura. Para o M3, o foco foi nos kernels. O MSA particiona o contexto em blocos, lê cada bloco uma vez com acesso de memória contíguo e atende apenas aos blocos relevantes, o que permite que ele seja executado várias vezes mais rápido que outros métodos abertos de atenção esparsa, mantendo a qualidade.

Isso se conecta diretamente ao trabalho de engenharia de contexto no qual tenho me concentrado. Por anos, incentivei desenvolvedores a selecionar o que entra na janela de contexto. O MSA é o modelo aprendendo a selecionar o que atender dentro da janela; o mesmo princípio desce um nível na arquitetura.

Para desenvolvedores e pesquisadores, esta é a diferença entre uma demo curta e uma ferramenta confiável. Significa um agente que lê um repositório inteiro em uma passagem, depura em uma base de código completa em uma única sessão sustentada ou carrega uma tarefa de pesquisa por horas de experimentos, logs e revisões sem perder o contexto. Nas próprias execuções de longo horizonte da MiniMax, o resultado mais forte frequentemente emergia no meio de uma sessão de várias horas, muito depois de a maioria dos modelos atingir um platô e parar. O contexto longo acessível é o que dá a um agente esse tipo de persistência.

Esta é a parte que considero mais convincente. Os agentes que construo geralmente falham não porque o modelo é fraco, mas porque não conseguem sustentar uma tarefa longa, e um contexto longo confiável é a infraestrutura fundamental que finalmente resolve isso.

Por Onde Começar Com o MiniMax M3

Para uma equipe técnica, o ponto do @FireworksAI_HQ é operacional. O design de atenção esparsa do M3 só se torna útil se a camada de serviço conseguir manter latência, throughput e custo estáveis em contexto longo. A Fireworks afirma que ele alimenta a API de inferência de primeira parte da MiniMax, oferece o endpoint mais rápido da série de modelos MiniMax e precifica o M3 a partir de US$ 0,60 por 1M de tokens de entrada com opções de implantação serverless e sob demanda. Nessa taxa, o M3 chega a aproximadamente 75% menos que o GLM 5.2 para uso comparável, o que torna a história menos sobre uma janela de contexto maior e mais sobre se agentes de longo horizonte podem operar economicamente em produção.

O preço é útil porque reformula o M3 como um caminho de atualização do M2.7, não apenas um novo modelo de fronteira. A Fireworks afirma que o preço de lançamento de pesos abertos caiu para a paridade com o M2.7 para uso serverless padrão, então as equipes obtêm o contexto longo do M3 e a compreensão multimodal nativa sem pagar um prêmio sobre a geração anterior.

Para testar o M3, use o mesmo endpoint de chat completions da Fireworks que você usaria para outros modelos Fireworks. O id do modelo é accounts/fireworks/models/minimax-m3 e, como o modelo é multimodal, uma única solicitação pode incluir texto mais URLs de imagem na mesma mensagem.

1import json
2import requests
3
4url = "https://api.fireworks.ai/inference/v1/chat/completions"
5
6payload = {
7    "model": "accounts/fireworks/models/minimax-m3",
8    "max_tokens": 32768,
9    "temperature": 0.6,
10    "top_p": 1,
11    "top_k": 40,
12    "messages": [
13        {
14            "role": "user",
15            "content": [
16                {"type": "text", "text": "Can you describe this image?"},
17                {
18                    "type": "image_url",
19                    "image_url": {
20                        "url": "https://images.unsplash.com/photo-1582538885592-e70a5d7ab3d3?auto=format&fit=crop&w=1770&q=80"
21                    },
22                },
23            ],
24        }
25    ],
26}
27
28headers = {
29    "Accept": "application/json",
30    "Content-Type": "application/json",
31    "Authorization": "Bearer <FIREWORKS_API_KEY>",
32}
33
34response = requests.post(url, headers=headers, data=json.dumps(payload), timeout=120)
35response.raise_for_status()
36print(response.json())

Para tarefas agentivas ou de raciocínio mais difíceis, adicione "thinking": {"type": "enabled"} ao payload. Para cargas de trabalho de produção, a Fireworks posiciona o serverless como o caminho mais rápido para avaliação e as implantações sob demanda como a opção para throughput previsível.

Experimente aqui:Fireworks AI