MiniMax M3: Cómo la atención dispersa hace prácticos a los agentes de largo alcance

GLM 5.2 ha dominado gran parte de la línea de tiempo de la IA últimamente, y la mayoría de las conversaciones se han centrado en cómo se compara con Opus. Ese es el titular. La carga de trabajo cuenta una historia más silenciosa: los desarrolladores con los que trabajo han seguido usando MiniMax M3 a escala, porque ofrece una capacidad comparable de largo horizonte a una fracción del costo. De hecho, MiniMax M3 todavía lidera a GLM 5.2 en uso de tokens en Open Router por más del 50%.

Fuente: Clasificaciones de Open Router*

La principal limitación de los agentes de largo horizonte no ha sido la inteligencia; ha sido el costo de la atención a medida que el contexto crece. @MiniMax_AI M3 está diseñado para eliminar esa limitación. Su ventana de contexto de 500 mil tokens es una de las más largas disponibles en un modelo de pesos abiertos, pero la capacidad que importa es la capacidad de mantenerse en una sola tarea durante horas mientras el contexto sigue creciendo. M3 es multimodal con comprensión nativa de imágenes y video, por lo que el mismo agente puede trabajar con texto, código y entradas visuales en una sola ejecución.

El anuncio de lanzamiento de Fireworks expresa el mismo punto desde el lado de la infraestructura. Presenta a M3 como el primer modelo de pesos abiertos en Fireworks que combina codificación de vanguardia, comprensión nativa de imágenes y video, y una ventana de contexto de 500 mil tokens en un solo sistema. Las afirmaciones prácticas que importan para este artículo son las que Fireworks reporta en ese anuncio. M3 alcanza hasta 15 veces más velocidad de decodificación de contexto largo que M2.7, el cómputo por token se reduce a 1/20 en contexto largo, y Fireworks cita ejecuciones autónomas de 12 a 24 horas en tareas de reproducción de artículos y optimización de kernels CUDA.

Las tareas de largo horizonte son exigentes porque el contexto nunca deja de crecer. Una ejecución de agente de varias horas acumula código, registros, salidas de herramientas y razonamiento intermedio, y con la atención densa estándar, cada nuevo token efectivamente relee todo eso. El costo crece con el cuadrado de la longitud, por lo que cuanto más tiempo trabaja un agente, más caro se vuelve cada paso. Esa es la razón práctica por la que la mayoría de los agentes de larga duración se ven interrumpidos.

El mecanismo que cambia esto es la Atención Dispersa de MiniMax (MiniMax Sparse Attention, MSA), documentada en el informe reciente de MiniMax, MiniMax Sparse Attention. MSA cambia lo que el modelo lee en cada paso. Antes de atender, ejecuta un paso ligero de prefiltrado: un Índice de Ramas puntúa el contexto en bloques, selecciona los bloques más relevantes para el token actual, y el modelo atiende solo a esos. Lee el índice en lugar de toda la biblioteca, lo que mantiene el costo de cada paso aproximadamente constante incluso cuando el contexto crece hasta cientos de miles de tokens.

Atención Dispersa de MiniMax: un Índice de Ramas ligero puntúa los bloques clave-valor y selecciona los top-k por grupo de consulta, y la rama principal atiende solo a esos bloques. Fuente: MiniMax Sparse Attention paper.

Lo que esto significa si estás desarrollando con M3:

• Costo predecible a cualquier longitud. El artículo establece Bk = 128 y k = 16, por lo que cada consulta y grupo GQA selecciona 16 bloques, o 2048 tokens clave-valor. Una ejecución prolongada aún tiene sobrecarga de indexación, pero el presupuesto de atención principal se mantiene fijo.
• Contexto largo barato. En la configuración del modelo del artículo, reportan una reducción de 28.4x en FLOPs de atención por token en longitudes extremas en comparación con GQA densa bajo la misma configuración de cabezales.
• Rápido en producción. En H800 con longitudes de secuencia largas, reportan aceleraciones de 14.2x en prefill y 7.6x en decodificación en tiempo real. El punto de referencia top-k separado dice que el kernel especializado de MiniMax es el más rápido contra torch.topk y TileLang en todas las configuraciones probadas.
• Costo de calidad mínimo. En los experimentos con 109B MoE, el artículo reporta 6B parámetros activos por token y dice que MSA-CPT se mantiene cerca de la línea base de atención completa después de la extensión de contexto largo. Evalúa MMLU, GSM8K, HumanEval, RULER, HELMET y muchos otros puntos de referencia mientras cada consulta atiende a 2048 tokens.

Los FLOPs de atención por token y la latencia se mantienen casi planos para MSA a medida que crece la longitud de la secuencia, mientras que la GQA densa (atención de consulta agrupada) aumenta bruscamente: 28.4x menos cómputo, 14.2x más rápido en prefill y 7.6x más rápido en decodificación en longitudes extremas. Fuente: MiniMax Sparse Attention paper.

Lo que esto desbloquea

La parte interesante no es solo que M3 puede contener más tokens. Es que el contexto largo se vuelve lo suficientemente barato y rápido como para estar dentro de sistemas iterativos que necesitan mantener estado a lo largo del tiempo.

• Agentes auto-mejorables. Esta es la primera aplicación que observaría. Un agente auto-mejorable necesita mantener el código actual, las ediciones fallidas anteriores, los registros de evaluación, los resultados de referencia y sus propias hipótesis a la vista mientras propone el siguiente cambio. La atención dispersa no resuelve la evaluación, pero hace que el bucle de proponer, validar y revisar de larga duración sea mucho menos propenso a colapsar por el costo del contexto.
• Ingeniería a escala de repositorio. Fireworks destaca la comprensión de código de repositorio completo y la codificación agéntica sólida. Eso importa porque el trabajo de ingeniería real rara vez cabe en un mensaje limpio. La depuración a través de una base de código, el seguimiento de regresiones y la realización de cambios en múltiples archivos se benefician de un agente que puede mantener el repositorio, la salida de pruebas y el historial de ediciones activos en una sola sesión.
• Investigación científica y de sistemas. Fireworks señala ejecuciones autónomas largas en reproducción de artículos y optimización de kernels CUDA. Esos son ejemplos útiles porque el trabajo no es una sola respuesta. Es una secuencia de experimentos, registros, fallos, correcciones y mediciones donde la continuidad es la característica del producto.
• Flujos de trabajo multimodales de contexto largo. M3 es nativamente multimodal, no solo de texto con visión añadida. Combina contexto largo con comprensión nativa de imágenes y video, por lo que una sola ejecución puede razonar a través de texto, código, capturas de pantalla, diagramas y cuadros de video juntos. Eso abre paso a trabajos visual-a-código desde un maqueta o captura de pantalla, análisis de video, revisión de documentos multimodales y agentes que mantienen vivo el contexto visual junto con su código y rastros de herramientas a lo largo de una sesión larga.

Por eso el modelo es interesante para los desarrolladores. Mueve el contexto largo de una función de lectura de documentos hacia un sustrato de ejecución para agentes que necesitan memoria, iteración y verificación.

Vale la pena señalar por qué esto llega ahora. MiniMax introdujo la atención dispersa durante la generación M2 y la dejó de lado porque la infraestructura aún no era madura. Para M3, el enfoque estuvo en los kernels. MSA particiona el contexto en bloques, lee cada bloque una vez con acceso a memoria contiguo y atiende solo a los bloques relevantes, lo que permite ejecutarse varias veces más rápido que otros métodos abiertos de atención dispersa mientras mantiene la calidad.

Esto se conecta directamente con el trabajo de ingeniería de contexto en el que me he centrado. Durante años, he alentado a los desarrolladores a seleccionar lo que entra en la ventana de contexto. MSA es el modelo aprendiendo a seleccionar a qué atender dentro de la ventana; el mismo principio se mueve un nivel hacia abajo en la arquitectura.

Para desarrolladores e investigadores, esta es la diferencia entre una demostración corta y una herramienta en la que se puede confiar. Significa un agente que lee un repositorio completo en una sola pasada, depura a través de una base de código completa en una sola sesión sostenida, o lleva una tarea de investigación a través de horas de experimentos, registros y revisiones sin perder contexto. En las propias ejecuciones de largo horizonte de MiniMax, el resultado más fuerte a menudo surgió en lo profundo de una sesión de varias horas, mucho después de que la mayoría de los modelos se estancaran y detuvieran. El contexto largo asequible es lo que le da a un agente ese tipo de persistencia.

Esta es la parte que encuentro más convincente. Los agentes que construyo suelen fallar no porque el modelo sea débil sino porque no pueden sostener una tarea larga, y un contexto largo confiable es la infraestructura fundamental que finalmente aborda eso.

Dónde empezar con MiniMax M3

Para un equipo técnico, el punto de @FireworksAI_HQ es operativo. El diseño de atención dispersa de M3 solo se vuelve útil si la capa de servicio puede mantener la latencia, el rendimiento y el costo estables en contexto largo. Fireworks dice que alimenta la inferencia de la API propia de MiniMax, ofrece el endpoint más rápido de la serie de modelos MiniMax y tiene un precio para M3 desde $0.60 por 1 millón de tokens de entrada con opciones de implementación serverless y bajo demanda. A esa tasa, M3 cuesta aproximadamente un 75% menos que GLM 5.2 para un uso comparable, lo que hace que la historia sea menos sobre una ventana de contexto más grande y más sobre si los agentes de largo horizonte pueden ejecutarse económicamente en producción.

El precio es útil porque reformula a M3 como una ruta de actualización desde M2.7, no solo un nuevo modelo de frontera. Fireworks dice que el precio de lanzamiento de pesos abiertos ha bajado a la paridad con M2.7 para el uso estándar serverless, por lo que los equipos obtienen el contexto largo de M3 y la comprensión multimodal nativa sin pagar una prima sobre la generación anterior.

Para probar M3, usa el mismo endpoint de chat completions de Fireworks que usarías para otros modelos de Fireworks. El id del modelo es accounts/fireworks/models/minimax-m3, y debido a que el modelo es multimodal, una sola solicitud puede incluir texto más URLs de imágenes en el mismo mensaje.

1import json
2import requests
3
4url = "https://api.fireworks.ai/inference/v1/chat/completions"
5
6payload = {
7    "model": "accounts/fireworks/models/minimax-m3",
8    "max_tokens": 32768,
9    "temperature": 0.6,
10    "top_p": 1,
11    "top_k": 40,
12    "messages": [
13        {
14            "role": "user",
15            "content": [
16                {"type": "text", "text": "Can you describe this image?"},
17                {
18                    "type": "image_url",
19                    "image_url": {
20                        "url": "https://images.unsplash.com/photo-1582538885592-e70a5d7ab3d3?auto=format&fit=crop&w=1770&q=80"
21                    },
22                },
23            ],
24        }
25    ],
26}
27
28headers = {
29    "Accept": "application/json",
30    "Content-Type": "application/json",
31    "Authorization": "Bearer <FIREWORKS_API_KEY>",
32}
33
34response = requests.post(url, headers=headers, data=json.dumps(payload), timeout=120)
35response.raise_for_status()
36print(response.json())

Para tareas agénticas o de razonamiento más difíciles, agrega "thinking": {"type": "enabled"} al payload. Para cargas de trabajo de producción, Fireworks posiciona serverless como el camino más rápido para la evaluación y las implementaciones bajo demanda como la opción para un rendimiento predecible.

Pruébalo aquí: Fireworks AI