MiniMax M3: Cómo la atención dispersa hace prácticos a los agentes de largo alcance

GLM 5.2 ha dominado gran parte de la actualidad de la IA últimamente, y la mayoría de las conversaciones se han centrado en cómo se compara con Opus. Ese es el titular. La realidad del trabajo cuenta una historia más silenciosa: los desarrolladores con los que colaboro han seguido usando MiniMax M3 a escala, porque ofrece una capacidad de largo alcance comparable a una fracción del costo. De hecho, MiniMax M3 todavía lidera a GLM 5.2 en uso de tokens en Open Router por más del 50%.

Fuente: Rankings de Open Router

La principal limitación de los agentes de largo alcance no ha sido la inteligencia; ha sido el costo de la atención a lo largo de un contexto creciente. @MiniMax_AI M3 está diseñado para eliminar esa limitación. Su ventana de contexto de 500 mil tokens es una de las más largas disponibles en un modelo de pesos abiertos, pero la capacidad que realmente importa es la habilidad de mantenerse en una sola tarea durante horas mientras el contexto sigue creciendo. M3 es multimodal con comprensión nativa de imágenes y video, por lo que un mismo agente puede trabajar con texto, código y entradas visuales en una sola ejecución.

La publicación de lanzamiento de Fireworks destaca el mismo punto desde la perspectiva de la infraestructura. Presenta a M3 como el primer modelo de pesos abiertos en Fireworks que combina codificación de vanguardia, comprensión nativa de imágenes y video, y una ventana de contexto de 500 mil tokens en un solo sistema. Las afirmaciones prácticas que importan para este artículo son las que Fireworks reporta en esa publicación. M3 alcanza una decodificación de contexto largo hasta 15 veces más rápida que M2.7, el cómputo por token se reduce a 1/20 en contextos largos, y Fireworks cita ejecuciones autónomas de 12 a 24 horas en tareas de reproducción de artículos y optimización de kernels CUDA.

Las tareas de largo alcance son exigentes porque el contexto nunca deja de crecer. Una ejecución de agente de varias horas acumula código, registros, resultados de herramientas y razonamiento intermedio, y con la atención densa estándar, cada nuevo token efectivamente relee todo eso. El costo crece al cuadrado de la longitud, por lo que cuanto más tiempo trabaja un agente, más caro se vuelve cada paso. Esa es la razón práctica por la que la mayoría de los agentes de larga duración se ven interrumpidos.

El mecanismo que cambia esto es la Atención Dispersa de MiniMax (MSA, por sus siglas en inglés), documentada en el informe reciente de MiniMax, MiniMax Sparse Attention. MSA cambia lo que el modelo lee en cada paso. Antes de atender, ejecuta un paso ligero de prefiltrado: una Rama de Índice puntúa el contexto en bloques, selecciona los bloques más relevantes para el token actual, y el modelo solo atiende a esos. Lee el índice en lugar de toda la biblioteca, lo que mantiene el costo de cada paso aproximadamente constante incluso cuando el contexto crece hasta cientos de miles de tokens.

Atención Dispersa de MiniMax: una Rama de Índice ligera puntúa los bloques clave-valor y selecciona los top-k por grupo de consulta, y la rama principal solo atiende a esos bloques. Fuente: Artículo de MiniMax Sparse Attention.

Lo que esto significa si estás construyendo con M3:

• Costo predecible a cualquier longitud. El artículo establece Bk = 128 y k = 16, por lo que cada consulta y grupo GQA selecciona 16 bloques, o 2048 tokens clave-valor. Una ejecución prolongada aún tiene sobrecarga de indexación, pero el presupuesto principal de atención se mantiene fijo.
• Contexto largo económico. En la configuración del modelo del artículo, reportan una reducción de 28.4x en FLOPs de atención por token en longitudes de secuencia extremas en comparación con GQA densa bajo la misma configuración de cabezales.
• Rápido en producción. En H800 con longitudes de secuencia largas, reportan aceleraciones de 14.2x en prefill y 7.6x en decodificación en tiempo real. El benchmark separado de top-k indica que el kernel especializado de MiniMax es el más rápido frente a torch.topk y TileLang en todas las configuraciones probadas.
• Costo de calidad mínimo. En los experimentos con 109B MoE, el artículo reporta 6 mil millones de parámetros activos por token y dice que MSA-CPT se mantiene cerca de la línea base de atención completa después de la extensión de contexto largo. Evalúa MMLU, GSM8K, HumanEval, RULER, HELMET y muchos otros benchmarks mientras cada consulta atiende a 2048 tokens.

Los FLOPs de atención por token y la latencia se mantienen casi planos para MSA a medida que crece la longitud de la secuencia, mientras que la GQA densa (atención de consulta agrupada) aumenta drásticamente: 28.4x menos cómputo, 14.2x más rápido en prefill y 7.6x más rápido en decodificación en longitudes de secuencia extremas. Fuente: Artículo de MiniMax Sparse Attention.

Lo Que Esto Desbloquea

La parte interesante no es solo que M3 pueda contener más tokens. Es que el contexto largo se vuelve lo suficientemente barato y rápido como para estar dentro de sistemas iterativos que necesitan mantener el estado a lo largo del tiempo.

• Agentes auto-mejorables. Esta es la primera aplicación que vigilaría. Un agente auto-mejorable necesita mantener el código actual, las ediciones fallidas anteriores, los registros de evaluación, los resultados de los benchmarks y sus propias hipótesis a la vista mientras propone el siguiente cambio. La atención dispersa no resuelve la evaluación, pero hace que el bucle de proponer, validar y revisar de larga duración sea mucho menos propenso a colapsar por el costo del contexto.
• Ingeniería a escala de repositorio. Fireworks destaca la comprensión de código a nivel de repositorio completo y una fuerte codificación agéntica. Eso importa porque el trabajo de ingeniería real rara vez cabe en un prompt ordenado. La depuración en un código base, el seguimiento de regresiones y la realización de cambios en múltiples archivos se benefician de un agente que pueda mantener el repositorio, los resultados de las pruebas y el historial de ediciones vivos en una sola sesión.
• Investigación científica y de sistemas. Fireworks señala ejecuciones autónomas largas en reproducción de artículos y optimización de kernels CUDA. Esos son ejemplos útiles porque el trabajo no es una respuesta única. Es una secuencia de experimentos, registros, fallos, correcciones y mediciones donde la continuidad es la característica del producto.
• Flujos de trabajo multimodales de contexto largo. M3 es nativamente multimodal, no solo texto con visión añadida. Combina contexto largo con comprensión nativa de imágenes y video, por lo que una sola ejecución puede razonar a través de texto, código, capturas de pantalla, diagramas y fotogramas de video juntos. Esto abre paso a código visual a partir de un mockup o captura de pantalla, análisis de video, revisión de documentos multimodales y agentes que mantienen el contexto visual vivo junto con sus trazas de código y herramientas a lo largo de una sesión larga.

Por eso el modelo es interesante para los desarrolladores. Mueve el contexto largo de ser una característica de lectura de documentos a ser un sustrato de ejecución para agentes que necesitan memoria, iteración y verificación.

Vale la pena señalar por qué esto está llegando ahora. MiniMax introdujo la atención dispersa durante la generación M2 y la dejó de lado porque la infraestructura aún no estaba madura. Para M3, el enfoque estuvo en los kernels. MSA particiona el contexto en bloques, lee cada bloque una vez con acceso a memoria contiguo y solo atiende a los bloques relevantes, lo que le permite ejecutarse varias veces más rápido que otros métodos de atención dispersa abiertos mientras mantiene la calidad.

Esto se conecta directamente con el trabajo de ingeniería de contexto en el que me he centrado. Durante años, he animado a los desarrolladores a seleccionar lo que entra en la ventana de contexto. MSA es el modelo aprendiendo a seleccionar a lo que atiende dentro de la ventana; el mismo principio se mueve un nivel más abajo en la arquitectura.

Para desarrolladores e investigadores, esta es la diferencia entre una demostración corta y una herramienta en la que se puede confiar. Significa un agente que lee un repositorio completo de una sola vez, depura a través de un código base completo en una sola sesión sostenida, o lleva una tarea de investigación a través de horas de experimentos, registros y revisiones sin perder el contexto. En las propias ejecuciones de largo alcance de MiniMax, el resultado más fuerte a menudo surgía en lo profundo de una sesión de varias horas, mucho después de que la mayoría de los modelos se estancaran y detuvieran. El contexto largo asequible es lo que le da a un agente ese tipo de persistencia.

Esta es la parte que encuentro más convincente. Los agentes que construyo normalmente fallan no porque el modelo sea débil, sino porque no pueden sostener una tarea larga, y un contexto largo confiable es la infraestructura fundamental que finalmente lo aborda.

Por Dónde Empezar Con MiniMax M3

Para un equipo técnico, el punto de @FireworksAI_HQ es operativo. El diseño de atención dispersa de M3 solo se vuelve útil si la capa de servicio puede mantener la latencia, el rendimiento y el costo estables en contextos largos. Fireworks dice que impulsa la API de inferencia de primera parte de MiniMax, ofrece el endpoint más rápido de la serie de modelos MiniMax y fija el precio de M3 desde $0.60 por cada millón de tokens de entrada con opciones de implementación serverless y bajo demanda. A esa tasa, M3 cuesta aproximadamente un 75% menos que GLM 5.2 por un uso comparable, lo que hace que la historia trate menos de una ventana de contexto más grande y más de si los agentes de largo alcance pueden funcionar de manera económica en producción.

El precio es útil porque replantea a M3 como una ruta de actualización desde M2.7, no solo como un nuevo modelo de vanguardia. Fireworks dice que el precio de lanzamiento de pesos abiertos ha bajado a la paridad con M2.7 para el uso estándar serverless, por lo que los equipos obtienen el contexto largo y la comprensión multimodal nativa de M3 sin pagar una prima sobre la generación anterior.

Para probar M3, usa el mismo endpoint de completaciones de chat de Fireworks que usarías para otros modelos de Fireworks. El id del modelo es accounts/fireworks/models/minimax-m3, y debido a que el modelo es multimodal, una sola solicitud puede incluir texto más URLs de imágenes en el mismo mensaje.

1import json
2import requests
3
4url = "https://api.fireworks.ai/inference/v1/chat/completions"
5
6payload = {
7    "model": "accounts/fireworks/models/minimax-m3",
8    "max_tokens": 32768,
9    "temperature": 0.6,
10    "top_p": 1,
11    "top_k": 40,
12    "messages": [
13        {
14            "role": "user",
15            "content": [
16                {"type": "text", "text": "¿Puedes describir esta imagen?"},
17                {
18                    "type": "image_url",
19                    "image_url": {
20                        "url": "https://images.unsplash.com/photo-1582538885592-e70a5d7ab3d3?auto=format&fit=crop&w=1770&q=80"
21                    },
22                },
23            ],
24        }
25    ],
26}
27
28headers = {
29    "Accept": "application/json",
30    "Content-Type": "application/json",
31    "Authorization": "Bearer <FIREWORKS_API_KEY>",
32}
33
34response = requests.post(url, headers=headers, data=json.dumps(payload), timeout=120)
35response.raise_for_status()
36print(response.json())

Para tareas agénticas o de razonamiento más difíciles, agrega "thinking": {"type": "enabled"} al payload. Para cargas de trabajo de producción, Fireworks posiciona serverless como el camino más rápido hacia la evaluación y las implementaciones bajo demanda como la opción para un rendimiento predecible.

Pruébalo aquí: Fireworks AI