MiniMax M3 : comment l'attention creuse rend les agents à long horizon opérationnels

GLM 5.2 a dominé une grande partie de l'actualité de l'IA ces derniers temps, et la plupart des discussions ont porté sur la façon dont il se compare à Opus. C'est le titre qui attire l'attention. La charge de travail raconte une histoire plus discrète : les développeurs avec qui je travaille ont continué à utiliser MiniMax M3 à grande échelle, car il offre des capacités à long horizon comparables pour une fraction du coût. En fait, MiniMax M3 devance encore GLM 5.2 en termes d'utilisation de tokens sur Open Router de plus de 50 %.

Source : Classements Open Router

La principale contrainte des agents à long horizon n'a pas été l'intelligence ; elle a été le coût de l'attention sur un contexte croissant. @MiniMax_AI M3 est conçu pour supprimer cette contrainte. Sa fenêtre de contexte de 500 000 tokens est l'une des plus longues disponibles dans un modèle open-weight, mais la capacité qui compte est la capacité à rester sur une seule tâche pendant des heures pendant que le contexte continue de croître. M3 est multimodal avec une compréhension native des images et des vidéos, de sorte que le même agent peut travailler sur du texte, du code et des entrées visuelles en une seule exécution.

Le billet de lancement de Fireworks fait le même point du côté de l'infrastructure. Il présente M3 comme le premier modèle open-weight sur Fireworks à combiner le codage de pointe, la compréhension native des images et des vidéos, et une fenêtre de contexte de 500 000 tokens en un seul système. Les affirmations pratiques qui comptent pour cet article sont celles que Fireworks rapporte dans ce billet de lancement. M3 atteint un décodage de contexte long jusqu'à 15 fois plus rapide que M2.7, le calcul par token chute à 1/20e pour les contextes longs, et Fireworks cite des exécutions autonomes de 12 à 24 heures sur des tâches de reproduction de documents et d'optimisation de noyaux CUDA.

Les tâches à long horizon sont exigeantes car le contexte ne cesse de croître. Une exécution d'agent de plusieurs heures accumule du code, des journaux, des sorties d'outils et un raisonnement intermédiaire, et avec une attention dense standard, chaque nouveau token relit effectivement tout cela. Le coût croît avec le carré de la longueur, donc plus un agent travaille longtemps, plus chaque étape devient coûteuse. C'est la raison pratique pour laquelle la plupart des agents à longue durée de vie sont écourtés.

Le mécanisme qui change cela est l'Attention Éparse MiniMax (MSA), documentée dans le récent rapport de MiniMax, MiniMax Sparse Attention. MSA modifie ce que le modèle lit à chaque étape. Avant d'accorder son attention, il exécute un passage de pré-filtrage léger : une Branche d'Index score le contexte par blocs, sélectionne les blocs les plus pertinents pour le token actuel, et le modèle n'accorde son attention qu'à ceux-ci. Il lit l'index plutôt que la bibliothèque entière, ce qui maintient le coût de chaque étape à peu près constant, même lorsque le contexte atteint des centaines de milliers de tokens.

Attention Éparse MiniMax : une Branche d'Index légère score les blocs clé-valeur et sélectionne les top-k par groupe de requêtes, et la branche principale n'accorde son attention qu'à ces blocs. Source : Document MiniMax Sparse Attention.

Ce que cela signifie si vous construisez avec M3 :

• Coût prévisible, quelle que soit la longueur. Le document définit Bk = 128 et k = 16, donc chaque requête et groupe GQA sélectionne 16 blocs, soit 2 048 tokens clé-valeur. Une exécution prolongée a toujours des frais généraux d'indexation, mais le budget d'attention principal reste fixe.
• Contexte long peu coûteux. Dans la configuration du modèle du document, ils rapportent une réduction de 28,4x des FLOPs d'attention par token pour les longueurs de séquence extrêmes par rapport à GQA dense sous la même configuration de tête.
• Rapide en production. Sur H800 pour les longues séquences, ils rapportent des accélérations de 14,2x pour le pré-remplissage et de 7,6x pour le décodage en temps réel. Le benchmark top-k séparé indique que le noyau spécialisé de MiniMax est le plus rapide par rapport à torch.topk et TileLang dans tous les paramètres testés.
• Coût de qualité minimal. Dans les expériences MoE 109B, le document rapporte 6B de paramètres actifs par token et indique que MSA-CPT reste proche de la base de référence d'attention complète après l'extension du contexte long. Il évalue MMLU, GSM8K, HumanEval, RULER, HELMET et de nombreux autres benchmarks tandis que chaque requête porte son attention sur 2 048 tokens.

Les FLOPs d'attention par token et la latence restent presque constants pour MSA à mesure que la longueur de la séquence augmente, tandis que GQA dense (attention par requêtes groupées) grimpe fortement : 28,4x moins de calcul, 14,2x plus rapide pour le pré-remplissage et 7,6x plus rapide pour le décodage aux longueurs de séquence extrêmes. Source : Document MiniMax Sparse Attention.

Ce Que Cela Permet

La partie intéressante n'est pas seulement que M3 peut contenir plus de tokens. C'est que le contexte long devient suffisamment peu coûteux et rapide pour s'intégrer dans des systèmes itératifs qui ont besoin de maintenir un état dans le temps.

• Agents auto-améliorants. C'est la première application que je surveillerais. Un agent auto-améliorant doit garder en vue le code actuel, les modifications précédentes ayant échoué, les journaux d'évaluation, les résultats de benchmark et ses propres hypothèses pendant qu'il propose la prochaine modification. L'attention éparse ne résout pas l'évaluation, mais elle rend la boucle de proposition, validation et révision de longue durée beaucoup moins susceptible de s'effondrer sous le coût du contexte.
• Ingénierie à l'échelle du dépôt. Fireworks met en avant la compréhension du code à l'échelle du dépôt et un codage agentique puissant. Cela compte car le travail d'ingénierie réel tient rarement dans une invite bien nette. Le débogage dans une base de code, le suivi des régressions et les modifications multi-fichiers bénéficient tous d'un agent capable de garder le dépôt, les résultats de test et l'historique des modifications actifs en une seule session.
• Recherche scientifique et systèmes. Fireworks pointe vers de longues exécutions autonomes sur la reproduction de documents et l'optimisation de noyaux CUDA. Ce sont des exemples utiles car le travail n'est pas une réponse unique. C'est une séquence d'expériences, de journaux, d'échecs, de correctifs et de mesures où la continuité est la caractéristique du produit.
• Flux de travail multimodaux à contexte long. M3 est nativement multimodal, pas seulement textuel avec une vision ajoutée. Il combine un contexte long avec une compréhension native des images et des vidéos, de sorte qu'une seule exécution peut raisonner sur du texte, du code, des captures d'écran, des diagrammes et des images vidéo ensemble. Cela ouvre la voie au passage du visuel au code à partir d'une maquette ou d'une capture d'écran, à l'analyse vidéo, à la révision de documents multimodaux et à des agents qui maintiennent un contexte visuel actif parallèlement à leurs traces de code et d'outils tout au long d'une longue session.

C'est pourquoi le modèle est intéressant pour les développeurs. Il fait passer le contexte long d'une fonctionnalité de lecture de documents à un substrat d'exécution pour les agents qui ont besoin de mémoire, d'itération et de vérification.

Il convient de noter pourquoi cela arrive maintenant. MiniMax a introduit l'attention éparse lors de la génération M2 et l'a mise de côté car l'infrastructure n'était pas encore mature. Pour M3, l'accent a été mis sur les noyaux. MSA partitionne le contexte en blocs, lit chaque bloc une fois avec un accès mémoire contigu, et n'accorde son attention qu'aux blocs pertinents, ce qui lui permet de fonctionner plusieurs fois plus vite que les autres méthodes d'attention éparse ouvertes tout en maintenant la qualité.

Cela se connecte directement au travail d'ingénierie de contexte sur lequel je me suis concentré. Pendant des années, j'ai encouragé les développeurs à organiser ce qui entre dans la fenêtre de contexte. MSA est le modèle qui apprend à organiser ce à quoi il prête attention dans la fenêtre ; le même principe descend d'un niveau dans l'architecture.

Pour les développeurs et les chercheurs, c'est la différence entre une courte démonstration et un outil sur lequel vous pouvez compter. Cela signifie un agent qui lit un dépôt entier en une seule fois, débogue sur une base de code complète en une seule session soutenue, ou mène une tâche de recherche à travers des heures d'expériences, de journaux et de révisions sans perdre le contexte. Dans les propres exécutions à long horizon de MiniMax, le résultat le plus fort émergeait souvent au plus profond d'une session de plusieurs heures, bien après que la plupart des modèles auraient plafonné et se seraient arrêtés. Un contexte long abordable est ce qui donne à un agent ce genre de persistance.

C'est la partie que je trouve la plus convaincante. Les agents que je construis échouent généralement non pas parce que le modèle est faible, mais parce qu'ils ne peuvent pas soutenir une tâche longue, et un contexte long fiable est l'infrastructure fondamentale qui résout enfin ce problème.

Par Où Commencer Avec MiniMax M3

Pour une équipe technique, le point de @FireworksAI_HQ est opérationnel. La conception d'attention éparse de M3 n'est utile que si la couche de service peut maintenir une latence, un débit et un coût stables pour un contexte long. Fireworks indique qu'il alimente l'inférence API propriétaire de MiniMax, offre le point de terminaison le plus rapide de la série de modèles MiniMax, et tarifie M3 à partir de 0,60 $ par million de tokens d'entrée avec des options de déploiement serverless et à la demande. À ce tarif, M3 revient à environ 75 % de moins que GLM 5.2 pour une utilisation comparable, ce qui rend l'histoire moins centrée sur une fenêtre de contexte plus grande et plus sur la question de savoir si les agents à long horizon peuvent fonctionner de manière économique en production.

La tarification est utile car elle recadre M3 comme une voie de mise à niveau depuis M2.7, et non simplement comme un nouveau modèle de pointe. Fireworks indique que la tarification de lancement open-weight a chuté pour atteindre la parité avec M2.7 pour une utilisation serverless standard, de sorte que les équipes bénéficient du contexte long de M3 et de la compréhension multimodale native sans payer de prime par rapport à la génération précédente.

Pour tester M3, utilisez le même point de terminaison de complétions de chat Fireworks que vous utiliseriez pour d'autres modèles Fireworks. L'ID du modèle est accounts/fireworks/models/minimax-m3, et comme le modèle est multimodal, une seule requête peut inclure du texte ainsi que des URL d'images dans le même message.

1import json
2import requests
3
4url = "https://api.fireworks.ai/inference/v1/chat/completions"
5
6payload = {
7    "model": "accounts/fireworks/models/minimax-m3",
8    "max_tokens": 32768,
9    "temperature": 0.6,
10    "top_p": 1,
11    "top_k": 40,
12    "messages": [
13        {
14            "role": "user",
15            "content": [
16                {"type": "text", "text": "Peux-tu décrire cette image ?"},
17                {
18                    "type": "image_url",
19                    "image_url": {
20                        "url": "https://images.unsplash.com/photo-1582538885592-e70a5d7ab3d3?auto=format&fit=crop&w=1770&q=80"
21                    },
22                },
23            ],
24        }
25    ],
26}
27
28headers = {
29    "Accept": "application/json",
30    "Content-Type": "application/json",
31    "Authorization": "Bearer <FIREWORKS_API_KEY>",
32}
33
34response = requests.post(url, headers=headers, data=json.dumps(payload), timeout=120)
35response.raise_for_status()
36print(response.json())

Pour les tâches agentiques ou de raisonnement plus difficiles, ajoutez "thinking": {"type": "enabled"} à la charge utile. Pour les charges de travail de production, Fireworks positionne le serverless comme la voie la plus rapide vers l'évaluation et les déploiements à la demande comme l'option pour un débit prévisible.

Essayez-le ici : Fireworks AI