MiniMax M3: Wie Sparse Attention Long-Horizon-Agenten praxistauglich macht

GLM 5.2 hat in letzter Zeit einen Großteil der KI-Zeitlinie eingenommen, und die meiste Diskussion drehte sich darum, wie es im Vergleich zu Opus abschneidet. Das ist die Schlagzeile. Die Arbeitslast erzählt eine leisere Geschichte: Die Entwickler, mit denen ich arbeite, setzen weiterhin im großen Stil auf MiniMax M3, weil es eine vergleichbare Langzeitleistung zu einem Bruchteil der Kosten liefert. Tatsächlich liegt MiniMax M3 bei der Token-Nutzung auf Open Router immer noch mehr als 50 % vor GLM 5.2.

Quelle: Open Router Rankings

Die größte Einschränkung für Langzeit-Agenten war nicht die Intelligenz; es waren die Kosten der Aufmerksamkeit über einen wachsenden Kontext. @MiniMax_AI M3 wurde entwickelt, um diese Einschränkung zu beseitigen. Sein Kontextfenster von 500.000 Token ist eines der größten, das in einem Open-Weight-Modell verfügbar ist, aber die entscheidende Fähigkeit ist die Fähigkeit, über Stunden hinweg an einer einzigen Aufgabe zu bleiben, während der Kontext weiter wächst. M3 ist multimodal mit nativem Bild- und Videoverständnis, sodass derselbe Agent in einem Durchlauf mit Text, Code und visuellen Eingaben arbeiten kann.

Fireworks' Launch-Post macht denselben Punkt von der Infrastrukturseite her. Es stellt M3 als das erste Open-Weight-Modell auf Fireworks dar, das modernes Coding, natives Bild- und Videoverständnis und ein 500.000-Token-Kontextfenster in einem System vereint. Die praktischen Behauptungen, die für diesen Artikel relevant sind, sind die, die Fireworks in diesem Launch-Post berichtet. M3 erreicht eine bis zu 15-mal schnellere Long-Context-Decodierung als M2.7, der Rechenaufwand pro Token sinkt bei langem Kontext auf 1/20, und Fireworks berichtet von 12- bis 24-stündigen autonomen Läufen bei Aufgaben zur Papierreproduktion und CUDA-Kernel-Optimierung.

Langzeitaufgaben sind anspruchsvoll, weil der Kontext nie aufhört zu wachsen. Ein mehrstündiger Agentenlauf sammelt Code, Logs, Tool-Ausgaben und Zwischenschlussfolgerungen an, und bei standardmäßiger dichter Aufmerksamkeit liest jedes neue Token im Grunde alles noch einmal. Die Kosten steigen quadratisch mit der Länge, sodass jeder Schritt umso teurer wird, je länger ein Agent arbeitet. Das ist der praktische Grund, warum die meisten langlebigen Agenten vorzeitig abgebrochen werden.

Der Mechanismus, der dies ändert, ist die MiniMax Sparse Attention (MSA), dokumentiert im aktuellen Bericht von MiniMax, MiniMax Sparse Attention. MSA ändert, was das Modell bei jedem Schritt liest. Vor der Aufmerksamkeit führt es einen leichten Vorfiltern-Durchlauf durch: Ein Index Branch bewertet den Kontext in Blöcken, wählt die Blöcke aus, die für das aktuelle Token am relevantesten sind, und das Modell schenkt nur diesen seine Aufmerksamkeit. Es liest den Index und nicht die gesamte Bibliothek, was die Kosten jedes Schritts ungefähr konstant hält, selbst wenn der Kontext auf Hunderttausende von Token anwächst.

MiniMax Sparse Attention: Ein leichter Index Branch bewertet Key-Value-Blöcke und wählt die Top-k pro Abfragegruppe aus, und der Haupt-Branch schenkt nur diesen Blöcken Aufmerksamkeit. Quelle: MiniMax Sparse Attention Paper.

Was das bedeutet, wenn Sie mit M3 entwickeln:

• Vorhersagbare Kosten bei jeder Länge. Das Paper setzt Bk = 128 und k = 16, sodass jede Abfrage- und GQA-Gruppe 16 Blöcke oder 2.048 Key-Value-Token auswählt. Ein verlängerter Lauf hat immer noch Indexierungs-Overhead, aber das Haupt-Aufmerksamkeitsbudget bleibt fest.
• Günstiger langer Kontext. In der Modellkonfiguration des Papers berichten sie eine 28,4-fache Reduzierung der Attention-FLOPs pro Token bei extremen Sequenzlängen im Vergleich zu dichter GQA unter demselben Head-Setup.
• Schnell in der Produktion. Auf H800 berichten sie bei langen Sequenzlängen von 14,2-facher Prefill- und 7,6-facher Decoding-Wall-Clock-Beschleunigung. Der separate Top-k-Benchmark besagt, dass der spezialisierte Kernel von MiniMax in allen getesteten Einstellungen am schnellsten gegen torch.topk und TileLang ist.
• Minimale Qualitätseinbußen. In den 109B-MoE-Experimenten berichtet das Paper von 6B aktiven Parametern pro Token und sagt, dass MSA-CPT nach der Langkontexterweiterung nahe an der Full-Attention-Baseline bleibt. Es bewertet MMLU, GSM8K, HumanEval, RULER, HELMET und viele andere Benchmarks, während jede Abfrage 2.048 Token Aufmerksamkeit schenkt.

Die Attention-FLOPs und die Latenz pro Token bleiben bei MSA mit wachsender Sequenzlänge nahezu flach, während die dichte GQA (Grouped-Query Attention) stark ansteigt: 28,4x weniger Rechenleistung, 14,2x schnellere Prefill und 7,6x schnellere Decodierung bei extremen Sequenzlängen. Quelle: MiniMax Sparse Attention Paper.

Was Dies Ermöglicht

Der interessante Teil ist nicht nur, dass M3 mehr Token halten kann. Es ist, dass langer Kontext günstig und schnell genug wird, um in iterativen Systemen zu sitzen, die über Zeit einen Zustand aufrechterhalten müssen.

• Selbstverbessernde Agenten. Dies ist die erste Anwendung, die ich im Auge behalten würde. Ein selbstverbessernder Agent muss den aktuellen Code, frühere fehlgeschlagene Bearbeitungen, Evaluierungsprotokolle, Benchmark-Ergebnisse und seine eigenen Hypothesen im Blick behalten, während er die nächste Änderung vorschlägt. Sparse Attention löst die Evaluierung nicht, aber sie macht die langlaufende Schleife aus Vorschlagen, Validieren und Überarbeiten viel weniger anfällig dafür, unter den Kontextkosten zusammenzubrechen.
• Repository-weites Engineering. Fireworks hebt das Codeverständnis für das gesamte Repository und starkes agentisches Coding hervor. Das ist wichtig, weil echte Ingenieursarbeit selten in eine saubere Aufforderung passt. Das Debuggen über eine Codebasis hinweg, das Verfolgen von Regressionen und das Vornehmen von Änderungen an mehreren Dateien profitieren alle von einem Agenten, der das Repository, die Testausgabe und den Bearbeitungsverlauf in einer Sitzung lebendig halten kann.
• Wissenschaftliche und Systemforschung. Fireworks verweist auf lange autonome Läufe bei der Papierreproduktion und CUDA-Kernel-Optimierung. Das sind nützliche Beispiele, weil die Arbeit keine einzelne Antwort ist. Es ist eine Abfolge von Experimenten, Protokollen, Fehlschlägen, Korrekturen und Messungen, bei denen Kontinuität das Produktmerkmal ist.
• Multimodale Langzeit-Workflows. M3 ist nativ multimodal, nicht nur Text mit nachträglich hinzugefügtem Sehen. Es kombiniert langen Kontext mit nativem Bild- und Videoverständnis, sodass ein einzelner Lauf gemeinsam über Text, Code, Screenshots, Diagramme und Videobilder nachdenken kann. Das eröffnet visuell-zu-Code aus einem Mockup oder Screenshot, Videoanalyse, multimodale Dokumentenprüfung und Agenten, die visuellen Kontext zusammen mit ihrem Code und Tool-Spuren über eine lange Sitzung hinweg lebendig halten.

Aus diesem Grund ist das Modell für Entwickler interessant. Es verschiebt den langen Kontext von einer Funktion zum Lesen von Dokumenten hin zu einer Ausführungsumgebung für Agenten, die Gedächtnis, Iteration und Verifizierung benötigen.

Es ist erwähnenswert, warum dies jetzt kommt. MiniMax hat Sparse Attention während der M2-Generation eingeführt und sie beiseitegelegt, weil die Infrastruktur noch nicht ausgereift war. Für M3 lag der Fokus auf den Kernen. MSA partitioniert den Kontext in Blöcke, liest jeden Block einmal mit zusammenhängendem Speicherzugriff und schenkt nur den relevanten Blöcken Aufmerksamkeit, was es ermöglicht, mehrmals schneller zu laufen als andere Open-Sparse-Attention-Methoden, während die Qualität erhalten bleibt.

Dies steht in direktem Zusammenhang mit der Kontext-Engineering-Arbeit, auf die ich mich konzentriert habe. Seit Jahren ermutige ich Entwickler, zu kuratieren, was in das Kontextfenster gelangt. MSA ist das Modell, das lernt, zu kuratieren, worauf es innerhalb des Fensters achtet; dasselbe Prinzip wandert eine Ebene tiefer in die Architektur.

Für Entwickler und Forscher ist dies der Unterschied zwischen einer kurzen Demo und einem Werkzeug, auf das Sie sich verlassen können. Es bedeutet einen Agenten, der ein gesamtes Repository in einem Durchlauf liest, über eine vollständige Codebasis in einer einzigen, anhaltenden Sitzung debuggt oder eine Forschungsaufgabe über Stunden von Experimenten, Protokollen und Überarbeitungen trägt, ohne den Kontext zu verlieren. In den eigenen Langzeitläufen von MiniMax tauchte das stärkste Ergebnis oft tief in einer mehrstündigen Sitzung auf, lange nachdem die meisten Modelle ein Plateau erreicht und aufgehört hätten. Erschwinglicher langer Kontext ist das, was einem Agenten diese Art von Beharrlichkeit verleiht.

Das ist der Teil, den ich am überzeugendsten finde. Die Agenten, die ich baue, scheitern normalerweise nicht, weil das Modell schwach ist, sondern weil sie eine lange Aufgabe nicht aufrechterhalten können, und ein zuverlässiger langer Kontext ist die grundlegende Infrastruktur, die dies endlich angeht.

Wo Sie mit MiniMax M3 loslegen können

Für ein technisches Team ist der @FireworksAI_HQ-Punkt operativ. Das Sparse-Attention-Design von M3 wird nur dann nützlich, wenn die Serving-Ebene Latenz, Durchsatz und Kosten bei langem Kontext stabil halten kann. Fireworks sagt, dass es die Inference der ersten MiniMax-API betreibt, den schnellsten Endpunkt in der MiniMax-Modellserie bietet und M3 ab 0,60 $ pro 1 Mio. Input-Token mit serverlosen und On-Demand-Bereitstellungsoptionen bepreist. Zu diesem Preis liegt M3 bei etwa 75 % weniger als GLM 5.2 für eine vergleichbare Nutzung, was die Geschichte weniger von einem größeren Kontextfenster und mehr davon erzählt, ob Langzeit-Agenten wirtschaftlich in der Produktion laufen können.

Die Preisgestaltung ist nützlich, weil sie M3 als Aufrüstpfad von M2.7 neu definiert, nicht nur als neues Grenzmodell. Fireworks sagt, dass die Open-Weight-Launch-Preise für die standardmäßige serverlose Nutzung auf das Niveau von M2.7 gesunken sind, sodass Teams den langen Kontext und das native multimodale Verständnis von M3 erhalten, ohne einen Aufpreis gegenüber der vorherigen Generation zu zahlen.

Um M3 zu testen, verwenden Sie denselben Fireworks Chat Completions Endpunkt, den Sie auch für andere Fireworks-Modelle verwenden würden. Die Modell-ID ist accounts/fireworks/models/minimax-m3, und da das Modell multimodal ist, kann eine einzelne Anfrage Text plus Bild-URLs in derselben Nachricht enthalten.

1import json
2import requests
3
4url = "https://api.fireworks.ai/inference/v1/chat/completions"
5
6payload = {
7    "model": "accounts/fireworks/models/minimax-m3",
8    "max_tokens": 32768,
9    "temperature": 0.6,
10    "top_p": 1,
11    "top_k": 40,
12    "messages": [
13        {
14            "role": "user",
15            "content": [
16                {"type": "text", "text": "Can you describe this image?"},
17                {
18                    "type": "image_url",
19                    "image_url": {
20                        "url": "https://images.unsplash.com/photo-1582538885592-e70a5d7ab3d3?auto=format&fit=crop&w=1770&q=80"
21                    },
22                },
23            ],
24        }
25    ],
26}
27
28headers = {
29    "Accept": "application/json",
30    "Content-Type": "application/json",
31    "Authorization": "Bearer <FIREWORKS_API_KEY>",
32}
33
34response = requests.post(url, headers=headers, data=json.dumps(payload), timeout=120)
35response.raise_for_status()
36print(response.json())

Für anspruchsvollere agentische oder Reasoning-Aufgaben fügen Sie "thinking": {"type": "enabled"} zur Payload hinzu. Für Produktions-Workloads positioniert Fireworks serverlos als den schnellsten Weg zur Evaluierung und On-Demand-Bereitstellungen als die Option für vorhersagbaren Durchsatz.

Probieren Sie es hier aus: Fireworks AI