Wie weit KI gekommen ist – und was sie noch weiterbringt
Der anhaltende Fortschritt der heutigen leistungsfähigsten Modelle hängt von intelligenteren Entscheidungen vor dem Training, besseren Strategien während des Trainings und einer effizienteren Infrastruktur für beides ab – eine Arbeit, die noch weitgehend von menschlichen Forschern geleistet wird. Wenn KI diese Verbesserungen rekursiv verfolgen kann, verändert sich das Tempo des Fortschritts grundlegend: Jeder bestätigte Fortschritt verstärkt den nächsten Zyklus.
Deshalb haben wir das automatisierte KI-Forschungssystem von Apex Intelligence entwickelt, das Verbesserungen in den gesamten KI-Training-Stacks entdeckt und validiert.
In seiner ersten Evaluierung erzielte unser System drei neue offizielle SOTAs auf SLDBench SimpleTES, GPUMode TriMul (H100) und MLS-Bench Fused Causal Attention Kernel, wobei sein TriMul-Ergebnis TTT-Discover von einem Team aus Stanford, NVIDIA und anderen Institutionen übertraf. Auf NanoChat Autoresearch übertraf sein B200-Ergebnis die veröffentlichten Ergebnisse sowohl von Recursive SuperIntelligence als auch von Tencent Hunyuans Hyra und platzierte sich nahe der öffentlichen SOTA für Fixed-Budget-LLM-Training.
Dies zeigt, dass das automatisierte rekursive Forschungsparadigma von Apex auf dem Niveau – und in einigen Fällen darüber hinaus – von erstklassiger menschlicher Ingenieursarbeit und modernsten automatisierten Systemen in den Bereichen Modell-Skalierungsvorhersage, Fixed-Budget-Sprachmodell-Training und GPU-Kernel-Leistung arbeitet.
Innerhalb jedes Benchmarks läuft der Forschungszyklus autonom ab: Das System identifiziert, was verbessert werden muss, testet seine Ideen, verifiziert die Ergebnisse und lernt aus den Erkenntnissen. Diese Ergebnisse auf dem neuesten Stand schaffen stärkere Ausgangspunkte für die folgenden Zyklen – so wird Verbesserung rekursiv.
Evaluierung I: SLDBench (SimpleTES 4-Task-Protokoll)
Bevor ein großes Training beginnt, müssen Forscher die Leistung in Größenordnungen vorhersagen, die sie nicht direkt testen können. Skalierungsgesetze leiten Entscheidungen über Modellgröße, Datenzusammensetzung, Lernrate, Batch-Größe und Rechenleistung; ein Gesetz, das bei kleinen Experimenten passt, aber schlecht extrapoliert, kann ein gesamtes Trainingsbudget fehlleiten.
SLDBench verwandelt diese Unsicherheit in eine messbare Entdeckungsaufgabe, die auf mehr als 5.000 veröffentlichten LLM-Trainingsexperimenten basiert. Jedes System muss ein symbolisches Gesetz und ein Anpassungsverfahren liefern, das auf zurückgehaltene Skalierungsregime verallgemeinert. In Anlehnung an die von SimpleTES verwendete Vier-Aufgaben-Evaluierung wird unser KI-System auf parallele Skalierung, Domänenmischungs-Skalierung, Lernraten-/Batch-Größen-Co-Skalierung und U-förmige Rechenskalierung getestet.
Unter den festgelegten öffentlichen Evaluatoren verbessert unser System die bisherige öffentliche Referenz bei jeder Aufgabe und erhöht den Vier-Aufgaben-Durchschnitt von 0,8613 auf 0,8846 (+2,71 %). Der größte Zuwachs entfällt auf die U-förmige Skalierung, wo die Punktzahl von 0,4975 auf 0,5761 (+15,80 %) steigt. Die Lernraten-/Batch-Größen-Co-Skalierung verbessert sich von 0,9506 auf 0,9650 (+1,51 %), mit weiteren Zuwächsen bei der parallelen und Domänenmischungs-Skalierung. Diese Punktzahlen messen die Leistung in zurückgehaltenen Regimen und belohnen Gesetze, die auch über die zu ihrer Anpassung verwendeten Experimente hinaus genau bleiben.
Abbildung 1: Unser KI-Forschungssystem verbessert die bisherige öffentliche Referenz bei allen vier ausgewählten SLDBench-Aufgaben und erhöht die durchschnittliche zurückgehaltene Punktzahl von 0,8613 auf 0,8846. Der größte Zuwachs entfällt auf die U-förmige Skalierung. Höher ist besser.
Der deutlichste methodische Fortschritt zeigt sich bei der U-förmigen Rechenskalierung. Unser KI-System stellt die Kurve als Summe eines anhaltenden Skalierungstrends und eines lokalisierten Regimeeffekts dar, der über einen begrenzten Rechenbereich auftritt und dann abklingt. Diese Struktur verhindert, dass eine vorübergehende Umkehrung in den beobachteten Daten auf unbestimmte Zeit projiziert wird.
Der Unterschied wird entscheidend, wenn der Evaluator die letzte Phase der Kurve zurückhält. Flexible Gleichungen können die beobachtete Biegung reproduzieren, während sie in die falsche Richtung extrapolieren; die explizite Modellierung des Beginns, der Dauer und des Abklingens der transienten Komponente führt zu genaueren Vorhersagen nach dem Wendepunkt.
Das Ergebnis ist technisch bedeutsam, weil die Zerlegung die zurückgehaltene Genauigkeit verbessert und gleichzeitig interpretierbar und testbar bleibt. Es legt eine wiederverwendbare Hypothese für die Entdeckung von Skalierungsgesetzen nahe: Eine scheinbare Umkehrung kann ein vorübergehendes Regime widerspiegeln, das über einen längerfristigen Skalierungstrend gelegt ist.
Evaluierung II: NanoChat Autoresearch
Fixed-Budget-Training zwingt jede Idee dazu, sich ihren Platz zu verdienen: Verbesserungen müssen daher rühren, dass dieselbe Zeit und Hardware effektiver genutzt werden. Dies macht NanoChat Autoresearch zu einem direkten Test, ob ein KI-System schnelle Experimente in eine stärkere Modell-Training-Implementierung umwandeln kann.
NanoChat Autoresearch, veröffentlicht von Andrej Karpathy im März 2026, gibt einem Agenten eine GPU und die Freiheit, die Modellarchitektur, den Optimierer, die Hyperparameter und den Trainingscode zu modifizieren. Jedes Experiment erhält dasselbe Fünf-Minuten-Budget und wird nach Validierungs-Bits pro Byte (val_bpb; niedriger ist besser) bewertet. Das Setup hat sich seitdem zu autoresearch@home erweitert, wo menschliche Teilnehmer und KI-Agenten Experimente teilen und gegen die stärksten öffentlichen Lösungen konkurrieren.
Unter der festgelegten 300-Sekunden-Einzel-B200-Einstellung erreicht unser KI-System 0,892426 val_bpb und platziert sich damit nahe der öffentlichen Grenze. Dies übertrifft den besten veröffentlichten Einzellauf von Recursive SuperIntelligence vom Juni 2026 mit 0,903891 und den 10-Seed-Mittelwert von 0,9108745 sowie das Hyra-Ergebnis von Tencent Hunyuan vom Juli 2026 mit 0,901543. Es nähert sich dem öffentlichen Leaderboard-Führer vom September 2026, AutoTrust AIs ScienceGuru, mit 0,889522.
Abbildung 2: Vergleich der Validierungs-BPB unter dem festgelegten 300-Sekunden-Einzel-B200-Trainingsbudget. Niedriger ist besser.
Die entscheidende Verbesserung ergibt sich aus der Einbeziehung von N-Gramm-Sparsity in die Trainingsberechnung. Die ScienceGuru-Implementierung demonstriert den Wert großer N-Gramm-Speicher, doch jeder Batch greift nur auf einen kleinen Teil ihrer Zeilen zu. Unser KI-System identifiziert dichte Gradientenkosten, die im Trainingspfad verbleiben, und ersetzt sie durch einen kompakten Rückwärtsdurchlauf, der nur die vom aktuellen Batch verwendeten Zeilen aktualisiert.
Diese Änderung reduziert den Spitzen-Trainingsspeicher von etwa 177,7 GB auf 140,6 GB – eine Reduzierung um 20,9 % – bei gleichzeitiger Beibehaltung einer nahezu SOTA-Qualität. Innerhalb desselben 300-Sekunden-Budgets erreicht unser KI-System 0,892426 val_bpb, während es etwa 4,5 % weniger Token als die ScienceGuru-Implementierung verarbeitet, was zeigt, dass eine nahezu SOTA-Qualität nicht von einem höheren Token-Durchsatz abhängt.
Unser KI-System erweitert dasselbe Prinzip auf den gesamten Speicherzugriffspfad. Es fusioniert zwei N-Gramm-Tabellensuchen, Verkettung, Erkennung aktiver Zeilen und Zeilenregistrierung in einem einzigen Triton-Kernel. Der Rückwärtsdurchlauf verwendet die resultierende Zeilen-zu-Slot-Zuordnung direkt wieder, eliminiert doppelte Indexierungsarbeit und bewahrt die Sparsity von der Suche bis zum Gradienten-Update.
Dies ist ein starkes Systemergebnis, weil ein spärliches Modell keine dichten Systemkosten mehr zahlt. Dasselbe Prinzip könnte auf andere Arbeitslasten übertragbar sein, die um große Einbettungs- oder Speichertabellen herum aufgebaut sind, wenn jeder Batch nur eine kleine Teilmenge der Zeilen berührt.
Evaluierung III: GPUMode TriMul H100
Sobald ein GPU-Kernel stark optimiert ist, liegt die verbleibende Latenz selten in der offensichtlichsten Operation. Engpässe verschieben sich über Fusionsgrenzen, Tensor-Layouts und Speicherzugriffspfade hinweg, was weiteren Fortschritt zu einem Test der Engpasserkennung ebenso wie der Kernel-Erzeugung macht.
Die GPUMode TriMul-Aufgabe zielt auf das ausgehende Dreiecks-Multiplikative-Update ab, das in AlphaFold-Klasse-Proteinstrukturmodellen verwendet wird. Die Teilnehmer müssen eine numerisch korrekte Implementierung liefern, die die geometrische Mittellatenz über sieben feste Eingabeformen auf einer NVIDIA H100 minimiert. Die Aufgabe hat starke menschliche und automatisierte Lösungen angezogen, darunter TTT-Discover, veröffentlicht im Januar 2026 von Forschern von Stanford, NVIDIA, dem Astera Institute, UC San Diego und Together AI.
Über die sieben H100-Formen hinweg erreicht unser KI-System eine geometrische Mittellatenz von 1.036,1 μs. In unserer gepaarten Evaluierung auf derselben Maschine verbessert dies den stärksten von Menschen entworfenen Vergleich, stashuk-olek (1.064,9 μs), um 2,71 %. Das Ergebnis ist auch numerisch niedriger als separat gemeldete Implementierungen von shiyegao CUDA (1.074 μs), Zeyu Shen Triton (1.140 μs) und TTT-Discover (1.161 μs), während es innerhalb von 0,59 % von K-Searchs separat gemeldeten 1.030 μs liegt.
Abbildung 3: Geometrische Mittellatenz über die sieben GPUMode TriMul H100-Arbeitslasten. Unser KI-System erreicht 1.036,1 μs. Niedriger ist besser.
Öffentliche Werte stammen aus ihren jeweiligen Berichten oder Evaluierungsaufzeichnungen und sind keine gepaarten Messungen auf derselben Maschine. Unser Ergebnis von 1.036,1 μs wird lokal mit dem offiziellen Evaluator gemessen.
Bestehende Hochleistungs-TriMul-Implementierungen verwenden bereits Fusion, spezialisierte Matrixmultiplikation, Formspezialisierung und layoutbewusste Datenbewegung. Unser System treibt zunächst die Fusion auf der Produzentenseite weiter voran, erkennt dann aber abnehmende und formabhängige Renditen, wenn der Registerdruck steigt. Es verlagert die Suche folglich darauf, wie die Ausgabe des Produzenten verbraucht wird.
Für mehrere Arbeitslastformen identifiziert unser KI-System die BMM→LayerNorm-Grenze als die verbleibende Latenzquelle. Die resultierende Implementierung lädt BMM-Ausgaben entlang der zusammenhängenden physikalischen Dimension und führt die erforderliche Transponierung in Registern vor LayerNorm durch.
Das Ergebnis ist technisch bedeutsam, weil unser KI-System die Suchhypothese selbst ändert: Es erkennt, wann die Optimierung auf der Produzentenseite gesättigt ist, lokalisiert den Engpass neu über die BMM→LayerNorm-Grenze hinweg und verschiebt das Optimierungsziel entsprechend. Seine formabhängigen Pläne zeigen weiterhin, dass das System sich anpassen kann, wenn sich Engpässe über Arbeitslasten hinweg verschieben – eine Fähigkeit mit breiterem Wert als das Abstimmen eines festen Kernel-Designs.
Evaluierung IV: MLS-Bench – Fused Causal Attention Kernel (H100)
Attention ist ein großer Rechen- und Speicherengpass beim Transformer-Training und bei der Inferenz, daher wirkt sich ihre Effizienz direkt auf Modellgeschwindigkeit und -kosten aus. Moderne fusionierte Attention-Kernel sind bereits stark optimiert und lassen wenig offensichtlichen Spielraum; weitere Gewinne erfordern eine erneute Betrachtung des numerischen Algorithmus zusammen mit Scheduling und Speicherbewegung.
Die Fused Causal Attention-Aufgabe von MLS-Bench fordert KI-Systeme auf, einen OpenAI Triton fusionierten Self-Attention-Forward-Pass auf einer NVIDIA H100 zu implementieren, den Durchsatz über drei kausale Attention-Konfigurationen zu maximieren und einen maximalen absoluten Fehler unter 1e-2 zu halten. Der Benchmark enthält Ergebnisse von Grenzmodellen wie Claude Opus 4.6, GPT-5.4 und Gemini 3.1 Pro und bietet starke Baselines von Anthropic, OpenAI und Google DeepMind.
Über die drei fusionierten Attention-Konfigurationen hinweg erreicht unser System 430,7, 468,4 und 451,7 TFLOP/s über die Kopfdimensionen 64, 128 und 256. Diese Ergebnisse stellen ein neues Bestes bei allen drei Konfigurationen dar und verbessern die bisherigen Spitzenergebnisse um 27,18 %, 15,63 % bzw. 17,11 %.
Abbildung 4: Durchsatzvergleich bei den drei MLS-Bench fusionierten kausalen Attention-Arbeitslasten.
Die größte Verbesserung ergab sich aus der Vereinfachung des Online-Softmax-Pfades. Standard-FlashAttention-Implementierungen führen ein laufendes Maximum und skalieren die akkumulierten Softmax-Statistiken zur numerischen Stabilität wiederholt um. Unser automatisiertes Forschungssystem fand heraus, dass bei den MLS-Bench-Arbeitslasten die skalierten Attention-Logits in einem ausreichend engen Bereich bleiben, sodass diese wiederholte Umskalierung entfernt werden kann, während die numerische Toleranz des Benchmarks dennoch eingehalten wird.
Das resultierende reskalierungsfreie Softmax akkumuliert Exponentialwerte und gewichtete Werte direkt und normalisiert einmal am Ende. Dies verbesserte den Durchsatz um 21,0 %, 8,5 % und 19,3 % für die Kopfdimensionen 64, 128 bzw. 256.
Zusätzliche Gewinne ergaben sich aus der Optimierung formspezifischen Schedulings und der Speicherbewegung, einschließlich LPT-Scheduling und TMA. Der skalierungsfreie Pfad war das interessanteste Ergebnis, weil er eine Annahme innerhalb des numerischen Algorithmus selbst änderte: Ein für einen breiteren Betriebsbereich ausgelegter Stabilitätsmechanismus war für die bewertete Arbeitslast unnötig.
Allgemeiner deutet dieses Ergebnis auf eine breitere Chance hin: Selbst nahe der Systemgrenze können weitere Gewinne aus der erneuten Betrachtung von Annahmen erzielt werden, die typischerweise als fest betrachtet werden. In diesem Fall ging das automatisierte Forschungssystem von Apex über das Abstimmen der Parameter und Zeitpläne eines bestehenden Kernels hinaus: Es identifizierte eine numerische Sicherheitsvorkehrung, die unter dem Betriebsregime des Benchmarks sicher weggelassen werden konnte, und verwandelte diese Beobachtung in einen schnelleren Ausführungspfad. Dies ist die Art von Verhalten, die uns interessiert: Suche nicht nur zur Optimierung von Parametern und Zeitplänen zu nutzen, sondern auch die Struktur etablierter Implementierungen in Frage zu stellen.
Jenseits der Benchmarks
Ein Benchmark erfasst ein Ergebnis. Ein rekursives KI-System trägt es weiter. Über vier Benchmarks hinweg hat unser KI-Forschungssystem verifizierte Verbesserungen auf Grenzniveau erzielt. Sein Prozess folgt einer vierstufigen Schleife: Entdecken eines hochwertigen Unbekannten, Verifizieren von Kandidatenlösungen, Lernen aus den Erkenntnissen und Verbessern des nächsten Zyklus. Der nächste Schritt ist der Transfer – die Umwandlung aufgabenspezifischer Fortschritte in wiederverwendbares Wissen, das die folgenden Zyklen stärkt.
Forschung gebiert die nächste S‑Kurve. Wissenschaftliche Erkenntnisse, neuartige Forschung und entwickelte Systeme bahnen neue Wege – die Umsetzung und Skalierung dann in reale Industrien verwandeln. Wenn eine S‑Kurve ein Plateau erreicht, hängt weiterer Fortschritt davon ab, die nächste zu erschließen. Wir glauben, dass die kommende technologische Revolution dadurch definiert sein wird, dass KI als native Forschungsmaschine agiert.
KI bewegt sich vom Co-Piloten zum Mitarbeiter. Menschliches Urteilsvermögen und Vorstellungskraft leiten, was wichtig ist; KI erweitert, was erforscht werden kann. Gemeinsam können sie neue Richtungen entdecken, neue Fragen inspirieren und leistungsfähigere Modelle bauen – und so einen verstärkenden Kreislauf zwischen maschineller Entdeckung und menschlicher Vorstellungskraft schaffen. Astra zeigt, wie weit KI gekommen ist. Was bringt sie weiter? Die Fähigkeit, zu entdecken, was als Nächstes kommt.
Wir öffnen diese Ergebnisse zur Einsicht, Reproduktion und Erweiterung. Der Code, die Experimentaufzeichnungen, die entdeckten Implementierungen und die Evaluierungsmaterialien sind jetzt auf GitHub und unserer Website verfügbar.
