TL;DR
- GLM-5.2 (744B) ➔ 73,33 % Agentic Coding Avg, schlägt GPT 5.5 (70,00). 62,1 % SWE-Bench Pro, schlägt GPT 5.5 (58,6 %). MIT-Lizenz
- GLM-5.2 70B ➔ läuft auf 128 GB Unified Memory (Mac M4 Max / Strix Halo). 68,0 % Agentic Coding Avg
- Ornith-1.0 9B ➔ 69,4 % SWE-Bench Verified, läuft auf einer 900 $-GPU mit 6 GB VRAM. MIT-Lizenz
- Ornith-1.0 397B MoE ➔ 82,4 % SWE-Bench Verified, schlägt Claude Opus 4.7
- Self-Scaffolding ➔ Ornith lernt, seine EIGENE Aufgabenorchestrierung zu schreiben, keine fest codierten Regeln
- Beste Einstiegshardware: RX 7900 XTX 24 GB ➔ 900 $, amortisiert sich in 2 Monaten gegenüber der Cloud
- Beste Profi-Hardware: Mac M3 Ultra 192 GB Unified ➔ 5.500 $, läuft GLM-5.2 70B in Q8
- Lokale KI = keine Rug Pulls, keine Rate Limits, keine staatlichen Zugangssperren. Dein Code verlässt nie das Gebäude
Teil 1: Das 500-$-Pro-Monat-Problem, das über Nacht verschwand
Ich habe 500 $ pro Monat für KI-Tools bezahlt
Ich beschloss, die Kosten zu berechnen …
- 500 $/Monat × 24 Monate = 12.000 $
- Eine gebrauchte RX 7900 XTX mit 24 GB VRAM kostet 900 $
- Selbst mit 30 $/Monat Stromkosten beträgt die Gesamtsumme über 24 Monate 1.620 $
Das ist eine Kostenreduzierung von 93 %. Und welches Modell ich betreibe? Das verrate ich dir weiter unten :)
Dies ist der vollständige Leitfaden, wie ich es gemacht habe, welche Hardware du kaufen solltest und warum lokale KI die rationale Entscheidung ist
Teil 2: GLM-5.2 – Das Open-Source-Modell, das GPT 5.5 tatsächlich schlägt (+Konkurrent Claude Fable 5)
Modell
Agentic Coding Avg
Terminal-Bench 2.1
SWE-Bench Pro
SWE-Bench Verified
Lizenz
GLM-5.2 744B
73,33
81,0
62,1
77,8 %
MIT
GLM-5.2 70B
68,0
72,0
55,0
—
MIT
Claude Opus 4.8
72,0
85,0
69,2
87,6 %
Proprietär (exportkontrolliert)
GPT 5.5
70,00
83,4
58,6
—
Proprietär
Claude Opus 4.7
68,0
70,3
64,3
80,8 %
Proprietär
Ornith-1.0 397B
65,0
77,5
62,2
82,4 %
MIT
DeepSeek V4-Pro
—
67,9
55,4
80,6 %
Open
Ornith-1.0 9B
42,0
43,1
42,9
69,4 %
MIT
Was GLM-5.2 besonders macht
Merkmal
GLM-5.2
Typische Spitzenmodelle
Architektur
744B gesamt / 40B aktiv (MoE)
Dicht oder proprietär
Kontextfenster
1 M Token
1 M – 2 M
Multimodal
Text, Bild, Video, Audio
Variiert
Lizenz
MIT
Proprietär
Selbst hostbar
Ja
Nein
Feinabstimmbar
Ja
Nein
Staatliche Zugangssperre
Nein
Ja (zunehmend)
GLM-5.2 verwendet eine Mixture-of-Experts (MoE)-Architektur: 744B Parameter insgesamt, aber nur ~40B werden pro Token aktiviert. Das macht es sowohl leistungsstark als auch (relativ) effizient. Das 1-M-Token-Kontextfenster bedeutet, dass du ganze Codebasen, Dokumentationen und Gesprächsverläufe ohne Kürzung einspeisen kannst
Teil 3: Ornith-1.0
ORNITH-1.0
Was ist Self-Scaffolding?
Traditioneller Agent:
1Mensch schreibt Gerüst → LLM löst Aufgabe → Ausgabe2 (fest) (lernt)
Ornith Self-Scaffolding:
1LLM erzeugt EIGENES Gerüst → LLM löst Aufgabe mit diesem Gerüst → Belohnung → Aktualisiert SOWOHL Gerüst ALS AUCH Lösung2 (lernt) (lernt) (RL-Schleife)
Der entscheidende Unterschied: Bei Ornith-1.0 lernt das Modell nicht nur, Aufgaben zu lösen, sondern auch, die Strategie zu deren Lösung zu schreiben
Drei Schutzebenen gegen Reward Hacking:
- Feste Umgebung => das Modell kann keine Testdateien fälschen
- Deterministischer Monitor => verfolgt Regelverstöße in Echtzeit
- Eingefrorener LLM-Richter => unabhängiger Richter, der verdächtige Lösungen ablehnt
Ornith-1.0: Das kleine Modell, das über sich hinauswächst
Modell
Parameter
SWE-Bench Verified
Terminal-Bench 2.1
VRAM (Q4)
Am besten geeignet für
Ornith-1.0 9B
9B Dense
69,4 %
43,1
~6 GB
Consumer-GPUs, tägliches Coden
Ornith-1.0 35B MoE
35B (~3B aktiv)
75,6 %
64,2
~22 GB
Enthusiasten-GPUs
Ornith-1.0 397B MoE
397B MoE
82,4 %
77,5
~220 GB
Enterprise-Cluster
Teil 5: Der vollständige Hardware-Leitfaden. Von 900 $ bis 5.500 $
Regel Nr. 1: Der Speicher entscheidet über alles
Die Rechnung ist einfach:
- ~0,5 GB VRAM pro 1B Parameter (bei Q4-Quantisierung)
- 32B-Modell = ~20 GB VRAM nur für die Gewichte
- Kontextfenster mietet Platz aus demselben Pool – ein langes kann 10 GB fressen
Mindestschwelle für echte Arbeit:
- 24 GB VRAM – Einstiegsniveau (Ornith 9B, Llama 8B, Qwen 32B Q4, GLM-5.2 70B teilweise)
- 32+ GB VRAM – komfortables Niveau (Ornith 35B, Llama 70B Q4)
- 128+ GB Unified Memory – Enthusiasten (GLM-5.2 70B vollständig, alles was du willst)
Hardware-Vergleich: Preis vs. Leistung
Hardware
VRAM
Preis (Juli 2026)
tok/s (Llama 3.1 8B Q4)
Am besten geeignet für
Einschränkungen
RTX 3090 gebraucht
24 GB
~
$
800
~110
Budget-Einstieg
Gebraucht, kein FP8, alte Architektur
RX 7900 XTX
24 GB
~
$
900
~119
Bestes Preis-/Leistungsverhältnis
ROCm-Ökosystem, kein FP8, ~30 % langsamer als CUDA
RTX 4090
24 GB
~
$
1.800
~158
Maximale Geschwindigkeit auf 24 GB
Teuer, nicht mehr in Produktion
RTX 5090
32 GB
~
$
3.000
~220
Zukunftssicher
Sehr teuer
Mac M4 Max
128 GB Unified
~
$
3.500
~85
Leiser Betrieb, Mobilität
Langsamer als GPU, MLX-Ökosystem
Strix Halo (Ryzen AI Max+ 395)
128 GB Unified
~
$
4.000
~95
Offene Plattform, ROCm
Neu, wenige Bewertungen
Mac M3 Ultra
192 GB Unified
~
$
5.500
~140
Maximaler Unified Memory
Am teuersten
BUDGET-EMPFEHLUNGEN
Budget 800–1.000 $. Der Einstiegs-Stack:
1RX 7900 XTX 24 GB — 900 $2+ Ornith-1.0 9B (Q4)
- Läuft: Ornith 9B, Llama 3.1 8B, Qwen 3 32B Q4
- Amortisiert sich gegenüber der Cloud: ~2 Monate bei moderater Nutzung
- Derzeit das beste Preis-Leistungs-Verhältnis bei lokaler KI
Budget 1.500–2.000 $. Der Power-User:
1RTX 4090 24 GB — 1.800 $2+ Ornith-1.0 35B MoE (Q4)
- Läuft: alles oben Genannte + Ornith 35B MoE, Llama 70B Q4
- Amortisiert sich: ~3,5 Monate
Budget 3.500–5.500 $. Der Enterprise-/GLM-5.2-Stack:
1Mac M4 Max 128 GB — 3.500 $2ODER Strix Halo 128 GB — 4.000 $3ODER Mac M3 Ultra 192 GB — 5.500 $4+ GLM-5.2 70B (Q4 oder Q8)
- Läuft: GLM-5.2 70B vollständig, alles andere
- Dies ist der Stack, der GPT 5.5 beim agentischen Coden schlägt
Kostenvergleich: Cloud vs. Lokal (24 Monate)
Szenario
Cloud (24 Mo.)
Lokal (24 Mo.)
Ersparnis
Leichte Nutzung (50 $/Mo.)
1.200 $
RX 7900 XTX: 1.620 $
-420 $
Moderate Nutzung (200 $/Mo.)
4.800 $
RX 7900 XTX: 1.620 $
+3.180 $
Starke Nutzung (500 $/Mo.)
12.000 $
RTX 4090: 2.520 $
+9.480 $
Enterprise (1.000 $/Mo.)
24.000 $
Mac M3 Ultra: 5.780 $
+18.220 $
FAZIT: Bei moderater Nutzung amortisiert sich die lokale Hardware in 2–3 Monaten. Bei starker Nutzung ist der Unterschied atemberaubend. Meine 93 % Kostenreduzierung ist real
Teil 6: Was läuft auf was? Die vollständige Kompatibilitätsmatrix
Modell
Q4 VRAM
Q8 VRAM
24 GB GPU
32 GB GPU
128 GB Unified
192 GB Unified
Ornith-1.0 9B
~6 GB
~11 GB
PASST
PASST
PASST
PASST
Ornith-1.0 35B MoE
~22 GB
~40 GB
PASST
PASST
PASST
PASST
GLM-5.2 70B
~42 GB
~80 GB
NEIN
~ TEILWEISE
PASST
PASST
GLM-5.2 744B
~450 GB
~800 GB
NEIN
NEIN
NEIN
NEIN
Llama 3.1 8B
~5 GB
~9 GB
PASST
PASST
PASST
PASST
Llama 3.3 70B
~42 GB
~80 GB
NEIN
~ TEILWEISE
PASST
PASST
Qwen 3 32B
~20 GB
~38 GB
PASST
PASST
PASST
PASST
DeepSeek V4
~35 GB
~65 GB
~ TEILWEISE
~ TEILWEISE
PASST
PASST
📝
REGEL:
Betreibe ein KLEINERES Modell in HOHER Qualität, nicht ein
GRÖSSERES
Modell in
NIEDRIGER
Qualität. Ein scharfes 27B in Q8 schlägt ein lobotomisiertes 70B in Q4
Teil 7: Inferenzgeschwindigkeit in der Praxis
Modell
RTX 4090
RX 7900 XTX
Mac M4 Max
Strix Halo
Komfort
Ornith 9B Q4
180
145
95
105
Hervorragend
Ornith 35B Q4
65
52
35
38
Gut
GLM-5.2 70B Q4
28
22
15
18
Langsam, aber nutzbar
GLM-5.2 744B Q4
8
6
4
5
Nur Enterprise
Llama 3.1 8B Q4
158
119
85
95
Hervorragend
Qwen 3 32B Q4
42
33
22
28
Akzeptabel
KOMFORT-SCHWELLE: 30 tok/s – Minimum für flüssiges Arbeiten. 100+ tok/s – ideal. GLM-5.2 70B mit 28 tok/s auf der RTX 4090 ist langsam, aber für ernsthafte Aufgaben nutzbar. Für tägliches Coden ist Ornith 9B mit 180 tok/s butterweich
Teil 8: Wie du es einrichtest. Der vollständige Stack
Drei Komponenten
1┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐2│ 1. ENGINE │────→│ 2. GERÜST │────→│ 3. EDITOR │3│ (führt Modell │ │ (gibt Modell │ │ (VS Code, │4│ aus) │ │ einen Körper) │ │ Cursor, etc) │5│ │ │ │ │ │6│ Ollama, │ │ Aider, │ │ Verbinde mit │7│ llama.cpp, │ │ OpenCode, │ │ localhost │8│ vLLM │ │ OpenHands │ │ │9└─────────────────┘ └─────────────────┘ └─────────────────┘
Option A: Schnellstart. Ornith-1.0 9B auf Ollama (5 Minuten)
Schritt 1: Ollama installieren
1# Linux/macOS2curl -fsSL https://ollama.com/install.sh | sh34# Windows — von ollama.com herunterladen
Schritt 2: Ornith-1.0 ausführen
1# 9B-Modell herunterladen und ausführen2ollama run ornith:9b34# Oder 35B MoE (erfordert 24 GB+ VRAM)5ollama run ornith:35b
Schritt 3: GPU-Nutzung überprüfen
1# Linux (AMD)2rocm-smi34# Linux (NVIDIA)5nvidia-smi67# macOS8ollama ps
Schritt 4: Editor verbinden
- VS Code: „Continue" installieren → http://localhost:11434
- Cursor: Einstellungen → KI-Anbieter → Ollama → http://localhost:11434
- Aider: aider --model ollama/ornith:9b
Option B: Fortgeschritten. GLM-5.2 mit llama.cpp
Für NVIDIA (CUDA):
1git clone https://github.com/ggerganov/llama.cpp2cd llama.cpp3cmake -B build -DGGML_CUDA=ON4cmake --build build -j56# GLM-5.2 70B Q4 ausführen7./build/bin/llama-server \8 -m glm-5.2-70b-q4.gguf \9 -ngl 999 \10 -c 32768 \11 --host 0.0.0.0 \12 --port 8080
Für AMD (ROCm 7.x):
1# ROCm installieren2wget https://repo.radeon.com/amdgpu-install/latest/ubuntu/jammy/amdgpu-install_latest_all.deb3sudo apt install ./amdgpu-install_latest_all.deb4sudo amdgpu-install --usecase=rocm,hiplibsdk -y5sudo usermod -aG render,video $USER6sudo reboot78# llama.cpp mit HIP9git clone https://github.com/ggerganov/llama.cpp10cd llama.cpp11HIPCXX="$(hipconfig -l)/clang" \12HIP_PATH="$(hipconfig -R)" \13cmake -B build -DGGML_HIP=ON -DAMDGPU_TARGETS=gfx110014cmake --build build -j1516# Ausführen17./build/bin/llama-server -m glm-5.2-70b-q4.gguf -ngl 999 -fa
Für Apple Silicon (MLX):
1pip install mlx-lm23# GLM-5.2 ausführen4python -m mlx_lm.server --model glm/glm-5.2-70b
Option C: Produktion. vLLM
1# NVIDIA2docker run --gpus all -p 8000:8000 vllm/vllm-openai:latest \3 --model glm/glm-5.2-70b --quantization awq45# AMD6docker run --device /dev/kfd --device /dev/dri \7 --group-add video --group-add render \8 --security-opt seccomp=unconfined \9 -p 8000:8000 rocm/vllm:latest \10 vllm serve glm/glm-5.2-70b --quantization awq
Teil 9: Die Hybrid-Strategie. Das Beste aus beiden Welten
1┌─────────────────────────────────────────────────────────────┐2│ HYBRID-STRATEGIE │3├─────────────────────────────────────────────────────────────┤4│ SPITZENMODELL (Cloud) │ LOKALE KI │5│ ─────────────────── │ ─────────────────── │6│ • Claude Opus 4.8 für │ • GLM-5.2 70B für │7│ schwierigste Aufgaben │ agentisches Coden │8│ • GPT 5.5 für langen │ (schlägt GPT 5.5) │9│ Kontext (>1 M) │ • Ornith 9B für tägliche │10│ • Unbekannte Aufgaben │ Autovervollständigung │11│ │ & Bearbeitungen │12│ │ • Refactoring, Tests, │13│ │ Routineaufgaben │14│ 200–500 $/Monat │ 0 $ nach Hardwarekauf │15└─────────────────────────────────────────────────────────────┘
Die 80/20-Regel:
- 80 % deiner Aufgaben – lokales Modell (GLM-5.2 70B oder Ornith 9B)
- 20 % schwierigste – Eskalation in die Cloud (Claude Opus 4.8, GPT 5.5)
- Ersparnis: 60–80 % gegenüber reinem Cloud-Ansatz
Teil 10: Endgültige Entscheidungstabelle
Du
Empfehlung
Hardware
Budget
Modell
Student / Junior
Starte mit Ollama auf vorhandener Hardware
Was du hast
0 $
Ornith 9B
Indie-Entwickler
RX 7900 XTX + Ornith 9B/35B
24 GB GPU
900 $
Ornith 9B/35B
Startup (2–5 Personen)
2x RTX 3090 NVLink oder RTX 4090
48 GB gesamt
1.600–1.800 $
Ornith 35B, GLM-5.2 70B
Enterprise / NDA
Mac M3 Ultra 192 GB oder Strix Halo 128 GB
Unified Memory
4.000–5.500 $
GLM-5.2 70B
KI-Forscher
RTX 5090 32 GB + Cloud für Spitzenmodelle
32 GB + Cloud
3.000 $ + Abo
Hybrid
Datenschutz-paranoid
Strix Halo 128 GB + Linux
Volle Kontrolle
4.000 $
GLM-5.2 70B
Fazit
Das Modell in der Kiste unter deinem Schreibtisch kann nicht rug-gepullt, nicht neu bepreist, nicht unter dir weg vom Markt genommen werden. Es ist langsamer, es ist weniger klug als die absolute Spitze ➔ aber es gehört dir. Für eine wachsende Zahl von Entwicklern ist dieses letzte Wort das, was die Waage endgültig ausschlagen lässt
Folge @beamnxw für mehr Alpha zu Spitzenmodellen, lokaler KI und dem, was wirklich zählt
Ressourcen und Links
Ressource
Link
GLM-5.2 Hugging Face
GLM-5.2 Benchmarks
Ornith-1.0 Hugging Face
Ornith-1.0 Benchmarks
https://ornith.site/benchmarks/
DeepReinforce Blog
https://deep-reinforce.com/ornith_1_0.html
Ollama
llama.cpp
https://github.com/ggerganov/llama.cpp
vLLM
https://github.com/vllm-project/vllm
AMD ROCm Leitfaden
https://localaimaster.com/blog/radeon-7900-xtx-local-ai
Aider (Coding-Agent)
OpenCode (Coding-Agent)
