Irgendwo auf der Welt zahlt gerade ein Entwickler 200 Dollar im Monat für KI und hat nie nachgerechnet. ChatGPT Plus, Claude Pro, Cursor, API-Kosten, die jeden Monat leise ansteigen. Es verlängert sich ewig, und ewig ist eine lange Zeit, um etwas zu mieten, das man besitzen könnte.
Es gibt eine andere Denkweise. Eine Box, die in deinem Haus steht, KI lokal ausführt, ein paar Dollar im Monat an Strom kostet, deine Daten auf deinem eigenen Gerät behält und niemals ein einziges Byte an einen fremden Server sendet.
Lokale KI im Jahr 2026 ist nicht mehr der traurige Kompromiss von vor zwei Jahren. Bessere Quantisierung, schlankere Modellarchitekturen und Chips mit Unified Memory bedeuten, dass eine Maschine auf deinem Schreibtisch jetzt vielleicht 80 % der täglichen KI-Arbeit erledigt: Schreiben, Programmierhilfe, Dokumentenanalyse, Zusammenfassen, Klassifizieren, Automatisierungen, Fragen über deine eigenen Dateien beantworten. Die anderen 20 %, die Frontier-Reasoning und hochmoderne Programmierung, gehören immer noch der Cloud. Aber diese 20 % rechtfertigen keine 200-Dollar-Rechnung, wenn eine einmalige Box den Rest abdeckt.
Das ist die Leiter. Zehn Sprossen, von der Maschine, die du bereits besitzt, bis zu einem Desktop-Supercomputer, und die ehrlichen Kompromisse auf jeder Stufe.
Die eine Idee, die alles verändert
Du kaufst keine Geschwindigkeit. Du kaufst Speicher.
Jede „es läuft nicht“-Geschichte führt auf dieselbe Hürde zurück: ein Modell, das nicht in den Speicher der Box passt. Ein Modell lädt entweder oder nicht. Geschwindigkeit entscheidet nur, wie es sich anfühlt, wenn es läuft; Speicher entscheidet, ob es überhaupt läuft.
Die ganze Leiter ist also eigentlich eine Speicherleiter. 8 GB betreiben ein 7B-Modell. 24 GB betreiben ein 32B-Modell komfortabel. 128 GB betreiben ein 70B-Modell und beginnen, mit den wirklich großen zu flirten. Lies jede Sprosse unten durch diese Linse, und beachte das Muster: Die Boxen, die am weitesten reichen, sind die mit Unified Memory, bei denen CPU und GPU einen großen gemeinsamen Pool nutzen, anstatt um einen kleinen abgeschotteten VRAM-Brocken zu kämpfen.
Eine Einschränkung vor den Spezifikationen, die für die gesamte Liste gilt: Eine globale DRAM-Knappheit treibt die Speicherpreise bis 2026 nach oben, nicht nach unten. Jede Zahl hier ist ungefähr und steigt, was ein Argument dafür ist, die Box zu kaufen, die du tatsächlich nutzen wirst, anstatt auf einen Rückgang zu warten, der vielleicht nicht kommt.
Die Leiter
Sprosse 1. Die Maschine, die du bereits besitzt (0 €)
Bevor du etwas ausgibst, beweise den Workflow auf dem, was bereits auf deinem Schreibtisch steht. Jedes Laptop mit 8 GB RAM betreibt ein 7B-Modell über Ollama. Es wird nicht schnell sein, aber es beantwortet die einzige Frage, die zählt: Ist lokale KI gut genug für das, was du tatsächlich tust? Verbringe ein Wochenende hier, bevor du einen Cent woanders ausgibst.
Sprosse 2. Raspberry Pi 5, 16 GB (ca. 120 €)
Die Tüftler-Sprosse. Ein Pi 5 mit 16 GB betreibt 1B- bis 3B-Modelle über Ollama, langsam. Das ist kein täglicher Arbeitspferd, sondern ein Proof of Concept, das du in einer Schublade laufen lassen kannst: ein winziger, immer eingeschalteter Assistent, ein Hausautomations-Gehirn, ein Wochenendprojekt. Kaufe es, um zu lernen, nicht um zu arbeiten.
Sprosse 3. NVIDIA Jetson Orin Nano Super (249 €)
Der günstigste ernsthafte Einstieg. Eine echte NVIDIA GPU in einer Box kleiner als ein Geldbeutel.
1AI performance: 67 TOPS2GPU: 1024-core Ampere3RAM: 8GB LPDDR5 (shared)4Power: 7-25W5Runs well: Llama 3.2 3B, Mistral 7B, Gemma 2, DeepSeek 1.5B
67 TOPS betreiben ein 7B-Modell privat und für immer. Die 7B-Klasse ist schnell genug, um sich sofort anzufühlen, und gut genug für die meisten täglichen Aufgaben. Es wird nichts über 7B oder lange Kontexte anfassen, die 8 GB übersteigen, aber bei 100 €/Monat an Abos amortisiert es sich in zehn Wochen.
Sprosse 4. Apple Mac mini M4 (ab 599 €)
Der standardmäßige, leise KI-Heimserver, wegen Unified Memory. Bei einem normalen PC ist der VRAM der GPU eine harte Grenze. Apple teilt den Speicher zwischen CPU und GPU, daher läuft der Mac mini größer, als sein Datenblatt vermuten lässt, bleibt nahezu lautlos und verbraucht wenig Strom.
1Chip: Apple M42Unified memory: 16-32GB (shared CPU + GPU)3Power: 10-30W under load424/7 power cost: roughly $3-8/month5Runs well: Llama 3.2, Mistral 7B, Qwen 2.5, Phi-3 Medium
Er macht alles, was der Jetson kann, plus größere Modelle, längere Kontexte und mehrere Dienste gleichzeitig. Das ist die Box, die Leute rund um die Uhr laufen lassen, als Backend für ihre Automatisierungen. Die 599 € sind der Basispreis, und Apple verlangt ordentlich für Speicher. Für lokale KI ist der Speicher der Punkt, also konfiguriere das, was du wirklich brauchst, nicht den Einstiegspreis.
Sprosse 5. Gebrauchte RTX 3090, 24 GB (ca. 700 € für die Karte)
Die Wertlegende, die sich weigert zu sterben. Sechs Jahre alt und immer noch das beste VRAM-pro-Euro auf dem Verbrauchermarkt. Eine gebrauchte 3090 gibt dir 24 GB schnellen Speicher für etwa 700 €, genug, um 24B- bis 32B-Modelle mit echtem Durchsatz zu betreiben, mit voller CUDA-Unterstützung, sodass jedes Tool sofort funktioniert.
1VRAM: 24GB GDDR6X2Bandwidth: ~936 GB/s3Used price: ~$600-800 (card only)4Runs well: Qwen 32B, Llama 3.1 8B-70B (quantized), most 32B-class
Der ehrliche Stern: Eine GPU ist kein Computer. Du brauchst einen Host-PC drumherum, also kalkuliere noch 400 bis 600 € für den Rest der Maschine ein. Aber wenn du bereits einen Desktop mit einem freien Steckplatz und einem ausreichend großen Netzteil hast, gibt dir nichts sonst auf dieser Leiter 24 GB so günstig.
Sprosse 6. AMD Radeon RX 7900 XTX, 24 GB (ca. 900 € für die Karte)
Die gleichen 24 GB wie die 3090, neu, mit Garantie, und die AMD-Software hat endlich aufgeholt. Auf ROCm 7.x läuft die 7900 XTX Llama 3.1 8B mit etwa 96 Tokens pro Sekunde, etwa drei Viertel einer RTX 4090 zu einem Bruchteil des Preises. Für reines VRAM-pro-Euro auf neuer Hardware kommt nichts von NVIDIA auf Verbraucherebene an sie heran.
1VRAM: 24GB GDDR62Software: ROCm 7.x (first-class support)3New price: ~$899-1,400 (card only)4Runs well: Llama 3.1 8B (~96 tok/s), 32B-class quantized
Der Haken ist derselbe, der AMD überall verfolgt: ROCm hat die Lücke zu CUDA größtenteils geschlossen, aber einige Tools gehen immer noch standardmäßig von NVIDIA aus. Für Ollama und Open WebUI funktioniert es heute gut. Für exotische Fine-Tuning-Stacks sind ein paar manuelle Schritte zu erwarten.
Sprosse 7. AMD Ryzen AI Max+ 395 "Strix Halo", 128 GB (ca. 1.999 €)
Der Sweet Spot des Jahres 2026, und die Box, die die meisten dieser Listen vergessen. AMDs Strix-Halo-Chip kombiniert einen 16-Kern-Zen-5-CPU mit einer großen RDNA-3.5-iGPU und bis zu 128 GB Unified Memory in einer kleinen Box, für etwa das, was ein NVIDIA-Desktop mit einem Viertel des Speichers kostet.
1Chip: Ryzen AI Max+ 395 (16-core Zen 5)2GPU: Radeon 8060S (40-core RDNA 3.5)3NPU: XDNA 2, 50 TOPS (~126 TOPS system-wide)4Unified memory: up to 128GB LPDDR5X (~96GB usable as VRAM)5Price: ~$1,999 for 128GB / 2TB6Runs well: Llama 3.3 70B, Mixtral, most 70B-class models
Du kaufst sie auf zwei Arten. Der GMKtec EVO-X2 ist ein fertiger 128-GB-Mini-PC für etwa 1.999 €. Der Framework Desktop ist der gleiche Chip in einem reparierbaren, aufrüstbaren Gehäuse, ab 1.999 € für das Board und etwa 2.850 € komplett aufgebaut. In beiden Fällen lädst du ein 70B-Modell in Gesprächsgeschwindigkeit, was nichts unterhalb dieser Sprosse kann. Die Reife von ROCm ist der Kompromiss, wie bei Sprosse 6.
Sprosse 8. NVIDIA RTX 5090, 32 GB (ca. 3.000 € für die Karte)
Das Schnellste, was ein normaler Mensch in einen normalen Tower stecken kann. 32 GB des schnellsten Consumer-Speichers, der je hergestellt wurde, und Rohgeschwindigkeit, die alles darunter hinter sich lässt. Dies ist die Sprosse für Leute, die lokale Inferenz auf Frontier-Niveau und gelegentliches Training wollen, und denen Tokens pro Sekunde wichtiger sind als Dollar pro Gigabyte.
1VRAM: 32GB GDDR72New price: ~$3,000+ (card only)3Runs well: 32B at speed, 70B quantized, image and video models
Die Mathematik ist jedoch brutal. Sie kostet das Drei- bis Vierfache einer gebrauchten 3090 für 8 GB mehr Speicher, plus einen Host-PC obendrauf. Kaufe sie, weil du die Geschwindigkeit und den zusätzlichen Spielraum brauchst, nicht weil sie effizient ist. Das ist sie nicht.
Sprosse 9. Apple Mac Studio M3 Ultra, 96 GB (ab 3.999 €)
Die große, leise Workstation mit Unified Memory. Das Mac Studio bündelt bis zu 96 GB über CPU und GPU mit Metal-Beschleunigung, betreibt große Modelle nahezu lautlos und tut dies in einer Box, die auf einen Schreibtisch passt, ohne Düsentriebwerk-Lüfterkurve.
1Chip: M3 Ultra (up to 32-core CPU / 80-core GPU)2Unified memory: up to 96GB3Price: from $3,9994Runs well: 70B-class models, long context, multiple services
Ehrlich gesagt: Apple hat die 512-GB-Konfiguration Anfang 2026 eingestellt, als die DRAM-Knappheit zuschlug, also ist 96 GB jetzt die Obergrenze, wo es früher viel höher hinausging. Dennoch: Für eine leise Alltagsmaschine, die große Modelle betreibt und sich gleichzeitig als dein eigentlicher Computer nutzen lässt, gibt es wenige Dinge, mit denen es so angenehm ist zu leben.
Sprosse 10. NVIDIA DGX Spark, 128 GB (3.999 bis 4.699 €)
Der Desktop, der denkt, er sei ein Rechenzentrum. Zum Fine-Tuning offener Modelle, zum Hosten von Assistenten mit 70B+ und zum Ausführen von Inferenz-Pipelines, die echten Durchsatz benötigen.
1Chip: GB10 Grace Blackwell2AI throughput: 1 PFLOP3Unified memory: 128GB LPDDR5x4Storage: 4TB Gen5 NVMe5Power: 150-240W under load6Best for: 70B-200B models, fine-tuning, production inference
128 GB Unified Memory laden Modelle, die eine Consumer-GPU nicht einmal öffnen kann, und zwei verbundene Einheiten erreichen das 400B-Territorium. Preislich ehrlich: Sie wurde im Oktober 2025 für 3.999 € eingeführt und ist seitdem aufgrund der Speicherknappheit auf etwa 4.699 € gestiegen (Tom's Hardware). Neben der Strix-Halo-Box auf Sprosse 7 kostet sie etwa doppelt so viel für die gleichen 128 GB. Du zahlst für CUDA-Reife und Durchsatz, nicht für mehr Speicher.
Die ehrliche Rechnung
1Typical monthly AI spend:2ChatGPT Plus $203Claude Pro $204Cursor Pro $205API costs $50-2006Total $110-260 / month78Local AI monthly:9Hardware $0 (already bought)10Electricity $2-1511API $012Total $2-15 / month
Bei 100 €/Monat an Abos amortisiert sich ein Jetson für 249 € in zehn Wochen, ein Mac mini für 599 € in sechs Monaten, ein gebrauchter 3090-Build in unter einem Jahr, eine Strix-Halo-Box für 2.000 € in etwa achtzehn Monaten und die Sprossen ab 4.000 € nur, wenn du ohnehin Cloud-GPU-Miete im vierstelligen Bereich pro Monat verbrannt hast.
Jetzt der Teil, den der Hype immer überspringt. Die Box sind versunkene Kosten, und sie „rechnet sich“ nur, wenn du das Abo tatsächlich weiter bezahlt hättest. Eine Maschine für 2.000 € zu kaufen, um 20 € im Monat zu sparen, ist ein schlechteres Geschäft als das Abo, nicht ein besseres. Die richtige Sprosse ist die, die zu deiner tatsächlichen Nutzung passt, nicht zu der Fantasieversion davon.
Welche Sprosse ist deine
Leichte tägliche Nutzung und Neugier: Starte auf Sprosse 1, dann kaufe den Jetson. Ein leiser, immer eingeschalteter Assistent für einen Haushalt oder ein kleines Unternehmen: der Mac mini. Der günstigste Weg zu echten 24 GB und 32B-Modellen: eine gebrauchte 3090 oder die RX 7900 XTX, wenn du neu mit Garantie willst und ROCm nichts ausmacht. Die beste 70B-Erfahrung ohne Rechenzentrumsbudget: die Strix-Halo-Box. Maximale Consumer-Geschwindigkeit: die RTX 5090. Eine leise Workstation mit viel Speicher, in der du auch lebst: das Mac Studio. Fine-Tuning und Produktions-Pipelines: der DGX Spark.
Das Setup, das einen Nachmittag dauert
Der Prozess ist auf jeder Sprosse identisch.
1. Installiere Ollama. Open Source, verwandelt jedes Modell in eine lokale API, die die Sprache von OpenAI spricht.
1curl -fsSL https://ollama.com/install.sh | sh
2. Lade ein Modell herunter, das auf den Speicher deiner Box abgestimmt ist.
1# 8GB Jetson or 16GB Mac mini:2ollama pull llama3.234# 24GB 3090 / 7900 XTX:5ollama pull qwen2.5:32b67# 128GB Strix Halo / DGX Spark:8ollama pull llama3.3:70b
3. Ändere eine Zeile in deinem vorhandenen Code.
1# Before, paying per request:2client = OpenAI(api_key="sk-...")34# After, local and free:5client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
Dein Code läuft gleich. Nichts verlässt die Maschine, nichts kostet Geld pro Anfrage.
4. (Optional) Füge eine Browser-Oberfläche mit Open WebUI hinzu, und du hast ein privates ChatGPT unter localhost:3000.
1docker run -d -p 3000:8080 \2 --add-host=host.docker.internal:host-gateway \3 -v open-webui:/app/backend/data \4 ghcr.io/open-webui/open-webui:main
Was du tatsächlich darauf laufen lassen solltest
Die Hardware ist die eine Hälfte der Entscheidung. Das Modell ist die andere. Eine grobe Karte für 2026:
Klein und schnell (passt in 8-16 GB): Llama 3.2 3B, Gemma 2, Phi-3, Mistral 7B. Großartig zum Entwerfen, Klassifizieren und für Q&A über deine eigenen Notizen. Die Arbeitstier-Stufe (passt in 24 GB): Qwen 2.5 32B und quantisiertes Llama, stark genug für echte Programmierhilfe und Dokumentenarbeit. Die schwere Stufe (benötigt 64-128 GB): Llama 3.3 70B und die großen Qwen- und Mixtral-Varianten, bei denen lokale Ausgabe für alltägliche Aufgaben beginnt, sich wie ein Cloud-Modell anzufühlen.
Quantisierung ist der stille Hebel unter all dem. Ein 70B-Modell in 4-Bit-Quantisierung passt dorthin, wo die Version in voller Präzision niemals hinkäme, und das zu einem kleinen und meist akzeptablen Qualitätsverlust. Q4 bis Q6 ist der vernünftige Bereich für die meisten Leute. Darunter fällt die Qualität schneller, als die Speichereinsparungen wert sind.
Was du baust, wenn es läuft
Für den persönlichen Gebrauch deckt es den täglichen Bedarf für ein paar Euro im Monat. Der interessante Teil ist die Geschäftsautomatisierung, bei der du das lokale Modell in n8n einbindest, das Open-Source-Tool, das es mit Telegram, E-Mail, Kalender, CRM und Hunderten von Diensten verbindet. Jede dieser Aktionen läuft, ohne dass etwas dein Gebäude verlässt und ohne Kosten pro Token:
1KI-Rezeptionist:2Client-Nachrichten auf Telegram -> n8n empfängt sie -> lokales Modell liest die Absicht3-> Kalender prüft Verfügbarkeit -> Buchung bestätigt45Dokumentenanalyse:650 PDFs reinwerfen -> lokales Modell liest sie alle -> zieht Schlüsselfakten7-> schreibt einen strukturierten Bericht89Tägliches Briefing:107 Uhr Auslöser -> Modell liest deine Notizen und Aufgaben -> fasst zusammen, was wichtig ist11-> sendet es an dein Telefon1213Lead-Anreicherung:14Neue Zeile in einer Tabelle -> Modell recherchiert das Unternehmen -> entwirft einen maßgeschneiderten Einstieg15-> stellt ihn zur Überprüfung bereit1617Content-Repurposing:18Eine lange Aufnahme -> Modell transkribiert und schneidet sie -> schreibt die Beiträge19-> speichert Entwürfe zur Freigabe2021Posteingang sortieren:22Neue E-Mail -> Modell sortiert, kennzeichnet und entwirft eine Antwort -> du drückst Senden oder bearbeitest
Für datenschutzsensible Arbeit ist es keine Kostenentscheidung mehr, sondern die einzig richtige. Rechtsdokumente, medizinische Unterlagen, Finanzdaten, alles unter NDA hat nichts in einer Drittanbieter-API zu suchen. Lokale KI verarbeitet es auf deiner Maschine und es verlässt sie nie.
Was tatsächlich schiefgeht
Die 20 % sind real. Frontier-Modelle sind immer noch besser bei schwierigem Reasoning, hochmoderner Programmierung und Forschung, wo die eine beste Antwort zählt. Lokale KI ist das zuverlässige, private, immer eingeschaltete Arbeitstier für die anderen 80 %, kein Ersatz für alles. Behalte ein Cloud-Abo für die harten 20 % und betreibe den Rest zu Hause, dann hast du beides.
Speicher ist die Grenze, nicht TOPS. Kaufe für die Modellgröße, die du betreiben willst, und denke daran, dass Boxen mit Unified Memory weiter reichen als ein spezifikationsgleicher PC mit separatem VRAM.
Eine GPU ist kein Computer. Die Sprossen 3090, 7900 XTX und 5090 benötigen alle einen Host-PC drumherum. Der Kartenpreis ist nicht der Systempreis, also rechne 400 bis 600 € hinzu, bevor du mit einem fertigen Mini-PC vergleichst.
Die Preise steigen. Die DRAM-Knappheit hat den DGX Spark bereits um 18 % verteuert und Apple gezwungen, sein 512-GB-Mac Studio einzustellen. Das gute Angebot von heute kann im nächsten Quartal mehr kosten.
AMD spart Geld und kostet Zeit. Strix Halo und die 7900 XTX geben dir das meiste Speicher-pro-Euro, aber ROCm hinkt CUDA bei der Plug-and-Play-Werkzeugunterstützung hinterher. In Ordnung für Ollama heute, mehr Geduld für schweres Training erforderlich.
Hitze, Lärm und Quantisierung sind das Kleingedruckte. Große GPU-Builds sind laut und warm. Aggressive Quantisierung spart Speicher, kostet aber Qualität, wenn man es übertreibt. Keines davon ist ein Ausschlusskriterium, aber niemand erwähnt sie im Verkaufsgespräch.
Zwei Dinge, die du jetzt tun solltest
Probiere es zuerst kostenlos aus. Installiere Ollama auf dem Computer, den du bereits besitzt, und betreibe ein 7B-Modell dieses Wochenende. Jede 8-GB-Maschine schafft das. Beweise den Workflow, bevor du einen Cent für Hardware ausgibst.
Kaufe dann eine Sprosse über deinem tatsächlichen Bedarf, nicht fünf. Die Leute, die 2025 leise lokale KI eingerichtet haben, werden 2027 weit voraus sein, wenn die Cloud-Preise weiter steigen und die lokale Hardware immer besser wird. Die meisten Leute werden aus Gewohnheit weiterhin 200 € im Monat zahlen. Einige werden einen Nachmittag diese Woche investieren und nie wieder ein Byte an einen fremden Server senden.
Ich analysiere regelmäßig KI-Tools und das Geld, das damit verdient wird. Folge mir für den nächsten Beitrag und tritt meinem Telegram bei: https://t.me/+lzSPoQ0svRU1ZWZi
