Diese Woche habe ich ein komplett lokales KI-Modell auf meinem MacBook laufen lassen. Nicht aus Neugier. Nicht als „lass uns mal schauen, was das so kann“-Demo. Ich habe es ernsthaft versucht, in meinem tatsächlichen Workflow zu nutzen – mit meinem richtigen Agentensystem, für echte Aufgaben, die ich erledigen musste.
Das Modell war Qwen 3.6 mit 9 Milliarden Parametern. Mein Rechner ist ein M1 Pro mit 16 GB RAM. Kein Mac Studio. Keine Workstation. Ein ganz normales Laptop. Qwen 3.6 ist eine aktuelle Veröffentlichung, und die kleineren Varianten sind der Grund, warum dieses Experiment jetzt Sinn ergibt – und nicht erst in sechs Monaten.
Es hat funktioniert.
Nicht „funktioniert“ im Sinne von „es ist fehlerfrei gestartet“. Es hat in dem Sinne funktioniert, dass ich einfach dasaß, damit gearbeitet habe und das Gefühl hatte, nicht gegen die Hardware kämpfen zu müssen. Es war langsamer als Claude. Klar. Aber die Langsamkeit bewegte sich im akzeptablen Bereich. Diese Art von Langsamkeit, bei der man weiß, dass sie existiert, ohne sich von ihr bestraft zu fühlen.
Das hat mich mehr überrascht, als ich erwartet hätte.
Zwei verschiedene „Local AI“-Geschichten
Bevor ich zum Experiment komme, gibt es eine Unterscheidung, die sich lohnt, weil beides ständig in einen Topf geworfen wird.
Die erste Version von „Local AI“ ist ein lokaler Agent mit einem Cloud-Modell. Der gesamte Code lebt auf deinem Gerät. Dein Gedächtnissystem, deine Automatisierungsskripte, deine Tool-Integrationen. Aber das eigentliche Modell ist remote. Du rufst Claude oder OpenAI von deinem Laptop aus auf, aber die Architektur, die die Show steuert, gehört dir und läuft auf deiner Hardware.
Und das ist auch der Grund, warum Leute dieses Jahr angefangen haben, Mac Minis zu kaufen, um lokale Agent-Frameworks zu hosten. Ich habe darüber geschrieben, als OpenClaw viral ging: Das Gerät ist der günstige Teil. Ein Basis-Mac Mini kostet um die 599 $. Das Cloud-Modell ist das, was die schwere Denkarbeit erledigt. Du behältst die Orchestrierung lokal, privat und immer aktiv, ohne ein immer aktives Abonnement oder die Abhängigkeit von der Infrastruktur eines Drittanbieters für deine Automatisierung.
Die zweite Version ist ein vollständig lokales LLM. Das Modell selbst lebt auf deinem Gerät. Keine API-Aufrufe. Keine Cloud-Abhängigkeit. Keine Daten, die deinen Rechner verlassen. Lange Zeit bedeutete dieser zweite Weg ernsthafte Hardware, weil die Modelle, die sich zu nutzen lohnten, groß waren – und groß bedeutete teuer. Man musste sich einen sehr leistungsstarken Mac Studio oder mehr zulegen, um etwas wirklich Leistungsfähiges zu bekommen.
Diese Rechnung beginnt sich zu ändern.
Das MacBook-Experiment
Qwen 3.6 mit 9 Milliarden Parametern läuft auf 16 GB RAM akzeptabel. Das ist die wichtigste Erkenntnis, und sie ist eine größere Sache, als es klingt.
Ich habe Ollama verwendet – eine Ein-Befehl-Installation, die das gesamte Modell-Management übernimmt und dir eine lokale, OpenAI-kompatible API unter localhost:11434 bereitstellt. Jedes Tool, das das OpenAI-Format unterstützt, kann darauf zugreifen. Einschließlich Claude Code, das ich als Benutzeroberfläche für Wiz verwende.
Wenn du das nachvollziehen möchtest, sind es drei Befehle:
1ollama pull qwen3:9b2ollama run qwen3:9b
Das war's. Ollama startet einen lokalen Server unter localhost:11434 mit einer OpenAI-kompatiblen API. Wenn du Claude Code verwendest, kannst du es auf Ollama ausrichten, indem du die Basis-URL setzt. Jedes Tool, das für das OpenAI-API-Format entwickelt wurde, funktioniert einfach so. Du bist jetzt offline, kein API-Schlüssel, keine Kosten pro Token.
So lief es tatsächlich ab:
Der Speicherzugriff (Memory Recall) hat überraschend gut funktioniert. Ich habe es gebeten, Kontext aus meinen Speicherdateien abzurufen. Es hat sie gelesen und relevante Informationen mit angemessener Genauigkeit geliefert. Die Synthese war nicht auf Claude-Niveau, aber die Informationen wurden korrekt abgerufen und genutzt. Für eine Aufgabe, die im Kern darin besteht, „eine Datei zu lesen, die relevante Stelle zu finden und zu berichten“, meistert ein 9B-Modell das problemlos.
Der Tool-Aufruf war interessant. Qwen konnte die Tools in meinem Agentensystem mit angemessener Genauigkeit bei einfachen Anfragen aufrufen. Das ist für agentische Arbeit wichtiger als die rohe Textqualität. Wenn man über KI-Kostenoptimierung nachdenkt, ist das Modell, das das richtige Werkzeug zur richtigen Zeit aufrufen kann, oft wertvoller als das Modell, das die schönste Prosa schreibt.
Kreative Aufgaben und komplexes Denken? Nicht dasselbe. Als ich um Schreibhilfe, Analyse oder etwas bat, das echte Synthese erforderte, war der Qualitätsunterschied spürbar. Das ist keine Kritik. Es ist einfach eine ehrliche Beobachtung darüber, was ein 9B-Modell ist und was nicht. Ich habe auch die 4B-Variante ausprobiert, und wie zu erwarten war der Leistungsabfall erheblich. Die 9B-Variante ist für meine Art von Arbeit die Grenze der Nutzbarkeit.
Der wichtige Bezugsrahmen hier: Es geht nicht darum, Qwen mit Claude Opus zu vergleichen. Sie gehören nicht in dieselbe Kategorie. Es geht darum, ob ein lokales Modell eine echte Teilmenge der Arbeit bewältigen kann, die ich erledige – und die Antwort ist ja. Eine echte, nicht triviale Teilmenge.
Es gibt auch einen Weg, den ich noch nicht erkundet habe, der mich aber interessiert: Fine-Tuning. Man kann ein 4B- oder 9B-Modell auf der eigenen Hardware verfeinern. Füttere es mit deinen Texten, deinen Vorlieben, deiner Terminologie, deinem Stil. Erhalte etwas Maßgeschneiderteres als jedes Standardmodell. Das ist auf einem MacBook möglich. Es braucht Zeit, aber es ist keine theoretische Übung. Für spezifische, persönliche Aufgaben, bei denen du genau weißt, was das Modell tun soll, könnte ein feinabgestimmtes kleines Modell ein allgemeineres großes Modell übertreffen.
Das iPhone-Experiment
Das iPhone-Experiment diente eher der Neugier als dem unmittelbaren Nutzen. Aber es hat mich am Ende am meisten überrascht.
Die App, die ich verwendet habe, heißt PocketPal AI (kostenlos im App Store). Es ist eine Open-Source-App, mit der du Sprachmodelle direkt auf dein iPhone herunterladen und ausführen kannst – vollständig lokal. Du durchsuchst Modelle von Hugging Face, lädst sie einmalig per WLAN herunter und kannst sie dann ohne Internetverbindung nutzen. Der einfachste Weg, dies zu überprüfen: Aktiviere den Flugmodus und frage das Modell etwas. Es antwortet. Nichts hat dein Telefon verlassen.
Ich habe Qwen mit 0,8 Milliarden und 2 Milliarden Parametern auf meinem iPhone 17 Pro laufen lassen. Die Einrichtung ist einfach:
- Installiere PocketPal AI aus dem App Store
- Öffne die App, gehe zum Modell-Browser
- Suche nach Qwen und lade eine kleine Variante herunter (0,5B oder 1,5B für ältere Telefone, 2B für neuere wie das 17 Pro)
- Starte ein Gespräch und schalte dann den Flugmodus ein, um zu bestätigen, dass es vollständig lokal läuft
Die naheliegende Frage war nicht „ist das so gut wie Claude?“, sondern schlicht „kann man überhaupt etwas lokal Nützliches auf ein Telefon packen?“ Die Antwort ist ja, aber mit klaren Grenzen. Es sind winzige Modelle. Sie bewältigen grundlegende Textaufgaben und kurze Frage-Antwort-Szenarien mit angemessener Qualität. Sie werden dir nicht helfen, über Nacht eine App zu bauen. Aber sie laufen. Vollständig auf dem Gerät. Komplett lokal.
Die interessanteste Implikation hier ist nicht die Leistungsfähigkeit des Modells. Es ist das Hardware-Signal. Ein iPhone, das 2026 ein lokales LLM ausführt, bedeutet, dass Smartphones jetzt leistungsstark genug sind, um dies zu tun. Das ist bedeutsam. Nicht weil das 0,8B-Modell beeindruckend ist, sondern weil die Hardware, die bereits in deiner Tasche steckt, eine Schwelle überschritten hat.
Der Datenschutzaspekt ist ebenfalls real. Wenn nichts dein Gerät verlässt, musst du nicht darüber nachdenken, was du wohin sendest. Keine Nutzungsbedingungen, die deine Anfragen regeln. Keine API-Protokolle. Nur du und die Gewichte, die auf deinem Silizium laufen. Ich denke darüber nach, seit ich den Zugriff auf sechs Monate Sprachdaten verloren habe, als ein Cloud-KI-Dienst in der EU verboten wurde. Lokal ist eine andere Art von Widerstandsfähigkeit.
Der Kosten-Aspekt
Hier ist der praktische Grund, warum dies über das technische Interesse hinaus relevant ist: KI-Abonnements summieren sich schnell, wenn du viele Agentenaufgaben ausführst. Das ist nicht hypothetisch. Ich verfolge meine Nutzung genau.
Nicht jede Aufgabe erfordert Opus. Ein Großteil der Agentenarbeit ist wirklich einfach: eine Datei lesen, etwas formatieren, eine kurze Notiz zusammenfassen, eine sachliche Frage aus dem Kontext beantworten. Diese Aufgaben an ein lokales Modell statt an ein Spitzenmodell weiterzuleiten, verändert die Rechnung erheblich.
Die nächste Version von Haiku verfolge ich aufmerksam. Sie wird immer besser und die Kosten sinken stetig. Lokale Modelle folgen derselben Entwicklung, nur auf einer anderen Ebene.
Wohin das führt
Ich glaube, die Zukunft der KI wird viel mehr lokale Rechenleistung beinhalten, als die derzeitige Diskussion vermuten lässt.
Die Form, die ich sehe: Cloud-Modelle für die schwierigen Aufgaben. Komplexes Denken, kreative Arbeit, Architekturentscheidungen, Dinge, die echte Richtung und Vision erfordern. Aber für die hundert kleinen kognitiven Aufgaben, die in einem Agentensystem jeden Tag anfallen, werden lokale Modelle gut genug sein, sodass eine Weiterleitung sinnvoll ist.
Das Hardware-Argument ist hier ebenfalls wichtig. Sieh dir die letzten vier Jahre der Consumer-Siliziumentwicklung an. M1, M2, M3, M4, M5. Jede Generation spürbar schneller und speichereffizienter als die vorherige. Die Entwicklung auf beiden Seiten – bessere Modelle und bessere Hardware – zeigt in die gleiche Richtung. In ein paar Jahren werden die Laptops, die die Leute bereits besitzen, Modelle ausführen, die sich deutlich leistungsfähiger anfühlen als das, was ich diese Woche ausprobiert habe.
Meine grobe Vorhersage: In drei Jahren wird es lokale Modelle geben, die auf spezifische Anwendungsfälle abgestimmt sind und mit den heutigen Spitzenmodellen bei genau diesen spezifischen Aufgaben ernsthaft konkurrieren. Nicht beim allgemeinen Denken. Nicht bei der kreativen Synthese. Aber bei „erledige diese spezifische Sache, die mir wichtig ist, schnell, privat und ohne Internetverbindung“. Das ist eine sehr reale und nützliche Kategorie.
Es gibt auch einen Umweltaspekt, der nicht genug diskutiert wird. Der Energie- und Infrastrukturaufwand einer Abfrage, die ein Rechenzentrum erreicht, ist um Größenordnungen höher als dieselbe Inferenz auf lokalem Silizium. Wenn die meisten routinemäßigen KI-Aufgaben auf lokal verlagert werden, verändert sich die Ressourcengleichung. Nicht gelöst, aber deutlich anders.
Im Moment sind die Abwägungen klar: Lokale Modelle sind begrenzt, Fine-Tuning erfordert Aufwand, und die Leistungslücke zu den Spitzenmodellen ist real. Aber die Reiserichtung ist nicht zweideutig. Die Lücke schließt sich. Ich habe es diese Woche auf Hardware getestet, die ich seit Jahren besitze, und es hat gut genug funktioniert, dass ich darüber nachdenke, wohin ich Aufgaben leite.
Wenn du neugierig bist: Installiere Ollama, ziehe Qwen 3.6 in der 9B-Version und probiere etwas Einfaches in deinem Workflow aus. Die Erfahrung ist anders, als einen Benchmark laufen zu lassen. Sie ist überraschend real.
Wenn das nützlich war – folge meinem Telegram-Kanal:
