今週、私は MacBook で完全ローカル AI モデルを実行しました。好奇心からではありません。「これは何か見てみよう」というデモでもありません。実際のワークフローで、実際のエージェントシステムで、実際にやらなければならないタスクに使おうと、本気で試みました。
モデルは 90 億パラメータの Qwen 3.6。私のマシンは 16 GB RAM の M1 Pro。Mac Studio でもワークステーションでもなく、普通のラップトップです。Qwen 3.6 は最近のリリースで、小型バリアントこそが、この実験を今（6 ヶ月前ではなく）試す価値のあるものにしています。
うまくいきました。
「うまくいった」とは、エラーなく起動したという意味ではありません。実際にそれを使って作業を進め、ハードウェアと格闘している感じがしなかったという意味です。Claude よりは遅かった。もちろんです。しかし、その遅さは許容範囲内でした。遅さを認識はするが、罰せられているとは感じない、そんな種類の遅さです。
それは予想以上に驚きでした。
2 つの異なる「ローカル AI」の話
実験に入る前に、常に一つにまとめられがちなので、区別すべき点があります。
最初の「ローカル AI」は、クラウドモデルを使ったローカルエージェントです。すべてのコードはデバイス上にあります。メモリシステム、自動化スクリプト、ツール統合。しかし、実際のモデルはリモートにあります。ラップトップから Claude や OpenAI を呼び出しますが、システムを動かすアーキテクチャはあなたのもので、あなたのハードウェア上にあります。
そしてそれが、今年人々がローカルエージェントフレームワークをホストするために Mac Mini を買い始めた理由でもあります。OpenClaw が話題になったときにこれについて書きました：デバイスは安い部分です。ベースの Mac Mini は約 $599 です。クラウドモデルが重い思考を行います。オーケストレーションをローカル、プライベート、常時オンに保ち、常時オンサブスクリプション層や他人のインフラに依存せずに自動化を行えます。
2 番目のバージョンは完全ローカル LLM です。モデル自体がデバイス上にあります。API コールなし、クラウド依存なし、データがマシンから出ることはありません。長い間、この 2 番目の道は本格的なハードウェアを意味していました。なぜなら実行する価値のあるモデルは大きく、大きくて高価だったからです。非常に強力な Mac Studio 以上を検討することになります。
その計算が変わり始めています。
MacBook 実験
90 億パラメータの Qwen 3.6 は 16 GB RAM で許容範囲内で動作します。それが見出しとなる発見であり、聞こえ以上に大きなことです。
私は Ollama を使用しました。これは事実上一つのコマンドでインストールでき、すべてのモデル管理を行い、localhost:11434 でローカルの OpenAI 互換 API を提供します。OpenAI フォーマットをサポートするツールはすべてそれを指すことができます。Claude Code も含めて。私は Wiz のインターフェースとして Claude Code を使用しています。
これを再現したい場合、3 つのコマンドです：
以上です。Ollama は localhost:11434 で OpenAI 互換 API を持つローカルサーバーを起動します。Claude Code を使用する場合、ベース URL を設定して Ollama を指すことができます。OpenAI API フォーマット用に構築されたツールはすべてそのまま動作します。オフライン、API キー不要、トークンごとのコストもありません。
実際に起こったことは以下の通りです：
メモリの呼び出しは驚くほど良好でした。メモリファイルからコンテキストを引き出すよう依頼しました。それを読み、関連情報を適切な精度で提示しました。合成は Claude レベルではありませんでしたが、情報は正しく取得され使用されました。基本的に「ファイルを読み、関連部分を見つけ、報告する」というタスクでは、9B モデルで十分対応できます。
ツール呼び出しは興味深かったです。Qwen はエージェントシステムのツールを、単純なリクエストに対して適切な精度で呼び出すことができました。これはエージェント作業において、生のテキスト品質よりも重要です。AI コスト最適化を考えるとき、適切なタイミングで適切なツールを呼び出せるモデルは、最も美しい散文を書けるモデルよりも価値があることが多いです。
クリエイティブなタスクや複雑な推論は？同じではありません。執筆の助けや分析、真の合成が必要なものを依頼したとき、品質の差は顕著でした。これは批判ではありません。9B モデルが何であり、何でないかについての正直な観察です。4B バリアントも試しましたが、予想通り能力の低下は顕著でした。私のタイプの仕事では、9B がユーザビリティのラインです。
重要な枠組み：これは Qwen と Claude Opus を比較するものではありません。同じカテゴリーではありません。ローカルモデルが私の仕事の一部を実際に処理できるかどうかであり、答えはイエスです。実際の、無視できないサブセットです。
まだ探求していないが興味がある道もあります：ファインチューニングです。4B または 9B モデルを自分のハードウェアでファインチューニングできます。自分の文章、好み、用語、スタイルを学習させます。既製のモデルよりもカスタマイズされたものが得られます。これは MacBook で可能です。時間はかかりますが、理論上の話ではありません。モデルに何をさせたいか正確にわかっている特定の個人的タスクでは、ファインチューニングされた小型モデルが汎用の大型モデルより優れる可能性があります。
iPhone 実験
iPhone 実験は当面の実用性よりも好奇心のためでした。しかし、最も驚かされた部分になりました。
使用したアプリは PocketPal AI です（App Storeで無料）。オープンソースアプリで、iPhone 上で直接言語モデルをダウンロードして実行できます。完全にローカルです。Hugging Face からモデルをブラウズし、一度 Wi-Fi でダウンロードすれば、インターネット不要で実行できます。動作確認の最も簡単な方法：機内モードをオンにして、モデルに何か質問します。応答します。データは iPhone から出ません。
iPhone 17 Pro で 0.8 億および 20 億パラメータの Qwen を実行しました。セットアップは簡単です：
- App Store から PocketPal AI をインストール
- アプリを開き、モデルブラウザに移動
- Qwen を検索し、小型バリアントをダウンロード（0.5B または 1.5B は古い電話、2B は 17 Pro のような新しい電話用）
- チャットを開始し、機内モードをオンにして完全ローカルであることを確認
明らかな質問は「これは Claude と同じくらい優れているか」ではなく、「電話にローカルで有用なものを収められるか」でした。答えはイエスですが、明確な限界があります。これらは小さなモデルです。基本的なテキストタスクや短い質問応答を適切な品質で処理します。一晩でアプリを構築するのには役立ちません。しかし、動作します。完全にデバイス上で、完全にローカルで。
最も興味深い含意はモデルの能力ではなく、ハードウェアのシグナルです。2026 年に iPhone がローカル LLM を実行するということは、スマートフォンがこれを行うのに十分強力になったことを意味します。それは重要です。0.8B モデルが印象的だからではなく、あなたのポケットにすでにあるハードウェアが閾値を超えたからです。
プライバシーの側面も現実的です。デバイスから何も出ないとき、何をどこに送っているか考える必要がありません。クエリを管理する利用規約も、API ログもありません。シリコン上で動く重みとあなただけです。クラウド AI サービスが EU で禁止されて 6 ヶ月分の音声データにアクセスできなくなってから、これについて考えています。ローカルは別の種類の回復力です。
コストの観点
これが技術的な関心を超えて重要な実用的理由：多くのエージェントタスクを実行している場合、AI サブスクリプションはすぐに積み上がります。これは仮定の話ではありません。使用量を注意深く追跡しています。
すべてのタスクに Opus が必要なわけではありません。多くのエージェント作業は実際には単純です：ファイルを読む、何かをフォーマットする、短いメモを要約する、コンテキストから事実に関する質問に答える。これらのタスクをフロンティアモデルではなくローカルモデルにルーティングすると、計算がかなり変わります。
Haiku の次バージョンを注意深く見ています。改善が続き、コストは下がり続けています。ローカルモデルも同じ軌道をたどっています。ただ異なる層で。
この先の行き先
AI の未来は、現在の議論が示唆するよりもはるかに多くのローカルコンピューティングを含むと思います。
私が見る形：難しいことはクラウドモデル。複雑な推論、クリエイティブな作業、アーキテクチャ上の決定、本当の方向性とビジョンを必要とするもの。しかし、エージェントシステムで毎日発生する何百もの小さな認知タスクについては、ローカルモデルが十分に良くなり、ルーティングが理にかなうようになります。
ハードウェアの議論もここで重要です。過去 4 年間のコンシューマーシリコンを見てください。M1、M2、M3、M4、M5。各世代が前より大幅に高速でメモリ効率が向上しています。より良いモデルとより良いハードウェアの両方の軌道は、同じ場所を指しています。数年後には、人々がすでに所有しているラップトップが、今週私が実行したものよりも明らかに能力の高いモデルを実行するでしょう。
大まかな予測：3 年後には、特定のユースケースにファインチューニングされたローカルモデルが、その特定のタスクにおいて今日のフロンティアモデルと真に競合するでしょう。一般的な推論ではなく、クリエイティブな合成ではなく、「この特定の重要なことを、迅速に、プライベートに、インターネット接続なしで実行する」という点で。それは非常に現実的で有用なカテゴリーです。
あまり議論されていない環境の側面もあります。データセンターにクエリをヒットさせるエネルギーとインフラコストは、同じ推論をローカルシリコンで実行するよりも桁違いに高いです。ほとんどのルーチン AI タスクがローカルに移行すれば、リソースの方程式が変わります。解決されるわけではありませんが、意味のある違いがあります。
今のところトレードオフは明確です。ローカルモデルは限られており、ファインチューニングには努力が必要で、フロンティアモデルとの能力ギャップは現実的です。しかし、進行方向は曖昧ではありません。ギャップは縮まっています。私は何年も使っているハードウェアで今週テストし、タスクをどこにルーティングするかを考えさせるほど十分に機能しました。
興味があれば：Ollama をインストールし、Qwen 3.6 9B をプルし、ワークフローで何か簡単なことを試してみてください。ベンチマークを実行するのとは異なる体験です。驚くほどリアルです。
これが役に立ったなら、私の Telegram チャンネルをフォローしてください：
