這週我在我的 MacBook 上運行了一個完全本機的 AI 模型。不是出於好奇。不是因為「來看看這是什麼」的展示。我是真心想把它用在實際的工作流程中，搭配我實際的 Agent 系統，處理我必須完成的真實任務。
這個模型是 Qwen 3.6，參數量為 90 億。我的機器是搭載 16 GB RAM 的 M1 Pro。不是 Mac Studio。不是工作站。就是一台普通的筆記型電腦。Qwen 3.6 是最新發布的版本，而較小的變體正是讓這個實驗現在就值得嘗試的原因，而不是六個月前。
它成功了。
不是那種「啟動時沒有報錯」的成功。而是我坐在那裡用它做事，卻不覺得自己在跟硬體奮鬥的那種成功。它比 Claude 慢。這很明顯。但那種慢是在可接受的範圍內。那種你知道它存在，但不會覺得被它懲罰的慢。
這比我想像中更讓我驚訝。
兩種不同的「本地 AI」故事
在進入實驗之前，有一個區別值得釐清，因為它經常被混為一談。
第一種「本地 AI」是搭配雲端模型的本地 Agent。所有程式碼都放在你的裝置上。你的記憶系統、你的自動化腳本、你的工具整合。但實際的模型是遠端的。你是從筆電呼叫 Claude 或 OpenAI，但負責運行的架構是你自己的，在你的硬體上。
這也是為什麼今年人們開始購買 Mac Mini 來託管本地 Agent 框架。當 OpenClaw 爆紅時我寫過這個：裝置是便宜的部分。一台基本款的 Mac Mini 大約是 599 美元。雲端模型才是負責真正思考的部分。你把編排工作留在本地、保持隱私且永遠在線，而不需要一個永遠在線的訂閱方案，或依賴別人的基礎設施來處理你的自動化任務。
第二種是完全本機的 LLM。模型本身就存在你的裝置上。沒有 API 呼叫。沒有雲端依賴。沒有資料離開你的機器。長期以來，第二條路意味著需要強大的硬體，因為值得運行的模型都很大，而大通常就意味著昂貴。你需要一台非常強大的 Mac Studio 或更高階的設備，才能得到真正有能力的東西。
這個權衡正在開始改變。
MacBook 實驗
Qwen 3.6 的 90 億參數版本可以在 16 GB RAM 上可接受地運行。這是主要的發現，而且它比聽起來更重要。
我使用了 Ollama，它基本上是一個命令即可安裝，能處理所有模型管理，並在 localhost:11434 提供一個與 OpenAI 相容的本地 API。任何支援 OpenAI 格式的工具都可以指向它。包括我用作 Wiz 介面的 Claude Code。
如果你想複製這個實驗，只需要三個命令：
<code-segment id="0" lang="bash">
ollama pull qwen3.5:9b
ollama serve
</code-segment>
就這樣。Ollama 會在 localhost:11434 啟動一個本地伺服器，提供與 OpenAI 相容的 API。如果你使用 Claude Code，可以透過設定基礎 URL 將它指向 Ollama。任何為 OpenAI API 格式建立的工具都可以直接使用。你現在離線了，沒有 API 金鑰，沒有按 token 計費。
以下是實際發生的情況：
記憶回顧的效果出奇地好。我要求它從我的記憶檔案中提取上下文。它讀取了這些檔案，並以合理的準確度找出了相關資訊。綜合能力不如 Claude，但資訊確實被檢索並正確使用了。對於一個本質上是「讀取檔案、找出相關部分、回報出來」的任務，一個 9B 模型就能處理得很好。
工具呼叫也很有趣。Qwen 能夠以合理的準確度為簡單的請求呼叫我的 Agent 系統中的工具。對於 Agent 工作來說，這比純文字品質更重要。當你在思考 AI 成本優化時，一個能在正確時間呼叫正確工具的模型，往往比一個能寫出最美文筆的模型更有價值。
創意任務和複雜推理？ 那就不一樣了。當我要求寫作協助、分析，或任何需要真正綜合能力的任務時，品質差距就很明顯了。這不是批評。只是關於一個 9B 模型能做什麼、不能做什麼的誠實觀察。我也試了 4B 的變體，正如預期，能力下降得非常明顯。對於我這類工作，9B 是我劃定可用性底線的標準。
這裡重要的框架是：這不是在比較 Qwen 和 Claude Opus。它們不是同一個類別。問題在於一個本地模型是否能處理我工作中一個真實的子集，而答案是肯定的。一個真實的、非瑣碎的子集。
還有一條我還沒探索但很感興趣的路徑：微調（fine-tuning）。你可以在自己的硬體上微調一個 4B 或 9B 的模型。餵給它你的寫作、你的偏好、你的術語、你的風格。得到一個比任何現成模型都更貼合你需求的東西。這在 MacBook 上是可行的。需要時間，但不是理論上的練習。對於那些你清楚知道模型該做什麼的特定個人任務，一個經過微調的小模型可能勝過一個通用的大型模型。
iPhone 實驗
iPhone 實驗更多是出於好奇而非立即的實用性。但結果卻是最讓我驚訝的部分。
我使用的應用程式叫做 PocketPal AI（在 App Store 免費下載）。它是一個開源應用程式，讓你可以直接在 iPhone 上下載並運行語言模型，完全在本地端。你可以從 Hugging Face 瀏覽模型，透過 Wi-Fi 下載一次，然後在不需要網路的情況下運行。驗證這個功能正常運作最簡單的方式：開啟飛航模式，然後問模型一些問題。它會回應。沒有任何資料離開你的手機。
我在我的 iPhone 17 Pro 上運行了參數量為 8 億和 20 億的 Qwen 模型。設定很簡單：
- 從 App Store 安裝 PocketPal AI
- 打開應用程式，進入模型瀏覽器
- 搜尋 Qwen 並下載一個小型變體（較舊的手機用 0.5B 或 1.5B，像 17 Pro 這樣較新的手機用 2B）
- 開始聊天，然後開啟飛航模式確認它完全是本機運行
顯然的問題不是「這跟 Claude 一樣好嗎？」，而是「你究竟能不能在手機上放一個本地可用的東西？」答案是肯定的，但有明顯的限制。這些是極小的模型。它們能處理基本的文字任務和簡短的問答，品質還算合理。它們不會幫你在一夜之間打造一個應用程式。但它們能運行。完全在裝置上。完全在本地。
這裡最有趣的意涵不是模型的能力。而是硬體發出的訊號。一支 iPhone 在 2026 年就能運行本地 LLM，這意味著智慧型手機現在已經強大到可以做這件事了。這很有意義。不是因為 0.8B 模型很厲害，而是因為你口袋裡已有的硬體已經跨越了一個門檻。
隱私方面的優點也是真實的。當沒有資料離開你的裝置時，你就不需要考慮你送出了什麼、送到了哪裡。沒有規範你查詢的服務條款。沒有 API 日誌。只有你和那些在你的晶片上運行的權重。自從一個雲端 AI 服務在歐盟被禁，導致我失去了六個月的語音資料之後，我一直在思考這個問題。本地是一種不同的韌性。
成本角度
以下是這件事之所以重要的實際原因，超越技術層面的興趣：當你運行大量 Agent 任務時，AI 訂閱費用累積得非常快。這不是假設性的。我密切追蹤我的使用量。
並非每個任務都需要 Opus。很多 Agent 工作其實很簡單：讀取一個檔案、格式化某些東西、摘要一段簡短的筆記、從上下文中回答一個事實性問題。將這些任務路由到本地模型而非頂尖模型，會大幅改變成本結構。
Haiku 的下一版是我正在密切關注的。它不斷進步，成本不斷下降。本地模型也遵循同樣的軌跡，只是處於不同的層級。
未來走向
我認為 AI 的未來會比目前的討論所暗示的，包含更多本地運算。
我看到的樣貌是：雲端模型處理困難的事情。複雜的推理、創意工作、架構決策、需要真正方向和遠見的事情。但是對於一個 Agent 系統每天發生的數百個小型認知任務，本地模型將會變得足夠好，讓路由成為合理的選擇。
硬體的論點在這裡也很重要。看看過去四年的消費級矽晶片。M1、M2、M3、M4、M5。每一代在速度和記憶體效率上都有顯著的提升。兩邊的軌跡——更好的模型和更好的硬體——都指向同一個方向。幾年後，人們已經擁有的筆記型電腦，將能運行比本週我跑的模型感覺上更有能力的模型。
我的粗略預測是：三年內，將會有用於特定使用案例的本地微調模型，在那些特定任務上真正與今天的頂尖模型競爭。不是一般推理。不是創意綜合。而是「快速、私密、且無需網路連線地執行我關心的這個特定任務」。這是一個非常真實且有用的類別。
還有一個很少被討論的環境角度。一個查詢命中資料中心的能源和基礎設施成本，比在同一個本地晶片上執行相同推論高出好幾個數量級。如果大多數例行 AI 任務轉移到本地，資源方程式就會改變。不是解決了，但會有顯著的不同。
目前，權衡取捨很明確：本地模型有限，微調需要努力，與頂尖模型的能力差距是真實的。但發展方向是沒有模糊空間的。差距正在縮小。我這週在我已經用了多年的硬體上測試了它，而且它的表現好到讓我去思考該如何路由我的任務。
如果你好奇的話：安裝 Ollama，拉取 Qwen 3.6 的 9B 版本，然後在你的工作流程中試試一些簡單的事情。體驗和跑基準測試不一樣。它出奇地真實。
如果這篇文章對你有幫助——可以追蹤我的 Telegram 頻道：
