兩年前，「在本機執行 LLM」還是個週末實驗，最後往往以失望收場。你下載一個 13B 模型，看著筆電風扇狂轉，每秒只生成一個 token，輸出品質馬馬虎虎。
時至 2026 年 6 月，這個話題早已翻篇。一台 Raspberry Pi 5 就能跑出邏輯清晰的聊天機器人；MacBook Air 在多數任務上已可媲美 GPT-3.5 的品質；花 700 美元買張二手 RTX 3090，效果甚至接近 GPT-4。
硬體追上來了。模型變小了。工具也成熟了。
所以現在的問題不再是「能不能」跑本地 LLM，而是「該用哪一套工具」來跑。市面上至少有十二個正經選項，各有強項、名稱容易混淆、哲學也大相徑庭。
這份指南為你一次釐清。
為什麼要跑本地 LLM？
在介紹工具之前，先誠實地說說選擇在地端運行的理由：
- 隱私。 你的提示詞和資料從不離開你的機器。對於律師、醫生、金融分析師以及任何處理敏感資訊的人來說，這不是選項，而是必要。
- 成本。 如果你大量使用 AI，本地模型幾個月內就能回本。沒有按 token 計費，沒有速率限制。
- 離線。 飛機上、地下室、安全設施、網路差的區域－－本地 LLM 能在雲端無法運作的地方工作。
- 無審查。 開源權重模型不會因為過度謹慎的 RLHF 而拒絕執行正常任務。
- 學習。 如果你想真正理解這些系統如何運作，親手運行就是最快的路徑。
誠實地反過來看：
- 品質天花板。 截至 2026 年 6 月，即使是最強的本機模型，在最困難的推理任務上仍然落後 GPT-5.1 和 Claude Opus 4.8。你是在用頂尖智慧換取隱私和成本。
- 硬體限制。 你被自己擁有的設備所限制。筆電上的 7B 模型永遠比不上資料中心的 405B 模型。
- 設定成本。 即使是最簡單的工具，也有一個一次性的學習曲線。
80% 的日常工作——草稿、摘要、程式碼輔助、研究——本地模型現在已經真正夠用了。剩下的 20% 最難任務，保留一個雲端訂閱就好。
整體格局
在比較工具之前，先理解層級關係。大多數本地 LLM 工具都建立在單一引擎 llama.cpp 之上。這套 C/C++ 推論引擎讓一切成為可能。Ollama、LM Studio、GPT4All、Jan 以及其他許多工具，底層都使用 llama.cpp（或其分支）。
工具之間的差異不在於原始推論速度，而在於包裝層：使用者體驗、API、模型管理、平台支援、以及背後的哲學。
工具大致分成四類：
根據你想做的事，選擇對應的層級。
8 個值得關注的工具，按使用情境排名
1. Ollama－－大多數人的預設起點
它是什麼： 以命令列為主的本地 LLM 執行工具，內建 REST API。安裝後，執行一條指令，你就會在 localhost 上得到一個與 OpenAI 相容的端點。
為何主導市場： 每個主要的 LLM 工具鏈——LangChain、LlamaIndex、Aider、Continue、Cursor、Zed、Open WebUI——都對 Ollama 有第一等的支援，或能透過 OpenAI 相容層直接運作。如果你在進行任何自動化工作，Ollama 是最輕鬆的路徑。
硬體： 支援 Mac（Metal）、Windows（CUDA/Vulkan）、Linux（CUDA/ROCm），甚至 Raspberry Pi。GPU 加速在支援平台上會自動啟用。
優點：
- 設定最簡單：執行
ollama pull llama3.2就開始跑了 - 無頭模式直接在伺服器和 Docker 上運作
- 龐大的生態系支援——幾乎每個 IDE 和 AI 工具都與它整合
- MIT 授權，無遙測
缺點：
- 沒有圖形介面。預設僅命令列（網頁 UI 需另外安裝）
- 預設 Vulkan 支援尚未完善——Windows 上 AMD 需自訂編譯
- 若收集太多模型，磁碟用量會暴增（本身約佔 4.6 GB，再加上模型）
最適合： 開發者、任何要在本地 LLM 上建構應用的人、伺服器部署、自動化工作流程。
跳過它如果： 你只想要一個精美的圖形介面來做隨意聊天。
2. LM Studio－－精美的桌面體驗
它是什麼： 一套完整的桌面應用程式，可用來探索、下載及執行模型。漂亮的介面、即時 token 串流視覺化、內建聊天 UI、可切換的 OpenAI 相容伺服器。
為何深受喜愛： 這是從「聽說過本地 LLM」到「正在跟它聊天」最簡單的路徑。應用程式內的 Hugging Face 瀏覽器可讓你按檔案大小和量化格式篩選、查看模型卡、並透過進度條下載。
硬體： Mac（在 Apple Silicon 上有原生 MLX 加速，這是真正的優勢）、Windows、Linux。開箱即用 Vulkan 支援，對 AMD 用戶特別重要。
優點：
- 模型探索與聊天的圖形介面同級最佳
- Apple Silicon 上的原生 MLX 支援為 Mac 帶來真正的效能優勢
- 內建 API 伺服器（與 OpenAI 相容），方便你撰寫程式對接
- 近期版本（0.3.5+）新增了無頭「本地 LLM 服務」模式及 JIT 模型載入
- 0.4.0 版新增 MCP 支援——可將 Claude 風格工具連接到本地模型
缺點：
- 封閉原始碼。預設啟用匿名分析（可在設定中關閉）
- 比命令列工具更佔磁碟和 RAM（Electron 應用程式）
- 伺服器模式需要手動啟用且需保持應用程式開啟——不適合真正的無頭伺服器部署
- 命令列工具 (lms) 功能不如 Ollama 豐富
最適合： 想要以視覺化方式探索本地 LLM 的人、Mac 用戶（MLX 是殺手級功能）、正在疊代 system prompt 的提示工程師。
跳過它如果： 你需要部署在無頭伺服器上，或開放原始碼是硬性要求。
3. llama.cpp－－所有其他工具背後的引擎
它是什麼： 驅動大部分本地 LLM 生態系的 C/C++ 推論函式庫。最初是為了在消費級 CPU 上執行 LLaMA 模型而創建，如今已成為業界標準。
為何重要： 直接使用 llama.cpp 跳過了包裝層的耗費。它是最精簡的選項——近期比較顯示，它在 Windows 上僅佔不到 90 MB，而 Ollama 包含所有依賴則約 4.6 GB。
硬體： 幾乎 所有 平台都能跑。x86、ARM、Apple Silicon、NVIDIA CUDA、AMD ROCm、Intel oneAPI、Vulkan、OpenCL。包含 Raspberry Pi、Android 手機（透過 Termux）以及舊筆電。
優點：
- 體積極小，零不必要的依賴
- 最佳效能與最大自訂性
- Vulkan 後端可跨 GPU 供應商運作——Windows 上 AMD 的最佳路徑
- 包含命令列工具 (llama-cli)、伺服器 (llama-server) 以及基本網頁 UI
- 最寬鬆的授權
缺點：
- 學習曲線較陡——參數、量化格式、編譯選項
- 沒有友善的模型註冊表——你需要自行尋找並下載 GGUF 檔（通常從 Hugging Face）
- 沒有「開箱即用」的魔法——所有設定都要自己來
最適合： 進階使用者、Windows 上 AMD 使用者、任何要在嵌入式或特殊硬體上部署的人、想要最小化資源耗費的開發者。
跳過它如果： 你想要快速開始對話，而且不喜歡閱讀文件。
4. GPT4All－－低階硬體專家
它是什麼： Nomic AI 開發的桌面應用程式，專門針對沒有 GPU 加速的機器進行最佳化。
為何存在： 大多數本地 LLM 工具假設你至少有張像樣的 GPU。GPT4All 反其道而行——它專為老舊筆電、公司配發的機器、以及任何沒有 CUDA 的電腦而設計。
硬體： 可在沒有 GPU 加速的 CPU 上運行，並針對 8 GB 或更低 RAM 的機器進行最佳化。硬體需求：最低 4 GB RAM，建議 8 GB。任何近五年內的 CPU 均可。
優點：
- 本指南中硬體門檻最低的工具
- 精美的圖形介面，非技術使用者也能輕鬆上手
- 強大的隱私保護（僅可選遙測）
- 跨平台（Mac、Windows、Linux）
缺點：
- 模型庫比 Ollama 或 LM Studio 小
- API 不如競爭對手成熟
- 效能天花板較低——如果你升級硬體，很快就會感到不足
最適合： 使用較舊硬體的使用者、沒有管理員權限安裝驅動程式的公司配發機器、學校、需要在預算有限的情況下使用本地 AI 的組織。
跳過它如果： 你擁有現代 GPU——那樣你會浪費效能。
5. Jan AI－－開放原始碼的 ChatGPT 替代品
它是什麼： 一套桌面應用程式，目標是成為完全本地、完全開源的 ChatGPT 替代方案。簡潔的 UI、多模型支援、以及如果你想要混合使用的選用雲端整合。
為何脫穎而出： 它是最明確以隱私優先的選項。Jan AI 和 Ollama 不收集任何遙測資料（MIT 開源）。專為希望獲得「資料絕不離開機器」保證（而非只是口號）的使用者打造。
硬體： Mac、Windows、Linux。比 LM Studio 輕量，但比 GPT4All 重。
優點：
- 完全開放原始碼，完全可稽核
- 預設零遙測
- 乾淨的聊天應用程式風格——最接近「ChatGPT 但本地化」
- 支援模型提供者（本地 + 選用雲端），如果你想要混合使用
- 內建 API 伺服器
缺點：
- 生態系比 Ollama 或 LM Studio 小
- 部分進階功能（MCP、進階 Agent 流程）落後於領先者
- 模型庫不如 LM Studio 的 HuggingFace 瀏覽器完整
最適合： 注重隱私的使用者、歐盟 GDPR 規範下的專業人員、任何想要類似 ChatGPT 體驗且要求嚴格可稽核性的人。
跳過它如果： 你今天就需要 MCP 整合等尖端功能，或希望擁有最大的模型選擇。
6. vLLM－－生產級吞吐量之王
它是什麼： 高效能推論伺服器，專為從一台 GPU 伺服器服務大量並發使用者而設計。由加州大學柏克萊分校創建，現在是自託管生產級 LLM API 的事實標準。
為何重要： 大多數在地工具針對單一使用者延遲進行最佳化。vLLM 則針對吞吐量進行最佳化。其 PagedAttention 技術可減少 50% 以上的記憶體碎片，並在相同硬體上提供比替代方案多 2-4 倍的並發請求。
硬體： 主要為 Linux + NVIDIA。嚴肅部署需要 A100/H100 等級，不過開發也可在消費級 GPU 上執行。
優點：
- 在相同 GPU 上，吞吐量比簡易服務高出 2-4 倍
- 與 Kubernetes 相容、內建指標、OpenAI 相容 API
- 支援跨多張 GPU 的張量平行化
- 支援多模態模型（LLaVA、Qwen-VL）
- 如果你要為使用者提供 LLM 服務，這就是正確選擇
缺點：
- 僅限 Linux + NVIDIA。如果你用 Mac 或 Windows，這不適合你
- 設定較重，以設定檔驅動
- 對單一使用者工作流程而言殺雞用牛刀
最適合： 自託管 LLM API 的公司、任何為多位使用者提供本地 AI 服務的人、基礎架構團隊。
跳過它如果： 你只是筆電上的單一使用者。改用 Ollama。
7. LocalAI－－通用 API 樞紐
它是什麼： 與 OpenAI 相容的編排層，可將請求路由到多個推論後端、處理文字/圖片/音訊/影片模型，並作為你的應用程式與實際使用的推論引擎之間的中介軟體。
為何有用： 如果你想要一個統一的 API 表面，無論底層執行哪個後端（今天用 llama.cpp，明天用 vLLM，明年用 MLX 伺服器），LocalAI 就是那個包裝層。
硬體： 偏好 Linux，支援 Docker。
優點：
- 無論後端為何，單一 OpenAI 相容端點
- 多模態（文字、圖片生成、音訊、嵌入向量、重新排序、影片）
- 在現有應用程式中可直接取代 OpenAI 的 API
- 適用於企業中介軟體場景
缺點：
- 對單一使用者設定來說，比 Ollama 複雜得多
- 文件可能不夠完整
- 社群比 Ollama 或 LM Studio 小
最適合： 企業部署、建構需要穩定的本地 API 且可能更換後端的產品團隊、任何要在本地服務多模態 AI 的人。
跳過它如果： 你只是想跟模型聊天。
8. MLX（Apple Silicon 原生）－－Mac 進階使用者首選
它是什麼： Apple 的機器學習框架，針對 Apple Silicon 的統一記憶體架構進行最佳化。LM Studio 原生使用它；你也可以透過 Python 直接使用。
為何 Mac 默默稱霸： 統一記憶體意味著一台配備 128 GB 的 MacBook Pro M4 Max 可以執行 70B 參數的模型，而在 PC 上需要花 5,000 美元購買專用 GPU。2026 年最好的本地 LLM 體驗就在 Apple Silicon 上，句點。統一記憶體意味著在 PC 上需要專用 GPU 的模型，可以在 Mac 上使用共享的 RAM+GPU 記憶體來執行。
硬體： 僅限 Apple Silicon（M1 以後）。
優點：
- Mac 硬體上最佳性價比
- 平台原生——沒有尷尬的轉換層
- MLX + LM Studio 的組合為 Mac 用戶帶來真正的優勢
- 統一記憶體架構讓大型模型無需企業級 GPU 即可使用
缺點：
- 僅限 Mac
- 生態系比 llama.cpp 小
- 需要 LM Studio 或一定的 Python 熟悉度才能使用
最適合： 任何在 Mac 上認真使用本地 LLM 的人。
跳過它如果： 你沒有 Apple Silicon 設備。
硬體與工具配對表
以下是大多數文章迴避的實際問題：根據我擁有的設備，我到底該安裝什麼？
如果你有一台 Raspberry Pi 5（8 GB 或 16 GB）
使用： Ollama（Raspberry Pi OS 原生支援） 可嘗試模型： TinyLlama 1.1B、Phi-3 Mini 3.8B、Gemma 3 1B 實際預期： 每秒 2-8 個 token，視模型大小而定。可用於聊天機器人、家庭自動化、簡單問答。不適合嚴肅的程式碼輔助或長篇推理。
如果你有一台舊筆電（Intel i5、無 GPU、8 GB RAM）
使用： GPT4All 可嘗試模型： Phi-3 Mini、Llama 3.2 1B、TinyLlama 實際預期： 慢但堪用。短查詢比長生成更適合。
如果你有一台現代筆電，配備整合式顯示卡（16 GB RAM、無獨立 GPU）
使用： LM Studio（CPU 模式）或 Ollama 可嘗試模型： Llama 3.2 3B、Gemma 3 4B、Qwen 3 7B（需要有耐心） 實際預期： 聊天、草稿、摘要表現不錯。小模型約每秒 5-15 個 token。
如果你有一台 MacBook Air M2/M3/M4
使用： LM Studio 搭配 MLX 後端 可嘗試模型： Llama 3.2 8B、Qwen 3 14B、Mistral Nemo 實際預期： 出乎意料地快——Apple Silicon 的統一記憶體和神經網路引擎表現超乎其規格。中型模型約每秒 20-40 個 token。
如果你有一台 MacBook Pro M3/M4 Max（36 GB+ RAM）
使用： LM Studio + MLX，或 Ollama 可嘗試模型： Llama 3.3 70B（需 64 GB+）、Qwen 3 32B、DeepSeek-V3 蒸餾版 實際預期： 真正可用於嚴肅工作。Mac Studio M4 Max（128 GB 統一記憶體）：可在執行 Llama 3.3 70B 約每秒 20 個 token 的同時，保持其他應用程式開啟。
如果你有一台配備 NVIDIA GPU（RTX 3060–4070）的 Windows/Linux 桌上型電腦
使用： Ollama（最簡單）或 llama.cpp（效能最佳） 可嘗試模型： Llama 3.2 8B、Qwen 3 14B、Mistral 7B 實際預期： 推論速度快，若量化模型能放入 VRAM，每秒 30-80 個 token。
如果你在 Windows 上使用 AMD GPU
使用： llama.cpp 搭配 Vulkan 後端（最可靠）或 LM Studio（開箱即用 Vulkan） 原因： AMD 在 Windows 上的 ROCm 支援近乎不存在。Vulkan 是救命稻草。 實際預期： 效能遠落後於 NVIDIA，但遠比僅用 CPU 好。
如果你有一台高階工作站（RTX 4090、RTX 5090、多 GPU）
使用： vLLM 用於服務，Ollama 或 llama.cpp 用於個人使用 可嘗試模型： Llama 3.3 70B、Qwen 3 72B、DeepSeek-V3 實際預期： 多數任務接近雲端品質。本地 AI 在這裡不再是妥協。
如果你要為團隊運行生產環境（多位使用者）
使用： vLLM 或 LocalAI 硬體： 理想為 A100/H100，小型團隊最低 RTX 4090 實際預期： 單張 A100 可服務 10-50 個並發使用者，視模型大小而定。
快速比較矩陣
誠實的結論——到底該安裝哪一個
如果你想讓我直接告訴你該怎麼做：
對大多數人來說：同時安裝 Ollama 和 LM Studio。 用 LM Studio 的圖形介面來探索和測試模型。用 Ollama 作為實際的運行時，讓你的腳本、IDE 和應用程式連接。兩者互補——它們不是競爭對手。在筆電上用 LM Studio 進行探索和提示疊代，然後在伺服器上（或工作站上的 Docker 中）執行 Ollama，用來處理一切與自動化相關的事。
對於舊硬體： GPT4All。其他選項都沒有意義。
對於 Raspberry Pi 或邊緣裝置： Ollama。配備 16 GB 和良好量化 3B 模型的 Pi 5 確實可用。
對於 AMD GPU 使用者： 使用 llama.cpp 搭配 Vulkan，或想要圖形介面則用 LM Studio。目前 Windows 上先跳過 Ollama。
對於 Apple Silicon Mac 使用者： LM Studio 搭配 MLX。MLX 後端是殺手級功能，而只有 LM Studio 能乾淨地提供它。
對於隱私極致追求者： Jan AI。完全開源、零遙測、符合 GDPR。
對於服務多位使用者： Linux 上使用 vLLM 搭配 NVIDIA。吞吐量無人能敵。
對於深度自訂或嵌入式部署： 直接使用 llama.cpp。值得付出學習曲線。
接下來會發生什麼事
2026 年下半年的三個趨勢值得關注：
- MCP 成為標準。 模型上下文協定（用於將工具連接到 LLM 的標準）已經出現在 LM Studio 中。Ollama 將會跟進。到 Q4，每個嚴肅的本地工具都會原生支援它，使本地模型成為 Agent 工作流程中 Claude 的直接替代品。
- 行動端起飛。 Apple 的裝置端模型、透過 Termux 在 Android 上運行的 llama.cpp、以及量化技術的改進，意味著真正的本地推論即將降臨手機。不只是「摘要這封郵件」，而是實際的 Agent 工作流程。
- 與雲端的差距縮小，但不會消失。 像 Llama 4 和 Qwen 4 這樣的開放權重模型將持續縮小品質差距。但絕對前沿（Claude Opus 4.7、GPT-5.1、Gemini 3）在可預見的未來仍將僅限雲端，因為規模優勢是結構性的。
總結
本地 LLM 不再是科學實驗。它們是真正的、實用的選項，與雲端 AI 互補而非取代。對於隱私敏感的工作、離線場景、大量日常使用以及學習，在地端是正確的答案。對於最困難的推理任務，雲端仍然勝出。
好消息是，工具終於成熟到不需要博士學位也能設定的地步。從上表中挑選符合你硬體和使用情境的工具。今晚安裝。到週末，你就會有一台私人 AI 助手在你自己的機器上運作。
這正是沒有人告訴你的部分：在 2026 年，問題不再是「你能不能」在本機執行有用的 LLM。而是「你該把哪個工作流程交給它」。
如果這篇文章對你有幫助，歡迎追蹤我的 Telegram 頻道：
