两年前，"在本地运行大语言模型"还只是个周末实验，最终往往以失望告终。你下载一个 13B 的模型，听着笔记本风扇狂转，然后每秒只能生成一个 token 的平庸输出。
而今天，2026 年 6 月，这个话题已经翻篇了。一块 Raspberry Pi 5 就能跑一个能正常对话的聊天机器人。一台 MacBook Air 在大多数任务上已经可以媲美 GPT-3.5 的质量。一张二手的 RTX 3090，花 700 美元就能给你接近 GPT-4 的体验。
硬件跟上了。模型变小了。工具也成熟了。
所以现在的问题不再是能不能在本地运行 LLM，而是该用哪个工具来运行它。市面上至少有十几个正经选项，功能各有重叠，名字让人困惑，设计理念也大相径庭。
这篇指南将为你理清这一切。
为什么要本地运行 LLM？
在我们深入工具之前，先客观说说本地的优势：
- 隐私。 你的提示词和数据永远不会离开你的机器。对于律师、医生、金融分析师以及任何处理敏感信息的人来说，这一点不是可选项，而是必选项。
- 成本。 如果你重度使用 AI，本地模型几个月内就能回本。没有按 token 计费，没有速率限制。
- 离线可用。 在飞机上、地下室里、安全设施内，或是网络不佳的地区，本地 LLM 能在云端无法工作的地方发挥作用。
- 无审查。 开放权重的模型不会因为过度谨慎的 RLHF 而拒绝执行那些无害的任务。
- 学习价值。 如果你想真正理解这些系统是如何工作的，自己动手运行它们是最快的途径。
再说说不那么光鲜的一面：
- 质量天花板。 截至 2026 年 6 月，即使是最好的本地模型，在最困难的推理任务上依然落后于 GPT-5.1 和 Claude Opus 4.8。你在用隐私和成本换取顶级的智能水平。
- 硬件限制。 你被自己所拥有的硬件性能所限制。笔记本电脑上的 7B 模型永远无法匹敌数据中心里的 405B 模型。
- 设置成本。 即使是最简单的工具也有一次性的学习成本。
对于 80% 的日常任务——比如起草文档、总结、辅助编程、研究——本地模型现在已经足够好了。对于最困难的 20% 任务，还是保留一个云端订阅吧。
概览
在比较工具之前，先了解下这个“多层蛋糕”。大多数本地 LLM 工具都构建在一个引擎之上——llama.cpp。正是这个 C/C++ 推理引擎让其他一切成为可能。Ollama、LM Studio、GPT4All、Jan 以及其他许多工具，其底层都使用了 llama.cpp（或其分支）。
工具之间的区别不在于原始推理速度，而在于它们的上层封装——用户体验、API、模型管理、平台支持，以及设计理念。
工具大致可以分为四类：
类别
它们是什么
例子
推理引擎
加载和执行模型的原始运行时
llama.cpp, MLX, vLLM
命令行工具
引擎 + 模型管理 + API，以终端为先
Ollama
桌面应用
用于浏览、下载和与模型聊天的图形界面
LM Studio, Jan, GPT4All
生产级服务器
为多个并发用户提供高吞吐量推理
vLLM, LocalAI, SGLang
根据你的目标来选择对应的层级。
按使用场景排名的 8 个重要工具
1. Ollama - 大多数人的默认起点
它是什么： 一个以 CLI 为主的本地 LLM 运行器，内置 REST API。安装后，运行一个命令，你就在本地拥有了一个兼容 OpenAI API 的端点。
为什么它占主导地位： 每个主要的 LLM 工具链——LangChain、LlamaIndex、Aider、Continue、Cursor、Zed、Open WebUI——都有一流的 Ollama 支持，或者可以通过 OpenAI 兼容层开箱即用。如果你要做任何自动化的事情，Ollama 是阻力最小的路径。
硬件： 支持 Mac（Metal）、Windows（CUDA/Vulkan）、Linux（CUDA/ROCm），甚至 Raspberry Pi。在支持的情况下，GPU 加速是自动的。
优势：
- 最简单的设置：
ollama pull llama3.2，你就开始运行了 - 无头模式在服务器和 Docker 上开箱即用
- 庞大的生态系统支持——几乎每个 IDE 和 AI 工具都与它集成
- MIT 许可证，无遥测
缺点：
- 没有图形界面。默认只有终端（有独立的项目提供 Web UI）
- 默认的 Vulkan 支持尚未完善——Windows 上的 AMD 需要自定义编译
- 如果你收集模型，磁盘占用会膨胀（自身占用约 4.6 GB，外加模型）
最适合： 开发者、任何在本地 LLM 基础上构建应用的人、服务器部署、自动化工作流。
如果以下情况则跳过： 你只想要一个用于闲聊的精美图形界面。
2. LM Studio - 精美的桌面体验
它是什么： 一个完整的桌面应用，用于发现、下载和运行模型。界面漂亮，实时 token 流可视化，内置聊天界面，以及可切换的 OpenAI 兼容服务器。
为什么人们喜欢它： 它是从"听说过本地 LLM"到"正在和它聊天"的最简单路径。应用内的 Hugging Face 浏览器允许你按文件大小和量化级别进行筛选，查看模型介绍，并带有进度条进行下载。
硬件： Mac（在 Apple Silicon 上有原生的 MLX 加速，这是一个真正的优势）、Windows、Linux。开箱即用支持 Vulkan，这对 AMD 用户很重要。
优势：
- 一流的模型发现和聊天图形界面
- 在 Apple Silicon 上原生支持 MLX，为 Mac 带来真正的性能优势
- 内置 API 服务器（兼容 OpenAI），方便你编写代码与其交互
- 最新版本（0.3.5+）增加了无头"本地 LLM 服务"模式和 JIT 模型加载
- 0.4.0 版本增加了 MCP 支持——将类似 Claude 的工具连接到你的本地模型
缺点：
- 闭源。默认开启匿名分析（可在设置中关闭）
- 比 CLI 工具更占磁盘和内存（Electron 应用）
- 服务器模式需要手动开启，并且要求应用保持运行——不适合真正的无头服务器部署
- CLI（lms）功能可用，但不如 Ollama 的丰富
最适合： 想要通过可视化方式探索本地 LLM 的人、Mac 用户（MLX 是杀手级功能）、迭代系统提示词的提示工程师。
如果以下情况则跳过： 你需要部署在无头服务器上，或者开源是硬性要求。
3. llama.cpp - 别人都在用的引擎
它是什么： 驱动大多数本地 LLM 生态系统的 C/C++ 推理库。最初是为了在消费级 CPU 上运行 LLaMA 模型而创建，现在已成为行业标准。
为什么它很重要： 直接运行 llama.cpp 可以跳过封装带来的开销。它是最精简的选择——最近的一项对比显示，它在 Windows 上占用不到 90 MB，而包含所有依赖的 Ollama 约 4.6 GB。
硬件： 几乎能跑在所有平台上——x86、ARM、Apple Silicon、NVIDIA CUDA、AMD ROCm、Intel oneAPI、Vulkan、OpenCL。包括 Raspberry Pi、Android 手机（通过 Termux）和旧笔记本电脑。
优势：
- 体积小，零不必要的依赖
- 最佳性能和定制性
- Vulkan 后端可跨 GPU 厂商使用——是 Windows 上 AMD 用户的最佳路径
- 包含一个 CLI (
llama-cli)、一个服务器 (llama-server) 和一个基础的 Web UI - 最宽松的许可证
缺点：
- 学习曲线较陡——需要了解各种参数、量化格式、编译选项
- 没有友好的模型注册中心——你需要自己寻找并下载 GGUF 文件（通常来自 Hugging Face）
- 没有"开箱即用的魔法"——你需要配置一切
最适合： 高级用户、Windows 上的 AMD 用户、任何需要部署到嵌入式或特殊硬件的人、希望最小化开销的开发者。
如果以下情况则跳过： 你想要一条快速聊天的捷径，并且不喜欢阅读文档。
4. GPT4All - 低端硬件专家
它是什么： 来自 Nomic AI 的一个桌面应用，专门针对不支持 GPU 加速的机器进行了优化。
为什么它存在： 大多数本地 LLM 工具都假设你至少有一块不错的 GPU。GPT4All 反其道而行之——它专为旧笔记本电脑、工作配发的机器以及任何无法使用 CUDA 的计算机而设计。
硬件： 可在没有 GPU 加速的 CPU 上运行，并针对 8GB 或更少 RAM 的机器进行了优化。硬件要求：最低 4GB RAM，推荐 8GB。兼容过去 5 年内生产的任何 CPU。
优势：
- 本指南中所有工具里硬件要求最低的
- 精美的图形界面，非技术用户也能轻松上手
- 强大的隐私保障（仅可选遥测）
- 跨平台（Mac、Windows、Linux）
缺点：
- 模型库比 Ollama 或 LM Studio 小
- 它的 API 不如竞争对手成熟
- 性能上限低——如果你升级了硬件，很快就会觉得它不够用
最适合： 使用旧硬件的用户、没有管理员权限安装驱动的公司电脑、学校、以及在预算有限的情况下需要可访问的本地 AI 的组织。
如果以下情况则跳过： 你有一块现代 GPU，因为你正在浪费它的性能。
5. Jan AI - 开源版 ChatGPT 替代品
它是什么： 一个桌面应用，旨在成为一个完全本地、完全开源的 ChatGPT 替代品。界面简洁，支持多模型，如果你需要混合使用，还提供可选的云端集成。
为什么它脱颖而出： 它是最明确强调隐私至上的选项。Jan AI 和 Ollama 不收集任何遥测数据（MIT 开源）。专为那些希望得到保证（而不仅仅是声称）数据不会离开自己机器的用户而设计。
硬件： Mac、Windows、Linux。比 LM Studio 轻量，但比 GPT4All 重一些。
优势：
- 完全开源，完全可审计
- 默认零遥测
- 干净的聊天应用风格——最接近"本地版 ChatGPT"
- 支持模型提供商（本地 + 可选的云端），适合混合使用
- 内置 API 服务器
缺点：
- 生态系统比 Ollama 或 LM Studio 小
- 一些高级功能（MCP、高级 Agent 流程）落后于领先者
- 模型库不如 LM Studio 的 HuggingFace 浏览器全面
最适合： 注重隐私的用户、在 GDPR 法规下工作的欧洲专业人士、任何希望获得类似 ChatGPT 体验且要求严格可审计性的人。
如果以下情况则跳过： 你今天就需要 MCP 集成这样的前沿功能，或者希望获得尽可能大的模型选择范围。
6. vLLM - 生产吞吐量之王
它是什么： 一个高性能推理服务器，专为从单台 GPU 机器为多个并发用户提供服务而设计。由 UC Berkeley 创建，现在是自托管生产 LLM API 的事实标准。
为什么它很重要： 大多数本地工具优化的是单用户延迟。vLLM 优化的是吞吐量。其 PagedAttention 技术可减少 50%+ 的内存碎片，并在相同硬件上提供比替代方案多 2-4 倍的并发请求。
硬件： 主要是 Linux + NVIDIA。对于大规模部署需要 A100/H100 级别，不过它也可以在消费级 GPU 上运行用于开发。
优势：
- 在相同 GPU 上，吞吐量是原生服务的 2-4 倍
- 对 Kubernetes 友好，内置指标，兼容 OpenAI API
- 支持跨多块 GPU 的张量并行
- 支持多模态模型（LLaVA、Qwen-VL）
- 如果你要向用户提供 LLM 服务，这是正确的选择
缺点：
- 仅限 Linux + NVIDIA。如果你使用 Mac 或 Windows，这个不适用
- 设置更复杂，需要配置驱动
- 对于单用户工作流来说大材小用
最适合： 自托管 LLM API 的公司、向多个用户提供本地 AI 服务的任何人、基础设施团队。
如果以下情况则跳过： 你只是笔记本电脑上的单个用户。使用 Ollama 代替。
7. LocalAI - 通用 API 中心
它是什么： 一个兼容 OpenAI API 的编排层，可以将请求路由到多个推理后端，处理文本/图像/音频/视频模型，并作为你的应用和你实际使用的推理引擎之间的中间件。
为什么它有用： 如果你想要一个统一的 API 表面，可以抽象掉你正在运行的任何后端（今天用 llama.cpp，明天用 vLLM，明年用 MLX 服务器），LocalAI 就是那个封装层。
硬件： 首选 Linux，对 Docker 友好。
优势：
- 无论后端如何，提供一个兼容 OpenAI 的单一端点
- 多模态（文本生成、图像生成、音频、嵌入、重排序、视频）
- 在现有应用中可作为 OpenAI API 的直接替代品
- 适用于企业级中间件场景
缺点：
- 对于单用户设置来说，比 Ollama 复杂得多
- 文档可能比较稀疏
- 社区比 Ollama 或 LM Studio 小
最适合： 企业部署、需要构建一个跨不同后端的稳定本地 API 的团队、任何在本地提供多模态 AI 服务的人。
如果以下情况则跳过： 你只是想和一个模型聊天。
8. MLX（Apple Silicon 原生） - Mac 高级用户的选择
它是什么： Apple 的机器学习框架，针对 Apple Silicon 的统一内存架构进行了优化。LM Studio 原生使用它；你也可以通过 Python 直接使用它。
为什么 Mac 在悄然领先： 统一内存意味着搭载 M4 Max、拥有 128 GB 内存的 MacBook Pro 可以运行 70B 参数的模型，而这在 PC 上需要一块价值 5,000 美元的专用 GPU。2026 年最好的本地 LLM 体验就在 Apple Silicon 上，没有之一。统一内存意味着那些在 PC 上需要专用 GPU 的模型，可以在 Mac 上使用共享的 RAM + GPU 内存来运行。
硬件： 仅限 Apple Silicon（M1 及以后版本）。
优势：
- 在 Mac 硬件上，性价比最高
- 原生支持平台，没有尴尬的转换层
- MLX + LM Studio 的组合为 Mac 用户带来了真正的优势
- 统一内存架构使得无需企业级 GPU 也能运行大型模型
缺点：
- 仅限 Mac
- 生态系统比 llama.cpp 小
- 要么需要使用 LM Studio，要么需要一些 Python 知识
最适合： 任何认真在 Mac 上使用本地 LLM 的人。
如果以下情况则跳过： 你不是在 Apple Silicon 上。
硬件与工具的匹配
这里有个实际问题，大多数文章都避而不谈：根据你现有的设备，我到底应该安装什么？
如果你有一块 Raspberry Pi 5（8GB 或 16GB）
使用： Ollama（Raspberry Pi OS 原生支持）
可以尝试的模型： TinyLlama 1.1B, Phi-3 Mini 3.8B, Gemma 3 1B
实际预期： 根据模型大小，每秒 2-8 个 token。可用于聊天机器人、家庭自动化、简单的问答。不适合严肃的编程或长篇幅推理。
如果你有一台旧笔记本电脑（Intel i5, 没有 GPU, 8GB RAM）
使用： GPT4All
可以尝试的模型： Phi-3 Mini, Llama 3.2 1B, TinyLlama
实际预期： 速度慢但可用。更适合短查询，而非长文本生成。
如果你有一台带有集成显卡的现代笔记本电脑（16GB RAM, 无独立 GPU）
使用： LM Studio（CPU 模式）或 Ollama
可以尝试的模型： Llama 3.2 3B, Gemma 3 4B, Qwen 3 7B（需有耐心）
实际预期： 适合聊天、起草文档、总结。小模型上每秒 5-15 个 token。
如果你有一台 MacBook Air M2/M3/M4
使用： 带 MLX 后端的 LM Studio
可以尝试的模型： Llama 3.2 8B, Qwen 3 14B, Mistral Nemo
实际预期：速度快得惊人——Apple Silicon 的统一内存和 Neural Engine 表现超出其规格。中等规模模型上每秒 20-40 个 token。
如果你有一台 MacBook Pro M3/M4 Max（36GB+ 内存）
使用： LM Studio + MLX, 或 Ollama
可以尝试的模型： Llama 3.3 70B（64GB+ 内存时），Qwen 3 32B，DeepSeek-V3（蒸馏版）
实际预期： 真正可以用于严肃工作。Mac Studio M4 Max（128 GB 统一内存）：可以在保持其他应用打开的情况下，以约 20 t/s 的速度运行 Llama 3.3 70B。
如果你有一台装有 NVIDIA GPU 的 Windows/Linux 台式机（RTX 3060–4070）
使用： Ollama（最简单）或 llama.cpp（性能最高）
可以尝试的模型： Llama 3.2 8B, Qwen 3 14B, Mistral 7B
实际预期： 推理速度快，在适合 VRAM 的量化模型上，每秒 30-80 个 token。
如果你在 Windows 上有 AMD GPU
使用： 带有 Vulkan 后端的 llama.cpp（最可靠）或 LM Studio（开箱即用 Vulkan）
原因： AMD 在 Windows 上对 ROCm 的支持几乎不存在。Vulkan 是救命稻草。
实际预期： 性能显著落后于 NVIDIA，但远好于仅使用 CPU。
如果你有一台高级工作站（RTX 4090, RTX 5090, 多 GPU）
使用： vLLM 用于服务，Ollama 或 llama.cpp 用于个人使用
可以尝试的模型： Llama 3.3 70B, Qwen 3 72B, DeepSeek-V3
实际预期： 在大多数任务上接近云端质量。这是本地 AI 不再是妥协方案的地方。
如果你在为团队运行生产环境（多个用户）
使用： vLLM 或 LocalAI
硬件： 理想配置为 A100/H100，小团队最低要求 RTX 4090
实际预期： 根据模型大小，单块 A100 可支持 10-50 个并发用户。
快速对比矩阵
实话实说——到底该装哪个
如果你想让我直截了当地告诉你该怎么做：
对大多数人来说：同时安装 Ollama 和 LM Studio。 使用 LM Studio 的图形界面来发现和测试模型。使用 Ollama 作为你的脚本、IDE 和应用连接的实际运行时。两者相辅相成——它们不是竞争对手。在你的笔记本上用 LM Studio 进行模型发现和提示词迭代，在所有与自动化相关的事情上，在服务器上或通过 Docker 在工作站上运行 Ollama。
对于旧硬件： GPT4All。其他选择都不合理。
对于 Raspberry Pi 或边缘设备： Ollama。搭配 16GB 内存和良好量化的 3B 模型的 Pi 5，是真的可用的。
对于 AMD GPU 用户： 带有 Vulkan 的 llama.cpp，或者如果你想要图形界面则使用 LM Studio。目前在 Windows 上先跳过 Ollama。
对于 Apple Silicon Mac 用户： 带有 MLX 的 LM Studio。MLX 后端是杀手级功能，只有 LM Studio 能干净地将其呈现出来。
对于注重隐私最大化者： Jan AI。完全开源，零遥测，对 GDPR 友好。
用于为多个用户提供服务： Linux 上带 NVIDIA 的 vLLM。在吞吐量方面，没有其他能与之匹敌。
用于深度定制或嵌入式部署： 直接使用 llama.cpp。学习曲线是值得的。
下一步是什么
2026 年剩余时间值得关注的三个趋势：
- MCP 成为标准。 用于将工具连接到 LLM 的标准——模型上下文协议——已经出现在 LM Studio 中。Ollama 也会跟进。到第四季度，每个重要的本地工具都将原生支持它，使本地模型能够作为 Claude 的即插即用替代品，用于 Agent 工作流。
- 移动端起飞。 Apple 的设备端模型、通过 Termux 在 Android 上运行的 llama.cpp，以及量化技术的改进，意味着严肃的本地推理即将出现在手机上。不是那种"总结这封邮件"，而是真正的 Agent 工作流。
- 与云端的差距缩小，但不会消失。 像 Llama 4 和 Qwen 4 这样的开放权重模型将继续缩小质量差距。但绝对的前沿（Claude Opus 4.7、GPT-5.1、Gemini 3）在可预见的未来将只限于云端，因为其规模优势是结构性的。
总结
本地 LLM 不再是一个科学实验。它们是一个真实、实用的选择，用来补充——而不是取代——云端 AI。对于隐私敏感的工作、离线场景、高强度的日常使用以及学习，本地是正确的答案。对于最困难的推理任务，云端仍然胜出。
好消息是，工具终于成熟到了你不需要博士学位也能设置的地步。从上面的列表中选择一个匹配你硬件和使用场景的工具。今晚就安装。到周末，你就会在自己的机器上运行一个私人的 AI 助手了。
这就是没人告诉你的部分：在 2026 年，问题不再是你能不能在本地运行一个有用的 LLM。而是你应该把哪个工作流交给它。
如果这篇文章对你有帮助——请关注我的 Telegram 频道：
