这周我在 MacBook 上运行了一个完全本地化的 AI 模型。不是为了好奇，也不是那种"看看它到底怎么样"的演示。我是真的想把它用在实际工作流里，配合我自己的 Agent 系统，处理那些我必须要做的真实任务。
这个模型是 Qwen 3.6，90 亿参数。我的机器是 M1 Pro，16 GB 内存。不是 Mac Studio，也不是工作站，就是一台普通的笔记本电脑。Qwen 3.6 是最近发布的，小尺寸变体正是让这次实验值得现在尝试的原因，而不是六个月之前。
它跑起来了。
不是那种"启动没报错"的"跑起来了"，而是我真的用它做了一些事，并且没有感觉在和硬件较劲。比 Claude 慢，那是肯定的，但慢的程度在可接受范围内。那种你能感觉到它存在，但不会被它惩罚的慢。
这比我想象中更让人惊讶。
两种不同的"本地 AI"叙事
在进入实验之前，有一个区别值得说明，因为它总是被混为一谈。
第一种"本地 AI"是本地 Agent 配合云端模型。所有代码都在你的设备上运行——记忆系统、自动化脚本、工具集成——但实际的模型是远程的。你从笔记本电脑调用 Claude 或 OpenAI，但运行架构是你的，在你的硬件上。
这也是为什么今年人们开始买 Mac Mini 来托管本地 Agent 框架。当 OpenClaw 火起来的时候我写过这件事：设备是最便宜的部分。一台基础款 Mac Mini 大概 599 美元，真正做复杂思考的是云端模型。你把编排层放在本地，私密、永远在线，不需要一直订阅某个服务，也不用依赖别人的基础设施来跑你的自动化。
第二种则是完全本地化的 LLM。模型本身就在你的设备上，没有 API 调用，没有云端依赖，没有数据离开你的机器。很长一段时间里，第二条路意味着需要很强大的硬件，因为值得跑的模型都很大，大就意味着贵。你需要一台非常强大的 Mac Studio 或者更厉害的设备，才能得到真正有能力的模型。
这种计算方式正在开始改变。
MacBook 实验
Qwen 3.6 的 90 亿参数版本在 16 GB 内存上跑起来是能接受的。这是最关键的发现，而且比听起来更重要。
我用的是 Ollama，基本上就是一行命令安装，负责所有模型管理，并在 localhost:11434 给你提供一个本地 OpenAI 兼容的 API。任何支持 OpenAI 格式的工具都可以指向它，包括我用来作为 Wiz 界面的 Claude Code。
如果你想复现，只需要三条命令：
1ollama pull qwen3:9b2ollama run qwen3:9b
就这样。Ollama 在 localhost:11434 启动一个本地服务器，提供 OpenAI 兼容 API。如果你使用 Claude Code，可以通过设置 base URL 指向 Ollama。任何为 OpenAI API 格式构建的工具都能直接工作。你现在离线了，不需要 API 密钥，也没有按 token 计费。
实际发生的情况如下：
记忆回忆效果出奇地好。我让它从记忆文件中提取上下文，它读取了文件，并以合理的准确性找到了相关信息。综合能力不如 Claude，但信息被正确检索并使用了。对于一个本质上就是"读取文件、找到相关部分、报告出来"的任务，一个 9B 模型完全能胜任。
工具调用也很有意思。对于简单的请求，Qwen 能以合理的准确性调用我 Agent 系统中的工具。对于 Agent 工作来说，这一点比原始文本质量更重要。当你在考虑 AI 成本优化时，能在正确时间调用正确工具的模型，往往比能写出最漂亮文字的模型更有价值。
创造性任务和复杂推理？那就不是一回事了。当我请求写作帮助、分析，或者任何需要真正综合能力的事情时，质量差距很明显。这不是批评，只是对一个 9B 模型能做和不能做什么的诚实观察。我也试了 4B 版本，不出所料，能力下降非常明显。对我来说，9B 是我为这类工作划定的可用性底线。
这里重要的框架是：这不是拿 Qwen 和 Claude Opus 比较。它们根本不在同一个类别。问题是：一个本地模型能否处理我工作中真实的子集？答案是肯定的——一个真实且不微不足道的子集。
还有一个我还没探索但很感兴趣的路径：微调。你可以用自己的硬件微调 4B 或 9B 模型。输入你的写作风格、偏好、术语、风格，得到比任何现成模型都更贴合你的东西。这在 MacBook 上是可行的。需要时间，但不是理论上的练习。对于你有明确需求的特定个人任务，一个微调后的小模型可能比通用的大模型表现更好。
iPhone 实验
iPhone 的实验更多是出于好奇，而非即时实用性。但它最后成了最让我惊讶的部分。
我用的应用叫 PocketPal AI（App Store 上免费）。它是一个开源应用，可以直接在 iPhone 上下载并运行语言模型，完全本地化。你从 Hugging Face 浏览模型，通过 Wi-Fi 下载一次，之后不需要网络就能运行。最简单的验证方法：打开飞行模式，然后问模型一个问题。它会回答。没有任何数据离开你的手机。
我在 iPhone 17 Pro 上运行了 Qwen 的 0.8B 和 2B 参数版本。设置很简单：
- 从 App Store 安装 PocketPal AI
- 打开应用，进入模型浏览器
- 搜索 Qwen，下载一个小尺寸变体（旧款手机用 0.5B 或 1.5B，新款如 17 Pro 用 2B）
- 开始聊天，然后打开飞行模式确认它完全是本地的
显然的问题不是"这跟 Claude 一样好吗"，而是"能不能在手机上装一个本地有用的东西？"答案是肯定的，但有限制。这些是超小模型。它们能处理基本的文本任务和短问题回答，质量尚可。不会帮你一夜之间构建一个应用。但它们能跑，完全在设备上，完全本地化。
这里最有趣的不是模型能力，而是硬件信号。2026 年 iPhone 能跑本地 LLM，意味着智能手机的性能已经跨过了一个门槛。这很有意义——不是因为 0.8B 模型令人印象深刻，而是因为你口袋里已有的硬件已经跨过了那个阈值。
隐私角度也很真实。当没有任何东西离开你的设备时，你不需要考虑发送了什么、发到了哪里。没有服务条款来约束你的查询，没有 API 日志。只有你和运行在硅片上的权重数据。自从我因为某个云 AI 服务在欧盟被禁而丢失了六个月的语音数据后，我一直在思考这个问题。本地化是一种不同的韧性。
成本角度
除了技术兴趣之外，这件事在现实中的意义是：当你运行大量 Agent 任务时，AI 订阅费用会快速累积。这不是假设。我密切追踪我的使用量。
不是每个任务都需要 Opus。很多 Agent 工作其实很简单：读文件、格式化、总结一条简短笔记、根据上下文回答事实性问题。把这些任务路由到本地模型而不是顶尖模型，会显著改变成本结构。
我在密切关注下一个版本的 Haiku。它越来越好，成本越来越低。本地模型也在走同样的轨迹，只是层面不同。
未来走向
我认为 AI 的未来会包含比当前讨论中更多的本地计算。
我看到的形态是：困难的事情用云端模型——复杂推理、创造性工作、架构决策，那些需要真正方向和愿景的事。但 Agent 系统每天发生的成百上千个小型认知任务，本地模型会变得足够好，以至于路由到本地是合理的。
硬件论据在这里也很重要。看看过去四年的消费级芯片：M1、M2、M3、M4、M5。每一代都明显更快、内存效率更高。两方面——更好的模型和更好的硬件——都指向同一个方向。几年后，人们已经拥有的笔记本电脑能运行的模型，会比我这周跑的模型感觉更强大。
我粗略预测：三年内，会有针对特定用例微调的本地模型，在这些特定任务上真正能与今天的顶尖模型竞争。不是通用推理，不是创造性综合，而是"快速地、私密地、无需互联网连接地做这个我关心的事情"。这是一个非常真实且有用的类别。
还有一个很少被讨论的环境角度。一次查询命中数据中心的能源和基础设施成本，比在本地硅片上运行相同推理高出几个数量级。如果大多数常规 AI 任务转向本地，资源方程就会改变。不是解决，但有意义地不同。
现在，权衡是清楚的：本地模型有限，微调需要努力，与顶尖模型的能力差距是真实的。但前进的方向并不模糊。差距正在缩小。我本周在用了多年的硬件上测试了它，结果足够好，让我开始思考该把任务路由到哪里。
如果你好奇：安装 Ollama，拉取 Qwen 3.6 的 9B 版本，然后在你工作流中试试简单的事情。这种体验和跑基准测试不一样。它出乎意料地真实。
如果这篇文章对你有用——可以关注我的电报频道：
