目前的主流叙事是，开源正在吞噬企业市场。最佳闭源模型与开源模型之间的能力差距已缩小到个位数。财富 500 强中有三分之一在 Hugging Face 上拥有经过验证的账户，中国的研究实验室每隔几周就会发布一批接近前沿水平的开源权重模型，推理提供商也在激烈竞争。
与此同时，在 Decagon，我们现在大约 90% 的工作负载都运行在开源模型上，而不是 OpenAI 或 Anthropic 的模型。这与大多数高速增长的应用程序公司的情况一致，而且我们看到与我们合作的大型企业也在朝这个方向发展。
然而，企业整体支出却在向相反方向移动。开源模型在企业 LLM 支出中的占比已降至 11%，低于一年前的 19%。
实际趋势与流行的说法背道而驰。为什么会这样？这对未来意味着什么？
首先，解释一下为什么我们 90% 使用开源模型。这不是因为成本，也不是因为客户要求（尽管他们并不介意）。而是因为我们别无选择。
当你为客服场景在生产环境中运行 AI Agent 时，延迟决定产品的成败。一个每次交互都需要 8 秒的对话，没人会用。所以你需要小巧、快速的模型。每次模型调用并不需要知道立陶宛的首都或高中物理知识。
但开箱即用的小模型，质量达不到客户对我们的要求。只有通过对特定任务进行大量微调，它们才能达到标准。前沿实验室并不太提供这种组合。你无法按照我们的需求微调他们最好的模型，他们的小模型也不归我们塑造。小巧 + 微调意味着开放权重。成本节省是实实在在的，但只是次要因素；企业对自托管模型的接受度是一个不错的副作用，而非主要原因。
那么，为什么像我们这样的公司 90% 使用开源模型，而更广泛的企业数据却在下降？
答案是用例的成熟度。当一个用例是全新的，你希望获得你能得到的最聪明的通用模型。你还不清楚问题的具体形态，所以你会为可能最终用不上的智能支付溢价。在那个阶段，这是正确的权衡。但一旦用例完全成型，当你了解了输入的分布、所需的行为以及需要防范的失败模式时，权衡就翻转了。此时，通用智能变成了开销，你希望得到最小、最快的模型，经过微调，能极其出色地完成你的特定任务。
客服恰好是行业中最明显的 AI 用例之一。工作流程清晰，对话量巨大，质量标准严格。这意味着像我们这样的公司，只是比一般的企业部署走得更远。
而这正是悖论的答案。开源份额下降的原因，并非开源正在失利。而是企业 AI 整体上还处于成熟曲线的起点。去年，企业停止了构建，开始购买，成千上万的全新用例同时涌现。新用例运行在前沿模型上，因此闭源份额激增。11% 是一个分母问题：不成熟用例的增长速度超过了成熟用例的增长速度。
如果这个判断正确，那么今天每个在前沿模型上原型验证的用例，都是未来向开源迁移的候选。随着部署逐渐成熟，公司会做我们做过的事：蒸馏、微调、专业化。前沿实验室将继续主导探索阶段。开源将越来越多地主导生产阶段。
然而，这需要的时间比人们想象的要长。大多数用例还没有达到 Agent 的“形态”已经确定，以至于值得开始微调开源模型的程度。
微调需要付出努力，而大多数组织缺乏这样做的资源或专业知识。用例必须具有非常高的投资回报率，并且已经大规模全面部署，才值得投入。你还需要足够的数据来确保较小的模型在特定任务上能达到与前沿模型相同的性能。
否则，直接接入一个前沿的闭源模型要容易得多。你无需担心拥有任何基础设施，并且可以自由地迭代和实验。
因此，LLM 支出中开源模型的份额最终会回升，但这在多年内不会发生。
