大多数人每天都在使用 ChatGPT 和 Claude ，却完全不知道它们究竟是如何构建出来的。
请收藏这篇文章 :)
只有少数人真正了解将原始互联网文本转化为能够写作、推理和编写代码的模型的完整流程。理解了这个流程，你使用这些工具的方式将发生永久性的改变，因为你终于看清了引擎盖下发生的一切，而不再将其视为某种魔法。
这两类人之间的区别不在于是否拥有数学学位。
而在于是否拥有一个清晰的思维模型。
几乎没有人能简单地解释这个事实：每一个前沿模型，无论是 GPT 、 Claude 还是其他模型，都是通过相同的五个阶段构建出来的。这些公司在规模、数据和成千上万的工程细节上有所不同，但整个过程的“形态”在任何地方都是一样的。掌握了这个形态，你就理解了它们是如何制造出来的。
在开始之前，让我先诚实地说明一下预期。你不可能在自己的笔记本电脑上从零开始训练出一个能与 GPT 或 Claude 相媲美的模型。这些模型需要数千万美元的算力，并需要庞大的工程团队。这并非本文的目标。我们的目标是深入理解这个流程，达到你可以自己构建一个微型工作版本、能够推理大型模型的行为方式，并不再对这一切感到困惑的程度。这种理解的价值远超大多数人的想象，而且完全触手可及。
以下是这五个阶段，按顺序排列，完全按照它们实际发生的方式进行。
第一阶段：数据 —— 一切构建的基石
在模型出现之前，首先是文本。海量的文本。
第一阶段是收集和准备模型将要学习的数据。对于一个前沿模型来说，这意味着惊人数量的文本：公共互联网的很大一部分、书籍、代码库等等。但原始文本是杂乱无章的，所以这个阶段大部分的工作不是收集，而是清洗。
数据经过过滤以去除垃圾信息，剔除重复内容（同一段落出现一千次会扭曲模型的学习效果），并过滤掉低质量或有害的材料。这种清洗工作比人们想象的更为重要。古老的原则依然适用：垃圾进，垃圾出。一个在更干净、更高质量数据上训练的模型，比一个在更多但更杂乱数据上训练的模型学得更好。数据质量是整个领域中最重要且最不引人注目的杠杆之一。
接下来是让初学者感到惊讶的一步：分词（Tokenization）。模型无法直接读取文本。文本会被分解成 Token ，也就是大致相当于词语一部分的块。短语“ tokenization ”可能会变成三个或四个 Token 。每一条训练数据都会被转换成这些 Token ，从那一刻起，模型看到的只有代表 Token 的数字，而不是字母。这就是为什么模型有时会数错单词里的字母：它们从未见过字母，只见过 Token 。
这个阶段的产出是一个庞大、干净、已分词的数据集。此时还没有学到任何东西。你只是准备好了原材料。
学习此阶段的方法
- 通过将文本输入分词器并观察它如何拆分为 Token ，来了解分词器到底做了什么
- 拿一个小型的文本数据集练习清洗：删除重复项、过滤垃圾信息、规范化格式
- 通过比较小型模型从干净数据与杂乱数据中学习到的内容，理解为什么数据质量胜过数据数量
- 阅读各大实验室如何描述他们的数据过滤过程，并注意他们为此投入了多少精力
第二阶段：预训练 —— 模型真正学习语言的地方
这是耗资数百万美元的阶段，也是模型学习其所知几乎一切内容的阶段。
预训练的目标非常简单优美：预测下一个 Token 。模型被展示一系列 Token ，并被要求猜测下一个是什么。它进行猜测，将猜测结果与实际的下一个 Token 进行比较，然后模型的内部数字（其参数，通常有数十亿个）会被微调，以便下次能做出更好的猜测。然后它再次重复这个过程。一遍又一遍。在数万亿个 Token 上进行。
这就是整个训练目标。在巨大的规模上，一遍又一遍地预测下一个 Token 。而从这个极其简单的目标中，涌现出了一些非凡的东西。为了在所有人类文本中擅长预测下一个 Token ，模型被迫学习语法、事实、推理模式、代码语法和论证结构，因为所有这些都有助于它做出更好的预测。没有人明确教过它语法。它学习语法是因为语法有助于它猜出下一个词。
预训练的结果被称为基座模型（Base Model）。它是一个强大的语言引擎，但它是原始的。基座模型不知道自己应该成为一个有用的助手。问它一个问题，它可能只是继续你的句子，或者生成一串类似的问题，因为它学到的全部就是合理地续写文本。它拥有广博的知识，却毫无礼貌。它是一个极其强大的工具，但还没被告知它的工作是什么。
理解这个阶段是整篇文章中最重要的突破点。一旦你理解了这些模型的核心是在大规模下进行下一个 Token 的预测，它们的流畅性和幻觉就都说得通了。它们被构建出来是为了合理地续写，而不是为了说真话。真话是后续阶段和你的工程能力需要补充的东西。
学习此阶段的方法
- 内化“下一个 Token 预测”这一目标，直到你能用一句话向朋友解释清楚
- 在一个小数据集上训练一个微型语言模型（有很多著名的初学者教程），亲身体验这个循环
- 理解参数、数据和算力之间的关系，以及为什么同时扩展这三者能改进模型
- 注意这个阶段如何解释了为什么模型既流畅又能自信地胡编乱造
第三阶段：监督微调 —— 教导模型变得有用
现在，你拿那个才华横溢但毫无礼貌的基座模型，教它它的工作是什么。
基座模型懂语言，但不知道自己应该有用地回答问题。监督微调（Supervised Fine-Tuning，通常简称为 SFT）解决了这个问题。你向模型展示数千个你想要的预期行为示例：一个问题配上一个好的答案，一个指令配上一个正确的响应，一个问题配上一个清晰的解决方案。
模型在这些示例上进行训练，方式与预训练相同，即预测 Token ，但现在数据是精心策划的演示，展示了一个有用的助手应该如何回应。它学习了变得有用的格式：当被问及问题时，产生一个有用的回答，而不是继续续写文本或胡言乱语。
这些示例的质量至关重要，它们通常由人类编写或精心挑选。这比预训练的数据量少得多，有时是数千或数万个示例，而不是数万亿个 Token ，但它们是高质量、深思熟虑且有针对性的。相对少量的优秀演示数据就能将一个原始的基座模型转变为表现得像助手的东西。
经过 SFT 后，你得到了一个真正有用的模型。它遵循指令，回答问题，并专注于任务。对于许多目的来说，这已经是一个可以工作的助手了。但它还没有你实际使用的那些模型那么有帮助、无害和精炼，而这正是最后两个阶段的作用。
学习此阶段的方法
- 通过阅读基座模型和微调模型如何回应的示例，理解两者的区别
- 构建或检查一个小型的指令数据集：展示你想要的行为的问答对
- 尝试在一个专注的任务上微调一个小型的开源模型，观察其行为的变化
- 注意演示示例的质量相比于数量有多么重要
第四阶段：奖励建模 —— 教导模型什么是“好”
这是大多数解释都会跳过的阶段，也是现代模型变得如此精致的巧妙核心。
实验室面临的问题是这样的：在 SFT 之后，模型能给出好的答案，但“好”很难仅通过示例来定义。对于大多数问题，没有唯一的正确答案；只有更好和更差的答案。当你无法为它编写规则时，如何教模型偏好更好的答案呢？
解决方案非常优雅。你让模型针对同一个提示词生成几个不同的答案。然后人类查看这些答案并进行排名：这个比那个好。你收集大量这种人类偏好比较数据。然后，你不再直接使用它们，而是训练第二个模型，称为奖励模型（Reward Model），它的全部工作就是查看任何答案并预测人类会如何评价它。
想一想这实现了什么。你不可能让人类评价主模型生成的每一个答案；那根本无法扩展。但你可以在人类判断的样本上训练一个奖励模型，现在你就拥有了一个人类偏好的自动化替身，可以为数百万个答案评分。奖励模型是“人类喜欢什么”与“计算机可以优化的目标”之间的桥梁。
奖励模型从不与用户交谈。它是一个幕后的裁判。但它是解锁最后阶段的关键，因为它为你提供了一种将主模型推向人类真正偏好的答案的方法，其规模是任何人类团队都无法比拟的。
学习此阶段的方法
- 理解为什么对答案进行排名（这个比那个好）比编写完美的答案更容易且更具可扩展性
- 掌握核心思想：奖励模型学习模仿人类判断，以便自动为答案评分
- 阅读关于如何通过人类比较收集偏好数据的资料
- 看看这个阶段如何将人类品味的杂乱无章与训练过程可以利用的东西连接起来
第五阶段：强化学习 —— 将模型打磨成你使用的样子
最后阶段将目前构建的一切整合起来，并将模型打磨成你实际交互的那个有帮助、谨慎的助手。
这个阶段通常被称为 RLHF（基于人类反馈的强化学习）。各部分是如何组合在一起的呢？你采用第三阶段的微调模型和第四阶段的奖励模型。微调模型生成答案。奖励模型为它们评分。然后，通过强化学习，微调模型被引导去产生得分更高的答案。这是一个循环：生成、评分、改进、重复。
因为奖励模型可以无休止地评分，主模型可以进行练习并改进，远远超过直接人类示例所能提供的程度。经过多轮训练，它学会了更有帮助、更连贯、更善于遵循细微差别，并更善于拒绝它不应该做的事情。这个阶段赋予了模型精致感、良好的判断力以及大部分的安全行为。
值得了解的一个现代变体：部分人类反馈可以用根据一套书面原则生成的反馈来替代或补充，这种方法有时被称为 RLAIF 或宪法 AI 方法。精神是一样的：不再仅仅依赖人类来评价一切，而是通过明确陈述的价值观引导，扩大塑造模型行为的反馈规模。
经过这个阶段，你就得到了成品。一个通过预训练获得流畅性、通过微调获得实用性、并通过强化学习获得精炼和对齐的模型。这就是你打开 ChatGPT 或 Claude 时与之交谈的对象。五个阶段，每个阶段都建立在前一个阶段之上。
学习此阶段的方法
- 理解循环：模型生成，奖励模型评分，模型向更高分数改进
- 掌握为什么这让模型能够进行远远超出直接人类示例限制的练习
- 阅读关于从人类反馈中学习与从原则引导的 AI 反馈中学习之间的区别
- 看看这个最后阶段如何产生你作为用户所体验到的帮助性、判断力和安全行为
一气呵成：整个流程
让我把这一切整合起来，让它固定在你的脑海中。
你收集并清洗了一座山一样的文本，并将它们变成了 Token 。你训练一个模型在所有这些文本上预测下一个 Token ，从这个简单的目标中涌现出了一个懂语言但没礼貌的基座模型。你在精心策划的示例上对它进行微调，让它学会像一个有用的助手那样行事。你收集人类对其答案的排名，并训练一个奖励模型来模仿人类判断。最后，你利用那个奖励模型通过强化学习来改进助手，直到它变得精致、有帮助且对齐。
数据、预训练、微调、奖励建模、强化学习。五个阶段。这就是每一个前沿模型的制造方式。
关于构建你自己的 LLM 的诚实真相
你不可能在卧室里超越前沿实验室，这从来都不是重点。
重点是理解。一旦这个流程在你的脑海中清晰起来，你就不再是这些工具的被动使用者，而是一个能够对它们进行推理的人。你理解它们为什么会产生幻觉（下一个 Token 预测）。你理解为什么提示词工程有效（你在塑造什么会被预测）。你理解为什么有些模型感觉比其他模型更对齐（第四和第五阶段的质量）。你理解为什么你自己的数据在你自己的微调实验中如此重要。这种理解是 AI 构建者所站立的基石。
而这里最令人振奋的部分是：你完全可以自己动手，在小规模上构建每一个阶段的微型工作版本来学习。人们一直在训练微型模型、微调小型开源模型，并尝试偏好数据。你造不出 Claude 。但你可以构建出能让你确切了解 Claude 是如何被构建出来的东西，而这些知识将在你职业生涯的余下时间里不断积累。
大多数人会使用这些模型多年，却永远不会理解它们是如何被制造出来的。
你刚刚读完了整个流程。你已经领先于几乎每一个每天都在这些工具中输入内容的人。
唯一的问题是，你是否会亲自去构建一个小型版本，并将理解转化为你真正能做的事情。
这五个阶段就在你上方。选择第一阶段，开始吧。
如果你觉得这篇文章有用，请关注我 @eng_khairallah1 获取更多此类 AI 内容。我每周都会发布深度解析、课程和工具。
希望这对你有帮助，Khairallah ❤️
