大多數人每天都在使用 ChatGPT 和 Claude，卻完全不知道它們究竟是如何構建出來的。
請收藏這篇文章 :)
有一小群人了解將原始網路文本轉化為能夠寫作、推理和編碼的模型的確切流程。理解這個流程將永遠改變你使用這些工具的方式，因為你終於能看清底層發生了什麼，而不是將其視為魔法。
這兩類人之間的區別並不在於是否擁有數學學位。
而在於一個清晰的思維模型。
這裡有一個幾乎沒人能簡單解釋的事實：每一個前沿模型，無論是 GPT、Claude 還是其他模型，都是通過相同的五階段流程構建的。這些公司在規模、數據和成千上萬的工程細節上有所不同，但流程的「形態」在任何地方都是一樣的。掌握了這個形態，你就了解了它們是如何製造出來的。
在開始之前，讓我誠實地說明一下預期。你不可能在筆記型電腦上從零開始訓練出一個能與 GPT 或 Claude 相媲美的模型。這些模型需要數千萬美元的算力，並且需要龐大的工程團隊。這不是這裡的目標。目標是深入理解這個流程，讓你能夠親手構建一個微型的運作版本，推斷大型模型的行為方式，並不再對這一切感到困惑。這種理解比大多數人意識到的更有價值，而且是完全可以實現的。
以下是這五個階段，按順序排列，與實際發生的過程完全一致。
第一階段：數據 —— 一切的基石
在模型出現之前，先有文本。數量龐大的文本。
第一階段是收集和準備模型將要學習的數據。對於前沿模型來說，這意味著驚人數量的文本：公共網路、書籍、代碼庫等的大部分內容。但原始文本非常雜亂，所以這個階段大部分的工作不是收集，而是清理。
數據會經過篩選以去除垃圾內容，重複的內容會被剔除（同一段落出現一千次會扭曲模型的學習結果），低質量或有害的材料也會被過濾掉。這種清理工作比人們想像的更重要。舊原則依然適用：垃圾進，垃圾出。在更乾淨、更高質量的數據上訓練出的模型，比在更多但更雜亂的數據上訓練出的模型學習效果更好。數據質量是整個領域中最重要且最不引人注目的槓桿之一。
接下來是讓初學者感到驚訝的一步：標記化 (Tokenization)。模型無法直接讀取文本。文本會被分解成標記 (tokens)，這些標記大約是一個詞的一部分大小。短語「tokenization」可能會變成三到四個標記。每一條訓練數據都會被轉換成這些標記，從那一刻起，模型看到的永遠只是代表標記的數字，而不是字母。這就是為什麼模型有時會算錯一個單詞中的字母數量：它們從未見過字母，只見過標記。
這個階段的產出是一個龐大、乾淨、已標記化的數據集。此時還沒有學習到任何東西。你只是準備好了原材料。
如何學習這個階段
- 通過將文本輸入標記器並觀察它如何拆分為標記，來了解標記器究竟做了什麼
- 拿一個小型文本數據集並練習清理它：刪除重複項、過濾垃圾內容、標準化格式
- 通過比較小型模型從乾淨數據與雜亂數據中學到的內容，理解為什麼數據質量勝過數據數量
- 閱讀主要實驗室如何描述他們的數據過濾過程，並注意他們投入了多少精力
第二階段：預訓練 —— 模型真正學習語言的地方
這是耗資數百萬美元的階段，也是模型學習其所知幾乎所有內容的地方。
預訓練有一個非常簡單的目標：預測下一個標記。模型會看到一串標記序列，並被要求猜測下一個標記是什麼。它進行猜測，將猜測結果與實際的下一個標記進行比較，然後調整模型內部的數字（它的參數，通常有數十億個），以便下次能做出更好的猜測。然後它再次重複這個過程。一遍又一遍。在數萬億個標記上進行。
這就是整個訓練目標。在巨大的規模上，反覆預測下一個標記。而從這個荒謬簡單的目標中，出現了一些非凡的結果。為了在所有人類文本中擅長預測下一個標記，模型被迫學習語法、事實、推理模式、編碼語法和論證結構，因為所有這些都有助於它做出更好的預測。沒有人明確教它語法。它學習語法是因為語法有助於它猜測下一個詞。
預訓練的結果被稱為 基礎模型 (base model)。它是一個強大的語言引擎，但它是原始的。基礎模型不知道它應該成為一個有用的助手。問它一個問題，它可能只是繼續你的句子，或者生成一串類似的問題，因為它學會的唯一事情就是合理地延續文本。它擁有廣博的知識，卻毫無禮貌。它是一個極其強大的工具，但還沒被告知它的工作是什麼。
理解這個階段是整篇文章中最重要的突破點。一旦你理解了這些模型的核心是在大規模下進行下一個標記預測，它們的流暢性和幻覺就都說得通了。它們被構建出來是為了合理地延續文本，而不是為了說真話。真話是後期階段和你自己的工程設計必須添加的東西。
如何學習這個階段
- 將「預測下一個標記」的目標內化，直到你能用一句話向朋友解釋清楚
- 在小型數據集上訓練一個微型語言模型（網上有許多著名的初學者教程），親身體驗這個循環
- 理解參數、數據和算力之間的關係，以及為什麼擴展這三者能改進模型
- 注意這個階段如何解釋了為什麼模型既流暢又能自信地胡編亂造
第三階段：監督微調 —— 教導模型變得有用
現在，你拿著那個聰明但沒禮貌的基礎模型，教它它的工作是什麼。
基礎模型懂語言，但不知道它應該有幫助地回答問題。監督微調 (Supervised Fine-Tuning，通常縮寫為 SFT) 解決了這個問題。你向模型展示數千個你想要的行為示例：一個問題配上一個好的答案，一條指令配上一個正確的回應，一個問題配上一個清晰的解決方案。
模型以與預訓練相同的方式在這些示例上進行訓練，即預測標記，但現在數據是經過精心策劃的示範，展示了有用的助手應該如何回應。它學習了「有用」的格式：當被問到問題時，產生有用的回答，而不是繼續文本或東拉西扯。
這些示例的質量至關重要，它們通常由人類編寫或精心挑選。這比預訓練所需的數據量少得多，有時是數千或數萬個示例，而不是數萬億個標記，但它們是高質量、經過深思熟慮且有針對性的。相對少量的優秀示範數據就能將原始的基礎模型轉變為表現得像助手的模型。
經過 SFT 後，你就有了一個真正有用的模型。它遵循指令，回答問題，並保持在任務範圍內。對於許多用途來說，這已經是一個可用的助手了。但它還不像你實際使用的模型那樣有幫助、無害且精煉，這就是最後兩個階段的作用。
如何學習這個階段
- 通過閱讀每個模型如何回應的示例，理解基礎模型與微調模型之間的區別
- 構建或檢查一個小型指令數據集：展示你想要行為的問答對
- 嘗試在一個專注的任務上微調一個小型開源模型，並觀察其行為的變化
- 注意示範示例的質量相對於其數量的重要性
第四階段：獎勵建模 —— 教導模型什麼是「好」
這是大多數解釋都會跳過的階段，也是現代模型如何變得如此精煉的巧妙核心。
實驗室面臨的問題是這樣的。在 SFT 之後，模型能給出不錯的答案，但僅憑示例很難定義什麼是「好」。對於大多數問題，沒有一個唯一的正確答案；有更好的答案，也有較差的答案。當你無法為此寫出一條規則時，你如何教模型偏好更好的答案呢？
解決方案很優雅。你讓模型針對同一個提示生成幾個不同的答案。然後人類查看這些答案並進行排名：這個比那個好。你收集大量這些人類偏好比較。然後，你不是直接使用它們，而是訓練第二個模型，稱為 獎勵模型 (reward model)，它的全部工作就是查看任何答案並預測人類會如何評價它。
想想這達成了什麼。你不可能讓人類評價主模型產生的每一個答案；那樣做無法擴展。但你可以在人類判斷的樣本上訓練一個獎勵模型，現在你就擁有了一個可以自動替代人類偏好的工具，能夠為數百萬個答案評分。獎勵模型是「人類喜歡什麼」與「電腦可以優化的目標」之間的橋樑。
獎勵模型從不與用戶對話。它是一個幕後的裁判。但它是解鎖最後一個階段的關鍵，因為它為你提供了一種方法，推動主模型朝著人類真正偏好的答案發展，其規模是任何人類團隊都無法比擬的。
如何學習這個階段
- 理解為什麼對答案進行排名（這個比那個好）比編寫完美的答案更容易且更具可擴展性
- 掌握核心思想：獎勵模型學習模仿人類判斷，以便自動為答案評分
- 閱讀關於如何通過人類比較收集偏好數據的內容
- 了解這個階段如何將人類品味的雜亂性與訓練過程可以利用的東西聯繫起來
第五階段：強化學習 —— 將模型打磨成你使用的樣子
最後一個階段將目前構建的一切整合起來，並將模型打磨成你實際互動的那個有幫助、謹慎的助手。
這個階段通常被稱為 RLHF，即基於人類反饋的強化學習。各個部分是這樣結合在一起的：你採用第三階段的微調模型和第四階段的獎勵模型。微調模型生成答案。獎勵模型對它們進行評分。然後，微調模型通過強化學習被推動，去產生得分更高的答案。這是一個循環：生成、評分、改進、重複。
因為獎勵模型可以無休止地評分，主模型可以進行練習並改進，遠遠超出直接人類示例所能提供的範圍。經過多輪訓練，它學會了更有幫助、更連貫、更擅長遵循細微差別，並更擅長拒絕它不該做的事情。這個階段賦予了模型精煉度、良好的判斷力以及許多安全行為。
一個值得了解的現代變體是：部分人類反饋可以被根據書面原則生成的反饋所取代或補充，這種方法有時被稱為 RLAIF 或憲法 AI 方法。其精神是一樣的：不是僅僅依靠人類來評價一切，而是擴大塑造模型行為的反饋，並以明確陳述的價值觀為指導。
經過這個階段，你就得到了成品。一個通過預訓練獲得流暢性、通過微調獲得實用性、並通過強化學習獲得精煉和對齊的模型。這就是你打開 ChatGPT 或 Claude 時與之對話的對象。五個階段，每個階段都建立在前一個階段的基礎上。
如何學習這個階段
- 理解這個循環：模型生成，獎勵模型評分，模型向更高分改進
- 掌握為什麼這讓模型能夠在遠超直接人類示例限制的情況下進行練習
- 閱讀關於從人類反饋中學習與從基於原則的 AI 反饋中學習之間的區別
- 了解這個最後階段如何產生你作為用戶所體驗到的幫助性、判斷力和安全行為
一氣呵成：整個流程
讓我把它們整合在一起，讓你牢牢記住。
你收集並清理了一座山一樣的文本，並將其轉化為標記。你訓練一個模型在所有這些文本上預測下一個標記，從這個簡單的目標中，出現了一個懂語言但沒有禮貌的基礎模型。你在精心策劃的示例上對其進行微調，使其學會像有幫助的助手一樣行事。你收集人類對其答案的排名，並訓練一個獎勵模型來模仿人類判斷。最後，你使用該獎勵模型通過強化學習來改進助手，直到它變得精煉、有幫助且對齊。
數據、預訓練、微調、獎勵建模、強化學習。五個階段。這就是每一個前沿模型的製造方式。
關於構建你自己的 LLM 的誠實真相
你不可能在臥室裡超越前沿實驗室，這從來都不是重點。
重點是理解。一旦這個流程在你腦海中清晰起來，你就不再是這些工具的被動用戶，而是一個能夠對它們進行推理的人。你理解它們為什麼會產生幻覺（下一個標記預測）。你理解為什麼提示詞 (prompting) 有效（因為你在塑造將被預測的內容）。你理解為什麼有些模型感覺比其他模型更對齊（第四和第五階段的質量）。你理解為什麼你自己的數據，在你自己的微調實驗中，如此重要。這種理解是最強大的 AI 構建者所站立的基礎。
而這裡有一個真正賦能的部分：你可以親自在小規模上構建這些階段中每一個階段的微型運作版本來進行學習。人們一直在訓練微型模型、微調小型開源模型，並試驗偏好數據。你不會構建出 Claude。但你可以構建出一些東西，教會你 Claude 究竟是如何構建的，而這些知識將在你這個領域的整個職業生涯中不斷積累。
大多數人會使用這些模型多年，卻從未理解它們是如何製造出來的。
你剛剛讀完了整個流程。你已經領先於每天在這些工具中輸入內容的幾乎所有人了。
唯一的問題是，你是否會親自構建一個小版本，並將理解轉化為你真正能做的事情。
這五個階段就在你上方。選擇第一階段，開始吧。
如果你覺得這很有用，請關注我 @eng_khairallah1 以獲取更多類似的 AI 內容。我每週都會發布解析、課程和工具。
希望這對你有幫助，Khairallah ❤️
