Cách xây dựng LLM của riêng bạn từ đầu (Quy trình 5 giai đoạn đằng sau GPT và Claude)

Hầu hết mọi người sử dụng ChatGPT và Claude mỗi ngày mà không hề biết chúng thực sự được xây dựng như thế nào.

Hãy lưu lại bài viết này nhé :)

Một nhóm nhỏ những người hiểu rõ quy trình biến văn bản thô trên internet thành một mô hình có khả năng viết, suy luận và lập trình. Việc hiểu được quy trình đó sẽ thay đổi cách bạn sử dụng các công cụ này mãi mãi, bởi vì cuối cùng bạn cũng thấy được những gì đang diễn ra bên trong thay vì coi nó như một phép màu.

Sự khác biệt giữa hai nhóm người này không nằm ở bằng cấp toán học.

Mà nằm ở một tư duy mạch lạc.

Đây là sự thật mà hầu như chẳng ai giải thích một cách đơn giản: mọi mô hình tiên tiến, GPT, Claude, tất cả đều được xây dựng thông qua cùng một quy trình năm giai đoạn. Các công ty khác nhau về quy mô, dữ liệu và hàng ngàn chi tiết kỹ thuật, nhưng hình thái của quy trình thì ở đâu cũng giống nhau. Hãy học hình thái đó và bạn sẽ hiểu cách tất cả chúng được tạo ra.

Để tôi thiết lập kỳ vọng một cách trung thực trước khi chúng ta bắt đầu. Bạn sẽ không thể huấn luyện một mô hình cạnh tranh với GPT hay Claude từ con số không trên chiếc máy tính xách tay của mình. Những mô hình đó tiêu tốn hàng chục triệu đô la chi phí tính toán và đòi hỏi những đội ngũ kỹ sư khổng lồ. Đó không phải là mục tiêu ở đây. Mục tiêu là hiểu quy trình này sâu sắc đến mức bạn có thể tự xây dựng một phiên bản nhỏ hoạt động được, suy luận về cách các mô hình lớn vận hành và không còn bị mê hoặc bởi bất kỳ điều gì trong số đó nữa. Sự hiểu biết đó có giá trị hơn nhiều so với những gì mọi người nhận ra, và nó hoàn toàn nằm trong tầm tay bạn.

Dưới đây là năm giai đoạn, theo thứ tự, chính xác như cách chúng diễn ra.

Giai đoạn 1: Dữ liệu — Nền tảng của mọi thứ

Trước khi có một mô hình, thì phải có văn bản. Một lượng khổng lồ văn bản.

Giai đoạn đầu tiên là thu thập và chuẩn bị dữ liệu mà mô hình sẽ học. Đối với một mô hình tiên tiến, điều này có nghĩa là một lượng văn bản đáng kinh ngạc: một phần lớn internet công cộng, sách, kho lưu trữ mã nguồn và nhiều thứ khác. Nhưng văn bản thô rất lộn xộn, vì vậy hầu hết công việc trong giai đoạn này không phải là thu thập, mà là làm sạch.

Dữ liệu được lọc để loại bỏ rác, nội dung trùng lặp bị loại bỏ (cùng một đoạn văn xuất hiện hàng ngàn lần sẽ làm sai lệch những gì mô hình học được), và các tài liệu chất lượng thấp hoặc có hại cũng bị loại bỏ. Việc làm sạch này quan trọng hơn mọi người nghĩ. Nguyên tắc cũ vẫn đúng: rác vào thì rác ra. Một mô hình được huấn luyện trên dữ liệu sạch hơn, chất lượng cao hơn sẽ học tốt hơn một mô hình được huấn luyện trên nhiều dữ liệu hơn nhưng lộn xộn hơn. Chất lượng dữ liệu là một trong những đòn bẩy quan trọng nhất và ít hào nhoáng nhất trong toàn bộ lĩnh vực này.

Sau đó là bước gây ngạc nhiên cho người mới bắt đầu: token hóa (tokenization). Mô hình không thể đọc trực tiếp văn bản. Văn bản được chia thành các token, là những đoạn có kích thước xấp xỉ một phần của từ. Cụm từ "tokenization" có thể trở thành ba hoặc bốn token. Mọi phần dữ liệu huấn luyện đều được chuyển đổi thành các token này, và từ thời điểm đó trở đi, mô hình chỉ nhìn thấy các con số đại diện cho token, không bao giờ nhìn thấy chữ cái. Đây là lý do tại sao các mô hình đôi khi đếm sai số chữ cái trong một từ: chúng chưa bao giờ nhìn thấy các chữ cái, chỉ thấy token.

Kết quả của giai đoạn này là một tập dữ liệu khổng lồ, sạch sẽ và đã được token hóa. Chưa có gì được học cả. Bạn chỉ mới chuẩn bị xong nguyên liệu thô.

Cần làm gì để học giai đoạn này

• Tìm hiểu xem tokenizer thực sự làm gì bằng cách chạy văn bản qua nó và quan sát cách nó chia thành các token
• Lấy một tập dữ liệu văn bản nhỏ và thực hành làm sạch nó: loại bỏ trùng lặp, lọc rác, chuẩn hóa định dạng
• Hiểu tại sao chất lượng dữ liệu lại quan trọng hơn số lượng bằng cách so sánh những gì một mô hình nhỏ học được từ dữ liệu sạch so với dữ liệu lộn xộn
• Đọc về cách các phòng thí nghiệm lớn mô tả quá trình lọc dữ liệu của họ và chú ý xem họ dành bao nhiêu công sức cho việc đó

Giai đoạn 2: Tiền huấn luyện (Pretraining) — Nơi mô hình thực sự học ngôn ngữ

Đây là giai đoạn tiêu tốn hàng triệu đô la, và là nơi mô hình học gần như mọi thứ nó biết.

Tiền huấn luyện có một mục tiêu đơn giản đến tuyệt vời: dự đoán token tiếp theo. Mô hình được hiển thị một chuỗi token và được yêu cầu đoán token tiếp theo. Nó đoán, dự đoán đó được so sánh với token thực tế tiếp theo, và các con số nội bộ của mô hình (các tham số của nó, thường là hàng tỷ) được điều chỉnh để đưa ra dự đoán tốt hơn vào lần sau. Sau đó, nó lại làm như vậy. Và lặp lại. Trên hàng nghìn tỷ token.

Đó là toàn bộ mục tiêu huấn luyện. Dự đoán token tiếp theo, lặp đi lặp lại, trên một quy mô khổng lồ. Và từ mục tiêu đơn giản đến mức vô lý đó, một điều đáng kinh ngạc đã xuất hiện. Để giỏi trong việc dự đoán token tiếp theo trên tất cả văn bản của con người, mô hình buộc phải học ngữ pháp, sự kiện, các mô hình suy luận, cú pháp lập trình và cấu trúc của các lập luận, bởi vì tất cả những điều đó giúp nó dự đoán tốt hơn. Không ai dạy nó ngữ pháp một cách rõ ràng cả. Nó học ngữ pháp vì ngữ pháp giúp nó đoán từ tiếp theo.

Kết quả của quá trình tiền huấn luyện được gọi là mô hình cơ sở (base model). Nó là một cỗ máy ngôn ngữ mạnh mẽ, nhưng vẫn còn thô. Một mô hình cơ sở không biết rằng nó được cho là một trợ lý hữu ích. Hãy hỏi nó một câu hỏi và nó có thể chỉ tiếp tục câu của bạn, hoặc tạo ra một danh sách các câu hỏi tương tự, bởi vì tất cả những gì nó học được là tiếp tục văn bản một cách hợp lý. Nó có kiến thức sâu rộng nhưng không có phép tắc. Nó là một công cụ cực kỳ có khả năng nhưng chưa được cho biết công việc của nó là gì.

Hiểu được giai đoạn này là chìa khóa quan trọng nhất trong toàn bộ bài viết này. Một khi bạn hiểu rằng cốt lõi của các mô hình này là dự đoán token tiếp theo ở quy mô lớn, thì cả sự trôi chảy và sự "ảo giác" của chúng đều trở nên hoàn toàn hợp lý. Chúng được xây dựng để tiếp tục một cách hợp lý, không phải để nói sự thật. Sự thật là thứ mà các giai đoạn sau và kỹ thuật của chính bạn phải bổ sung vào.

Cần làm gì để học giai đoạn này

• Ghi nhớ mục tiêu dự đoán token tiếp theo cho đến khi bạn có thể giải thích nó cho bạn bè trong một câu
• Huấn luyện một mô hình ngôn ngữ nhỏ trên một tập dữ liệu nhỏ (có rất nhiều hướng dẫn cho người mới bắt đầu về việc này) để cảm nhận vòng lặp một cách trực tiếp
• Hiểu mối quan hệ giữa tham số, dữ liệu và khả năng tính toán, và tại sao việc mở rộng cả ba yếu tố này lại giúp cải thiện các mô hình
• Lưu ý cách giai đoạn này giải thích lý do tại sao các mô hình vừa trôi chảy vừa tự tin bịa đặt thông tin

Giai đoạn 3: Tinh chỉnh có giám sát (SFT) — Dạy mô hình trở nên hữu ích

Bây giờ bạn lấy mô hình cơ sở thông minh nhưng thiếu phép tắc đó và dạy nó công việc của nó là gì.

Mô hình cơ sở biết ngôn ngữ nhưng không biết rằng nó được cho là phải trả lời câu hỏi một cách hữu ích. Tinh chỉnh có giám sát, thường được viết tắt là SFT, sẽ giải quyết vấn đề đó. Bạn cho mô hình thấy hàng ngàn ví dụ về hành vi bạn muốn: một câu hỏi đi kèm với một câu trả lời tốt, một hướng dẫn đi kèm với một phản hồi chính xác, một vấn đề đi kèm với một giải pháp rõ ràng.

Mô hình được huấn luyện trên các ví dụ này theo cùng cách nó được tiền huấn luyện, dự đoán các token, nhưng bây giờ dữ liệu là các minh chứng được tuyển chọn kỹ lưỡng về cách một trợ lý hữu ích nên phản hồi. Nó học định dạng của việc trở nên hữu ích: khi được hỏi một câu hỏi, hãy đưa ra câu trả lời hữu ích thay vì tiếp tục văn bản hoặc lan man.

Chất lượng của các ví dụ này quan trọng vô cùng, và chúng thường được viết hoặc tuyển chọn cẩn thận bởi con người. Đây là lượng dữ liệu ít hơn nhiều so với tiền huấn luyện, đôi khi chỉ là hàng ngàn hoặc hàng chục ngàn ví dụ thay vì hàng nghìn tỷ token, nhưng đó là dữ liệu chất lượng cao, có chủ đích và có mục tiêu. Một lượng nhỏ dữ liệu minh chứng xuất sắc sẽ biến một mô hình cơ sở thô thành thứ gì đó hoạt động như một trợ lý.

Sau SFT, bạn có một mô hình thực sự hữu ích. Nó tuân theo hướng dẫn, trả lời câu hỏi và tập trung vào nhiệm vụ. Đối với nhiều mục đích, đây đã là một trợ lý hoạt động tốt. Nhưng nó vẫn chưa hữu ích, vô hại và tinh tế như các mô hình bạn thực sự sử dụng, và đó là lý do tại sao cần có hai giai đoạn cuối cùng.

Cần làm gì để học giai đoạn này

• Hiểu sự khác biệt giữa mô hình cơ sở và mô hình đã tinh chỉnh bằng cách đọc các ví dụ về cách mỗi loại phản hồi
• Xây dựng hoặc kiểm tra một tập dữ liệu hướng dẫn nhỏ: các cặp câu hỏi và trả lời minh chứng cho hành vi bạn muốn
• Thử tinh chỉnh một mô hình mở nhỏ trên một nhiệm vụ cụ thể và quan sát hành vi của nó thay đổi như thế nào
• Lưu ý xem chất lượng của các ví dụ minh chứng quan trọng hơn số lượng của chúng như thế nào

Giai đoạn 4: Mô hình phần thưởng (Reward Modeling) — Dạy mô hình thế nào là "tốt"

Đây là giai đoạn mà hầu hết các bài giải thích đều bỏ qua, và nó là trái tim thông minh giúp các mô hình hiện đại trở nên bóng bẩy như vậy.

Đây là vấn đề mà các phòng thí nghiệm phải đối mặt. Sau SFT, mô hình đưa ra câu trả lời tốt, nhưng "tốt" rất khó định nghĩa chỉ bằng ví dụ. Đối với hầu hết các câu hỏi, không có một câu trả lời đúng duy nhất; có những câu trả lời tốt hơn và tệ hơn. Làm thế nào để bạn dạy một mô hình ưu tiên câu trả lời tốt hơn khi bạn không thể viết một quy tắc cho nó?

Giải pháp rất thanh lịch. Bạn để mô hình tạo ra một vài câu trả lời khác nhau cho cùng một lời nhắc (prompt). Sau đó, con người nhìn vào những câu trả lời đó và xếp hạng chúng: cái này tốt hơn cái kia. Bạn thu thập một số lượng lớn các so sánh ưu tiên của con người. Và sau đó, thay vì sử dụng chúng trực tiếp, bạn huấn luyện một mô hình thứ hai, được gọi là mô hình phần thưởng, có công việc duy nhất là nhìn vào bất kỳ câu trả lời nào và dự đoán con người sẽ đánh giá nó như thế nào.

Hãy nghĩ về những gì điều đó đạt được. Bạn không thể bắt con người đánh giá mọi câu trả lời mà mô hình chính tạo ra; điều đó sẽ không bao giờ mở rộng quy mô được. Nhưng bạn có thể huấn luyện một mô hình phần thưởng trên một mẫu các đánh giá của con người, và bây giờ bạn có một đại diện tự động cho sở thích của con người, có thể chấm điểm hàng triệu câu trả lời. Mô hình phần thưởng là cầu nối giữa "những gì con người thích" và "thứ mà máy tính có thể tối ưu hóa".

Mô hình phần thưởng không bao giờ nói chuyện với người dùng. Nó là một giám khảo đứng sau hậu trường. Nhưng nó là chìa khóa mở ra giai đoạn cuối cùng, bởi vì nó cung cấp cho bạn cách để thúc đẩy mô hình chính hướng tới những câu trả lời mà con người thực sự thích, ở quy mô mà không đội ngũ con người nào có thể sánh kịp.

Cần làm gì để học giai đoạn này

• Hiểu tại sao việc xếp hạng câu trả lời (cái này tốt hơn cái kia) lại dễ dàng và có khả năng mở rộng hơn là viết ra những câu trả lời hoàn hảo
• Nắm bắt ý tưởng cốt lõi: một mô hình phần thưởng học cách bắt chước đánh giá của con người để nó có thể tự động chấm điểm câu trả lời
• Đọc về cách dữ liệu ưu tiên được thu thập thông qua các so sánh của con người
• Xem cách giai đoạn này kết nối sự lộn xộn trong thị hiếu con người với thứ mà quy trình huấn luyện có thể sử dụng

Giai đoạn 5: Học tăng cường (Reinforcement Learning) — Đánh bóng mô hình thành thứ bạn sử dụng

Giai đoạn cuối cùng lấy mọi thứ đã xây dựng cho đến nay và tinh chỉnh mô hình thành trợ lý hữu ích, cẩn thận mà bạn thực sự tương tác.

Giai đoạn này thường được gọi là RLHF, học tăng cường từ phản hồi của con người. Đây là cách các mảnh ghép khớp với nhau. Bạn lấy mô hình đã tinh chỉnh từ Giai đoạn 3 và mô hình phần thưởng từ Giai đoạn 4. Mô hình đã tinh chỉnh tạo ra câu trả lời. Mô hình phần thưởng chấm điểm chúng. Và mô hình đã tinh chỉnh được thúc đẩy, thông qua học tăng cường, để tạo ra các câu trả lời đạt điểm cao hơn. Đó là một vòng lặp: tạo, chấm điểm, cải thiện, lặp lại.

Vì mô hình phần thưởng có thể chấm điểm không ngừng, mô hình chính có thể thực hành và cải thiện vượt xa những gì các ví dụ trực tiếp từ con người có thể cung cấp. Qua nhiều vòng, nó học cách trở nên hữu ích hơn, mạch lạc hơn, giỏi hơn trong việc tuân theo các sắc thái và giỏi hơn trong việc từ chối những điều nó không nên làm. Đây là giai đoạn mang lại cho các mô hình sự bóng bẩy, khả năng phán đoán tốt và rất nhiều hành vi an toàn của chúng.

Một biến thể hiện đại đáng biết: một số phản hồi của con người có thể được thay thế hoặc bổ sung bằng phản hồi được tạo ra theo một bộ nguyên tắc bằng văn bản, một cách tiếp cận đôi khi được gọi là RLAIF hoặc các phương pháp hiến pháp. Tinh thần vẫn giống nhau: thay vì chỉ dựa vào con người để đánh giá mọi thứ, bạn mở rộng quy mô phản hồi định hình hành vi của mô hình, được hướng dẫn bởi các giá trị được nêu rõ ràng.

Sau giai đoạn này, bạn có sản phẩm hoàn thiện. Một mô hình trôi chảy từ tiền huấn luyện, hữu ích từ tinh chỉnh, và được tinh tế hóa cũng như căn chỉnh từ học tăng cường. Đây là thứ bạn đang trò chuyện khi mở ChatGPT hoặc Claude. Năm giai đoạn, mỗi giai đoạn xây dựng dựa trên giai đoạn trước.

Cần làm gì để học giai đoạn này

• Hiểu vòng lặp: mô hình tạo ra, mô hình phần thưởng chấm điểm, mô hình cải thiện hướng tới điểm số cao hơn
• Nắm bắt lý do tại sao điều này cho phép mô hình thực hành vượt xa giới hạn của các ví dụ trực tiếp từ con người
• Đọc về sự khác biệt giữa học từ phản hồi của con người và học từ phản hồi của AI được hướng dẫn bởi các nguyên tắc
• Xem cách giai đoạn cuối cùng này tạo ra sự hữu ích, khả năng phán đoán và hành vi an toàn mà bạn trải nghiệm với tư cách là người dùng

Toàn bộ quy trình trong một hơi thở

Để tôi tổng hợp lại tất cả để bạn dễ nắm bắt.

Bạn thu thập và làm sạch một núi văn bản và biến nó thành các token. Bạn huấn luyện một mô hình dự đoán token tiếp theo trên tất cả số đó, và từ mục tiêu đơn giản đó xuất hiện một mô hình cơ sở hiểu ngôn ngữ nhưng không có phép tắc. Bạn tinh chỉnh nó trên các ví dụ được tuyển chọn để nó học cách cư xử như một trợ lý hữu ích. Bạn thu thập các xếp hạng của con người về câu trả lời của nó và huấn luyện một mô hình phần thưởng để bắt chước đánh giá của con người. Và cuối cùng, bạn sử dụng mô hình phần thưởng đó để tinh chỉnh trợ lý thông qua học tăng cường cho đến khi nó bóng bẩy, hữu ích và được căn chỉnh.

Dữ liệu, tiền huấn luyện, tinh chỉnh, mô hình phần thưởng, học tăng cường. Năm giai đoạn. Đó là cách mọi mô hình tiên tiến được tạo ra.

Sự thật trung thực về việc tự xây dựng LLM của riêng bạn

Bạn sẽ không thể vượt qua các phòng thí nghiệm tiên tiến từ phòng ngủ của mình, và đó chưa bao giờ là mục tiêu.

Mục tiêu là sự hiểu biết. Một khi quy trình này rõ ràng trong đầu bạn, bạn sẽ ngừng là một người dùng thụ động của các công cụ này và bắt đầu trở thành người suy luận về chúng. Bạn hiểu tại sao chúng bị "ảo giác" (dự đoán token tiếp theo). Bạn hiểu tại sao việc viết prompt lại hiệu quả (bạn đang định hình những gì được dự đoán). Bạn hiểu tại sao một số mô hình cảm thấy được căn chỉnh tốt hơn những mô hình khác (chất lượng của giai đoạn bốn và năm). Bạn hiểu tại sao dữ liệu của chính bạn, trong các thí nghiệm tinh chỉnh của riêng bạn, lại quan trọng đến vậy. Sự hiểu biết này là nền tảng mà những người xây dựng AI giỏi nhất đang đứng trên đó.

Và đây là phần thực sự trao quyền: bạn có thể tự xây dựng một phiên bản nhỏ hoạt động được của từng giai đoạn này, ở quy mô nhỏ, để học hỏi. Mọi người vẫn huấn luyện các mô hình thu nhỏ, tinh chỉnh các mô hình mở nhỏ và thử nghiệm với dữ liệu ưu tiên mọi lúc. Bạn sẽ không xây dựng được Claude. Nhưng bạn có thể xây dựng thứ gì đó dạy cho bạn chính xác cách Claude được xây dựng, và kiến thức đó sẽ tích lũy cho phần còn lại trong sự nghiệp của bạn trong lĩnh vực này.

Hầu hết mọi người sẽ sử dụng các mô hình này trong nhiều năm mà không bao giờ hiểu chúng được tạo ra như thế nào.

Bạn vừa đọc toàn bộ quy trình. Bạn đã đi trước gần như tất cả những người gõ vào các công cụ này mỗi ngày.

Câu hỏi duy nhất là liệu bạn có tự xây dựng một phiên bản nhỏ và biến sự hiểu biết thành thứ bạn thực sự có thể làm được hay không.

Năm giai đoạn nằm ngay phía trên bạn. Hãy chọn giai đoạn một và bắt đầu.

Nếu bạn thấy bài viết này hữu ích, hãy theo dõi tôi @eng_khairallah1 để biết thêm nội dung về AI như thế này. Tôi đăng các bài phân tích, khóa học và công cụ hàng tuần.

hy vọng bài viết này hữu ích với bạn, Khairallah ❤️