คนส่วนใหญ่ใช้ ChatGPT และ Claude อยู่ทุกเมื่อเชื่อวันโดยไม่รู้เลยว่าพวกมันถูกสร้างขึ้นมาได้อย่างไร
เก็บโพสต์นี้ไว้ได้เลย :)
มีคนกลุ่มเล็กๆ ที่เข้าใจกระบวนการทำงานที่เปลี่ยนข้อความดิบจากอินเทอร์เน็ตให้กลายเป็นโมเดลที่สามารถเขียน โต้ตอบ และเขียนโค้ดได้ และการเข้าใจกระบวนการนั้นจะเปลี่ยนวิธีที่คุณใช้เครื่องมือเหล่านี้ไปตลอดกาล เพราะคุณจะมองเห็นสิ่งที่เกิดขึ้นเบื้องหลังแทนที่จะมองว่ามันเป็นเรื่องของเวทมนตร์
ความแตกต่างระหว่างคนสองกลุ่มนี้ไม่ใช่ปริญญาสาขาคณิตศาสตร์
แต่เป็น "กรอบความคิด" (Mental Model) ที่ชัดเจนเพียงหนึ่งเดียว
นี่คือความจริงที่แทบไม่มีใครอธิบายให้เข้าใจง่ายๆ: โมเดลระดับแนวหน้าทุกตัว ไม่ว่าจะเป็น GPT, Claude หรือตัวอื่นๆ ล้วนถูกสร้างขึ้นผ่านกระบวนการ 5 ขั้นตอนเดียวกัน บริษัทต่างๆ อาจแตกต่างกันที่ขนาด ข้อมูล และรายละเอียดทางวิศวกรรมอีกนับพัน แต่ "รูปแบบ" ของกระบวนการนั้นเหมือนกันทุกที่ หากคุณเรียนรู้รูปแบบนี้ คุณก็จะเข้าใจว่าพวกมันทั้งหมดถูกสร้างขึ้นมาได้อย่างไร
ขอตั้งความคาดหวังให้ชัดเจนก่อนที่เราจะเริ่ม คุณไม่สามารถฝึกโมเดลที่เทียบชั้นกับ GPT หรือ Claude ได้ตั้งแต่ต้นบนแล็ปท็อปของคุณ โมเดลเหล่านั้นต้องใช้เงินหลายสิบล้านดอลลาร์ในด้านพลังประมวลผลและต้องใช้ทีมวิศวกรจำนวนมหาศาล นั่นไม่ใช่เป้าหมายของเราที่นี่ เป้าหมายคือการเข้าใจกระบวนการให้ลึกซึ้งจนคุณสามารถสร้างเวอร์ชันจำลองเล็กๆ ที่ใช้งานได้จริงด้วยตัวเอง สามารถวิเคราะห์พฤติกรรมของโมเดลใหญ่ๆ ได้ และเลิกมองว่ามันเป็นเรื่องลึกลับเสียที ความเข้าใจนี้มีค่ามากกว่าที่คนส่วนใหญ่คิด และเป็นสิ่งที่ใครก็สามารถเข้าถึงได้
นี่คือ 5 ขั้นตอนตามลำดับที่เกิดขึ้นจริง
ขั้นตอนที่ 1: ข้อมูล (Data) — รากฐานที่ทุกอย่างถูกสร้างขึ้น
ก่อนที่จะมีโมเดล ต้องมีข้อความก่อน และต้องเป็นจำนวนมหาศาล
ขั้นตอนแรกคือการรวบรวมและเตรียมข้อมูลที่โมเดลจะใช้เรียนรู้ สำหรับโมเดลระดับแนวหน้า นี่หมายถึงปริมาณข้อความที่น่าตกใจ ทั้งส่วนใหญ่ของอินเทอร์เน็ตสาธารณะ หนังสือ คลังเก็บโค้ด และอื่นๆ อีกมากมาย แต่ข้อความดิบนั้นเต็มไปด้วยความยุ่งเหยิง ดังนั้นงานส่วนใหญ่ในขั้นตอนนี้ไม่ใช่การรวบรวม แต่คือการ "ทำความสะอาด"
ข้อมูลจะถูกกรองเพื่อกำจัดขยะ เนื้อหาที่ซ้ำซ้อนจะถูกตัดออก (การมีย่อหน้าเดิมปรากฏซ้ำเป็นพันครั้งจะทำให้สิ่งที่โมเดลเรียนรู้บิดเบือนไป) และเนื้อหาที่ด้อยคุณภาพหรือเป็นอันตรายจะถูกคัดออก การทำความสะอาดนี้สำคัญกว่าที่คนทั่วไปคิด หลักการเดิมยังคงใช้ได้เสมอ: ขยะเข้า ขยะออก โมเดลที่ถูกฝึกด้วยข้อมูลที่สะอาดและมีคุณภาพสูงกว่าจะเรียนรู้ได้ดีกว่าโมเดลที่ฝึกด้วยข้อมูลจำนวนมากแต่ยุ่งเหยิง คุณภาพของข้อมูลเป็นหนึ่งในปัจจัยที่สำคัญที่สุดและดูไม่น่าตื่นเต้นที่สุดในสาขานี้
จากนั้นคือขั้นตอนที่ทำให้มือใหม่ประหลาดใจ: การทำ Tokenization โมเดลไม่สามารถอ่านข้อความได้โดยตรง ข้อความจะถูกแบ่งออกเป็น "โทเค็น" (Tokens) ซึ่งเป็นส่วนของคำ วลีอย่าง "tokenization" อาจกลายเป็นโทเค็น 3 หรือ 4 ตัว ข้อมูลการฝึกทุกชิ้นจะถูกแปลงเป็นโทเค็นเหล่านี้ และนับจากจุดนั้นเป็นต้นไป โมเดลจะเห็นเพียงตัวเลขที่เป็นตัวแทนของโทเค็นเท่านั้น ไม่เคยเห็นตัวอักษร นี่คือเหตุผลว่าทำไมบางครั้งโมเดลถึงนับตัวอักษรในคำผิด เพราะมันไม่เคยเห็นตัวอักษร เห็นเพียงแค่โทเค็น
ผลลัพธ์ของขั้นตอนนี้คือชุดข้อมูลขนาดใหญ่ที่สะอาดและถูกแปลงเป็นโทเค็นแล้ว ยังไม่มีการเรียนรู้ใดๆ เกิดขึ้น คุณเพียงแค่เตรียมวัตถุดิบให้พร้อมเท่านั้น
สิ่งที่ต้องทำเพื่อเรียนรู้ขั้นตอนนี้
- เรียนรู้ว่า Tokenizer ทำงานอย่างไรโดยลองนำข้อความไปผ่านเครื่องมือและดูว่ามันแบ่งเป็นโทเค็นอย่างไร
- นำชุดข้อมูลข้อความขนาดเล็กมาฝึกทำความสะอาด: ลบข้อมูลซ้ำ กรองขยะ และปรับรูปแบบให้เป็นมาตรฐาน
- ทำความเข้าใจว่าทำไมคุณภาพของข้อมูลถึงสำคัญกว่าปริมาณ โดยเปรียบเทียบสิ่งที่โมเดลขนาดเล็กเรียนรู้จากข้อมูลที่สะอาดเทียบกับข้อมูลที่ยุ่งเหยิง
- อ่านเกี่ยวกับวิธีที่ห้องปฏิบัติการใหญ่ๆ อธิบายการกรองข้อมูลของพวกเขา และสังเกตว่าพวกเขาใช้ความพยายามกับส่วนนี้มากแค่ไหน
ขั้นตอนที่ 2: การฝึกขั้นต้น (Pretraining) — ที่ที่โมเดลเรียนรู้ภาษาจริงๆ
นี่คือขั้นตอนที่ต้องใช้เงินหลายล้าน และเป็นที่ที่โมเดลเรียนรู้เกือบทุกอย่างที่มันรู้
การฝึกขั้นต้นมีเป้าหมายที่เรียบง่ายอย่างงดงาม: "ทำนายโทเค็นถัดไป" โมเดลจะได้รับลำดับของโทเค็นและถูกขอให้เดาตัวถัดไป มันจะเดา แล้วการเดานั้นจะถูกนำไปเปรียบเทียบกับโทเค็นจริงตัวถัดไป จากนั้นตัวเลขภายในของโมเดล (พารามิเตอร์ ซึ่งมักมีจำนวนหลายพันล้านตัว) จะถูกปรับเพื่อให้เดาได้ดีขึ้นในครั้งต่อไป แล้วมันก็ทำแบบเดิมซ้ำๆ อีกครั้ง และอีกครั้ง ตลอดโทเค็นนับล้านล้านตัว
นั่นคือเป้าหมายการฝึกทั้งหมด ทำนายโทเค็นถัดไปซ้ำแล้วซ้ำเล่าในระดับมหาศาล และจากเป้าหมายที่เรียบง่ายอย่างเหลือเชื่อนั้น สิ่งที่น่าทึ่งก็ปรากฏขึ้น เพื่อที่จะทำนายโทเค็นถัดไปในข้อความของมนุษย์ทั้งหมดให้เก่ง โมเดลถูกบังคับให้เรียนรู้ไวยากรณ์ ข้อเท็จจริง รูปแบบการใช้เหตุผล ไวยากรณ์ของโค้ด และโครงสร้างของการโต้แย้ง เพราะสิ่งเหล่านี้ช่วยให้มันเดาได้แม่นยำขึ้น ไม่มีใครสอนไวยากรณ์ให้มันโดยตรง แต่มันเรียนรู้ไวยากรณ์เพราะไวยากรณ์ช่วยให้มันเดาคำถัดไปได้ดีขึ้น
ผลลัพธ์ของการฝึกขั้นต้นเรียกว่า Base Model มันเป็นเครื่องมือทางภาษาที่ทรงพลัง แต่ยังเป็นของดิบ Base Model ไม่รู้ว่ามันควรจะเป็นผู้ช่วยที่มีประโยชน์ ถามคำถามไปมันอาจจะแค่เขียนต่อประโยคของคุณ หรือสร้างรายการคำถามที่คล้ายกัน เพราะสิ่งที่มันเรียนรู้มามีเพียงแค่การเขียนข้อความต่อให้สมเหตุสมผลเท่านั้น มันมีความรู้มหาศาลแต่ไม่มีมารยาท มันเป็นเครื่องมือที่เก่งกาจอย่างเหลือเชื่อที่ยังไม่ได้รับคำสั่งว่าต้องทำงานอะไร
การเข้าใจขั้นตอนนี้คือกุญแจสำคัญที่สุดในบทความนี้ เมื่อคุณเข้าใจว่าหัวใจของโมเดลเหล่านี้คือการทำนายโทเค็นถัดไปในระดับมหาศาล ทั้งความคล่องแคล่วและการ "หลอน" (Hallucination) ของมันก็จะสมเหตุสมผลทันที พวกมันถูกสร้างมาเพื่อเขียนต่อให้สมเหตุสมผล ไม่ใช่เพื่อบอกความจริง ความจริงคือสิ่งที่ขั้นตอนถัดไปและวิศวกรรมของคุณต้องเติมเข้าไป
สิ่งที่ต้องทำเพื่อเรียนรู้ขั้นตอนนี้
- ทำความเข้าใจเป้าหมายการทำนายโทเค็นถัดไปจนคุณสามารถอธิบายให้เพื่อนฟังได้ในประโยคเดียว
- ฝึกโมเดลภาษาขนาดเล็กบนชุดข้อมูลเล็กๆ (มีบทเรียนสำหรับผู้เริ่มต้นมากมาย) เพื่อสัมผัสประสบการณ์การทำงานจริง
- ทำความเข้าใจความสัมพันธ์ระหว่างพารามิเตอร์ ข้อมูล และพลังประมวลผล และเหตุใดการขยายทั้งสามส่วนนี้จึงทำให้โมเดลดีขึ้น
- สังเกตว่าขั้นตอนนี้อธิบายได้ทั้งเหตุผลที่โมเดลพูดจาคล่องแคล่วและเหตุผลที่มันแต่งเรื่องขึ้นมาอย่างมั่นใจได้อย่างไร
ขั้นตอนที่ 3: การปรับจูนแบบมีผู้สอน (Supervised Fine-Tuning) — สอนให้โมเดลเป็นประโยชน์
ตอนนี้คุณนำ Base Model ที่ฉลาดแต่ไม่มีมารยาทมาสอนว่างานของมันคืออะไร
Base Model รู้ภาษาแต่ไม่รู้ว่ามันควรตอบคำถามอย่างเป็นประโยชน์ การปรับจูนแบบมีผู้สอน หรือที่เรียกสั้นๆ ว่า SFT จะเข้ามาแก้ปัญหานี้ คุณแสดงตัวอย่างพฤติกรรมที่คุณต้องการให้โมเดลเห็นนับพันตัวอย่าง เช่น คำถามคู่กับคำตอบที่ดี คำสั่งคู่กับคำตอบที่ถูกต้อง ปัญหาคู่กับวิธีแก้ที่ชัดเจน
โมเดลจะถูกฝึกด้วยตัวอย่างเหล่านี้ในวิธีเดียวกับตอนฝึกขั้นต้น คือการทำนายโทเค็น แต่คราวนี้ข้อมูลคือตัวอย่างที่คัดสรรมาแล้วว่าผู้ช่วยที่ดีควรตอบอย่างไร มันเรียนรู้ "รูปแบบ" ของการเป็นประโยชน์: เมื่อได้รับคำถาม ให้สร้างคำตอบที่เป็นประโยชน์แทนที่จะเขียนข้อความต่อหรือพูดนอกเรื่อง
คุณภาพของตัวอย่างเหล่านี้สำคัญอย่างยิ่ง และมักถูกเขียนหรือคัดสรรอย่างระมัดระวังโดยมนุษย์ ข้อมูลส่วนนี้มีจำนวนน้อยกว่าการฝึกขั้นต้นมาก บางครั้งแค่หลักพันหรือหลักหมื่นตัวอย่างเมื่อเทียบกับโทเค็นนับล้านล้าน แต่เป็นข้อมูลที่มีคุณภาพสูง ตั้งใจทำ และตรงเป้าหมาย การใช้ตัวอย่างสาธิตที่ยอดเยี่ยมเพียงเล็กน้อยก็สามารถเปลี่ยน Base Model ดิบๆ ให้กลายเป็นสิ่งที่ทำตัวเหมือนผู้ช่วยได้
หลังจบ SFT คุณจะได้โมเดลที่มีประโยชน์จริงๆ มันทำตามคำสั่ง ตอบคำถาม และทำงานตามที่ได้รับมอบหมาย สำหรับหลายๆ วัตถุประสงค์ นี่ถือเป็นผู้ช่วยที่ใช้งานได้แล้ว แต่มันยังไม่เป็นประโยชน์ ปลอดภัย และขัดเกลาเท่ากับโมเดลที่คุณใช้จริงๆ ซึ่งนั่นคือหน้าที่ของสองขั้นตอนสุดท้าย
สิ่งที่ต้องทำเพื่อเรียนรู้ขั้นตอนนี้
- ทำความเข้าใจความแตกต่างระหว่าง Base Model กับโมเดลที่ปรับจูนแล้ว โดยอ่านตัวอย่างว่าแต่ละตัวตอบสนองอย่างไร
- สร้างหรือตรวจสอบชุดข้อมูลคำสั่งขนาดเล็ก: คู่คำถามและคำตอบที่แสดงพฤติกรรมที่คุณต้องการ
- ลองปรับจูนโมเดลแบบเปิดขนาดเล็ก (Open Model) กับงานเฉพาะทางและดูว่าพฤติกรรมของมันเปลี่ยนไปอย่างไร
- สังเกตว่าคุณภาพของตัวอย่างสาธิตมีความสำคัญมากกว่าปริมาณมากเพียงใด
ขั้นตอนที่ 4: การสร้างโมเดลให้รางวัล (Reward Modeling) — สอนโมเดลว่าอะไรคือ "ดี"
นี่คือขั้นตอนที่คำอธิบายส่วนใหญ่มักข้ามไป และเป็นหัวใจสำคัญที่ทำให้โมเดลสมัยใหม่มีความละเอียดประณีต
นี่คือปัญหาที่ห้องปฏิบัติการต้องเผชิญ หลังจบ SFT โมเดลให้คำตอบที่ดี แต่คำว่า "ดี" นั้นนิยามได้ยากด้วยตัวอย่างเพียงอย่างเดียว สำหรับคำถามส่วนใหญ่ไม่มีคำตอบที่ถูกต้องเพียงคำตอบเดียว มีทั้งคำตอบที่ดีกว่าและแย่กว่า คุณจะสอนให้โมเดลเลือกคำตอบที่ดีกว่าได้อย่างไรในเมื่อคุณไม่สามารถเขียนกฎเกณฑ์ให้มันได้?
วิธีแก้ปัญหานั้นงดงามมาก คุณให้โมเดลสร้างคำตอบหลายๆ แบบสำหรับคำถามเดียวกัน จากนั้นให้มนุษย์ดูคำตอบเหล่านั้นและจัดอันดับว่า: อันนี้ดีกว่าอันนั้น คุณรวบรวมการเปรียบเทียบความชอบของมนุษย์จำนวนมาก แล้วแทนที่จะใช้ข้อมูลเหล่านั้นโดยตรง คุณก็นำไปฝึกโมเดลตัวที่สองที่เรียกว่า Reward Model ซึ่งมีหน้าที่เดียวคือดูคำตอบใดๆ ก็ตามแล้วทำนายว่ามนุษย์จะให้คะแนนเท่าไหร่
ลองคิดดูว่ามันทำอะไรได้บ้าง คุณไม่สามารถให้มนุษย์มาให้คะแนนทุกคำตอบที่โมเดลหลักสร้างขึ้นได้ เพราะมันไม่มีทางขยายผลได้ แต่คุณสามารถฝึก Reward Model ด้วยตัวอย่างการตัดสินใจของมนุษย์ และตอนนี้คุณก็มีตัวแทนอัตโนมัติสำหรับความชอบของมนุษย์ที่สามารถให้คะแนนคำตอบได้นับล้าน Reward Model คือสะพานเชื่อมระหว่าง "สิ่งที่มนุษย์ชอบ" กับ "สิ่งที่คอมพิวเตอร์สามารถปรับปรุงตามได้"
Reward Model ไม่เคยคุยกับผู้ใช้ มันเป็นกรรมการเบื้องหลัง แต่เป็นกุญแจสำคัญที่ปลดล็อกขั้นตอนสุดท้าย เพราะมันช่วยให้คุณมีวิธีผลักดันโมเดลหลักไปสู่คำตอบที่มนุษย์ชอบจริงๆ ในระดับที่ไม่มีทีมมนุษย์ทีมไหนทำได้
สิ่งที่ต้องทำเพื่อเรียนรู้ขั้นตอนนี้
- ทำความเข้าใจว่าทำไมการจัดอันดับคำตอบ (อันนี้ดีกว่าอันนั้น) ถึงง่ายและขยายผลได้ดีกว่าการเขียนคำตอบที่สมบูรณ์แบบ
- เข้าใจแนวคิดหลัก: Reward Model เรียนรู้ที่จะเลียนแบบการตัดสินใจของมนุษย์เพื่อให้สามารถให้คะแนนคำตอบได้โดยอัตโนมัติ
- อ่านเกี่ยวกับวิธีที่ข้อมูลความชอบถูกรวบรวมผ่านการเปรียบเทียบโดยมนุษย์
- ดูว่าขั้นตอนนี้เชื่อมโยงความซับซ้อนของรสนิยมมนุษย์เข้ากับสิ่งที่กระบวนการฝึกสามารถนำไปใช้ได้อย่างไร
ขั้นตอนที่ 5: การเรียนรู้แบบเสริมกำลัง (Reinforcement Learning) — ขัดเกลาโมเดลให้เป็นสิ่งที่คุณใช้
ขั้นตอนสุดท้ายนำทุกอย่างที่สร้างมาจนถึงตอนนี้มาขัดเกลาโมเดลให้เป็นผู้ช่วยที่รอบคอบและมีประโยชน์ที่คุณใช้งานจริงๆ
ขั้นตอนนี้มักเรียกว่า RLHF (Reinforcement Learning from Human Feedback) นี่คือวิธีที่ส่วนประกอบต่างๆ ทำงานร่วมกัน คุณนำโมเดลที่ปรับจูนแล้วจากขั้นตอนที่ 3 และ Reward Model จากขั้นตอนที่ 4 มาใช้ โมเดลที่ปรับจูนแล้วจะสร้างคำตอบ Reward Model จะให้คะแนน และโมเดลที่ปรับจูนแล้วจะถูกผลักดันผ่านการเรียนรู้แบบเสริมกำลังให้สร้างคำตอบที่ได้คะแนนสูงขึ้น มันเป็นวงจร: สร้าง, ให้คะแนน, ปรับปรุง, ทำซ้ำ
เนื่องจาก Reward Model สามารถให้คะแนนได้ไม่สิ้นสุด โมเดลหลักจึงสามารถฝึกฝนและปรับปรุงได้ไกลเกินกว่าที่ตัวอย่างจากมนุษย์โดยตรงจะให้ได้ ในหลายๆ รอบ มันจะเรียนรู้ที่จะเป็นประโยชน์มากขึ้น สอดคล้องมากขึ้น เก่งในการทำตามความละเอียดอ่อนมากขึ้น และปฏิเสธสิ่งที่มันไม่ควรทำได้ดีขึ้น นี่คือขั้นตอนที่ทำให้โมเดลมีความประณีต มีวิจารณญาณที่ดี และมีพฤติกรรมด้านความปลอดภัย
รูปแบบสมัยใหม่ที่น่ารู้: ข้อมูลป้อนกลับจากมนุษย์บางส่วนสามารถถูกแทนที่หรือเสริมด้วยข้อมูลป้อนกลับที่สร้างขึ้นตามชุดหลักการที่เขียนไว้ ซึ่งเป็นแนวทางที่บางครั้งเรียกว่า RLAIF หรือแนวทางตามรัฐธรรมนูญ (Constitutional methods) จิตวิญญาณของมันเหมือนเดิม: แทนที่จะพึ่งพามนุษย์ในการให้คะแนนทุกอย่าง คุณขยายผลข้อมูลป้อนกลับที่กำหนดพฤติกรรมของโมเดลโดยมีค่านิยมที่ระบุไว้อย่างชัดเจนเป็นตัวนำทาง
หลังจบขั้นตอนนี้ คุณจะได้ผลิตภัณฑ์สำเร็จรูป โมเดลที่คล่องแคล่วจากการฝึกขั้นต้น เป็นประโยชน์จากการปรับจูน และมีความประณีตและสอดคล้องจากการเรียนรู้แบบเสริมกำลัง นี่คือสิ่งที่คุณกำลังคุยด้วยเมื่อคุณเปิด ChatGPT หรือ Claude 5 ขั้นตอน แต่ละขั้นตอนต่อยอดจากขั้นตอนก่อนหน้า
สิ่งที่ต้องทำเพื่อเรียนรู้ขั้นตอนนี้
- ทำความเข้าใจวงจร: โมเดลสร้างคำตอบ, Reward Model ให้คะแนน, โมเดลปรับปรุงเพื่อให้ได้คะแนนสูงขึ้น
- เข้าใจว่าทำไมวิธีนี้ถึงทำให้โมเดลฝึกฝนได้ไกลเกินขีดจำกัดของตัวอย่างจากมนุษย์โดยตรง
- อ่านเกี่ยวกับความแตกต่างระหว่างการเรียนรู้จากข้อมูลป้อนกลับของมนุษย์กับการเรียนรู้จากข้อมูลป้อนกลับของ AI ที่มีหลักการนำทาง
- ดูว่าขั้นตอนสุดท้ายนี้สร้างความเป็นประโยชน์ วิจารณญาณ และพฤติกรรมความปลอดภัยที่คุณสัมผัสได้ในฐานะผู้ใช้อย่างไร
สรุปกระบวนการทั้งหมดในลมหายใจเดียว
ขอสรุปทุกอย่างให้คุณเห็นภาพรวม
คุณรวบรวมและทำความสะอาดข้อความมหาศาลแล้วเปลี่ยนเป็นโทเค็น คุณฝึกโมเดลให้ทำนายโทเค็นถัดไปจากข้อมูลทั้งหมดนั้น และจากเป้าหมายที่เรียบง่ายนั้นก็เกิดเป็น Base Model ที่เข้าใจภาษาแต่ไม่มีมารยาท คุณปรับจูนมันด้วยตัวอย่างที่คัดสรรมาเพื่อให้มันเรียนรู้ที่จะทำตัวเหมือนผู้ช่วยที่มีประโยชน์ คุณรวบรวมการจัดอันดับคำตอบจากมนุษย์และฝึก Reward Model ให้เลียนแบบการตัดสินใจของมนุษย์ และสุดท้ายคุณใช้ Reward Model นั้นเพื่อขัดเกลาผู้ช่วยผ่านการเรียนรู้แบบเสริมกำลังจนมันประณีต เป็นประโยชน์ และสอดคล้องกับความต้องการ
ข้อมูล, การฝึกขั้นต้น, การปรับจูน, การสร้างโมเดลให้รางวัล, การเรียนรู้แบบเสริมกำลัง 5 ขั้นตอน นี่คือวิธีที่โมเดลระดับแนวหน้าทุกตัวถูกสร้างขึ้น
ความจริงใจเกี่ยวกับการสร้าง LLM ของคุณเอง
คุณไม่สามารถสร้างโมเดลที่เหนือกว่าห้องปฏิบัติการระดับแนวหน้าได้จากห้องนอนของคุณ และนั่นไม่ใช่ประเด็นตั้งแต่แรกแล้ว
ประเด็นคือ "ความเข้าใจ" เมื่อกระบวนการนี้ชัดเจนในหัวของคุณ คุณจะเลิกเป็นผู้ใช้เครื่องมือเหล่านี้แบบเฉยเมย และกลายเป็นคนที่สามารถวิเคราะห์พวกมันได้ คุณจะเข้าใจว่าทำไมพวกมันถึง "หลอน" (การทำนายโทเค็นถัดไป) คุณจะเข้าใจว่าทำไมการเขียน Prompt ถึงได้ผล (คุณกำลังกำหนดสิ่งที่ถูกทำนาย) คุณจะเข้าใจว่าทำไมบางโมเดลถึงรู้สึกว่าสอดคล้องกับความต้องการมากกว่าตัวอื่น (คุณภาพของขั้นตอนที่ 4 และ 5) คุณจะเข้าใจว่าทำไมข้อมูลของคุณเองในการทดลองปรับจูนถึงสำคัญมาก ความเข้าใจนี้คือรากฐานที่นักสร้าง AI ที่เก่งที่สุดยืนอยู่
และนี่คือส่วนที่สร้างพลังให้คุณอย่างแท้จริง: คุณ สามารถ สร้างเวอร์ชันจำลองเล็กๆ ของทุกขั้นตอนเหล่านี้ได้ด้วยตัวเอง ในสเกลเล็กๆ เพื่อการเรียนรู้ ผู้คนฝึกโมเดลขนาดจิ๋ว ปรับจูนโมเดลแบบเปิดขนาดเล็ก และทดลองกับข้อมูลความชอบอยู่ตลอดเวลา คุณอาจไม่ได้สร้าง Claude แต่คุณสามารถสร้างสิ่งที่สอนให้คุณรู้ว่า Claude ถูกสร้างขึ้นมาอย่างไร และความรู้นั้นจะทวีคูณไปตลอดอาชีพการงานของคุณในสาขานี้
คนส่วนใหญ่จะใช้โมเดลเหล่านี้ไปอีกหลายปีโดยไม่เคยเข้าใจเลยว่าพวกมันถูกสร้างขึ้นมาได้อย่างไร
คุณเพิ่งอ่านกระบวนการทั้งหมดจบ คุณนำหน้าเกือบทุกคนที่พิมพ์ข้อความลงในเครื่องมือเหล่านี้ทุกวันไปแล้ว
คำถามเดียวคือ คุณจะลงมือสร้างเวอร์ชันเล็กๆ ด้วยตัวเองและเปลี่ยนความเข้าใจให้กลายเป็นการลงมือทำจริงหรือไม่
5 ขั้นตอนอยู่ตรงหน้าคุณแล้ว เลือกขั้นตอนที่หนึ่ง แล้วเริ่มเลย
ถ้าคุณพบว่าสิ่งนี้มีประโยชน์ ติดตามผมได้ที่ @eng_khairallah1 สำหรับเนื้อหา AI แบบนี้อีก ผมโพสต์บทวิเคราะห์ คอร์สเรียน และเครื่องมือต่างๆ ทุกสัปดาห์
หวังว่าสิ่งนี้จะเป็นประโยชน์กับคุณนะครับ Khairallah ❤️
