นี่คือสัมภาษณ์ครั้งแรกของผมกับหยาง จื้อหลิน ซึ่งเกิดขึ้นในช่วงต้นปี 2024 และเผยแพร่เมื่อวันที่ 1 มีนาคม 2024 ซึ่งตรงกับวันครบรอบ 1 ปีของการก่อตั้ง Kimi พอดี ในตอนนั้น Kimi มีพนักงานเพียง 80 คน ทำงานอยู่ในออฟฟิศแห่งแรกที่ค่อนข้างทรุดโทรม ไม่มีโลโก้บริษัทอยู่ที่ทางเข้า มีเพียงเปียโนสีขาวตั้งตระหง่านอยู่ข้างประตู
บทความนี้สร้างกระแสฮือฮาในวงการเทคโนโลยีจีนได้พอสมควรในตอนนั้น
ในเวลานั้น ผมยังเป็นนักข่าวสิ่งพิมพ์ บทสัมภาษณ์นี้จึงมีอยู่ในรูปแบบข้อความและพอดแคสต์เสียงเท่านั้น
อย่างที่เราเห็นกัน ความคิดเห็นมากมายที่แสดงไว้ในบทความนี้ได้พิสูจน์แล้วว่าเป็นจริงในเวลาต่อมา
แค่อ่านข้อความเหล่านี้เมื่อสองปีก่อนอีกครั้ง ก็อดไม่ได้ที่จะทึ่งว่ามันเปลี่ยนไปมากแค่ไหน!
(คำแปลนี้สร้างโดย Kimi K3.)
หยาง จื้อหลิน: “ถ้าทุกคนคิดว่าคุณเป็นคนปกติ—ถ้าความฝันของคุณเป็นแบบที่ใครๆ ก็มีได้—มันก็ไม่ได้เพิ่มอะไรให้กับผลรวมของความฝันของมนุษยชาติเลย”
โดย จาง เสี่ยวจวิน
เพียงหนึ่งปีที่แล้ว นักวิทยาศาสตร์ AI หยาง จื้อหลิน ได้คำนวณอย่างแม่นยำในซิลิคอนแวลลีย์ เขาตระหนักว่าหากตัดสินใจเปิดตัวสตาร์ทอัพด้านโมเดลพื้นฐานที่มุ่งสู่ AGI เขาจะต้องระดมทุนมากกว่า 100 ล้านดอลลาร์สหรัฐภายในไม่กี่เดือนข้างหน้า
แต่นั่นเป็นเพียงตั๋วเข้าเกมเท่านั้น หนึ่งปีต่อมา ตัวเลขนั้นเพิ่มขึ้นเป็นสิบสามเท่า
สำหรับบริษัทโมเดลพื้นฐาน การแข่งขันไม่ใช่การแข่งขันทางวิทยาศาสตร์มากนัก แต่เป็นการแข่งขันทางการเงินที่โหดร้ายเป็นอันดับแรก เมื่อนักลงทุนรัดเข็มขัด คุณต้องนำหน้าคู่แข่งในการระดมทุนมากขึ้น ซื้อ GPU มากขึ้น และแย่งชิงคนเก่งมากขึ้น
“มันต้องใช้ความสามารถและเงินทุนที่กระจุกตัว” หยาง จื้อหลิน ผู้ก่อตั้งและซีอีโอของ Moonshot AI ซึ่งเป็นบริษัทโมเดลพื้นฐานที่ก่อตั้งเมื่อวันที่ 1 มีนาคม 2023 กล่าว
ตลอดปีที่ผ่านมา บริษัทโมเดลพื้นฐานของจีนดูเหมือนจะใช้ชีวิตอยู่บนขอบเหวแห่งความอยู่รอดที่ตึงเครียดและคับแคบ เมื่อมองเผินๆ แต่ละบริษัทก็มีเงินสดก้อนโตอยู่ในมือ แต่ในแง่หนึ่ง พวกเขาต้องเทเงินที่เพิ่งระดมมาได้ลงในการวิจัยที่มีต้นทุนสูงมากทันทีเพื่อไล่ตาม OpenAI—เริ่มจากการตามให้ทัน GPT-3.5 และก่อนจะถึง GPT-4 ก็มี Sora ตามมา ส่วนอีกทางหนึ่ง พวกเขาต้องแข่งขันอย่างไม่หยุดยั้งเพื่อค้นหากรณีการใช้งานจริงที่ใช้งานได้ เพื่อพิสูจน์กับตัวเองว่าพวกเขาคือบริษัท ไม่ใช่สถาบันวิจัยที่คอยกินเงินทุนเท่านั้น และยังไม่พอ: สำหรับทุกกิจการเหล่านี้ ไม่ว่าจะเป็นการออกจากธุรกิจผ่าน IPO หรือการถูกซื้อกิจการ เส้นทางออกก็ยังไม่ชัดเจนแต่อย่างใด
ในบรรดาผู้ก่อตั้งบริษัทโมเดลพื้นฐานของจีน หยาง จื้อหลิน อายุน้อยที่สุด เกิดในปี 1992 วงการนี้บรรยายเขาว่าเป็นผู้ศรัทธาใน AGI อย่างเหนียวแน่นและเป็นผู้ก่อตั้งที่มีเสน่ห์ทางเทคนิคที่หาได้ยาก ประวัติทางวิชาการและการทำงานส่วนใหญ่ของเขาเกี่ยวข้องกับ AI วัตถุประสงค์ทั่วไป และเอกสารของเขาถูกอ้างอิงมากกว่า 22,000 ครั้ง
ในช่วงกลางปี 2023 วงการเทคโนโลยีจีนเปลี่ยนจากความอิ่มเอมใจไปสู่ความหนาวเย็นในเรื่องโมเดลพื้นฐานอย่างกะทันหัน และการเร่งปรับใช้ในโลกแห่งความเป็นจริงก็กลายเป็นกระแสหลักที่ใช้งานได้จริง สิ่งนี้ทำให้ซีอีโอโมเดลพื้นฐานต้องถูกฉีกขาดระหว่างอุดมคติและความเป็นจริงอย่างหลีกเลี่ยงไม่ได้ ในระบบนิเวศ AI ของจีนที่ทุกคนร้องเรียก PMF (Product/Market Fit) และทุกคนร้องเรียกการสร้างรายได้ ผู้ก่อตั้งคนนี้—ซึ่งเป็นนักวิจัย AI โดยพื้นฐาน—ไม่ได้รีบร้อนอะไรเป็นพิเศษ
Moonshot AI มีพนักงาน 80 คน ถือเป็นบริษัทที่มีจำนวนพนักงานน้อยที่สุดในบรรดาบริษัทโมเดลพื้นฐานชั้นนำของจีน หยางไม่ได้เลือกเส้นทางที่ปลอดภัยกว่าอย่างธุรกิจ B2B หรือการปรับใช้ในแนวตั้ง เช่น การดูแลสุขภาพหรือเกม ต่างจากคู่แข่ง เขาสร้างผลิตภัณฑ์สำหรับผู้บริโภคเพียงหนึ่งเดียว: ผู้ช่วย AI Kimi ซึ่งรองรับอินพุตสูงสุด 200,000 ตัวอักษรจีน Kimi ยังเป็นชื่อภาษาอังกฤษของหยาง จื้อหลิน อีกด้วย
หยางชอบมองบริษัทของเขาเป็นระบบที่ผสมผสานวิทยาศาสตร์ วิศวกรรม และธุรกิจ คุณอาจจินตนาการได้ดังนี้: เหนือโลกมนุษย์ เขากำลังสร้างโต๊ะทดลอง AI—ด้วยมือข้างหนึ่งเขาทำการทดลอง และอีกมือหนึ่งเขานำเทคโนโลยีล้ำสมัยลงมาสู่โลกแห่งความเป็นจริง ค้นหาแอปพลิเคชันผ่านการปฏิสัมพันธ์กับผู้คน และส่งมอบแอปพลิเคชันเหล่านั้นไปยังมือผู้บริโภค ในอุดมคติ อดีตต้องใช้เงินทุนหลายพันล้านหรือหลายหมื่นล้านดอลลาร์ ส่วนหลังต้องทำเงินคืนมาเป็นร้อยหรือพันเท่า ไม่ว่าคุณจะได้ยินมันอย่างไร มันก็ฟังดูน่าตื่นเต้น—และอันตราย—พอๆ กับการเดินบนเส้นด้าย
“AI ไม่ใช่เกี่ยวกับ PMF ที่ฉันจะหาได้ในอีกหนึ่งหรือสองปีข้างหน้า แต่มันเกี่ยวกับวิธีเปลี่ยนโลกในอีกสิบถึงยี่สิบปีข้างหน้า” เขากล่าว
ความคิดเชิงนามธรรมและอุดมคติแบบนี้ทำให้คนเรารู้สึกประหม่าแทนเขา: นักวิทยาศาสตร์ AI หนุ่มจะสามารถสร้างพื้นที่ให้ตัวเองอยู่รอดในจีนที่เน้นความจริงจังได้หรือไม่?
ในเดือนกุมภาพันธ์ 2024 Moonshot AI ปิดรอบการระดมทุนก้อนใหญ่ที่ทวนกระแสตลาด เป็นที่เข้าใจกันว่าบริษัทระดมทุน Series B ได้มากกว่า 1 พันล้านดอลลาร์สหรัฐ ด้วยมูลค่าก่อนการระดมทุน 1.5 พันล้านดอลลาร์สหรัฐ นำโดย Alibaba โดยมี Monolith Management, Xiaohongshu และอื่นๆ ร่วมลงทุนด้วย หลังจากปิดดีล มูลค่าหลังการระดมทุนของ Moonshot AI อยู่ที่ประมาณ 2.5 พันล้านดอลลาร์สหรัฐ—ทำให้ในขั้นตอนนี้ บริษัทเป็นยูนิคอร์นที่มีมูลค่าสูงที่สุดในการแข่งขันโมเดลพื้นฐานของจีน (บริษัทปฏิเสธที่จะตอบหรือแสดงความคิดเห็นในเรื่องนี้)
ท่ามกลางรอบการระดมทุนครั้งที่สามนี้ เราได้นั่งคุยกับหยาง จื้อหลิน เกี่ยวกับปีแรกของการเป็นผู้ประกอบการของเขา—เป็นภาพตัดขวางขนาดย่อส่วนของปีที่บริษัทโมเดลพื้นฐานของจีนวิ่งนำออกจากเส้นเริ่มต้น
บริษัทของเขาไม่ได้ตั้งอยู่ใน Sohu Network Plaza ในปักกิ่ง ซึ่งเป็นศูนย์กลางที่บริษัทโมเดลพื้นฐานรวมตัวกัน สำหรับบริษัทที่มีเงินทุนรวมประมาณ 9 พันล้านหยวน ออฟฟิศแห่งนี้ในอาคาร Liangzi Xinzuo ดูเก่าและทรุดโทรม ไม่มีแม้แต่โลโก้บริษัทที่ทางเข้า—มีเพียงเปียโนสีขาวตั้งตระหง่านอยู่ข้างประตู
ห้องประชุมอยู่ตรงมุมห้อง ด้วยหน้าต่างบานเล็กทำให้ด้านในมืด และเครื่องทำความร้อนส่งเสียงครางขณะเป่าลมอุ่นเพื่อต้านความหนาวเย็นในฤดูหนาว ในแสงสลัว หยางบรรยายว่าปีที่ผ่านมารู้สึกอย่างไรกับเขา: “มันเหมือนขับรถไปตามถนนที่มีเทือกเขาที่ปกคลุมด้วยหิมะทอดยาวอยู่ข้างหน้า คุณไม่รู้ว่ามีอะไรอยู่ข้างในนั้น คุณแค่เดินไปข้างหน้าทีละก้าว”
ด้านล่างนี้คือบทสัมภาษณ์เต็มรูปแบบกับหยาง จื้อหลิน (เพื่อความสะดวกในการอ่าน ผู้เขียนได้แก้ไขข้อความบางส่วน)
ภาพนี้ถ่ายเมื่อต้นปี 2024 ที่ออฟฟิศแห่งแรกของ Kimi ในปักกิ่ง ตอนนี้พวกเขาย้ายออกจากที่นี่แล้ว ไม่มีโลโก้เรียงรายอยู่ที่ทางเข้า—มีเพียงเปียโนสีขาวตั้งตระหง่านอยู่ข้างประตูอย่างเงียบๆ
**
ส่วนที่ 1
ยืนอยู่ที่จุดเริ่มต้น
“คุณต้องขี่คลื่นไป”
**
จาง เสี่ยวจวิน: ช่วงนี้คุณเป็นยังไงบ้าง?
หยาง จื้อหลิน: ยุ่ง—มีอะไรต้องทำมากมาย แต่ฉันยังคงตื่นเต้น เรากำลังยืนอยู่ที่จุดเริ่มต้นของอุตสาหกรรม และมีพื้นที่ให้จินตนาการอีกมากมายมหาศาล
จาง เสี่ยวจวิน: ตอนฉันเดินเข้ามาเมื่อกี้ ฉันเห็นเปียโนสีขาวบริสุทธิ์อยู่ที่ทางเข้าบริษัทคุณ
หยาง จื้อหลิน: มีอัลบั้มของ Pink Floyd วางอยู่บนนั้นด้วย ฉันไม่รู้ว่าใครเอามาไว้—ฉันเพิ่งสังเกตเห็นเมื่อสองสามวันก่อน และยังไม่มีโอกาสถาม (Pink Floyd คือวงร็อกอังกฤษที่ออกอัลบั้ม The Dark Side of the Moon)
จาง เสี่ยวจวิน: ในวันที่ ChatGPT เปิดตัวในเดือนพฤศจิกายน 2022 คุณกำลังทำอะไรอยู่?
หยาง จื้อหลิน: ฉันกำลังเตรียมตัวสำหรับเรื่องนี้อยู่แล้ว—หาคน สร้างทีม แลกเปลี่ยนไอเดียใหม่ๆ การได้เห็น ChatGPT นั้นน่าตื่นเต้นมาก เมื่อสามถึงห้าปีก่อน—แม้แต่ในปี 2021—มันคงเป็นไปไม่ได้ที่จะคิดถึง การใช้เหตุผลระดับสูงแบบนั้นมันทำได้ยากมาก
ฉันรู้สึกว่าตัวแปรมากมายกำลังจะเปลี่ยนไปในตลาด: ด้านทุน ด้านบุคลากร—ปัจจัยการผลิตหลักสำหรับ AI ถ้าตัวแปรเหล่านั้นเข้าที่ การสร้างบริษัทที่เหมาะสมเพื่อทำสิ่งนี้—องค์กรที่สร้างขึ้นเพื่อ AGI—จะสามารถไปจาก 0 ถึง 1 ได้ นั่นคือการตระหนักรู้ครั้งใหญ่ บริษัทอิสระนั้นสมเหตุสมผลกว่า แต่มันไม่ใช่สิ่งที่คุณทำได้ทันทีที่คุณต้องการ ChatGPT กระตุ้นตัวแปรและนำปัจจัยการผลิตมารวมกัน คุณต้องขี่คลื่นไป
จาง เสี่ยวจวิน: หลังจากตัดสินใจก่อตั้งบริษัท AGI คุณเตรียมการอะไรบ้าง? คุณรวบรวมปัจจัยการผลิตสองอย่าง—ทุนและบุคลากร—ได้อย่างไร?
หยาง จื้อหลิน: มันเป็นกระบวนการที่คดเคี้ยว ChatGPT ต้องใช้เวลาในการแพร่กระจาย บางคนรู้จักมันเร็ว บางคนรู้จักช้า บางคนสงสัยก่อน ตกใจ แล้วก็กลายเป็นผู้ศรัทธา การหาคนและหาเงินนั้นผูกติดกับจังหวะเวลาอย่างมาก
เราเริ่มโฟกัสที่การระดมทุนรอบแรกในเดือนกุมภาพันธ์ 2023 ถ้าเราช้าไปถึงเดือนเมษายน โดยพื้นฐานแล้วเราจะไม่มีโอกาสเลย แต่การทำในเดือนธันวาคม 2022 หรือมกราคม 2023 ก็ใช้ไม่ได้เช่นกัน—โรคระบาดยังคงอยู่ และผู้คนยังไม่เข้าใจมัน ดังนั้นหน้าต่างที่แท้จริงจึงมีเพียงเดือนเดียว
คืนหนึ่งในสหรัฐอเมริกา ฉันทำการคำนวณอย่างแม่นยำ เมื่อฉันเสร็จ ฉันสรุปว่าเราต้องระดมทุนอย่างน้อย 100 ล้านดอลลาร์ภายในไม่กี่เดือน หลายคนในตลาดยังไม่ได้เริ่มระดมทุน และหลายคนไม่เชื่อว่าคุณจะระดมทุนได้มากขนาดนั้นแน่นอน แต่ปรากฏว่ามันเป็นไปได้—มากกว่าด้วยซ้ำ
ตลาดบุคลากรก็เริ่มเคลื่อนไหวเช่นกัน ด้วยแรงบันดาลใจจาก ChatGPT หลายคนมีความตระหนักรู้ในเดือนมีนาคมหรือเมษายน 2023 ว่า: นี่คือสิ่งเดียวที่คุ้มค่าที่จะทำในทศวรรษหน้า คุณต้องเข้าถึงคนที่ใช่ในเวลาที่ถูกต้อง เมื่อหนึ่งหรือสองปีก่อน บุคลากรจะไม่รวมตัวกันในระดับนี้ ในตอนนั้น ผู้คนจำนวนมากทำ AI แบบดั้งเดิมหรือธุรกิจที่เกี่ยวข้องกับ AI—ไม่มีอะไรเป็น AI วัตถุประสงค์ทั่วไป
จาง เสี่ยวจวิน: สรุปคือ: เดือนกุมภาพันธ์เป็นหน้าต่างสำหรับการระดมทุน และเดือนมีนาคมถึงเมษายนเป็นหน้าต่างสำหรับการจ้างงาน?
หยาง จื้อหลิน: คร่าวๆ ก็ประมาณนั้น
จาง เสี่ยวจวิน: คืนนั้นในสหรัฐฯ—คุณอยู่ที่ไหนตอนที่คำนวณเลขนี้? คุณคำนวณยังไงกันแน่?
หยาง จื้อหลิน: ตั้งแต่ปลายปี 2022 ถึงต้นปี 2023 ฉันใช้เวลาหนึ่งถึงสองเดือนในสหรัฐฯ พูดคุยกับผู้คน ฉันทำมันในที่ที่ฉันพักอยู่ คุณคำนวณว่าคุณต้องใช้ FLOPs เท่าไหร่ ค่าใช้จ่ายในการฝึก ค่าใช้จ่ายในการอนุมาน และจำนวนผู้ใช้
จาง เสี่ยวจวิน: ในตอนนั้น อารมณ์โดยรวมในซิลิคอนแวลลีย์เป็นอย่างไร?
หยาง จื้อหลิน: ผลิตภัณฑ์เริ่มดึงดูดผู้ใช้ในช่วงแรกๆ มากมาย ซึ่งกระจุกตัวอยู่ในวงการเทคโนโลยี เราอยู่ในวงการนั้นด้วย เราจึงรู้สึกได้ชัดเจนกว่า ที่บริษัทใหญ่ในซิลิคอนแวลลีย์ ผู้คนต้องเขียนรีวิวผลงานทุกหกเดือน และหลายคนเริ่มเขียนด้วย ChatGPT บางคนที่ปกติเขียนไม่ค่อยมืออาชีพก็ส่งรีวิวที่เขียนด้วย ChatGPT และทุกคนฟังดูจริงจังมาก
กระแสใต้น้ำกำลังปั่นป่วน หลายคนกำลังคิดถึงงานต่อไปหรือการเริ่มต้นบริษัท มีเพื่อนไม่น้อยที่คุยกับเราแล้วต่อมาก็ออกไปก่อตั้งสตาร์ทอัพ และมีความกลัวว่าจะพลาด (FOMO) อย่างรุนแรง—Fear Of Missing Out ไม่มีใครนอนหลับได้ ไม่ว่าจะเป็นเที่ยงคืน ตีหนึ่ง หรือตีสอง ถ้าคุณติดต่อออกไป ผู้คนก็มักจะตอบกลับ ตื่นเต้นกันนิดหน่อย กังวลนิดหน่อย มี FOMO เล็กน้อย และตื่นเต้นมาก
จาง เสี่ยวจวิน: คืนที่คุณคำนวณว่าต้องระดมทุน 100 ล้านดอลลาร์—คุณนอนดึกแค่ไหน?
หยาง จื้อหลิน: ก็ไม่เป็นไร—การคำนวณใช้เวลาไม่นาน แต่หลังจากนั้น ฉันบอกใครหลายคนไม่ได้ ถ้าฉันบอกไป ก็คงไม่มีใครเชื่อว่ามันจะทำได้
ส่วนที่ 2
สายเลือดทางเทคนิค
“ปลดปล่อยตัวเองจากการแกะสลักไม่รู้จบ”
จาง เสี่ยวจวิน: เมื่อวงการเงินร่วมทุนพูดถึงคุณ พวกเขาบอกว่า “ผู้ก่อตั้งเก่ง มีเสน่ห์ทางเทคนิค และทีมงานเต็มไปด้วยดาวเด่นทางเทคนิค” ดังนั้นก่อนที่เราจะพูดถึงกิจการโมเดลพื้นฐานของคุณ ฉันอยากเริ่มจากประวัติการศึกษาของคุณ คุณเรียนวิทยาการคอมพิวเตอร์ที่ซิงหัวเป็นปริญญาตรี และจบปริญญาเอกจากคณะวิทยาการคอมพิวเตอร์ของ Carnegie Mellon AI เป็นจุดสนใจของคุณตลอดมาใช่ไหม?
หยาง จื้อหลิน: ฉันเกิดปี 1992 และเริ่มเรียนปริญญาตรีในปี 2011 ตั้งแต่ปีสองจนถึงตอนนี้—กว่าสิบปี—ฉันอยู่ในสาขานี้ ตอนแรกฉันสำรวจอย่างหลากหลาย มองไปรอบๆ ฉันทำงานบางอย่างเกี่ยวกับกราฟและมัลติโมดัล ในปี 2017 ฉันมุ่งเน้นไปที่โมเดลภาษา ในตอนนั้นฉันรู้สึกว่าโมเดลภาษาเป็นปัญหาที่ค่อนข้างสำคัญ ต่อมาฉันรู้สึกว่ามันเป็นปัญหาเดียวที่สำคัญ
จาง เสี่ยวจวิน: ในปี 2017 อุตสาหกรรม AI โดยทั่วไปเข้าใจโมเดลภาษาอย่างไร และความเข้าใจนั้นพัฒนาไปอย่างไร?
หยาง จื้อหลิน: ตอนนั้นมันเป็นโมเดลที่ใช้เพื่อจัดอันดับผลลัพธ์การรู้จำเสียง (หัวเราะ) หลังจากรู้จำเสียงพูดส่วนหนึ่งแล้ว คุณจะได้ผลลัพธ์ที่เป็นไปได้มากมาย และคุณใช้โมเดลภาษาเพื่อดูว่าอันไหนมีความน่าจะเป็นสูงสุดและส่งออกอันที่น่าจะเป็นไปได้มากที่สุด การประยุกต์ใช้ของมันมีจำกัดมาก
แต่คุณจะตระหนักว่ามันเป็นปัญหาพื้นฐาน เพราะคุณกำลังสร้างแบบจำลองความน่าจะเป็นของโลก ภาษามีจำกัด แต่มันเป็นภาพฉายของโลก ในทางทฤษฎี ถ้าคุณทำให้ token space—พื้นที่ของ token ที่เป็นไปได้ทั้งหมด—ใหญ่พอ คุณสามารถสร้างแบบจำลองโลกทั่วไปได้ ทุกสิ่งในโลกเกิดขึ้นและพัฒนาได้อย่างไร สามารถกำหนดความน่าจะเป็นได้ ทุกปัญหาสามารถลดทอนลงได้ว่าเราจะประมาณค่าความน่าจะเป็นได้อย่างไร
จาง เสี่ยวจวิน: อาจารย์ที่ปรึกษาทางวิชาการของคุณมีชื่อเสียงมาก: ที่ปรึกษาปริญญาเอกของคุณคือ Ruslan Salakhutdinov หัวหน้า AI ของ Apple และ William W. Cohen หัวหน้านักวิทยาศาสตร์ของ Google AI ทั้งคู่คร่อมทั้งอุตสาหกรรมและวิชาการ
หยาง จื้อหลิน: ในปีก่อนๆ อุตสาหกรรมและวิชาการมาบรรจบกันมากขึ้น แต่แนวโน้มตอนนี้กำลังเปลี่ยนไป: ความก้าวหน้าที่มีคุณค่ามากขึ้นจะเกิดขึ้นในอุตสาหกรรม นั่นเป็นกฎแห่งการพัฒนาที่หลีกเลี่ยงไม่ได้ มันเริ่มต้นด้วยการวิจัยเชิงสำรวจและค่อยๆ เปลี่ยนไปสู่กระบวนการอุตสาหกรรมที่เติบโตเต็มที่มากขึ้น นั่นไม่ได้หมายความว่างานวิจัยไม่จำเป็นในช่วงอุตสาหกรรม—เพียงแต่งานวิจัยบริสุทธิ์จะพยายามสร้างความก้าวหน้าที่มีคุณค่าได้ยาก
จาง เสี่ยวจวิน: คุณเรียนรู้อะไรจากอาจารย์ที่มีชื่อเสียงเหล่านี้?
หยาง จื้อหลิน: ฉันเรียนรู้มากที่สุดที่ Google ซึ่งฉันฝึกงานเป็นเวลานาน ฉันเริ่มทำงานกับโมเดลภาษาที่ใช้ Transformer ในช่วงปลายปี 2018 สิ่งที่ฉันเรียนรู้มากที่สุดคือการปลดปล่อยตัวเองจากการ "แกะสลัก" ไม่รู้จบ—การปรับแต่งรายละเอียดพื้นผิวอย่างหมกมุ่น นั่นเป็นสิ่งสำคัญ
คุณควรมองว่าทิศทางใหญ่คืออะไร เกรเดียนต์ใหญ่คืออะไร เมื่อมีถนนสิบสายอยู่ข้างหน้า คนทั่วไปกังวลว่าจะเบรกเพื่อหลบคนเดินถนนที่อยู่ข้างหน้าบนถนนสายนี้ได้อย่างไร—รายละเอียดระยะสั้น แต่การเลือกถนนสายใดในสิบสายนั้นสำคัญที่สุด
สาขานี้ก่อนหน้านี้มีปัญหานั้นพอดี ตัวอย่างเช่น ในชุดข้อมูลที่มีเพียงหนึ่งหรือสองล้าน token คุณจะดูว่าทำอย่างไรให้ perplexity ต่ำลง ทำอย่างไรให้ loss ต่ำลง ทำอย่างไรให้ความแม่นยำดีขึ้น—และคุณจะตกอยู่ในการแกะสลักไม่รู้จบ ผู้คนคิดค้นสถาปัตยกรรมแปลกๆ มากมาย สิ่งเหล่านี้คือเทคนิคการแกะสลัก หลังจากแกะสลัก คุณอาจทำได้ดีขึ้นบนชุดข้อมูลประเภทนั้น แต่คุณพลาดแก่นแท้ของปัญหา
แก่นแท้คือการวิเคราะห์ว่าสาขานี้ขาดอะไรไป หลักการแรกคืออะไร? ทำไม scaling law ถึงทำหน้าที่เป็นหลักการแรกได้? คุณแค่ต้องหาโครงสร้างที่满足สองเงื่อนไข: หนึ่ง มันทั่วไปพอ สอง มันปรับขนาดได้ ทั่วไปหมายความว่าคุณสามารถสร้างแบบจำลองปัญหาทั้งหมดภายในกรอบนี้ได้ ปรับขนาดได้หมายความว่าตราบใดที่คุณเทพลังคำนวณลงไปเพียงพอ มันก็จะดีขึ้นเรื่อยๆ
นี่คือความคิดที่ฉันเรียนรู้ที่ Google: ถ้าบางสิ่งสามารถอธิบายได้ด้วยสิ่งที่พื้นฐานกว่า คุณไม่ควรแกะสลักมากเกินไปในชั้นบน มีบรรทัดสำคัญที่ฉันเห็นด้วยอย่างยิ่ง: ถ้าคุณสามารถแก้ปัญหาด้วยการปรับขนาด อย่าแก้ด้วยอัลกอริทึมใหม่ คุณค่าที่ยิ่งใหญ่ที่สุดของอัลกอริทึมใหม่คือการทำให้คุณปรับขนาดได้ดีขึ้น เมื่อคุณปลดปล่อยตัวเองจากการแกะสลัก คุณจะมองเห็นได้มากกว่านี้มาก
จาง เสี่ยวจวิน: Google เป็นผู้ตาม scaling law ในตอนนั้นด้วยหรือเปล่า? มันนำหลักการความคิดแรกมาใช้อย่างไร?
หยาง จื้อหลิน: แนวคิดเหล่านี้มีอยู่มากมายแล้วที่นั่น แต่ Google ไม่ได้นำไปใช้ได้ดีเป็นพิเศษ มันมีวิธีคิดนี้ แต่ไม่สามารถจัดระเบียบตัวเองให้เป็นโครงการมุ่งสู่ดวงจันทร์ที่แท้จริงได้ มัน更像: นี่คือห้าคนที่ไล่ตามหลักการแรกของฉัน และตรงนั้นห้าคนที่ไล่ตามของพวกเขา ไม่มีอะไรจากบนลงล่าง
จาง เสี่ยวจวิน: ระหว่างเรียนปริญญาเอก คุณตีพิมพ์บทความร่วมกับผู้ชนะรางวัลทัวริง Yann LeCun และ Yoshua Bengio—และคุณเป็นผู้เขียนคนแรกในบทความเหล่านั้น ความร่วมมือเหล่านั้นเกิดขึ้นได้อย่างไร? ที่ฉันหมายถึงคือ: พวกเขาเป็นผู้ชนะรางวัลทัวริงและพวกเขาไม่ใช่ที่ปรึกษาของคุณ—คุณอาศัยอะไรดึงดูดพวกเขา?
หยาง จื้อหลิน: วงการวิชาการเปิดกว้างมาก ตราบใดที่คุณมีไอเดียดีและปัญหาที่มีความหมาย ก็ไม่เป็นไร สิ่งที่สมองสองสมอง—หรือ n สมอง—ผลิตได้นั้นมากกว่าสมองเดียว สิ่งนี้ใช้ได้กับการพัฒนา AGI เช่นกัน กลยุทธ์สำคัญใน AI เรียกว่า "ensembling"—การใช้โมเดลหรือวิธีการที่แตกต่างกันหลายตัวและรวมการคาดการณ์ของพวกมันเพื่อประสิทธิภาพที่ดีขึ้น โดยพื้นฐานแล้วมันเป็นการทำสิ่งเดียวกัน: เมื่อคุณมีมุมมองที่หลากหลาย คุณสามารถจุดประกายสิ่งใหม่ๆ ได้มากมาย ความร่วมมือมีประโยชน์อย่างมหาศาล
จาง เสี่ยวจวิน: คุณจะคิดไอเดียก่อนแล้วค่อยถามพวกเขาว่าสนใจหรือไม่?
หยาง จื้อหลิน: ประมาณนั้น
จาง เสี่ยวจวิน: อะไรยากกว่ากัน: การชนะใจผู้ทรงอิทธิพลทางวิชาการในงานวิจัย หรือการชนะใจผู้ทรงอิทธิพลทางการเงินในการระดมทุน? อะไรคือความคล้ายคลึง?
หยาง จื้อหลิน: “การชนะใจ” ไม่ใช่คำที่ดีนัก—แก่นแท้เบื้องหลังคือความร่วมมือ ความร่วมมือหมายถึงทั้งสองฝ่ายชนะ เพราะผลประโยชน์ร่วมกันเป็นเงื่อนไขเบื้องต้นสำหรับความร่วมมือ ดังนั้นจึงไม่มีความแตกต่างจริงๆ: คุณต้องเสนอคุณค่าที่เป็นเอกลักษณ์ให้ผู้อื่น
จาง เสี่ยวจวิน: คุณทำให้พวกเขาไว้ใจคุณได้อย่างไร? คุณคิดว่าพรสวรรค์ของคุณคืออะไร?
หยาง จื้อหลิน: ไม่มีพรสวรรค์พิเศษอะไร—แค่ทำงานหนัก
ส่วนที่ 3
ระบบเก่าใช้ไม่ได้อีกต่อไป
“AGI ต้องการองค์กรรูปแบบใหม่”
**
จาง เสี่ยวจวิน: คุณเพิ่งพูดว่า “ความก้าวหน้าที่มีคุณค่ามากขึ้นจะเกิดขึ้นในอุตสาหกรรม”—นั่นรวมถึงสตาร์ทอัพและห้องปฏิบัติการ AI ของยักษ์ใหญ่ด้วยหรือเปล่า?
หยาง จื้อหลิน: ห้องปฏิบัติการเป็นประวัติศาสตร์ Google Brain เคยเป็นห้องปฏิบัติการ AI ที่ใหญ่ที่สุดในอุตสาหกรรม แต่มันเป็นองค์กรวิจัยที่ฝังตัวอยู่ในบริษัทใหญ่ องค์กรแบบนั้นสามารถสำรวจไอเดียใหม่ๆ ได้ แต่มันยากมากที่จะสร้างระบบที่ยิ่งใหญ่—มันสามารถสร้าง Transformer ได้ แต่มันไม่สามารถสร้าง ChatGPT ได้
วิธีที่การพัฒนาในตอนนี้วิวัฒนาการคือคุณกำลังสร้างระบบขนาดใหญ่ ซึ่งต้องการอัลกอริทึมใหม่ วิศวกรรมที่แข็งแกร่ง และแม้แต่งานด้านผลิตภัณฑ์และการสร้างรายได้อีกมาก มันเหมือนกับช่วงต้นทศวรรษ 2000: คุณไม่สามารถค้นคว้าการสืบค้นข้อมูลในห้องปฏิบัติการได้ มันต้องอยู่ในโลกแห่งความเป็นจริง เป็นระบบขนาดใหญ่ เป็นผลิตภัณฑ์ที่มีผู้ใช้—เหมือน Google ดังนั้นระบบวิจัยและการศึกษาจะเปลี่ยนหน้าที่ไปสู่การหล่อเลี้ยงบุคลากรเป็นหลัก
จาง เสี่ยวจวิน: คุณจะอธิบายระบบรูปแบบใหม่นี้อย่างไร? OpenAI เป็นต้นแบบของมันหรือเปล่า?
หยาง จื้อหลิน: มันเป็นองค์กรที่เติบโตเต็มที่ที่สุดในประเภทนี้ในปัจจุบัน และมันยังคงค่อยๆ พัฒนาไป
จาง เสี่ยวจวิน: ดังนั้นจึงเข้าใจได้ว่าเป็นองค์กรที่จัดตั้งขึ้นเพื่อเป้าหมายทางวิทยาศาสตร์ที่ยิ่งใหญ่ของมนุษยชาติ?
หยาง จื้อหลิน: ฉันอยากเน้นย้ำ: มันไม่ใช่วิทยาศาสตร์บริสุทธิ์—มันเป็นการผสมผสานระหว่างวิทยาศาสตร์ วิศวกรรม และธุรกิจ มันต้องเป็นองค์กรเชิงพาณิชย์ เป็นบริษัท ไม่ใช่สถาบันวิจัย แต่บริษัทนี้ถูกสร้างขึ้นจากศูนย์ถึงหนึ่ง เพราะ AGI ต้องการองค์กรรูปแบบใหม่ ประการแรก รูปแบบการผลิตแตกต่างจากยุคอินเทอร์เน็ต ประการที่สอง มันเปลี่ยนจากการวิจัยบริสุทธิ์ไปสู่การผสมผสานระหว่างการวิจัย วิศวกรรม ผลิตภัณฑ์ และธุรกิจ
โดยแก่นของมันแล้ว มันควรเป็นโครงการมุ่งสู่ดวงจันทร์ โดยมีการวางแผนจากบนลงล่างจำนวนมาก—แต่ภายในแผนนั้นก็มีพื้นที่สำหรับนวัตกรรม เพราะไม่ใช่ทุกเทคโนโลยีที่ถูกกำหนดไว้ล่วงหน้า มีองค์ประกอบจากล่างขึ้นบนอยู่ภายในกรอบจากบนลงล่าง องค์กรแบบนี้ไม่เคยมีมาก่อน แต่องค์กรต้องปรับตัวให้เข้ากับเทคโนโลยี เพราะเทคโนโลยีเป็นตัวกำหนดรูปแบบการผลิต ถ้าพวกมันไม่ตรงกัน คุณจะไม่สามารถผลิตได้อย่างมีประสิทธิภาพ เราเชื่อว่ามันมีแนวโน้มสูงที่จะต้องถูกออกแบบใหม่ตั้งแต่ต้น
จาง เสี่ยวจวิน: ระหว่างการรัฐประหารในคณะกรรมการ OpenAI เมื่อปีที่แล้ว ทางเลือกหนึ่งของ Sam Altman คือการเข้าร่วม Microsoft และนำทีม AI ใหม่ของ Microsoft อะไรคือความแตกต่างที่สำคัญระหว่างสิ่งนั้นกับการเป็นซีอีโอของ OpenAI?
หยาง จื้อหลิน: คุณจะต้องเติบโตองค์กรใหม่ภายในวัฒนธรรมเก่า—และนั่นยากมาก
จาง เสี่ยวจวิน: คุณต้องการสร้าง “OpenAI ของจีน”—เราพูดแบบนั้นได้ไหม?
หยาง จื้อหลิน: ไม่ถูกต้องนัก เราไม่ต้องการเป็นอะไรก็ตามของจีน และเราไม่จำเป็นต้องเป็น OpenAI
ประการแรก AGI ที่แท้จริงจะต้องเป็นระดับโลกแน่นอน ไม่มีสิ่งใด—อย่างน้อยก็ในระยะยาว—ที่เป็นบริษัท AGI ที่ถูกจำกัดอยู่ในตลาดภูมิภาคใดภูมิภาคหนึ่งเพราะกลไกการปกป้องตลาด โลกาภิวัตน์ AGI และการมีผลิตภัณฑ์ที่มีฐานผู้ใช้ขนาดใหญ่มาก: สามสิ่งนี้เป็นเงื่อนไขที่จำเป็นในที่สุด
ประการที่สอง มันควรเป็น OpenAI หรือไม่? ถ้าคุณดูปี 2017–2018 OpenAI มีชื่อเสียงแย่มาก เมื่อคนในวงการเรามองหางาน โดยทั่วไปพวกเขาจะพิจารณาที่ Google หลายคนที่คุยกับ Ilya Sutskever หัวหน้านักวิทยาศาสตร์ของ OpenAI คิดว่าผู้ชายคนนี้บ้าและหยิ่งเกินไป—OpenAI เป็นได้ทั้งคนบ้าหรือคนหลอกลวง แต่พวกเขาทุ่มเทตั้งแต่เนิ่นๆ พบจุดที่ไม่เป็นเอกฉันท์ และพบสิ่งที่เป็นหลักการแรกที่ใช้ได้ผลใน AI: การปรับขนาดผ่านการทำนายโทเค็นถัดไป
ฉันเชื่อว่าจะมีบริษัทที่ยิ่งใหญ่กว่า OpenAI บริษัทที่ยิ่งใหญ่จริงๆ สามารถผสมผสานอุดมคติทางเทคโนโลยีเข้ากับผลิตภัณฑ์ที่ยอดเยี่ยม ร่วมสร้างสรรค์กับผู้ใช้—AGI ในที่สุดก็จะเป็นสิ่งที่ผลิตขึ้นโดยการทำงานร่วมกันกับผู้ใช้ทั้งหมด ดังนั้นมันจึงไม่ใช่แค่เรื่องเทคโนโลยีเท่านั้น มันยังต้องการความจริงจังและการแสวงหาในโลกแห่งความเป็นจริง—ในที่สุดแล้ว เป็นการผสมผสานที่สมบูรณ์แบบของทั้งสองสิ่ง
ถึงกระนั้น เราควรเรียนรู้จากอุดมคติทางเทคโนโลยีของ OpenAI ถ้าทุกคนคิดว่าคุณเป็นปกติ—ถ้าความฝันของคุณเป็นแบบที่ใครๆ ก็มีได้—มันก็ไม่ได้เพิ่มอะไรให้กับผลรวมของความฝันของมนุษยชาติเลย
ส่วนที่ 4
ก้าวแรกของ Moonshot คือ “บริบทยาว” (Long Context)—ก้าวที่สองคืออะไร?
“เหตุการณ์สำคัญสองอย่างกำลังจะมาถึง”
**
จาง เสี่ยวจวิน: กลับมาที่ตอนที่คุณตัดสินใจเริ่มบริษัท—คุณเปิดตัวรอบการระดมทุนแรกทันทีหลังจากกลับมาที่จีนใช่ไหม?
หยาง จื้อหลิน: มันเริ่มต้นในสหรัฐฯ ในเดือนกุมภาพันธ์ (ปีที่แล้ว) บางส่วนทำทางไกล ในที่สุด นักลงทุนในประเทศก็เป็นส่วนใหญ่
จาง เสี่ยวจวิน: รอบแรกระดมทุนได้ 100 ล้านดอลลาร์หรือเปล่า?
หยาง จื้อหลิน: รอบแรกไม่มากขนาดนั้น รอบต่อมามากกว่าตัวเลขนั้น เราทำสองรอบในปี 2023 รวมแล้วเกือบ 2 พันล้านหยวน
ตอนนี้เป็นรอบที่สามแล้ว เรายังไม่ได้ประกาศการระดมทุนอย่างเป็นทางการ ดังนั้นฉันจึงไม่สามารถแสดงความคิดเห็นได้ในตอนนี้
จาง เสี่ยวจวิน: บางคนบอกว่าตั้งแต่ครึ่งหลังของปี 2023 ไม่มีใครอยากลงทุนในบริษัทโมเดลพื้นฐานอีกแล้ว พวกเขาพูดผิดหรือเปล่า?
หยาง จื้อหลิน: ยังมีอยู่ คุณเห็นการเปลี่ยนแปลงของอารมณ์ได้จริง แต่มันไม่ใช่ว่าไม่มีใครลงทุน—อย่างน้อยตอนนี้ ก็มีความสนใจในการลงทุนในตลาดค่อนข้างมาก
จาง เสี่ยวจวิน: นอกจากทุนและบุคลากรแล้ว มีการตัดสินใจสำคัญอื่นๆ อีกไหมที่คุณทำในปี 2023?
หยาง จื้อหลิน: การตัดสินใจว่าจะทำอะไร นั่นคือข้อได้เปรียบของบริษัทอย่างเรา—การมีวิสัยทัศน์ทางเทคนิคสำหรับการตัดสินใจในระดับสูงสุด
เราทำ long context (บริบทยาว) สิ่งนี้ต้องอาศัยการตัดสินเกี่ยวกับอนาคต: คุณต้องรู้ว่าอะไรเป็นพื้นฐานและสิ่งต่างๆ กำลังจะไปทางไหนต่อไป อีกครั้ง มันคือหลักการแรก—กระบวนการ "เลิกแกะสลัก" ถ้าคุณโฟกัสที่การแกะสลัก คุณจะมองได้แค่ว่า OpenAI ทำอะไรไปแล้วบ้างและหาวิธีทำซ้ำ
คุณจะพบว่าการทำ lossless long-text compression (การบีบอัดข้อความยาวแบบไม่สูญเสีย) ใน Kimi ทำให้ผลิตภัณฑ์มีประสบการณ์ที่ไม่เหมือนใคร เมื่อคุณอ่านเอกสารภาษาอังกฤษ มันช่วยให้คุณเข้าใจได้ดีอย่างน่าทึ่ง การใช้ Claude หรือ GPT-4 ในวันนี้ คุณอาจจะทำได้ไม่ดีเท่า สิ่งนี้ต้องวางรากฐานไว้ล่วงหน้า เราทำงานกับมันมากว่าครึ่งปี ซึ่งแตกต่างอย่างมากจากการเห็นแนวโน้ม long context ในวันนี้ รีบรวมทีมสองทีมอย่างเร่งรีบ และพัฒนามันด้วยความเร็วสูงสุด
แน่นอนว่า การวิ่งมาราธอนเพิ่งเริ่มต้นเท่านั้น ความแตกต่างจะเพิ่มขึ้นอีก และนั่นหมายถึงคุณต้องคาดการณ์ล่วงหน้าว่าอะไรคือ “สิ่งที่ไม่มีใครเห็นด้วยแต่เป็นความจริง”
จาง เสี่ยวจวิน: ตัดสินใจกันเดือนไหนครับ?
หยาง จื้อหลิน: กุมภาพันธ์หรือมีนาคม—ตัดสินใจทันทีที่ก่อตั้งบริษัท
จาง เสี่ยวจวิน: ทำไมบริบทยาวถึงเป็นก้าวแรกของ moonshot ล่ะครับ?
หยาง จื้อหลิน: เพราะมันเป็นพื้นฐาน เป็นหน่วยความจำของคอมพิวเตอร์เครื่องใหม่
หน่วยความจำของคอมพิวเตอร์เครื่องเก่าเพิ่มขึ้นหลายเท่าในช่วงหลายทศวรรษที่ผ่านมา และสิ่งเดียวกันนี้จะเกิดขึ้นกับคอมพิวเตอร์เครื่องใหม่ มันสามารถแก้ปัญหาหลายอย่างในปัจจุบันได้ ตัวอย่างเช่น สถาปัตยกรรมแบบ multimodal ในปัจจุบันยังต้องการ tokenizer แต่ถ้ามีบริบทยาวที่บีบอัดแบบไม่สูญเสีย คุณไม่จำเป็นต้องใช้มัน—คุณสามารถใส่ข้อมูลดิบเข้าไปได้โดยตรง เมื่อขยายความหมายต่อไป มันคือรากฐานสำหรับทำให้กระบวนทัศน์การคำนวณแบบใหม่มีความทั่วไปมากขึ้น
คอมพิวเตอร์เครื่องเก่าสามารถแทนทุกสิ่งด้วย 0 และ 1 ทุกอย่างสามารถแปลงเป็นดิจิทัลได้ แต่คอมพิวเตอร์เครื่องใหม่ในปัจจุบันยังทำไม่ได้—ยังมีบริบทไม่เพียงพอ มันจึงไม่ทั่วไปพอ การจะเป็น world model ที่ทั่วไปได้ คุณต้องมีบริบทยาว
ประการที่สอง มันช่วยให้เกิดการปรับเปลี่ยนเฉพาะบุคคล คุณค่าหลักของ AI คือการโต้ตอบแบบเฉพาะบุคคล คุณค่าที่แท้จริงอยู่ที่การปรับเปลี่ยนเฉพาะบุคคล และ AGI จะมีความเฉพาะบุคคลมากกว่าเครื่องมือแนะนำรุ่นก่อนหน้า
แต่การปรับเปลี่ยนเฉพาะบุคคลไม่ได้เกิดจากการ fine-tuning—มันเกิดจากการรองรับบริบทยาวมาก ประวัติการโต้ตอบทั้งหมดของคุณกับเครื่องคือบริบท และบริบทนั้นกำหนดกระบวนการปรับเปลี่ยนเฉพาะบุคคล มันไม่สามารถทำซ้ำได้ และทำให้การสนทนาโดยตรงมากขึ้น—การสนทนาที่สร้างข้อมูล
จาง เสี่ยวจวิน: มีพื้นที่ให้ขยายขนาดมากแค่ไหนครับ?
หยาง จื้อหลิน: มหาศาล ด้านหนึ่ง การขยายหน้าต่างเองยังมีหนทางอีกยาวไกล—หลายเท่าตัว
อีกด้านหนึ่ง คุณไม่สามารถขยายแค่หน้าต่างอย่างเดียว และคุณไม่สามารถดูแค่ตัวเลข ว่าหน้าต่างมีไม่กี่ล้าน token หรือหลายพันล้าน token ในวันนี้มันไม่มีความหมายในตัวเอง คุณต้องดูความสามารถในการให้เหตุผลที่มันทำให้เกิดขึ้นภายในหน้าต่างนั้น ความเที่ยงตรง—ความซื่อตรงต่อข้อมูลต้นฉบับ—และความสามารถในการทำตามคำสั่ง คุณไม่ควรไล่ตามตัวชี้วัดเดียว คุณต้องรวมตัวชี้วัดเข้ากับความสามารถ
ถ้าสองมิติเหล่านี้พัฒนาขึ้นเรื่อยๆ คุณจะทำได้มากมาย มันสามารถทำตามคำสั่งที่มีความยาวหลายหมื่นคำ และคำสั่งนั้นเองสามารถกำหนด agent หลายตัว—ที่ปรับเปลี่ยนเฉพาะบุคคลสูง
จาง เสี่ยวจวิน: เทคโนโลยีที่อยู่เบื้องหลังบริบทยาวและการตามทัน GPT-4 นั้นใช้ร่วมกันได้ไหมครับ? เป็นสิ่งเดียวกันหรือเปล่า?
หยาง จื้อหลิน: ผมไม่คิดอย่างนั้น มันเป็นการเพิ่มมิติใหม่—มิติที่ GPT-4 ไม่มี
จาง เสี่ยวจวิน: หลายคนบอกว่าบริษัทโมเดลพื้นฐานชั้นนำของจีนทั้งหมดทำสิ่งเดียวกัน—ไล่ตาม GPT-3.5 ในปี 2023 ไล่ตาม GPT-4 ในปี 2024 คุณเห็นด้วยไหมครับ?
หยาง จื้อหลิน: การปรับปรุงความสามารถทั่วไปมีเหตุการณ์สำคัญแน่นอน ดังนั้นคำพูดนั้นถูกต้องในระดับหนึ่ง—ในฐานะผู้ตาม คุณต้องผ่านกระบวนการไล่ตามอย่างหลีกเลี่ยงไม่ได้ แต่มันก็เป็นด้านเดียวด้วย นอกเหนือจากความสามารถทั่วไป ยังมีพื้นที่อีกมากในการพัฒนาความสามารถที่โดดเด่นและไปถึงระดับ state-of-the-art ในบางทิศทาง บริบทยาวเป็นหนึ่งในนั้น การสร้างภาพของ DALL-E 3 ด้อยกว่า Midjourney V6 อย่างสิ้นเชิง ดังนั้นคุณต้องทำงานทั้งสองด้าน
จาง เสี่ยวจวิน: สัดส่วนของเวลาและทรัพยากรที่ใช้กับความสามารถทั่วไปเทียบกับมิติใหม่เป็นอย่างไรครับ?
หยาง จื้อหลิน: มันต้องรวมกัน มิติใหม่ไม่สามารถดำรงอยู่แยกจากความสามารถทั่วไป ดังนั้นจึงยากที่จะให้สัดส่วนโดยตรง แต่ต้องมีการลงทุนที่เพียงพอเพื่อทำมิติใหม่ให้ดี
จาง เสี่ยวจวิน: มิติใหม่ทั้งหมดนี้จะถูกนำไปใช้ใน Kimi ทั้งหมดหรือเปล่าครับ?
หยาง จื้อหลิน: Kimi เป็นผลิตภัณฑ์ที่สำคัญมากสำหรับเราแน่นอน และเราจะมีความพยายามอื่นๆ ด้วย
จาง เสี่ยวจวิน: คุณคิดอย่างไรกับคำพูดของ Li Guangmi ผู้ก่อตั้ง Shixiang ที่ว่าความแตกต่างทางเทคโนโลยีของบริษัทโมเดลพื้นฐานจีนในปัจจุบันยังไม่สูงมากนัก?
หยาง จื้อหลิน: ผมว่ามันไม่เป็นไร—เราได้สร้างความแตกต่างค่อนข้างมากแล้วในวันนี้ มันเป็นเรื่องของเวลา ปีนี้คุณน่าจะเห็นมิติมากขึ้น ปีที่แล้วทุกคนแค่สร้างโครงสร้างและทำให้มันทำงานก่อน
จาง เสี่ยวจวิน: ถ้าก้าวแรกของ moonshot คือบริบทยาว แล้วก้าวที่สองคืออะไรครับ?
หยาง จื้อหลิน: จะมีเหตุการณ์สำคัญใหญ่สองอย่างข้างหน้า หนึ่ง world model ที่รวมเป็นหนึ่งอย่างแท้จริง—ที่รวม modality ต่างๆ เข้าด้วยกัน สถาปัตยกรรมที่ปรับขนาดได้และทั่วไปอย่างแท้จริง
สอง การทำให้ AI สามารถวิวัฒนาการต่อไปได้โดยไม่ต้องใช้ข้อมูลจากมนุษย์
จาง เสี่ยวจวิน: จะใช้เวลานานแค่ไหนถึงจะถึงสองเหตุการณ์สำคัญนี้ครับ?
หยาง จื้อหลิน: สองถึงสามปี—อาจเร็วกว่า
จาง เสี่ยวจวิน: ดังนั้นอีกสามปีจากนี้ เราจะได้เห็นโลกที่แตกต่างจากปัจจุบันอย่างสิ้นเชิง
หยาง จื้อหลิน: ด้วยอัตราการพัฒนาในปัจจุบัน ใช่ เทคโนโลยีอยู่ในช่วงเริ่มต้นที่เติบโตอย่างรวดเร็ว
จาง เสี่ยวจวิน: คุณจินตนาการได้ไหมว่าอีกสามปีจะมีอะไรเกิดขึ้นบ้าง?
หยาง จื้อหลิน: จะมี AGI ในระดับหนึ่ง หลายสิ่งที่เราทำในวันนี้ AI ก็จะสามารถทำได้—ทำได้ดีกว่าด้วยซ้ำ แต่สิ่งสำคัญคือเราจะใช้มันอย่างไร
จาง เสี่ยวจวิน: แล้วสำหรับคุณ—สำหรับ Moonshot AI ในฐานะบริษัท—ก้าวที่สองคืออะไรครับ?
หยาง จื้อหลิน: เราจะไปทำสองสิ่งนั้น ปัญหาที่เหลือทั้งหมดได้มาจากสองปัจจัยนี้ การให้เหตุผลและ agent ที่ผู้คนพูดถึงในวันนี้เป็นผลพลอยได้จากการแก้ปัญหาสองข้อนี้ ต้องมีการปรับแต่งเพิ่มเติมบ้าง แต่ไม่มีอุปสรรคพื้นฐาน
จาง เสี่ยวจวิน: คุณจะทุ่มเทเต็มที่เพื่อตามทัน GPT-4 หรือเปล่าครับ?
หยาง จื้อหลิน: GPT-4 เป็นจุดแวะพักที่จำเป็นบนเส้นทางสู่ AGI สิ่งสำคัญคืออย่าพอใจแค่การเทียบเท่า GPT-4 ก่อนอื่น คุณต้องถามว่าสิ่งที่ไม่มีใครเห็นด้วยแต่เป็นจริงตอนนี้คืออะไร: นอกเหนือจาก GPT-4 แล้ว อะไรต่อไป? GPT-5 และ GPT-6 ควรมีลักษณะอย่างไร? ประการที่สอง คุณต้องดูว่าคุณมีความสามารถที่โดดเด่นอะไรในนั้น—และนั่นสำคัญกว่า
จาง เสี่ยวจวิน: บริษัทโมเดลพื้นฐานอื่นๆ เผยแพร่
