LLM Inference — อดีต ปัจจุบัน และอนาคต: คุณค่าจะย้ายไปอยู่ที่ไหน?
ในช่วงสองปีที่ผ่านมา LLM inference เป็นหนึ่งในเลเยอร์ที่มีการแข่งขันดุเดือดที่สุดในโครงสร้างพื้นฐานของ AI ผู้ให้บริการ inference หลายสิบราย คลาวด์ GPU โปรเจกต์โอเพนซอร์ส และผู้ผลิตชิปต่างไล่ตามเป้าหมายเดียวกัน นั่นคือการให้บริการโมเดลที่ผ่านการเทรนแล้วได้เร็วกว่าและถูกกว่ารายอื่น
ความน่าสนใจอยู่ที่แนวคิดที่ฟังดูมีเหตุผล Inference ดูเหมือนปัญหาทางซอฟต์แวร์ที่มีคูน้ำป้องกันทางซอฟต์แวร์ เคอร์เนลที่ดีกว่า ตัวจัดตารางที่ฉลาดกว่า หรือ speculative decoding ที่แข็งแกร่งกว่า ล้วนรองรับการตั้งราคาระดับพรีเมียมหรือมาร์จิ้นที่ดีขึ้นในราคาเท่าเดิม ในช่วงเวลาหนึ่ง เอนจินที่พัฒนาขึ้นเองในองค์กรคืออาวุธแข่งขันที่แท้จริง และเบนช์มาร์กคือสิ่งที่ชนะดีล
ช่วงเวลานั้นกำลังจะจบลง Inference มีความสำคัญมากขึ้นกว่าที่เคย และตลาดยังคงเติบโต แต่คุณค่าที่ป้องกันได้ได้ย้ายออกไปจากเอนจินแล้ว เลเยอร์เอนจินกำลังกลายเป็นคอมโมดิตี้อย่างรวดเร็ว คุณค่ากำลังย้ายไปที่งาน serving และแพลตฟอร์มเป็นอันดับแรก จากนั้นจึงไปสู่ทุน ความจุ GPU และในที่สุดก็ไปที่ศูนย์ข้อมูลเอง
ประสิทธิภาพของซอฟต์แวร์ยังคงมีความสำคัญ เอนจินที่ช้าหรือไม่เสถียรอาจทำให้ผู้ให้บริการถูกตัดสิทธิ์ได้ แต่ประสิทธิภาพที่ดีกลายเป็นสิ่งที่หาได้ทั่วไปแล้ว ทำให้ยากขึ้นที่บริษัทใดบริษัทหนึ่งจะเรียกเก็บเงินจากจุดนี้ คำถามไม่ใช่ว่าเอนจินสร้างคุณค่าได้หรือไม่อีกต่อไป แต่เป็นว่าใครจะได้คุณค่านั้นไปเมื่อเอนจินกลายเป็นโครงสร้างพื้นฐานทั่วไป
ฮาร์ดแวร์สามเจเนอเรชันทำให้เห็นการเปลี่ยนแปลงนี้ได้ชัดเจน รูปแบบเดียวกันนี้อธิบายการแข่งขันระหว่างผู้ให้บริการ inference ในปัจจุบัน และทิศทางที่น่าจะเป็นในอนาคต
Part I: อดีต — เมื่อเอนจินคือคูน้ำป้องกัน
สามเจเนอเรชัน สามเช็กลิสต์
ฮาร์ดแวร์ NVIDIA แต่ละเจเนอเรชันมาพร้อมเช็กลิสต์สำหรับเอนจินที่พัฒนาภายในองค์กร สิ่งที่เปลี่ยนไปคือความเร็วที่เช็กลิสต์กลายเป็นความรู้สาธารณะ และความได้เปรียบที่เหลืออยู่นั้นมีน้อยเพียงใดเมื่อทุกคนทำครบแล้ว
ยุค Ampere (A100). มาตรฐานช่วงแรกชัดเจนเป็นรูปธรรม เอนจินที่รองรับ CUDA Graphs เพื่อกำจัดค่าใช้จ่ายในการเรียกใช้งาน ใช้ speculative decoding อย่าง EAGLE-1 หรือ Medusa และมาพร้อม quantization แบบ W8A8 INT8 ที่แข็งแกร่ง จะนำหน้าคู่แข่งส่วนใหญ่ในตลาด งานวิศวกรรมยากแต่มีขอบเขตจำกัด และการทำเช็กลิสต์สั้นๆ นี้ครบถ้วนทำให้ผู้ให้บริการอยู่ในกลุ่มท็อป ฟีเจอร์เหล่านี้ชนะดีล
ยุค Hopper (H100/H200). เช็กลิสต์ยาวขึ้นและแยกออกเป็นสองสาย สำหรับการปรับใช้แบบเดี่ยว ไม่ว่าจะเป็นหนึ่งเรพลิกา หนึ่งโหนด หรือไม่กี่โหนด ตัวสร้างความแตกต่างคือ FlashAttention-3, FP8 attention, speculative decoding แบบ EAGLE-3 และ quantization แบบ W8A8 FP8 การ implement ที่แข็งแกร่งให้ผลลัพธ์ที่โดดเด่นในระดับโหนดเดียว
Hopper ยังเปิดแนวรบที่สองในด้านการปรับใช้แบบแยกส่วน (disaggregated deployment) การรองรับ prefill–decode (PD) disaggregation, expert parallelism (EP) สำหรับสถาปัตยกรรม MoE ที่ครองตลาดมากขึ้นเรื่อยๆ และ KV cache offload ตามลำดับชั้นหน่วยความจำ มีความสำคัญในระดับคลัสเตอร์ ซึ่งเป็นที่ที่สัญญาที่ใหญ่ที่สุดอาศัยอยู่ ระดับนี้ต้องการวิศวกรรมระบบควบคู่ไปกับงานเคอร์เนล ในช่วงเวลาหนึ่ง ระดับนี้แยกผู้ให้บริการที่แข็งแกร่งที่สุดออกจากที่เหลือ
สองระดับนี้ให้รางวัลกับความสามารถที่แตกต่างกัน ทีมเคอร์เนลยังคงชนะเบนช์มาร์กในการปรับใช้แบบมีขอบเขตจำกัด ในขณะที่เวิร์กโหลดการผลิตที่ใหญ่ที่สุดต้องการการประสานงานข้ามเครื่องจักร พูลหน่วยความจำ และโดเมนความล้มเหลว ระดับที่สองใช้เวลานานกว่าในการลอกเลียนแบบ และให้กรอบเวลาที่กว้างขึ้นแก่ผู้ให้บริการในการเปลี่ยนงานวิศวกรรมเป็นรายได้
ยุค Blackwell (B200/B300/GB200/GB300). ที่นี่เช็กลิสต์แคบลงเหลือเพียงรายการหลักรายการเดียว: การปรับแต่ง NVFP4 เส้นทางนำไม่ใช่การ implement แบบอิสระอีกต่อไป ทีมงานผสานรวม trtllm-gen cubins ที่ NVIDIA จัดส่งให้ หรือสร้างบน TensorRT-LLM โดยตรง speculative decoding, เส้นทาง FP8 และ FP4, การรองรับ disaggregation และ MoE parallelism ล้วนอยู่ในสแตกอ้างอิงแล้ว
Blackwell เปลี่ยนการตัดสินใจระหว่างสร้างเองกับซื้อ (make-or-buy) การสร้างสแตกขึ้นมาครั้งเดียวเคยแสดงให้เห็นถึงความลึกเชิงเทคนิค แต่ตอนนี้มันอาจกลายเป็นการทำงานซ้ำกับสิ่งที่ผู้ขายทำไปแล้ว ในขณะที่คู่แข่งใช้วิศวกรคนเดียวกันไปกับอย่างอื่น การ implement ที่เป็นกรรมสิทธิ์อาจยังเหมาะกับโมเดลหรือการปรับใช้ที่ผิดปกติ แต่ไม่ใช่เส้นทางมาตรฐานสู่ประสิทธิภาพระดับนำอีกต่อไป
Inference ไม่มีความลับอีกต่อไป ทุกเทคนิคสำคัญล้วนมี paper, การ implement ในโอเพนซอร์ส หรือไบนารีจากผู้ขาย ความรู้ที่เคยหมุนเวียนอยู่ในกลุ่มทีมประสิทธิภาพไม่กี่ทีมถูกบรรจุลงในโค้ดที่กลุ่มที่มีความสามารถใดๆ ก็สามารถตรวจสอบหรือผสานรวมได้ เช็กลิสต์ยังคงใช้คัดเลือกเอนจินได้ แต่ไม่สร้างความแตกต่างอีกต่อไป
ทำไม TRT-LLM ถึงกลายเป็นเส้นฐานของยุค Blackwell
ตำแหน่งของ TensorRT-LLM ในยุค Blackwell ตามมาจากแรงจูงใจของทั้งสองฝั่งในตลาด
NVIDIA ต้องการให้ TRT-LLM มีประสิทธิภาพดี ซอฟต์แวร์นี้รองรับเบนช์มาร์กฮาร์ดแวร์ใหม่ของบริษัท รวมถึงการส่งผลงาน InferenceX คำกล่าวอ้างในวันเปิดตัว และผลลัพธ์ในคีย์โน้ต การปรับแต่งสำหรับชิปใหม่จึงมาถึง TRT-LLM ในวันแรก โดยมีทีมวิศวกรรมเคอร์เนลขนาดใหญ่และรันไทม์ที่มีความสามารถรองรับ
เอนจินอิสระไม่สามารถเลียนแบบความได้เปรียบนั้นได้ด้วยความพยายามเพียงอย่างเดียว NVIDIA เห็นโรดแมปฮาร์ดแวร์ ควบคุมเลเยอร์ซอฟต์แวร์ระดับต่ำสุด และมีเหตุผลเชิงพาณิชย์โดยตรงที่จะทำให้แต่ละเจเนอเรชันดูแข็งแกร่งในวันเปิดตัว TRT-LLM คือจุดที่แรงจูงใจเหล่านี้มาบรรจบกัน
ในเวลาเดียวกัน ตระกูลโมเดลโอเพนเวตระดับแนวหน้าไม่กี่ตระกูลคิดเป็นสัดส่วน overwhelmingly ของการรับส่งข้อมูลการผลิตที่จริงจัง ผู้ให้บริการมีความจำเป็นน้อยลงที่จะรองรับสถาปัตยกรรมหลายร้อยแบบ ด้วยชุดโมเดลที่แคบลงและฮาร์ดแวร์ Blackwell นี้ TRT-LLM จึงเสนอเพดานประสิทธิภาพสูงสุดที่มีอยู่ ความกว้างของการรองรับโมเดล ซึ่งเป็นเหตุผลดั้งเดิมของเอนจินเอนกประสงค์ มีความสำคัญน้อยลงเมื่ออุปสงค์เองแคบลงแล้ว
การผลิตในปัจจุบันให้รางวัลกับการเชี่ยวชาญเฉพาะทาง เอนจินที่จัดการลองเทลได้อย่างราบรื่นมีประโยชน์ แต่ผู้ให้บริการทำรายได้ส่วนใหญ่จากโมเดลที่ลูกค้าขอจริง บนเมทริกซ์เล็กๆ ของโมเดลยอดนิยมและฮาร์ดแวร์ NVIDIA ในปัจจุบัน ประสิทธิภาพสูงสุดสำคัญกว่าความกว้างเชิงสถาปัตยกรรม
ตั้งแต่กลางปี 2025 ทีม inference จำนวนมากขึ้นหยุดรักษาเอนจินอิสระเต็มรูปแบบ และหันไปพัฒนาต่อยอดบน TRT-LLM จุดอ่อนที่ถาวรคือความสามารถในการใช้งาน ประสบการณ์นักพัฒนายังหยาบ แต่ทีมที่ได้รับค่าจ้างให้ดึงประสิทธิภาพ 20 เปอร์เซ็นต์สุดท้ายจากฟลีต GPU จะยอมทนกับเครื่องมือที่ใช้งานยาก ความสามารถในการใช้งานใช้ตัดสินเมื่อทุกอย่างเท่ากัน แต่ TRT-LLM บน Blackwell ไม่มีคู่แข่งที่จะใช้ตัดสินด้วย
ทีมเหล่านั้นไม่ได้หยุดงานวิศวกรรม พวกเขายังคงปรับแต่งโมเดล แก้พฤติกรรมรันไทม์ และสร้างระบบการผลิตรอบๆ เอนจิน สิ่งที่เปลี่ยนไปคือเลเยอร์ที่พวกเขาเริ่มทำงาน การเริ่มจากเส้นฐานของ NVIDIA ชี้ความพยายามไปที่เวิร์กโหลดของตัวเองมากขึ้น และใช้ความพยายามน้อยลงในการสร้างกลไกทั่วไปขึ้นมาใหม่
ตัวเร่งปฏิกิริยา: coding agents
การบรรจบกันของโอเพนซอร์สและการผลักดันแนวตั้งของ NVIDIA ทำให้อายุของความได้เปรียบที่เป็นกรรมสิทธิ์สั้นลงอยู่แล้ว ในหกเดือนที่ผ่านมา coding agents ทำให้มันสั้นลงอีกโดยลดต้นทุนของวิศวกรรม inference
งานเคอร์เนล การเปลี่ยนแปลงรันไทม์ และโครงสร้างพื้นฐาน serving ต่างเสร็จเร็วขึ้นได้ด้วยความช่วยเหลือของ AI Intent Lab ใช้เวลาประมาณหนึ่งสัปดาห์ ทำงานแบบ agent-assisted บน TRT-LLM เพื่อส่งมอบการปรับแต่งที่ให้ผลลัพธ์ end-to-end มหาศาล ก่อนหน้านี้ งานในขอบเขตเดียวกันอาจกินเวลาวิศวกรหนึ่งคนทั้งไตรมาส
เศรษฐศาสตร์ของงานเอนจินที่เป็นกรรมสิทธิ์เปลี่ยนไปตามความเร็วนั้น เทคนิคที่ต้องใช้วิศวกรหกเดือนและซื้อความเป็นเอกสิทธิ์ได้เก้าเดือนอาจคุ้มค่ากับการลงทุน แต่ถ้าใช้เวลาสร้างสองสัปดาห์และคู่แข่งลอกเลียนแบบได้ในสามสัปดาห์ ผลลัพธ์ไม่ใช่คูน้ำป้องกัน แต่เป็นลู่วิ่ง งานยังคงยากในเชิงเทคนิค แต่อายุใช้งานของความได้เปรียบกำลังเข้าใกล้ศูนย์
สิ่งที่สำคัญในเชิงเศรษฐกิจคือความได้เปรียบอยู่ได้นานแค่ไหน การปรับแต่งที่ยากยังคงอ่อนแอในเชิงพาณิชย์ได้ ถ้ามันแพร่กระจายก่อนที่บริษัทจะคืนทุนที่ใช้สร้างมัน coding agents ไม่ได้ทำให้งานวิศวกรรมเป็นเรื่องเล็กน้อย แต่ทำให้ความเป็นเอกสิทธิ์หมดอายุเร็วขึ้น
สิ่งที่เหลืออยู่สำหรับเอนจินโอเพนซอร์ส: ชุมชน ความสามารถในการใช้งาน และความภักดีเพียงเล็กน้อย
vLLM, SGLang และเอนจินโอเพนซอร์สอื่นๆ ให้บริการตลาดที่ TRT-LLM ทิ้งไว้เพราะประสบการณ์นักพัฒนาที่หยาบ ผู้ใช้จำนวนมากนอกเหนือจากผู้ให้บริการที่มีทีม inference เฉพาะคือนักวิจัยหรือผู้ที่รันงาน generation แบบออฟไลน์: เวิร์กโหลด batch ที่เน้น throughput มากกว่าการให้บริการออนไลน์ที่ไวต่อ latency ในบริบทเหล่านั้น ช่องว่างประสิทธิภาพกับ TRT-LLM มีไม่มาก มักจะเล็กน้อยจนแทบไม่เห็น
ผู้ใช้เหล่านั้นปรับให้เหมาะกับเวิร์กโฟลว์ที่แตกต่างกัน พวกเขาต้องการนำโมเดลขึ้นมาได้เร็ว เปลี่ยนสถาปัตยกรรมโดยไม่ต้องเขียนสแตกใหม่ และหาคำตอบได้เมื่อมีอะไรพัง ประสิทธิภาพที่เพิ่มขึ้นสองสามเปอร์เซ็นต์ไม่คุ้มกับเวลาหลายวันที่ต้องต่อสู้กับรันไทม์ โดยเฉพาะเมื่อเวิร์กโหลดไม่มีเป้าหมาย latency แบบอินเทอร์แอกทีฟ
การนำไปใช้จึงขึ้นอยู่กับความง่ายในการใช้งาน เอกสาร และชุมชน ติดตั้งแพ็กเกจ ชี้ไปที่รีโพสิทอรี Hugging Face และเปิด endpoint ที่เข้ากันได้กับ OpenAI สำหรับนักวิจัยหรือไปป์ไลน์การสร้างแบบ batch นั่นคือการตัดสินใจซื้อทั้งหมด
การนำไปใช้ไม่ใช่ความภักดี การกำหนดมาตรฐานบน API ที่เข้ากันได้กับ OpenAI ทำให้การเปลี่ยนเอนจิน ในกรณีที่ง่ายที่สุด ลดเหลือเพียงการเปลี่ยน base_url ทีมหนึ่งสามารถรัน vLLM วันนี้ ลอง SGLang พรุ่งนี้ และเบนช์มาร์กทั้งคู่ในปลายสัปดาห์เดียวกัน เอนจินโอเพนซอร์สต้องแข่งขันเพื่อเวิร์กโหลดที่เคยชนะมาอย่างต่อเนื่อง
ผู้ใช้ได้ประโยชน์จากความสามารถในการย้ายไปมา แต่โปรเจกต์ที่แสวงหาการควบคุมที่ยั่งยืนไม่ได้ ขนาดชุมชนสามารถดึงดูดเวิร์กโหลดได้ และเอกสารสามารถรักษามันไว้ได้ชั่วคราว แต่ทั้งสองอย่างไม่ได้ป้องกันทีมจากการรันการเปรียบเทียบใหม่เมื่อคู่แข่งปล่อยเวอร์ชันที่เร็วกว่า
ค่าใช้จ่ายในการเปลี่ยนที่แท้จริงปรากฏในการผลิตแบบออนไลน์ มันมาจากการตรวจสอบและการแจ้งเตือน ไปป์ไลน์การปรับใช้ การกู้คืนความเสียหาย การกู้คืนความล้มเหลวอัตโนมัติ การแก้บั๊กที่สะสม และลองเทลของกรณีขอบในการผลิต การแยก parse การเรียกใช้เครื่องมือเพียงอย่างเดียวก็ให้กรณีเหล่านั้นมากมายแล้ว เลเยอร์ปฏิบัติการนี้สร้างความผูกพัน (lock-in) แต่มันเป็นแรงเสียดทานในการย้าย มากกว่าคูน้ำป้องกันเชิงความสามารถ ทีมที่มีความสามารถสามารถสร้างมันขึ้นมาใหม่รอบๆ เอนจินอื่นได้ในไม่กี่สัปดาห์ ที่สำคัญกว่านั้น ความรู้นั้นเป็นขององค์กร SRE ของผู้ใช้ ดังนั้นโปรเจกต์เอนจินไม่ได้ capture มันไปเลย
ในเชิงพาณิชย์ ความรู้เชิงปฏิบัติการทำให้การปรับใช้เกาะติดแน่นโดยไม่ให้อำนาจการตั้งราคาแก่ผู้ขายเอนจิน ผู้ใช้แบกรับค่าใช้จ่ายในการย้ายและเป็นเจ้าของระบบรอบข้างส่วนใหญ่ แม้ในกรณีที่การเปลี่ยนนั้นน่ารำคาญ เอนจินเองก็ไม่ได้รักษาบัญชีลูกค้าไว้ได้
โอเพนซอร์สในฐานะสาธารณประโยชน์
เอนจินโอเพนซอร์สรายใหญ่ยอมรับบทบาทนี้เป็นส่วนใหญ่แล้ว vLLM และ SGLang ส่งคืนงานเกือบทั้งหมดให้ชุมชน เป้าหมายเชิงกลยุทธ์คือการนำไปใช้ ผลลัพธ์คือเส้นฐานฟรีที่ดีขึ้นอย่างต่อเนื่องทั้งในด้านฟีเจอร์ ประสิทธิภาพ และความเสถียร ในทางปฏิบัติ ระบบนิเวศกำลังอุดหนุน inference ที่ล้ำสมัยสำหรับทุกคน
มีต้นทุนที่โปรเจกต์ต้องจ่ายเอง การปรับปรุงเส้นฐานแต่ละครั้งลดพื้นที่สำหรับการสร้างความแตกต่าง รวมถึงเอนจินที่พัฒนาภายในองค์กรและเอนจินโอเพนซอร์สที่สร้างการปรับปรุงนั้นเอง การยกระดับพื้นยังบีบอัดคุณค่าของเลเยอร์ตัวเองด้วย
สัญญาณบ่งบอก: บริษัทเอนจินกำลังขยับขึ้นไปบนสแตก
พฤติกรรมของผู้เขียนเอนจินคือหลักฐานที่ชัดเจนที่สุดว่าเอนจินเพียงอย่างเดียวไม่สามารถ capture คุณค่าได้มากนัก
บริษัทที่อยู่เบื้องหลังเอนจินโอเพนซอร์สชั้นนำสองรายได้เริ่มรับงาน serving ในระบบผลิต โดยมีรายงานว่าเซ็นสัญญา inference กับห้องแล็บโมเดลและแพลตฟอร์มผู้บริโภคที่มีชื่อเสียง เหตุผลที่พวกเขาให้ฟังดูสมเหตุสมผล: การรันงานผลิตเป็นหนทางที่เร็วที่สุดในการเผยความล้มเหลวที่เอนจินต้องจัดการ การใช้ผลิตภัณฑ์ของตัวเองในระดับใหญ่ช่วยให้เจอกรณีขอบ
มันยังทำให้บริษัทเหล่านั้นแข่งขันกับผู้ให้บริการที่เคยเป็นผู้ใช้และผู้สนับสนุนที่สำคัญที่สุดของพวกเขา โปรเจกต์ขับเคลื่อนการนำไปใช้ ในขณะที่สัญญา serving สร้างรายได้ ทั้งสองบทบาทนี้ยากที่จะประสานกันเมื่อผู้ใช้โปรเจกต์ขายบริการเดียวกัน
บริษัทเอนจินระมัดระวังเรื่องป้ายผู้ให้บริการอย่างเข้าใจได้ ระบบนิเวศของพวกเขาขึ้นอยู่กับบริษัทที่ต้องการโปรเจกต์ upstream ที่เป็นกลาง ไม่ใช่คู่แข่งที่ได้รับการอุดหนุน แต่เมื่อบริษัทเอนจินดำเนินงานผลิตให้ลูกค้าแล้ว ความทับซ้อนนั้นเกิดขึ้นจริงไม่ว่าจะอธิบายงานว่าอย่างไร
การก้าวเข้าสู่งาน serving พูดได้มากกว่าคำอธิบายประกอบ ผู้เขียนเอนจินไม่ได้คาดหวังให้เลเยอร์เอนจินเลี้ยงธุรกิจได้ด้วยตัวเอง คำถามคือ serving จะป้องกันได้มากกว่าเดิมหรือไม่
Part II: ปัจจุบัน — สิ่งที่แยกผู้ให้บริการออกจากกันจริงๆ
ความได้เปรียบที่แท้จริงของผู้เล่นรายเดิมไม่เกี่ยวกับเคอร์เนล
ความได้เปรียบที่ยั่งยืนของผู้ให้บริการ inference ชั้นนำอย่าง Together AI, Fireworks และ Baseten ไม่ปรากฏบนเบนช์มาร์กเอนจิน
ความได้เปรียบของผู้เข้ามาก่อนและแบรนด์ เมื่อห้องแล็บโมเดลต้องการพาร์ทเนอร์เปิดตัวหรือสตาร์ทอัพระดับ AI-native ต้องการ inference สำหรับงานผลิต บริษัทเหล่านี้คือตัวเลือกแรกในลิสต์ Mindshare ฟังดูจับต้องไม่ได้ จนกระทั่งมันตัดสินใจสัญญาครั้งแล้วครั้งเล่า การถูกพิจารณาเป็นตัวเลือกเริ่มต้นในตลาดที่เคลื่อนไหวเร็วมีค่ามากกว่าความนำเล็กน้อยในเบนช์มาร์ก
แพลตฟอร์ม ปีแห่งการทำงานสะสมอยู่ในเครื่องมือปรับใช้ การสังเกตการณ์ การควบคุมระดับองค์กร และการปฏิบัติตามข้อกำหนด ผู้เข้ามาใหม่ต้องสร้างพื้นผิวเหล่านั้นขึ้นมาทีละชิ้น ในขณะที่ผู้เล่นรายเดิมขยายมันต่อไปเรื่อยๆ
ไม่มีฟีเจอร์ใดในนี้ที่ชนะชาร์ตความเร็วสาธารณะ แต่รวมกันแล้วพวกมันตัดสินว่าลูกค้าจะย้ายเวิร์กโหลดเข้าสู่การผลิตได้หรือไม่ พวกมันยังทบต้นกันอีกด้วย ทุกการปรับใช้เผยการควบคุมที่ขาดหายไปหรือโหมดความล้มเหลวอีกหนึ่งจุด และการแก้ไขกลายเป็นส่วนหนึ่งของแพลตฟอร์มที่เสนอให้ลูกค้ารายถัดไป
ความจุ GPU และซัพพลายเชน นี่คือความได้เปรียบที่ยากที่สุดและถูกพูดถึงน้อยที่สุด ผู้ให้บริการต้องจัดหาการจัดสรรข้ามเจเนอเรชันฮาร์ดแวร์ เจรจากับคลาวด์และ neocloud จัดการฟลีตที่ต่างกัน และวางแผนความจุเทียบกับอุปสงค์ที่ไม่สม่ำเสมอ ผู้เล่นรายเดิมเรียนรู้ที่จะทำสิ่งนี้ภายใต้โหลดจริง เมื่อสัญญาใหญ่มาถึง คำตัดสินมักไม่ใช่ว่าเอนจินของใครเร็วกว่า แต่เป็นใครที่สามารถนำ GPU หลายพันตัวออนไลน์ได้ภายในเดือนหน้า
ผู้เข้ามาช้าตอนนี้กำลังตอบสนองต่อเศรษฐศาสตร์ดังกล่าว Modal เปิดตัวบริการ inference แล้ว Nebius เข้าซื้อ Eigen AI เพื่อเพิ่ม serving ให้กับคลาวด์ของตน Inference ให้มาร์จิ้นดีกว่าชั่วโมง GPU ดิบ ดังนั้นคลาวด์ GPU กำลังขยับขึ้น ขณะที่บริษัทเอนจินขยับเข้าสู่ serving จากด้านล่าง ผู้ให้บริการ คลาวด์ และบริษัทเอนจินกำลังมาบรรจบกันที่เลเยอร์เดียวกัน เพราะนั่นคือที่ที่คุณค่ากำลังรวมตัวอยู่ในขณะนี้
แต่ละกลุ่มเริ่มด้วยความได้เปรียบที่แตกต่างกัน บริษัทเอนจินนำความเชี่ยวชาญซอฟต์แวร์ คลาวด์ GPU นำความจุ และผู้ให้บริการที่จัดตั้งแล้วนำลูกค้าและประสบการณ์การดำเนินงาน การเคลื่อนที่สู่ผลิตภัณฑ์เดียวกันนี้ทำให้ความแตกต่างที่เหลือมองเห็นได้ชัดขึ้น: การกระจาย ทุน และความสามารถในการรันบริการที่เชื่อถือได้ในระดับใหญ่
ทำไมอันดับ TPS แบบ small-batch จะจางหายไป
อันดับความเร็วเอาต์พุตแบบ concurrency ต่ำบน Artificial Analysis ยังคงดึงดูดความสนใจ และเป็นเวลาหลายปีที่มันเป็นตัวแทนที่ยุติธรรมของคุณภาพวิศวกรรม แต่มันบอกได้น้อยลงเรื่อยๆ ในทุกวงจรฮาร์ดแวร์ การทดสอบ API มาตรฐานใช้หนึ่งคำขอหรือสิบคำขอแบบขนาน ที่โหลดระดับนั้น ผู้ให้บริการสามารถรวมฮาร์ดแวร์รุ่นใหม่เข้ากับ speculative decoding ที่คำนึงถึงโหลดอย่าง DSpark ใช้ความจุ batch กับแต่ละคำขอมากขึ้นในขณะที่เครื่องไม่ได้ใช้งาน และโพสต์ TPS ต่อผู้ใช้ที่สูงเป็นพิเศษ ตัวเลขนั้นจริงแต่แคบ: มันแสดงว่าผู้ใช้หนึ่งคนจะได้รับโทเค็นจาก endpoint ที่โหลดเบาได้เร็วแค่ไหน ไม่ใช่ว่าฟลีตให้บริการธุรกิจได้มีประสิทธิภาพแค่ไหน
การผลิตมีเป้าหมายที่แตกต่างกัน อย่างแรก รักษา TPS ต่อผู้ใช้ให้สูงกว่าระดับที่แอปพลิเคชันต้องการ จากนั้นเพิ่มจำนวนโทเค็นรวมต่อนาทีต่อ GPU (TPM/GPU) ให้สูงสุดโดยไม่ต่ำกว่าเส้นนั้น เมื่อประสบการณ์ผู้ใช้เร็วพอแล้ว TPS เพิ่มอีกเล็กน้อยในสภาวะโหลดเบาอาจมีค่าน้อยกว่าการให้บริการผู้ใช้พร้อมกันมากขึ้นบน GPU เดียวกัน ต้นทุนต่อโทเค็นที่ส่งมอบสำคัญกว่าอันดับในพาดหัว
Speculative decoding ทำให้ความแตกต่างชัดขึ้น งานตรวจสอบที่ถูกใน batch เล็กอาจกินความจุ batch อันมีค่าเมื่อมี concurrency ดังนั้นคอนฟิกที่ปรับแต่งเพื่อ TPS ที่โหลดเบาสูงสุดไม่จำเป็นต้องอยู่บนเส้นต้นทุนการผลิตที่ดีที่สุด ผลลัพธ์ที่มีประโยชน์คือ Pareto frontier: TPS ต่อผู้ใช้บนแกนหนึ่ง และ TPM/GPU บนอีกแกนหนึ่ง โดยระดับความเร็วขั้นต่ำที่แอปพลิเคชันต้องการเป็นตัวกำหนดจุดปฏิบัติการ และต้นทุนต่อโทเค็นก็ตามมาจากจุดนั้น
TPS แบบ small-batch ไม่ได้ไร้ค่า มันสร้างเส้นพื้นของความสามารถในการโต้ตอบ และเผย endpoint ที่ช้าเกินไปอย่างชัดเจน การทดสอบแบบ ramped-concurrency ของ Artificial Analysis เองชี้ไปในทิศทางที่มีประโยชน์กว่า โดยวัดว่าระบบโดยรวมรองรับได้เท่าไร สิ่งที่จะจางหายไปคือการอ่านค่าแบบผู้ชนะได้ทั้งหมดของอันดับ small-batch ผู้ซื้อในสายการผลิตจะสนใจน้อยลงว่าใครโพสต์ TPS สูงสุด และสนใจมากขึ้นว่า GPU แต่ละตัวแบกรับทราฟฟิกที่จ่ายเงินเท่าใด ในขณะที่ TPS ต่อผู้ใช้ยังคงสูงกว่าเส้นขั้นต่ำที่ต้องการ มันคือรูปแบบของบทความนี้ในขนาดย่อม: ตัวเลขที่เห็นชัดที่สุดหยุดทำนายว่าเงินไปทางไหน
การสนับสนุน Day-0: คูน้ำป้องกันด้านความสัมพันธ์ที่แน่นขึ้น
การเปลี่ยนแปลงในปี 2026 ทำให้ผู้เล่นรายเดิมแข็งแกร่งขึ้นอีก: นักพัฒนาโมเดลร่วมมือกับผู้ให้บริการ inference โดยตรงมากขึ้นเรื่อยๆ
การสนับสนุน Day-0 เคยดำเนินผ่านเอนจินโอเพนซอร์ส ก่อนการเปิดตัว ห้องแล็บจะประสานงานกับ vLLM หรือ SGLang เอนจินจะรวมการสนับสนุนเข้าไป ผู้ให้บริการปลายน้ำจะรับช่วงต่อ สิ่งนี้ทำให้เอนจินโอเพนซอร์สมีตำแหน่งศูนย์กลางในห่วงโซ่การกระจาย
การพึ่งพาแบบเก่ากำลังจางหายไป ห้องแล็บใหญ่ๆ ตอนนี้ให้ผู้ให้บริการ inference เข้าถึงก่อนการเปิดตัว บางครั้งก่อนทีมเอนจินโอเพนซอร์สด้วยซ้ำ ห้องแล็บต้องการมากกว่าการรวม pull request ในวันเปิดตัว พวกเขาต้องการความจุการผลิตที่ปรับแต่งแล้วและผ่านการทดสอบโหลดพร้อม SLA ผู้ให้บริการสามารถส่งมอบแพ็กเกจทั้งหมดได้ เอนจินให้เพียงส่วนประกอบแรกเท่านั้น
การเข้าถึงก่อนคือความสัมพันธ์ ไม่ใช่เทคนิคที่ตีพิมพ์ ดังนั้นคู่แข่งไม่สามารถลอกเลียนแบบจาก paper หรือเคอร์เนลได้ ห้องแล็บให้มันกับพาร์ทเนอร์ที่ไว้ใจอยู่แล้ว ซึ่งตอกย้ำผู้ให้บริการที่มีแบรนด์และความจุอยู่แล้ว ในขณะเดียวกัน เอนจินโอเพนซอร์สกำลังเสียตำแหน่งที่หัวแถวของไปป์ไลน์การปล่อยเวอร์ชัน ผู้ให้บริการนำงาน Day-0 มากขึ้นเรื่อยๆ และเอนจินตามมา
การเปิดตัวที่สำเร็จทำให้ผู้ให้บริการมีโอกาสได้รับสิทธิ์เข้าถึงก่อนสำหรับรุ่นถัดไปมากขึ้น และสิทธิ์เข้าถึงก่อนก็เพิ่มโอกาสขึ้นอีก ไม่เหมือนการปรับแต่ง ความสัมพันธ์นี้ไม่ได้เปิดให้ตลาดที่เหลือใช้หลังจากตีพิมพ์
เกมจบที่เลเยอร์ serving: เกมแห่งทุน
เมื่อคู่แข่งมาถึงเลเยอร์ serving พวกเขาเผชิญมาตรฐานร่วมกัน ผู้ให้บริการที่น่าเชื่อถือต้องรักษา SLA ภายใต้แรงกดดัน ส่งมอบ latency ระดับท็อป และรักษาความแม่นยำ สิ่งเหล่านี้เป็นข้อกำหนดปฏิบัติการที่ยาก และมันแยกผู้ให้บริการออกจากผู้ขาย GPU ต่อ มันยังเป็นเพียงค่าเข้าตาราง (table stakes): การผ่านมันให้สิทธิ์เข้าแข่งขัน ขณะที่การพลาดมันตัดสิทธิ์ผู้ให้บริการ
เอนจินที่ใช้ร่วมกันและเทคนิคสาธารณะดึงผู้ให้บริการจริงให้เข้าสู่ประสิทธิภาพ ความน่าเชื่อถือ และการตั้งราคาที่เทียบเคียงกันได้ เหนือเส้นนั้น ความจุ GPU กลายเป็นตัวแปรชี้ขาด กล่าวอีกนัยหนึ่ง การแข่งขันกลายเป็นการแข่งขันแย่งทุน
วงล้อ (flywheel) ตรงไปตรงมา ทุนจัดหาความจุ GPU ความจุเปิดทางให้รับสัญญาใหญ่จากห้องแล็บโมเดลและองค์กร ซึ่งคู่แข่งที่มีข้อจำกัดด้านความจุต้องปฏิเสธ สัญญาเหล่านั้นสร้างปริมาณ inference และ ARR ARR ที่สูงขึ้นสนับสนุนรอบการระดมทุนและการประเมินมูลค่าที่ใหญ่ขึ้น ซึ่งจ่ายสำหรับบล็อกความจุถัดไป
ฟลีตที่พร้อมใช้ยังเปลี่ยนบทสนทนาการขาย ลูกค้าที่เลือกผู้ให้บริการสำหรับการเปิดตัวใหญ่ไม่สามารถพึ่งพาความจุที่อาจมาในภายหลัง พวกเขาต้องการเครื่องจักรที่จองไว้ เชื่อมต่อเครือข่าย และพร้อมใช้ ผู้ให้บริการที่สามารถทุ่มทรัพยากรเหล่านั้นได้มีความได้เปรียบก่อนที่ latency และราคาโทเค็นจะเข้าสู่การเจรจา
สำหรับวิศวกร นี่คือผลลัพธ์ที่อึดอัด เกมจบของ serving ดูไม่เหมือนการแข่งขันซอฟต์แวร์ แต่เหมือนโครงสร้างพื้นฐานที่ใช้ทุนหนัก ใกล้เคียงกับคลาวด์คอมพิวติ้งยุคแรก สายการบิน หรือโทรคมนาคม ความเป็นเลิศในการปฏิบัติการกำหนดการอยู่รอด การเข้าถึงทุนกำหนดขนาด
การปฏิบัติการยังคงแยกบริษัทที่อยู่รอดออกจากบริษัทที่ล้มเหลว การใช้ประโยชน์ไม่ดี ความน่าเชื่อถือต่ำ หรือการวางแผนความจุที่ผิดพลาดสามารถทำลายผู้ให้บริการที่มีทุนหนาได้ แต่เมื่อคู่แข่งจริงทุกรายผ่านมาตรฐานทางเทคนิคแล้ว การปรับปรุงเคอร์เนลอีกหนึ่งครั้งไม่สามารถแทนที่งบดุลที่ต้องใช้เพื่อรับสัญญาใหญ่รายถัดไป
ตลาดเคลื่อนมาทางนี้แล้วจริงๆ ผู้ให้บริการชั้นนำระดมทุนรอบใหญ่และเห็นการประเมินมูลค่าทวีคูณในช่วงปีที่ผ่านมา นักลงทุนจ่ายเงินเพื่อตำแหน่งในการแย่งชิงความจุ ไม่ใช่เพื่อวิศวกรรมเคอร์เนล
Part III: อนาคต — คุณค่าจมลงสู่คอนกรีต
การคาดการณ์: พวกเขาจะซื้อศูนย์ข้อมูลทั้งหมด
ตรรกะของทุนชี้ไปทางการเป็นเจ้าของ ในระดับที่ใหญ่พอ บริษัทที่ต้นทุนขายถูกครอบงำโดย GPU และค่าไฟฟ้าจะเสียกำไรขั้นต้นทุกครั้งที่เช่าคอมพิวต์หรือพื้นที่ศูนย์ข้อมูล ทุกเลเยอร์ที่เช่าจะโอนกำไรขั้นต้นบางส่วนไปยังงบดุลอื่น
ผู้ให้บริการ inference ชั้นนำจึงจะซื้อหรือเข้าซื้อศูนย์ข้อมูล รวมถึงตัวอาคารและสัญญาไฟฟ้าที่หล่อเลี้ยงมันอยู่ แทนที่จะหยุดเพียงแค่การจัดสรร GPU หรือข้อผูกพันคลาวด์ระยะยาว คลังแสงที่พวกเขาระดมมาไม่มีเหตุผลรองรับนอกจากเกมจบแบบนี้
ผู้ให้บริการ inference เริ่มต้นจากบริษัทซอฟต์แวร์ที่เอนจินคือผลิตภัณฑ์ มันกลายเป็นบริษัทบริหารจัดการบริการที่ขายแพลตฟอร์มและ SLA ตอนนี้มันกำลังกลายเป็นบริษัทโครงสร้างพื้นฐานที่ขายความจุ ตลอดการเปลี่ยนผ่านนั้น คุณค่าเคลื่อนจากเคอร์เนลไปสู่งาน serving แล้วก็ไปที่เหล็ก ที่ดิน และสัญญาซื้อขายไฟฟ้า
แต่ละขั้นตอนเปลี่ยนทักษะและเศรษฐศาสตร์ของบริษัท การวนซ้ำซอฟต์แวร์เปิดทางให้การจัดการฟลีต การจัดซื้อ การเงิน และกลยุทธ์พลังงาน อินเทอร์เฟซอาจยังเป็น API แต่ธุรกิจที่อยู่ใต้มันหนักขึ้นและเปิดรับความเสี่ยงจากอัตราการใช้งานมากขึ้น
เรื่องเริ่มต้นด้วยการสูญเสียคูน้ำป้องกันทางซอฟต์แวร์ มันจบลงด้วยบริษัทเดียวกันนี้แข่งขันเพื่อคูน้ำป้องกันที่เก่าแก่ที่สุดในโลก: ที่ดิน พลังงาน และทุน คูน้ำป้องกันไม่เคยอยู่ในซอฟต์แวร์จริงๆ
ยังเป็น "ผู้ให้บริการ inference" ไม่เคยเป็น "neocloud"
แม้หลังจากซื้อศูนย์ข้อมูลแล้ว บริษัทเหล่านี้จะยังคงเรียกตัวเองว่าผู้ให้บริการ inference มากกว่า neocloud ตลาดทุนให้ตัวคูณมูลค่าที่สูงกว่ากับบริษัทโครงสร้างพื้นฐาน AI ที่ขายโทเค็น มากกว่า neocloud ที่เช่าชั่วโมง GPU
ภายใต้ป้ายชื่อนั้น พวกเขาจะคล้ายกับ neocloud แบบใหม่: ฐานที่หนักด้วยสินทรัพย์เดียวกันแต่อินเทอร์เฟซต่างกัน ขายโทเค็น SLA และ API แทนที่จะเป็น GPU เปล่า CoreWeave และพวกเดียวกันสร้างฐานสินทรัพย์ก่อนแล้วค่อยขยับเข้าสู่ serving ส่วน Fireworks และพวกเดียวกันสร้างอินเทอร์เฟซก่อนแล้วค่อยขยับเข้าสู่ฐานสินทรัพย์ ทั้งสองเส้นทางนำไปสู่รูปทรงองค์กรเดียวกัน จุดเริ่มต้นกำหนดป้ายชื่อและตัวคูณมูลค่าที่ติดมากับป้ายนั้น
การขายผ่าน API เปลี่ยนแพ็กเกจจิ้ง โทเค็นรวมซอฟต์แวร์ การปฏิบัติการ และความจุเป็นผลิตภัณฑ์ที่ลูกค้าบริโภคได้โดยตรง ชั่วโมง GPU เปิดเผยสินค้าโภคภัณฑ์ที่อยู่ข้างใต้มากกว่า สองบริษัทอาจเป็นเจ้าของสินทรัพย์คล้ายกันแต่ได้รับการประเมินมูลค่าที่แตกต่างกันมาก เพราะบริษัทหนึ่งแพ็กเกจสินทรัพย์เหล่านั้นไว้ในเลเยอร์ที่สูงกว่าในสแตก
พวกเขาจะเป็นเจ้าของศูนย์ข้อมูลและยังคงเรียกตัวเองว่าผู้ให้บริการ inference เพราะป้ายชื่อมีค่ามากกว่าตัวอาคาร
คู่แข่งที่แท้จริงกำลังมาจากด้านล่าง
ถ้าจุดหมายปลายทางคือธุรกิจโทเค็นที่ใช้ทุนหนักและเป็นเจ้าของศูนย์ข้อมูล การจัดอันดับผู้เล่นปัจจุบันตามระยะห่างจากจุดนั้นจะเปลี่ยนภาพการแข่งขัน
Together AI, Fireworks และ Baseten มีแบรนด์ แพลตฟอร์ม และสัญญา พวกเขายังต้องสร้างหรือซื้อฐานสินทรัพย์ของสิ่งอำนวยความสะดวก พลังงาน และซัพพลายเชนระดับ neocloud ซึ่งทั้งหมดถูกจำกัดด้วยระยะเวลาก่อสร้างและการรอคอยพลังงานหลายปี
Nebius เป็นเจ้าของศูนย์ข้อมูลแล้วและดำเนินซัพพลายเชน GPU ของตัวเอง ในฐานะบริษัทมหาชน มันยังมีช่องทางการเงินที่ผู้ให้บริการเอกชนทำได้เพียงประมาณด้วยการระดมทุนรอบใหญ่ซ้ำๆ ชิ้นส่วนที่ขาดหายไปคือเลเยอร์ serving การเข้าซื้อ Eigen AI นำซอฟต์แวร์และทีมงานเข้ามา และหนึ่งปีที่โฟกัสก็ปิดช่องว่างซอฟต์แวร์ได้เกือบหมด เพราะ inference ไม่มีความลับ
ในทางตรงกันข้าม ผู้ให้บริการที่เริ่มจากซอฟต์แวร์ไม่สามารถบีบอัดตารางเวลาทางกายภาพในแบบเดียวกันได้ การเชื่อมต่อไฟฟ้า การก่อสร้าง และการส่งมอบอุปกรณ์เป็นไปตามกำหนดการหลายปี ทุนสามารถจองที่ในคิวเหล่านั้นได้ แต่มันไม่สามารถทำให้มันกลายเป็นวงจรการปล่อยซอฟต์แวร์ได้
การเติมซอฟต์แวร์เข้าไปในฐานสินทรัพย์ทำได้เร็วกว่าการเติมฐานสินทรัพย์เข้าไปในบริษัทซอฟต์แวร์มาก การที่เอนจินกลายเป็นสินค้าทั่วไป (commoditization) ช่วยให้ผู้ให้บริการเติบโตขึ้น แต่ขณะเดียวกันมันก็เสริมอาวุธให้กับคู่แข่งที่น่ากลัวที่สุดของพวกเขาด้วย
คู่แข่งรายใหญ่ที่สุดของ Together AI, Fireworks และ Baseten ไม่ใช่ผู้ให้บริการรายอื่น แต่มันคือ Nebius ตามมาด้วย neocloud รายใดก็ตามที่พร้อมจะไต่ขึ้นไปบนสแตกเทคโนโลยี
แล้วชั่วโมงวิศวกรรมไปอยู่ที่ไหนแทน
งานวิศวกรรมด้านอินเฟอเรนซ์จะยังคงมีความสำคัญภายในผู้ให้บริการ แต่การจัดสรรงานจะเปลี่ยนไป เอนจินโอเพนซอร์สคือสิ่งที่ทำให้การจัดสรรใหม่นี้เกิดขึ้นได้
เมื่อมาตรฐานเอนจินฟรีพัฒนาดีขึ้นเรื่อย ๆ ผู้ให้บริการก็สามารถย้ายเวลาทางวิศวกรรมที่มีต้นทุนสูงออกจากงานเคอร์เนลและรันไทม์ได้ ชั่วโมงเหล่านั้นถูกใช้ไปกับความน่าเชื่อถือของโครงสร้างพื้นฐาน ซึ่งทำให้ SLA มีความหมายจริง ๆ; ประสบการณ์บนแพลตฟอร์ม ซึ่งหนุนการต่อสัญญา; และงาน RL (Reinforcement Learning) ที่เพิ่มขึ้นเรื่อย ๆ การโรลเอาต์โมเดล Reinforcement Learning เป็นงานที่ต้องใช้ทรัพยากรอินเฟอเรนซ์สูง ความเชี่ยวชาญด้านเซิร์ฟวิ่งจึงถูกถ่ายโอนโดยตรงไปยังโครงสร้างพื้นฐาน RL สำหรับตลาด post-training ที่กำลังเติบโต
ผู้ให้บริการไม่ได้ถอยห่างจากงานด้านเทคนิค ความน่าเชื่อถือบนฝูงฮาร์ดแวร์ที่หลากหลาย การกู้คืนระบบที่รวดเร็วภายใต้โหลด และการโรลเอาต์ RL ที่มีประสิทธิภาพ ล้วนเป็นโจทย์ปัญหาเชิงระบบที่ยาก วิธีแก้ปัญหาเหล่านี้อยู่ใกล้กับลูกค้าและการดำเนินงานของผู้ให้บริการมากกว่า จึงเป็นแหล่งสร้างความแตกต่างที่มีประโยชน์มากกว่า
มูลค่าในชั้นเอนจินไม่ได้หายไปไหน โอเพนซอร์สได้รวมมูลค่านั้นเข้าไว้ในรากฐานที่ใช้ได้ฟรี ทำให้มูลค่าทางวิศวกรรมสามารถย้ายไปสู่ระบบที่สร้างอยู่บนรากฐานนั้นได้ คำถามเชิงกลยุทธ์ของบริษัทส่วนใหญ่ไม่ใช่อีกต่อไปแล้วว่าควรสร้างเอนจินขึ้นมาเองหรือไม่ แต่เป็นจะใช้เวลาที่เอนจินฟรีช่วยประหยัดไว้ทำอะไร ผู้ที่ได้รับประโยชน์จากงานโอเพนซอร์สเพื่อสาธารณประโยชน์จะปรากฏขึ้นในโรดแมปของบริษัทอื่น ๆ
เรื่องราวยังไม่จบ
เกมท้ายยังไม่ลงตัว Vera Rubin, MI455, LPU และฮาร์ดแวร์ที่ออกแบบมาเพื่ออินเฟอเรนซ์เป็นหลักอื่น ๆ จะรีเซ็ตเช็กลิสต์กันใหม่ เหมือนที่การเปลี่ยนผ่านฮาร์ดแวร์ทุกรอบที่ผ่านมาเคยทำ การรีเซ็ตแต่ละครั้งจะเปิดพื้นที่ให้เอนจินสร้างความแตกต่างได้อีกครั้งในช่วงเวลาสั้น ๆ ผ่านรูปแบบตัวเลขแบบใหม่ ลำดับชั้นหน่วยความจำ และข้อแลกเปลี่ยนในเรื่องความขนาน (parallelism) จากนั้นเทคนิคเหล่านี้ก็จะแพร่หลายออกไป และหน้าต่างโอกาสก็ปิดลง
สถาปัตยกรรมโมเดลและเวิร์กโหลดแบบใหม่ ๆ จะสร้างช่องว่างในลักษณะเดียวกันขึ้นมาอีก เอเจนต์ที่มีคอนเทกซ์ขนาดใหญ่ที่ใช้ซ้ำได้ และ RL ในระดับโปรดักชัน ล้วนสร้างข้อจำกัดใหม่ ๆ ขึ้นมา การที่เอนจินกลายเป็นสินค้าทั่วไปนั้นเป็นวัฏจักรที่วนซ้ำอยู่เรื่อย ๆ ช่วงเวลาระหว่างการคิดค้นกับการแพร่หลายกำลังสั้นลงเรื่อย ๆ แต่มันก็ไม่ได้หายไปไหน
ในช่วงที่ช่องว่างเปิดออก ทีมที่ว่องไวยังสามารถคว้าธุรกิจที่มีความหมายมาได้ ข้อได้เปรียบชั่วคราวมีความสำคัญเมื่อมันมาพร้อมกับการเปลี่ยนผ่านครั้งใหญ่ทางฮาร์ดแวร์หรือโมเดล เพราะรายได้และความสัมพันธ์กับลูกค้าสามารถอยู่ยืนยาวต่อไปได้แม้คู่แข่งจะตามมาทัน สิ่งที่เปลี่ยนไปก็คือเวลาที่มีให้รับรู้และใช้ประโยชน์จากช่องว่างนั้น
เอนจินและผู้ให้บริการยังต้องเผชิญบททดสอบสองข้อ ข้อแรกคือความเร็วในการตอบสนอง: พวกเขาจะตามทันการเปลี่ยนผ่านได้หรือไม่ในขณะที่ข้อได้เปรียบยังคงอยู่ ทุกเจเนอเรชันต่างทิ้งบริษัทที่บริหารงานดีไว้ข้างหลัง เพราะมาถึงช้าไปหนึ่งรอบฮาร์ดแวร์ ทีมที่ขยับก่อนใครในเรื่อง disaggregation หรือใช้ประโยชน์จากเศรษฐศาสตร์ของ NVFP4 บน Blackwell นั้น ได้ผลตอบแทนแบบชั่วคราวแต่ทบต้น
บททดสอบข้อที่สองคือด้านการเงิน: พวกเขาจะรักษามาร์จิ้นไว้ได้หรือไม่ในขณะที่ ARR เติบโตขึ้น ผู้ให้บริการอาจบันทึกรายได้เพิ่มขึ้นแต่กลับขาดทุนมากขึ้นกว่าเดิม หากใช้ความจุที่ตั้งราคาต่ำเกินไปเพื่อซื้อการเติบโต เมื่อการแข่งขันตึงตัวขึ้นและอัตรากำไรขั้นต้นค่อย ๆ เข้าใกล้ระดับของธุรกิจโครงสร้างพื้นฐาน ระเบียบวินัยในการดำเนินงานก็จะกลายเป็นเงื่อนไขของการอยู่รอด อัตราการใช้ประโยชน์ของฝูงเครื่อง (fleet utilization) ต้นทุนพลังงาน การคาดการณ์ความต้องการ การวางแผนความจุ และความสมดุลระหว่างรายได้แบบ committed กับแบบ spot จะเป็นตัวตัดสินผู้ชนะกลุ่มถัดไป การระดมทุนได้เป็นพันล้านเป็นเพียงแค่จุดเริ่มต้นเท่านั้น การใช้พันล้านนั้นอย่างชาญฉลาดต่างหากคือศิลปะที่แท้จริง
มูลค่าในตลาดนี้เคลื่อนที่ไปเรื่อย ๆ: จากโมเดลไปสู่เอนจิน จากเอนจินไปสู่เซิร์ฟวิ่ง และจากเซิร์ฟวิ่งไปสู่ความจุและพลังงาน มันทิ้งชั้นต่าง ๆ ที่ไม่มีคูเมือง (moat) อันยั่งยืนเหลืออยู่อีกต่อไป ผู้ชนะรุ่นต่อไปจะมองเห็นการเปลี่ยนแปลงนี้ก่อนที่เช็กลิสต์นั้นจะกลายเป็นสิ่งที่รู้กันทั่วไป
