YouMind
Đăng nhập

Cerebras ra mắt suy luận phân tách

@cerebras
TIẾNG ANH17 thg 11, 2026
104K
538
63
19
208

TL;DR

Cerebras giới thiệu công nghệ suy luận phân tách, kết hợp GPU để xử lý prompt và Wafer Scale Engine để giải mã, đạt hiệu quả năng lượng tốt hơn 5 lần mà không làm giảm tốc độ.

Chúng tôi đã triển khai Cerebras Wafer Scale Engines cùng với GPU để cung cấp token siêu tốc ở quy mô lớn

Thế giới đang khao khát những token siêu tốc. Trong năm 2026, Cerebras chứng kiến nhu cầu suy luận (inference) nhanh không thể thỏa mãn, cả trên đám mây suy luận của chúng tôi lẫn thông qua các đối tác. Để đáp ứng nhu cầu này, chúng tôi bắt đầu phát triển giải pháp suy luận phân tách: GPU đảm nhận xử lý prompt (prefill) và hệ thống Cerebras đảm nhận tạo kết quả đầu ra (decode).

Giải pháp này hiện đã được đưa vào vận hành thực tế và mang lại số lượng token trên mỗi megawatt cao gấp năm lần, trong khi vẫn giữ nguyên tốc độ siêu tốc đặc trưng của Cerebras.

Giờ đây, chúng tôi có thể phục vụ nhiều token siêu tốc hơn thông qua Cerebras Inference Cloud để đáp ứng nhu cầu thị trường. Các đối tác hạ tầng cũng có thể tận dụng giải pháp phân tách của Cerebras để đạt được nhiều token siêu tốc hơn ngay trong chính trung tâm dữ liệu của họ.

Cùng với CS-4 vừa được công bố gần đây, năng lực sản xuất được mở rộng vượt bậc và kế hoạch bổ sung 700MW công suất trung tâm dữ liệu, giải pháp suy luận phân tách sẽ giúp Cerebras và các đối tác phục vụ thêm rất nhiều token siêu tốc trong năm 2027 và xa hơn nữa. Trong bài viết này, chúng tôi sẽ đề cập đến:

  • Nhu cầu gia tăng năng lực suy luận siêu tốc
  • Vì sao Cerebras có lợi thế cho giai đoạn decode
  • Kết quả vận hành thực tế của giải pháp suy luận phân tách Cerebras
  • Giải pháp suy luận phân tách Cerebras dành cho các đối tác hạ tầng

Nhu cầu gia tăng năng lực suy luận nhanh

Các ứng dụng agentic như Muse, Copilot và Codex đang mở rộng nhanh chóng và đòi hỏi khả năng suy luận có tính tương tác cao để giữ chân người dùng. Để đáp ứng nhu cầu ngày càng tăng của những ứng dụng này trong bối cảnh nguồn điện bị giới hạn, ngành công nghiệp của chúng ta phải cung cấp năng lực suy luận trên mỗi megawatt lớn hơn đáng kể, với tốc độ phản hồi đủ nhanh để các ứng dụng đó thực sự hữu ích.

Cerebras - inline image

Nguồn: Goldman Sachs Research, “AI Agents Forecast to Boost Tech Cash Flow as Usage Soars” (Dự báo AI Agent thúc đẩy dòng tiền công nghệ khi mức sử dụng tăng vọt), ngày 20 tháng 5 năm 2026; ước tính công suất trung tâm dữ liệu của Goldman Sachs, theo báo cáo của Investing.com

Đó là lý do Cerebras đầu tư vào giải pháp phân tách. Việc kết hợp một bộ tăng tốc prefill để xử lý prompt với Hệ thống Cerebras để tạo phản hồi giúp tăng thông lượng token trên mỗi megawatt, đồng thời duy trì tốc độ tạo kết quả siêu tốc của Cerebras. Đối với các nhà cung cấp dịch vụ suy luận, điều đó đồng nghĩa với việc có thêm năng lực phục vụ khách hàng và tiềm năng doanh thu lớn hơn từ cùng một ngân sách điện năng.

Vì sao Cerebras có lợi thế cho giai đoạn decode

Một yêu cầu suy luận gồm hai giai đoạn chính. Xử lý prompt, hay còn gọi là prefill, tiếp nhận đầu vào và tạo ra trạng thái trung gian của mô hình. Tạo phản hồi, hay còn gọi là decode, sử dụng trạng thái đó để sinh ra các token đầu ra. Có nhiều cách để chia nhỏ khối lượng công việc suy luận, bao gồm draft–target và attention–FFN cùng một số phương pháp khác, nhưng việc tách riêng prefill khỏi decode mang lại lợi thế đặc biệt khi mục tiêu là suy luận có tính tương tác cao.

Cerebras - inline image

Decode hoạt động theo cơ chế tự hồi quy (autoregressive). Nghĩa là mô hình tạo ra từng token một, sử dụng mỗi token vừa tạo làm đầu vào để sinh ra token tiếp theo. Mỗi bước đều đòi hỏi phải đọc lại dữ liệu mô hình từ bộ nhớ, nên băng thông bộ nhớ đóng vai trò cực kỳ quan trọng. Trong lĩnh vực suy luận siêu tốc, các chip lấy SRAM làm trung tâm có lợi thế vì chúng có thể lưu trữ dữ liệu đó ngay trên chip và đọc nhanh hơn rất nhiều. Cerebras nâng tầm điều này lên quy mô wafer, với hàng chục gigabyte SRAM và hàng chục petabyte băng thông bộ nhớ mỗi giây trên một con chip duy nhất — gấp 350 lần dung lượng SRAM và 5.400 lần băng thông bộ nhớ so với một GPU GB300 thông thường. Nhờ vậy, hệ thống Cerebras có thể chứa nhiều yêu cầu đồng thời và nhiều lớp mô hình trực tiếp trên chip, giúp CS-3, CS-4 và CS-5 đạt được tốc độ siêu tốc cùng mức thông lượng hấp dẫn.

Cerebras - inline image

GIF

Kết quả vận hành thực tế của giải pháp suy luận phân tách Cerebras

Việc kết hợp các hệ thống Cerebras — vốn được tối ưu cho decode siêu tốc — với những bộ tăng tốc phù hợp cho nhu cầu tính toán của prefill, chẳng hạn như GPU AMD Instinct, cho phép cung cấp một lượng khổng lồ các tác vụ suy luận siêu tốc ở quy mô lớn. Trong một đợt triển khai thực tế trên Cerebras Inference Cloud, GPU AMD Instinct xử lý prompt, còn hệ thống Cerebras CS-3 tạo phản hồi. Việc chuyển phần xử lý prompt sang GPU giúp hệ thống Cerebras dồn toàn bộ năng lực phục vụ cho việc tạo phản hồi. Theo đo đạc thực tế của chúng tôi, sự kết hợp này mang lại thông lượng trên mỗi megawatt cao gấp 5 lần so với cấu hình chỉ dùng CS-3, mà không hề giảm tốc độ tạo token.

Cerebras - inline image

Nguồn: Thông lượng trên mỗi megawatt của endpoint GPT-OSS-120B dùng chung ngày 14 tháng 11 qua Cerebras Inference Cloud trước và sau khi kích hoạt suy luận phân tách, được chuẩn hóa theo đường cơ sở suy luận gộp (1×).

Chúng tôi dự định triển khai rộng rãi giải pháp suy luận phân tách trên hàng trăm megawatt tại Cerebras Inference Cloud và trong các dự án của đối tác vào cuối năm 2027. Mục tiêu của chúng tôi là gia tăng năng lực suy luận siêu tốc sẵn có cho khách hàng.

Giải pháp suy luận phân tách Cerebras dành cho các đối tác hạ tầng

Giải pháp suy luận phân tách của Cerebras cũng được thiết kế để các đối tác dễ dàng áp dụng. Các đối tác hạ tầng có thể triển khai cụm suy luận phân tách dựa trên kiến trúc tham chiếu do Cerebras cung cấp, đặt các bộ tăng tốc prefill mà họ lựa chọn cùng hệ thống Cerebras trong một mạng lưới thống nhất. Về tích hợp phần mềm, đối tác có thể chọn tích hợp với bộ phần mềm phân tách đầu cuối của Cerebras hoặc SDK chỉ dành cho decode.

  • Bộ phần mềm phân tách đầu cuối phù hợp nhất với các đối tác muốn tối ưu hóa thời gian đưa sản phẩm ra thị trường. Bộ phần mềm này bao gồm:
  • Một framework suy luận phân tách để định tuyến yêu cầu giữa các nhóm prefill và decode, đồng thời quản lý năng lực cũng như tình trạng hoạt động của các bản sao (replica).
  • Một engine prefill để xử lý prompt bằng các engine suy luận mã nguồn mở như vLLM hoặc SGLang.
  • Một engine decode của Cerebras để tạo phản hồi trên các hệ thống Cerebras.
  • Phần mềm KV Portal, giao diện truyền trạng thái trung gian của mô hình, bao gồm bộ nhớ đệm key-value, giữa engine prefill và engine decode qua RDMA.

SDK chỉ dành cho decode phù hợp nhất với các đối tác muốn tối ưu hóa quyền kiểm soát. Với SDK này, đối tác có thể tự mang framework suy luận và engine prefill của riêng mình để kết hợp với engine decode cùng phần mềm KV Portal của Cerebras. Ngoài ra, SDK chỉ dành cho decode còn cung cấp các công cụ hỗ trợ phát triển như một bản sao decode Cerebras giả lập (mock) và tài liệu tích hợp tham chiếu với một framework suy luận phân tách cùng engine prefill mã nguồn mở.

Cerebras - inline image

Các đối tác truy cập sớm, bao gồm Amazon Web Services, Fireworks AI, Gimlet Labs và General Compute, đã có thể sử dụng giải pháp phân tách của Cerebras cho các dự án triển khai của mình. Hiện chúng tôi đang mở rộng quyền truy cập cho thêm nhiều đối tác khác mong muốn mang khả năng suy luận siêu tốc đến khách hàng của họ ở quy mô lớn.

Để trao đổi chi tiết hơn về kết quả, giải pháp hoặc các cơ hội triển khai, hãy liên hệ với chúng tôi tại đây.

Lưu một chạm

Đọc sâu bài viết viral bằng AI trong YouMind

Lưu nguồn, đặt câu hỏi tập trung, tóm tắt lập luận và biến một bài viết viral thành các ghi chú có thể tái sử dụng trong một không gian làm việc AI duy nhất.

Khám phá YouMind
Dành cho nhà sáng tạo

Biến Markdown của bạn thành bài viết 𝕏 gọn gàng

Khi bạn đăng bài viết dài của riêng mình, việc định dạng hình ảnh, bảng và khối mã cho 𝕏 rất mệt mỏi. YouMind biến cả bản nháp Markdown thành một bài viết 𝕏 gọn gàng, sẵn sàng để đăng.

Thử Markdown sang 𝕏

Thêm pattern để giải mã

Bài viết viral gần đây

Khám phá thêm bài viết viral