我們已將 Cerebras Wafer Scale Engine 與 GPU 結合部署,以大規模提供極速 token
全球對極速 token 的需求極為殷切。2026 年,Cerebras 無論在自家的推理雲端還是透過合作夥伴,都見證了對快速推理的無盡需求。為滿足市場需要,我們開始研發解耦式推理(disaggregated inference):由 GPU 負責提示詞處理(prefill),而 Cerebras 系統則負責輸出生成(decode)。
此方案現已投入生產環境,在維持 Cerebras 一貫極速的前提下,每兆瓦可提供的 token 數量提升五倍。
現在,我們可以透過 Cerebras Inference Cloud 提供更多極速 token,以滿足市場需求。基礎設施合作夥伴亦可採用 Cerebras 的解耦式方案,在自己的數據中心內實現更多極速 token。
配合最近發佈的 CS-4、大幅擴展的產能,以及計劃中 700MW 的數據中心容量,解耦式推理將讓 Cerebras 及合作夥伴在 2027 年及以後能夠提供更多極速 token。本篇網誌將探討:
- 為何需要更多極速推理容量
- 為何 Cerebras 在 decode 方面更具優勢
- Cerebras 解耦式推理的生產環境成果
- 為基礎設施合作夥伴而設的 Cerebras 解耦式推理
為何需要更多快速推理容量
Muse、Copilot 和 Codex 等 Agent 應用程式正迅速擴展,並需要高度互動的推理來保持用戶投入度。要在電力受限的環境下滿足這些應用程式日益增長的需求,業界必須在每兆瓦電力下提供顯著更多的推理容量,同時保持足以令這些應用程式發揮作用的回應速度。

資料來源:Goldman Sachs Research,《AI Agents Forecast to Boost Tech Cash Flow as Usage Soars》,2026 年 5 月 20 日;Goldman Sachs 數據中心容量估算,由 Investing.com 報道
正因如此,Cerebras 投資於解耦技術。將用於提示詞處理的 prefill 加速器與負責回應生成的 Cerebras 系統配對,可在保留 Cerebras 極速生成能力的同時,提升每兆瓦的 token 吞吐量。對推理服務供應商而言,這意味着在相同的電力預算下,能服務更多客戶,並帶來更大的收入潛力。
為何 Cerebras 在 decode 方面更具優勢
一個推理請求主要分為兩個階段。提示詞處理(即 prefill)會處理輸入內容並產生中間模型狀態;回應生成(即 decode)則利用該狀態生成輸出 token。分割推理工作負載的方法有很多,例如 draft–target 和 attention–FFN 等,但若目標是實現高度互動的推理,將 prefill 與 decode 分開便具有獨特優勢。

Decode 是自迴歸(autoregressive)的。這代表模型每次生成一個 token,並將每個生成的 token 作為輸入來生成下一個。每一步都需要重新從記憶體讀取模型數據,因此記憶體頻寬至關重要。在極速推理領域中,以 SRAM 為核心的晶片佔有優勢,因為它們可以將數據保存在晶片上,並以快得多的速度讀取。Cerebras 將這一點提升至晶圓級別,在單一晶片上提供數十 GB 的 SRAM 及每秒數十 PB 的記憶體頻寬——分別是典型 GB300 GPU 的 350 倍 SRAM 容量和 5,400 倍記憶體頻寬。這讓 Cerebras 系統能夠直接在晶片上容納更多並行請求和模型層,使 CS-3、CS-4 和 CS-5 能以極具吸引力的吞吐量達到極速表現。
GIF
Cerebras 解耦式推理的生產環境成果
將專為極速 decode 而優化的 Cerebras 系統,與適合 prefill 運算需求的加速器(例如 AMD Instinct GPU)配對,便能大規模提供海量極速推理。在 Cerebras Inference Cloud 的生產環境部署中,AMD Instinct GPU 負責處理提示詞,而 Cerebras CS-3 系統則負責生成回應。將提示詞處理交由 GPU 負責,可讓 Cerebras 系統把全部服務容量集中於回應生成。根據我們在生產環境中的實測數據,這種組合在 token 生成速度毫無損失的情況下,達到了純 CS-3 配置每兆瓦吞吐量的 5 倍。

資料來源:11 月 14 日透過 Cerebras Inference Cloud 共享的 GPT-OSS-120B 端點,在啟用解耦式推理前後每兆瓦吞吐量的對比,已按聚合式推理基準(1×)進行標準化處理。
我們計劃在 2027 年底前,於 Cerebras Inference Cloud 及合作夥伴的部署中,廣泛應用解耦式推理,總規模達數百兆瓦。我們的目標是為客戶提供更多可用的極速推理容量。
為基礎設施合作夥伴而設的 Cerebras 解耦式推理
Cerebras 解耦式推理方案同樣是為方便合作夥伴採用而設計。基礎設施合作夥伴可根據 Cerebras 提供的參考架構部署解耦式推理集群,將其選用的 prefill 加速器與 Cerebras 系統置於同一網絡內。在軟件整合方面,合作夥伴可選擇整合 Cerebras 的端到端解耦軟件堆疊,或僅使用 decode SDK。
- 端到端解耦軟件堆疊最適合希望加快產品上市時間的合作夥伴。它包括:
- 解耦式推理框架,用於在 prefill 與 decode 資源池之間路由請求,並管理副本容量與健康狀況。
- Prefill 引擎,使用 vLLM 或 SGLang 等開源推理引擎處理提示詞。
- Cerebras decode 引擎,用於在 Cerebras 系統上生成回應。
- KV Portal 軟件,一個透過 RDMA 在 prefill 與 decode 引擎之間傳輸中間模型狀態(包括鍵值緩存)的介面。
僅含 decode 的 SDK 最適合追求掌控度的合作夥伴。使用此 SDK,合作夥伴可將自己的推理框架和 prefill 引擎接入 Cerebras decode 引擎及 KV Portal 軟件。此外,僅含 decode 的 SDK 亦提供開發輔助工具,例如模擬 Cerebras decode 副本,以及與開源解耦式推理框架和 prefill 引擎的參考整合。

包括 Amazon Web Services、Fireworks AI、Gimlet Labs 和 General Compute 在內的早期合作夥伴,現已可在其部署中使用 Cerebras 解耦方案。我們目前正擴大開放範圍,讓更多希望大規模為客戶提供極速推理的合作夥伴加入。
如欲進一步了解相關成果、方案或部署機會,請在此聯絡我們。






