Мы развернули Cerebras Wafer Scale Engines вместе с GPU, чтобы обеспечивать молниеносную генерацию токенов в масштабе
Мир жаждет сверхбыстрых токенов. В 2026 году Cerebras столкнулась с ненасытным спросом на быстрый инференс — как в нашем облаке инференса, так и через наших партнеров. Чтобы удовлетворить этот спрос, мы начали разработку деагрегированного инференса: GPU обрабатывают промпты (prefill), а системы Cerebras отвечают за генерацию вывода (decode).
Это решение уже работает в продакшене и выдает в пять раз больше токенов на мегаватт при тех же сверхвысоких скоростях Cerebras.
Теперь мы можем предоставлять больше сверхбыстрых токенов через Cerebras Inference Cloud, чтобы удовлетворить рыночный спрос. Инфраструктурные партнеры также могут использовать деагрегированное решение Cerebras, чтобы получать больше сверхбыстрых токенов в собственных дата-центрах.
Наряду с недавно анонсированным CS-4, радикально масштабированным производством и запланированными мощностями дата-центров на 700 МВт, деагрегированный инференс позволит Cerebras и нашим партнерам обслуживать гораздо больше сверхбыстрых токенов в 2027 году и далее. В этой статье мы рассмотрим:
- Потребность в дополнительных мощностях для сверхбыстрого инференса
- Почему у Cerebras есть преимущество на этапе декодирования
- Результаты работы деагрегированного инференса Cerebras в продакшене
- Деагрегированный инференс Cerebras для инфраструктурных партнеров
Потребность в дополнительных мощностях для быстрого инференса
Агентные приложения, такие как Muse, Copilot и Codex, стремительно масштабируются и требуют высокоинтерактивного инференса, чтобы удерживать внимание пользователей. Чтобы удовлетворить растущий спрос таких приложений в условиях ограниченных энергоресурсов, наша отрасль должна обеспечивать значительно большую производительность инференса на мегаватт при скорости отклика, которая делает эти приложения по-настоящему полезными.

Источники: Goldman Sachs Research, «Прогноз: ИИ-агенты увеличат денежный поток технологических компаний на фоне взрывного роста использования», 20 мая 2026 г.; оценки мощности дата-центров Goldman Sachs, опубликованные Investing.com
Именно поэтому Cerebras инвестировала в дезагрегацию. Объединение акселератора prefill для обработки промптов с системой Cerebras для генерации ответов увеличивает пропускную способность токенов на мегаватт, сохраняя при этом сверхвысокую скорость генерации Cerebras. Для провайдеров инференса это означает больше возможностей для обслуживания клиентов и больший потенциал выручки при том же энергобюджете.
Почему у Cerebras есть преимущество на этапе декодирования
Запрос на инференс состоит из двух основных этапов. Обработка промпта, известная как prefill, принимает входные данные и формирует промежуточное состояние модели. Генерация ответа, известная как decode, использует это состояние для создания выходных токенов. Существует множество способов разделить нагрузку инференса, включая схемы draft–target и attention–FFN, но именно разделение prefill и decode дает уникальное преимущество, когда цель — высокоинтерактивный инференс.

Декодирование является авторегрессионным. Это значит, что модель генерирует по одному токену за раз, используя каждый сгенерированный токен как входные данные для следующего. Каждый шаг требует повторного чтения данных модели из памяти, поэтому пропускная способность памяти играет огромную роль. В области сверхбыстрого инференса чипы на базе SRAM имеют преимущество, поскольку они могут хранить эти данные прямо на кристалле и считывать их намного быстрее. Cerebras доводит этот подход до масштабов целой пластины: десятки гигабайт SRAM и десятки петабайт в секунду пропускной способности памяти на одном чипе — это в 350 раз больше емкости SRAM и в 5400 раз выше пропускная способность памяти по сравнению с типичным GPU GB300. Благодаря этому система Cerebras может размещать больше одновременных запросов и слоев модели непосредственно на чипе, что позволяет CS-3, CS-4 и CS-5 достигать сверхвысоких скоростей при привлекательной пропускной способности.
GIF
Результаты работы деагрегированного инференса Cerebras в продакшене
Объединение систем Cerebras, оптимизированных для сверхбыстрого декодирования, с акселераторами, идеально подходящими для вычислительных задач prefill, такими как GPU AMD Instinct, позволяет обеспечить колоссальные объемы сверхбыстрого инференса в масштабе. В продакшен-развертывании на базе Cerebras Inference Cloud GPU AMD Instinct обрабатывают промпты, а системы Cerebras CS-3 генерируют ответы. Перенос обработки промптов на GPU позволяет системам Cerebras направить все свои ресурсы на генерацию ответов. В нашем измеренном продакшен-развертывании эта комбинация обеспечила в 5 раз большую пропускную способность на мегаватт по сравнению с конфигурацией только на CS-3, без какой-либо потери скорости генерации токенов.

Источник: общая конечная точка GPT-OSS-120B от 14 ноября через Cerebras Inference Cloud, пропускная способность на мегаватт до и после включения деагрегированного инференса, нормализованная относительно базового уровня агрегированного инференса (1×).
Мы планируем широко развернуть деагрегированный инференс на сотнях мегаватт мощностей в Cerebras Inference Cloud и в партнерских проектах к концу 2027 года. Наша цель — увеличить объем доступных клиентам мощностей сверхбыстрого инференса.
Деагрегированный инференс Cerebras для инфраструктурных партнеров
Деагрегированное решение Cerebras создавалось в том числе для внедрения нашими партнерами. Инфраструктурные партнеры могут развертывать кластеры деагрегированного инференса на основе предоставленной Cerebras референсной архитектуры, размещая выбранные ими акселераторы prefill и системы Cerebras в единой сети. Что касается программной интеграции, партнеры могут использовать либо полный стек деагрегированного ПО Cerebras, либо SDK только для декодирования.
- Полный стек деагрегированного ПО лучше всего подходит партнерам, которым важно быстрее выйти на рынок. Он включает:
- Фреймворк деагрегированного инференса для маршрутизации запросов между пулами prefill и decode, а также управления емкостью и состоянием реплик.
- Движок prefill для обработки промптов с использованием open-source движков инференса, таких как vLLM или SGLang.
- Движок decode от Cerebras для генерации ответов на системах Cerebras.
- ПО KV Portal — интерфейс для передачи промежуточного состояния модели, включая key-value кэши, между движками prefill и decode по протоколу RDMA.
SDK только для декодирования лучше всего подходит партнерам, которым важен полный контроль. С этим SDK партнеры могут использовать собственный фреймворк инференса и движок prefill вместе с движком decode от Cerebras и ПО KV Portal. Кроме того, SDK предоставляет вспомогательные инструменты разработки, такие как мок-реплика декодера Cerebras и референсная интеграция с open-source фреймворком деагрегированного инференса и движком prefill.

Партнеры с ранним доступом, включая Amazon Web Services, Fireworks AI, Gimlet Labs и General Compute, уже используют деагрегированное решение Cerebras в своих развертываниях. Сейчас мы расширяем доступ для других партнеров, которые хотят предоставлять своим клиентам сверхбыстрый инференс в масштабе.
Чтобы подробнее обсудить результаты, решения или возможности развертывания, свяжитесь с нами здесь.






