YouMind
Iniciar sesión

Cerebras lanza la inferencia desagregada

@cerebras
INGLÉS17 nov 2026
104K
538
63
19
208

TL;DR

Cerebras presenta la inferencia desagregada, combinando GPUs para el procesamiento de prompts y Wafer Scale Engines para el decoding, logrando una eficiencia energética 5 veces superior sin sacrificar velocidad.

Implementamos los Cerebras Wafer Scale Engines junto con GPUs para entregar tokens ultrarrápidos a gran escala

El mundo está ávido de tokens ultrarrápidos. En 2026, Cerebras experimentó una demanda insaciable de inferencia rápida, tanto en nuestra nube de inferencia como a través de nuestros socios. Para satisfacer esa demanda, comenzamos a desarrollar la inferencia desagregada: las GPUs se encargan del procesamiento de prompts (prefill) y los sistemas Cerebras manejan la generación de respuestas (decode).

Esta solución ya está en producción y entrega cinco veces más tokens por megavatio, manteniendo las mismas velocidades ultrarrápidas de Cerebras.

Ahora podemos ofrecer más tokens ultrarrápidos a través de Cerebras Inference Cloud para responder a la demanda del mercado. Los socios de infraestructura también pueden aprovechar la solución desagregada de Cerebras para generar más tokens ultrarrápidos en sus propios centros de datos.

Junto con nuestro recientemente anunciado CS-4, el enorme aumento en nuestra capacidad de fabricación y los 700 MW de capacidad de centros de datos que tenemos planificados, la inferencia desagregada permitirá que Cerebras y sus socios entreguen muchos más tokens ultrarrápidos en 2027 y en adelante. En este blog abordamos:

  • La necesidad de contar con mayor capacidad de inferencia ultrarrápida
  • Por qué Cerebras tiene ventaja para el decode
  • Resultados de producción de la inferencia desagregada de Cerebras
  • Inferencia desagregada de Cerebras para socios de infraestructura

La necesidad de contar con mayor capacidad de inferencia rápida

Las aplicaciones agénticas como Muse, Copilot y Codex están escalando rápidamente y requieren una inferencia altamente interactiva para mantener a los usuarios interesados. Para satisfacer la creciente demanda de estas aplicaciones en un entorno con restricciones energéticas, nuestra industria debe entregar una capacidad de inferencia significativamente mayor por megavatio, con velocidades de respuesta que hagan útiles a estas aplicaciones.

Cerebras - inline image

Fuentes: Goldman Sachs Research, “Se prevé que los agentes de IA impulsen el flujo de caja tecnológico a medida que se dispara su uso”, 20 de mayo de 2026; estimaciones de capacidad de centros de datos de Goldman Sachs, según lo reportado por Investing.com

Por eso Cerebras invirtió en la desagregación. Combinar un acelerador de prefill para el procesamiento de prompts con el sistema Cerebras para la generación de respuestas aumenta el rendimiento de tokens por megavatio y, al mismo tiempo, preserva las velocidades de generación ultrarrápidas de Cerebras. Para los proveedores de inferencia, esto significa más capacidad para atender clientes y un mayor potencial de ingresos con el mismo presupuesto energético.

Por qué Cerebras tiene ventaja para el decode

Una solicitud de inferencia tiene dos etapas principales. El procesamiento de prompts, conocido como prefill, procesa la entrada y produce un estado intermedio del modelo. La generación de respuestas, conocida como decode, utiliza ese estado para generar los tokens de salida. Existen muchas formas de dividir la carga de trabajo de inferencia, entre ellas draft–target y attention–FFN, pero separar el prefill del decode resulta especialmente ventajoso cuando el objetivo es lograr una inferencia altamente interactiva.

Cerebras - inline image

El decode es autorregresivo. Esto significa que el modelo genera un token a la vez, utilizando cada token generado como entrada para producir el siguiente. Cada paso implica volver a leer los datos del modelo desde la memoria, por lo que el ancho de banda de memoria es fundamental. En el ámbito de la inferencia ultrarrápida, los chips centrados en SRAM tienen ventaja porque pueden mantener esos datos dentro del chip y leerlos mucho más rápido. Cerebras lleva esto a escala de oblea (wafer scale), con decenas de gigabytes de SRAM y decenas de petabytes por segundo de ancho de banda de memoria en un solo chip: 350 veces la capacidad de SRAM y 5,400 veces el ancho de banda de memoria de una GPU GB300 típica. Esto permite que el sistema Cerebras aloje más solicitudes concurrentes y capas del modelo directamente en el chip, logrando que el CS-3, el CS-4 y el CS-5 alcancen velocidades ultrarrápidas con un rendimiento muy atractivo.

Cerebras - inline image

GIF

Resultados de producción de la inferencia desagregada de Cerebras

Combinar los sistemas Cerebras, optimizados para un decode ultrarrápido, con aceleradores ideales para las necesidades de cómputo del prefill, como las GPUs AMD Instinct, permite entregar una cantidad inmensa de inferencia ultrarrápida a gran escala. En una implementación de producción en Cerebras Inference Cloud, las GPUs AMD Instinct procesan los prompts y los sistemas Cerebras CS-3 generan las respuestas. Trasladar el procesamiento de prompts a las GPUs permite que los sistemas Cerebras dediquen toda su capacidad de servicio a la generación de respuestas. En nuestra implementación de producción medida, esta combinación entregó 5 veces más rendimiento por megavatio que una configuración basada únicamente en CS-3, sin ninguna pérdida en la velocidad de generación de tokens.

Cerebras - inline image

Fuente: endpoint compartido GPT-OSS-120B del 14 de noviembre a través de Cerebras Inference Cloud; rendimiento por megavatio antes y después de habilitar la inferencia desagregada, normalizado respecto a la línea base de inferencia agregada (1×).

Planeamos implementar la inferencia desagregada de manera generalizada en cientos de megavatios dentro de Cerebras Inference Cloud y en las implementaciones de nuestros socios para finales de 2027. Nuestro objetivo es aumentar la capacidad de inferencia ultrarrápida disponible para nuestros clientes.

Inferencia desagregada de Cerebras para socios de infraestructura

La solución de inferencia desagregada de Cerebras también fue diseñada para que nuestros socios la adopten. Los socios de infraestructura pueden implementar clústeres de inferencia desagregada basados en la arquitectura de referencia proporcionada por Cerebras, ubicando en un mismo lugar sus aceleradores de prefill elegidos y los sistemas Cerebras dentro de una red unificada. Para la integración de software, los socios pueden optar por integrarse con el stack de software desagregado integral de Cerebras o con un SDK exclusivo para decode.

  • El stack de software desagregado integral es ideal para los socios que buscan optimizar su tiempo de llegada al mercado. Está compuesto por:
  • Un framework de inferencia desagregada para enrutar solicitudes entre los pools de prefill y decode, y gestionar la capacidad y el estado de salud de las réplicas.
  • Un motor de prefill para procesar prompts utilizando motores de inferencia de código abierto como vLLM o SGLang.
  • Un motor de decode de Cerebras para la generación de respuestas en sistemas Cerebras.
  • El software KV Portal, una interfaz para transferir el estado intermedio del modelo, incluidas las cachés de clave-valor, entre los motores de prefill y decode mediante RDMA.

El SDK exclusivo para decode es ideal para los socios que priorizan el control. Con este SDK, los socios pueden incorporar su propio framework de inferencia y motor de prefill al motor de decode de Cerebras y al software KV Portal. Además, el SDK exclusivo para decode ofrece herramientas de desarrollo, como una réplica de decode de Cerebras simulada y una integración de referencia con un framework de inferencia desagregada y un motor de prefill de código abierto.

Cerebras - inline image

Los socios con acceso anticipado, entre ellos Amazon Web Services, Fireworks AI, Gimlet Labs y General Compute, ya cuentan con la solución de desagregación de Cerebras para sus implementaciones. Ahora estamos ampliando el acceso a otros socios que buscan llevar la inferencia ultrarrápida a sus clientes a gran escala.

Para analizar los resultados, las soluciones o las oportunidades de implementación con mayor detalle, contáctanos aquí.

Guardar con un clic

Lee artículos virales en profundidad con IA en YouMind

Guarda la fuente, haz preguntas concretas, resume el argumento y convierte un artículo viral en notas reutilizables en un único espacio de trabajo con IA.

Explora YouMind
Para creadores

Convierte tu Markdown en un artículo de 𝕏 impecable

Cuando publicas tus propios textos largos, dar formato en 𝕏 a imágenes, tablas y bloques de código es un fastidio. YouMind convierte un borrador completo en Markdown en un artículo de 𝕏 impecable y listo para publicar.

Prueba Markdown a 𝕏

Más patrones por descifrar

Artículos virales recientes

Explorar más artículos virales