La historia predominante en este momento es que el código abierto se está comiendo el mundo empresarial. La brecha de capacidades entre los mejores modelos cerrados y abiertos se ha reducido a unos pocos puntos porcentuales. Un tercio de las empresas del Fortune 500 tiene cuentas verificadas en Hugging Face, los laboratorios chinos lanzan modelos de frontera con pesos abiertos cada pocas semanas, y los proveedores de inferencia están arrasando.
Mientras tanto, en Decagon, ahora ejecutamos aproximadamente el 90% de nuestras cargas de trabajo en modelos de código abierto en lugar de OpenAI o Anthropic. Esto es consistente con la mayoría de las empresas de aplicaciones de hipercrecimiento, y estamos viendo que las grandes empresas con las que trabajamos también se mueven en esta dirección.
Y sin embargo, el gasto empresarial en su conjunto se mueve en la dirección opuesta. Los modelos de código abierto cayeron al 11% del gasto empresarial en LLM, frente al 19% de hace un año.
La tendencia en realidad se mueve en la dirección contraria a la narrativa popular. ¿Por qué sucede esto y qué significa para el futuro?
Primero, algo de contexto sobre por qué estamos al 90% en código abierto. No fue por el costo, ni porque nuestros clientes lo exigieran (aunque no les molesta). Fue porque no teníamos otra opción.
Cuando ejecutas agentes de IA en producción para atención al cliente, la latencia define el éxito o el fracaso del producto. Una conversación donde cada turno toma 8 segundos no es un producto que nadie vaya a usar. Por lo tanto, necesitas modelos pequeños y rápidos. Cada llamada del modelo no necesita saber la capital de Lituania o física de secundaria.
Pero los modelos pequeños listos para usar no son lo suficientemente buenos para el estándar de calidad al que nuestros clientes nos exigen. Solo llegan a ese nivel mediante un ajuste fino intensivo en la tarea exacta. Los laboratorios de frontera realmente no venden esta combinación. No puedes ajustar finamente sus mejores modelos como nosotros necesitamos, y sus modelos pequeños no son nuestros para moldear. Pequeño + ajustado finamente significa pesos abiertos. El ahorro de costos es real pero secundario, y la comodidad empresarial con modelos auto-alojados es un efecto secundario agradable, no la razón.
Entonces, ¿por qué una empresa como la nuestra está al 90% en código abierto mientras que el número empresarial más amplio está disminuyendo?
La respuesta es la madurez del caso de uso. Cuando un caso de uso es nuevo, quieres el modelo de propósito general más inteligente que puedas obtener. Aún no conoces la forma del problema, por lo que pagas una prima por inteligencia que quizás no termines necesitando. Esa es la compensación correcta en esa etapa. Pero una vez que el caso de uso está completamente desarrollado, cuando conoces la distribución de las entradas, los comportamientos que necesitas y los modos de falla contra los que protegerte, la compensación se invierte. Ahora la inteligencia general es un gasto general, y quieres el modelo más pequeño y rápido ajustado finamente para hacer tu cosa específica extremadamente bien.
La atención al cliente resulta ser uno de los casos de uso de IA más obvios en la industria. Flujos de trabajo bien comprendidos, volumen de conversación enorme, estándares de calidad estrictos. Lo que significa que empresas como la nuestra simplemente están más avanzadas en la curva que el despliegue empresarial promedio.
Y esa es la resolución de la paradoja. La razón por la que la cuota de código abierto cayó no es que el código abierto esté perdiendo. Es que la IA empresarial en su conjunto está al principio de la curva de madurez. El año pasado, las empresas dejaron de construir y empezaron a comprar, y miles de casos de uso completamente nuevos se pusieron en marcha de una vez. Los nuevos casos de uso se ejecutan en modelos de frontera, por lo que la cuota cerrada explotó. El 11% es un problema de denominador: el grupo de casos de uso inmaduros está creciendo más rápido que el grupo de casos maduros.
Si eso es correcto, entonces cada caso de uso que se está prototipando hoy en un modelo de frontera es una futura migración a código abierto. A medida que los despliegues maduren, las empresas harán lo que nosotros hicimos: destilar, ajustar finamente, especializar. Los laboratorios de frontera seguirán siendo dueños del descubrimiento. El código abierto será cada vez más dueño de la producción.
Sin embargo, esto llevará más tiempo de lo que la gente piensa. La mayoría de los casos de uso simplemente no están en el punto donde la "forma" del agente esté finalizada como para que tenga sentido comenzar a ajustar finamente modelos de código abierto.
El ajuste fino requiere esfuerzo, y la mayoría de las organizaciones no tienen los recursos o la experiencia para hacerlo. El caso de uso tendría que tener un ROI muy alto y ya estar completamente desplegado a escala para que valga la pena. También necesitas suficientes datos para asegurarte de que los modelos más pequeños puedan rendir al mismo nivel que los modelos de frontera en una tarea determinada.
De lo contrario, es mucho más fácil conectar uno de los modelos cerrados de frontera. No tienes que preocuparte por poseer ninguna de las infraestructuras y obtienes la libertad de iterar y experimentar libremente.
Por lo tanto, la participación del gasto en LLM en código abierto eventualmente se inclinará hacia arriba, pero no sucederá durante muchos años.
