A narrativa dominante no momento é que o código aberto está dominando o mundo corporativo. A diferença de capacidade entre os melhores modelos fechados e abertos encolheu para dígitos únicos baixos. Um terço das empresas da Fortune 500 tem contas verificadas no Hugging Face, laboratórios chineses estão lançando modelos de fronteira com pesos abertos a cada poucas semanas, e os provedores de inferência estão arrasando.
Enquanto isso, na Decagon, agora executamos cerca de 90% de nossas cargas de trabalho em modelos de código aberto, em vez de OpenAI ou Anthropic. Isso é consistente com a maioria das empresas de aplicativos em hipercrescimento, e estamos vendo as grandes empresas com as quais trabalhamos seguirem nessa direção também.
E, no entanto, os gastos corporativos como um todo estão se movendo na direção oposta. Os modelos de código aberto caíram para apenas 11% dos gastos corporativos com LLM, abaixo dos 19% de um ano atrás.
A tendência está, na verdade, indo na direção contrária em comparação com a narrativa popular. Por que isso acontece e o que significa para o futuro?
Primeiro, algum contexto sobre por que estamos 90% no código aberto. Não foi por causa do custo, e não foi porque nossos clientes exigiram (embora eles não se importem). Foi porque não tínhamos outra opção.
Quando você está executando agentes de IA em produção para atendimento ao cliente, a latência define o sucesso ou fracasso do produto. Uma conversa onde cada interação leva 8 segundos não é um produto que ninguém usará. Então você precisa de modelos pequenos e rápidos. Cada chamada de modelo não precisa saber a capital da Lituânia ou física do ensino médio.
Mas modelos pequenos prontos para uso não são bons o suficiente para o padrão de qualidade que nossos clientes nos exigem. Eles só chegam lá através de um ajuste fino pesado na tarefa exata. Os laboratórios de fronteira realmente não vendem essa combinação. Você não pode ajustar os melhores modelos deles da maneira que precisamos, e os modelos pequenos deles não são nossos para moldar. Pequeno + ajustado fino significa pesos abertos. A economia de custos é real, mas secundária, e o conforto corporativo com modelos auto-hospedados é um efeito colateral agradável, não o motivo.
Então, por que uma empresa como a nossa é 90% código aberto enquanto o número corporativo mais amplo está caindo?
A resposta é a maturidade do caso de uso. Quando um caso de uso é novo, você quer o modelo de propósito geral mais inteligente que puder encontrar. Você ainda não conhece a forma do problema, então paga um prêmio por inteligência que pode não precisar no final. Essa é a troca certa nesse estágio. Mas quando o caso de uso está totalmente desenvolvido, quando você conhece a distribuição das entradas, os comportamentos necessários e os modos de falha contra os quais se proteger, a troca se inverte. Agora a inteligência geral é um custo extra, e você quer o menor e mais rápido modelo ajustado para fazer sua coisa específica extremamente bem.
O atendimento ao cliente é um dos casos de uso de IA mais óbvios da indústria. Fluxos de trabalho bem compreendidos, volume enorme de conversas, padrões de qualidade rigorosos. O que significa que empresas como a nossa estão simplesmente mais adiantadas na curva do que a implantação corporativa média.
E essa é a resolução do paradoxo. A razão pela qual a participação do código aberto caiu não é que o código aberto está perdendo. É que a IA corporativa como um todo está no início da curva de maturidade. No ano passado, as empresas pararam de construir e começaram a comprar, e milhares de casos de uso totalmente novos surgiram de uma vez. Novos casos de uso rodam em modelos de fronteira, então a participação fechada explodiu. Os 11% são um problema de denominador: o conjunto de casos de uso imaturos está crescendo mais rápido do que o conjunto de casos maduros.
Se isso estiver certo, então todo caso de uso sendo prototipado em um modelo de fronteira hoje é uma futura migração para código aberto. À medida que as implantações amadurecem, as empresas farão o que fizemos: destilar, ajustar fino, especializar. Os laboratórios de fronteira continuarão sendo donos da descoberta. O código aberto será cada vez mais dono da produção.
No entanto, isso levará mais tempo do que as pessoas pensam. A maioria dos casos de uso simplesmente não está no ponto em que a "forma" do agente está finalizada para que faça sentido começar a ajustar modelos de código aberto.
O ajuste fino exige esforço, e a maioria das organizações não tem os recursos ou a experiência para fazê-lo. O caso de uso teria que ter um ROI muito alto e já estar totalmente implantado em escala para valer a pena. Você também precisa de dados suficientes para garantir que os modelos menores possam ter o mesmo desempenho que os modelos de fronteira em uma determinada tarefa.
Caso contrário, é muito mais fácil conectar um dos modelos fechados de fronteira. Você não precisa se preocupar em possuir nenhuma infraestrutura e ganha a liberdade de iterar e experimentar livremente.
Portanto, a participação dos gastos com LLM em código aberto eventualmente vai se inclinar para cima, mas isso não acontecerá por muitos anos.
