A história predominante no momento é que o código aberto está dominando o mundo corporativo. A diferença de capacidade entre os melhores modelos fechados e abertos encolheu para uma margem de um dígito. Um terço das empresas da Fortune 500 tem contas verificadas no Hugging Face, laboratórios chineses estão lançando modelos de fronteira com pesos abertos a cada poucas semanas, e os provedores de inferência estão indo muito bem.
Enquanto isso, na Decagon, agora executamos cerca de 90% de nossas cargas de trabalho em modelos de código aberto, em vez de OpenAI ou Anthropic. Isso é consistente com a maioria das empresas de aplicativos em hipercrescimento, e estamos vendo as grandes empresas com as quais trabalhamos também seguirem nessa direção.
E, no entanto, os gastos corporativos como um todo estão se movendo na direção oposta. Os modelos de código aberto caíram para apenas 11% dos gastos corporativos com LLMs, contra 19% há um ano.
A tendência está, na verdade, indo na direção contrária em comparação com a narrativa popular. Por que isso acontece e o que significa para o futuro?
Primeiro, um pouco de contexto sobre por que somos 90% código aberto. Não foi por causa do custo, e não foi porque nossos clientes exigiram (embora eles não se importem). Foi porque não tínhamos outra opção.
Quando você está executando agentes de IA em produção para atendimento ao cliente, a latência define o sucesso ou fracasso do produto. Uma conversa em que cada interação leva 8 segundos não é um produto que ninguém usará. Então, você precisa de modelos pequenos e rápidos. Cada chamada de modelo não precisa saber a capital da Lituânia ou física do ensino médio.
Mas modelos pequenos prontos para uso não são bons o suficiente para o padrão de qualidade que nossos clientes nos exigem. Eles só chegam lá através de um ajuste fino pesado na tarefa exata. Os laboratórios de fronteira realmente não vendem essa combinação. Você não pode ajustar seus melhores modelos da maneira que precisamos, e seus modelos pequenos não são nossos para moldar. Pequeno + ajustado significa pesos abertos. A economia de custos é real, mas secundária, e o conforto corporativo com modelos auto-hospedados é um efeito colateral agradável, não o motivo.
Então, por que uma empresa como a nossa é 90% código aberto enquanto o número corporativo mais amplo está caindo?
A resposta é a maturidade do caso de uso. Quando um caso de uso é novo, você quer o modelo de uso geral mais inteligente que puder encontrar. Você ainda não conhece a forma do problema, então paga um prêmio por inteligência que pode nem precisar. Essa é a troca certa nesse estágio. Mas, uma vez que o caso de uso está totalmente desenvolvido, quando você conhece a distribuição das entradas, os comportamentos necessários e os modos de falha contra os quais se proteger, a troca se inverte. Agora, a inteligência geral é um custo extra, e você quer o menor e mais rápido modelo ajustado para fazer sua coisa específica extremamente bem.
O atendimento ao cliente é um dos casos de uso de IA mais óbvios do setor. Fluxos de trabalho bem compreendidos, enorme volume de conversas, padrões de qualidade rigorosos. O que significa que empresas como a nossa estão simplesmente mais adiantadas na curva do que a implantação corporativa média.
E essa é a resolução do paradoxo. A razão pela qual a participação do código aberto caiu não é que o código aberto está perdendo. É que a IA corporativa como um todo está no início da curva de maturidade. No ano passado, as empresas pararam de construir e começaram a comprar, e milhares de casos de uso totalmente novos foram iniciados de uma só vez. Novos casos de uso rodam em modelos de fronteira, então a participação fechada explodiu. Os 11% são um problema de denominador: o conjunto de casos de uso imaturos está crescendo mais rápido do que o conjunto de casos maduros.
Se isso estiver correto, então todo caso de uso sendo prototipado em um modelo de fronteira hoje é uma futura migração para código aberto. À medida que as implantações amadurecem, as empresas farão o que fizemos: destilar, ajustar, especializar. Os laboratórios de fronteira continuarão sendo donos da descoberta. O código aberto será cada vez mais dono da produção.
No entanto, isso levará mais tempo do que as pessoas pensam. A maioria dos casos de uso simplesmente não está no ponto em que a "forma" do agente está finalizada a ponto de fazer sentido começar a ajustar modelos de código aberto.
O ajuste fino exige esforço, e a maioria das organizações não tem os recursos ou a experiência para fazê-lo. O caso de uso teria que ter um ROI muito alto e já estar totalmente implantado em escala para valer a pena. Você também precisa de dados suficientes para garantir que os modelos menores possam ter o mesmo desempenho que os modelos de fronteira em uma determinada tarefa.
Caso contrário, é muito mais fácil conectar um dos modelos fechados de fronteira. Você não precisa se preocupar em possuir nenhuma infraestrutura e tem a liberdade de iterar e experimentar livremente.
Portanto, a participação dos gastos com LLMs em código aberto eventualmente irá se inclinar para cima, mas isso não acontecerá por muitos anos.
