A Economia dos Tokens
Quando falamos de IA hoje, os tokens reinam. Especificamente, os tokens de inferência se tornaram o principal indicador para acompanhar o crescimento do ecossistema de IA. Empresas de capital aberto relatam tokens processados mensalmente para exibir seu crescimento em IA, analistas comparam o sucesso de modelos com base em seus volumes relativos de tokens, e as equipes de gestão medem seu compromisso e investimento em IA analisando seu uso de tokens ao longo do tempo.
Essa popularidade generalizada faz sentido; tokens são uma unidade fundamental de inteligência e computação de IA, e o crescimento no uso de tokens é uma boa representação do crescimento geral da IA no mundo. Tokens também abstraem as complexidades da inferência em uma única unidade de medida, tornando-a simples de entender (leva apenas 2 minutos!) e fácil de acompanhar de forma consistente ao longo do tempo. Como uma espécie de língua franca, os tokens permitem que um público amplo compreenda o progresso rápido e complexo da IA, independentemente da fluência técnica.
Mais pessoas estão usando IA? Tokens sobem. Passamos de modelos sem raciocínio para modelos de raciocínio? Tokens sobem. Passamos de consultas para agentes? Tokens sobem. Agentes podem trabalhar em segundo plano ou em tarefas de longo prazo? Tokens sobem!
O total absoluto de tokens processados aumenta tanto em função do aumento da adoção da IA, quanto devido a evoluções de infraestrutura que tornam os modelos e fatores de forma de IA mais "famintos por tokens", por exemplo, um agente trabalhando por uma hora vs. 1 minuto.
Essa simplicidade também cria uma forte tese de investimento de crescimento para investidores de venture growth. Todas essas mudanças — tanto na adoção quanto na intensidade de tokens dos modelos — se acumulam para criar um crescimento explosivo e exponencial nos volumes totais de tokens. É fácil de mapear e fácil de acreditar que continuará nessa direção com agentes de longo horizonte e agentes em segundo plano que estão por vir. Não é à toa que a inferência se tornou uma categoria de investimento superaquecida e muitas empresas estão procurando entrar no negócio de inferência.
A desvantagem de um símbolo da IA tão legível e popular quanto a inferência é que ele pode lotar o campo de visão, fazendo com que megatendências emergentes semelhantes passem relativamente despercebidas porque são mais difíceis para um público amplo ver e entender.
Uma tendência em particular é semelhante à inferência em muitos aspectos e está prestes a se tornar uma parte muito maior da discussão sobre IA à medida que se torna mais ubíqua e amplamente compreendida. Este é o mercado para melhorar as capacidades dos modelos por meio de dados, que chamamos de Economia de Tarefas.
A Economia de Tarefas
Nos últimos três anos, os LLMs passaram de responder a consultas básicas, a raciocinar sobre problemas complexos, a se tornarem agentes que podem concluir trabalhos do mundo real em horizontes de tempo cada vez mais longos. No início dessa jornada, as melhorias dos modelos eram feitas treinando-os com os dados disponíveis na internet e quantidades crescentes de computação. À medida que 1) esgotamos os dados disponíveis na internet para treinar e 2) saturamos cada vez mais capacidades simples/gerais, um gargalo claro para novas melhorias dos modelos surgiu: dados incrementais de alta qualidade. Esses dados serão gerados e fornecidos pela Economia de Tarefas.
Tarefas são a "unidade de prática" no aprendizado por reforço: um modelo recebe um estado inicial e um ambiente para atuar, e seu comportamento é pontuado por um sinal de recompensa/verificador. Através de muitas tarefas, essas pontuações são agregadas em um sinal de treinamento que desloca o comportamento do modelo em direção ao que obteve boa pontuação. A rigor, "tarefa" se refere a esse substrato de pós-treinamento de RL. Mas usarei o termo de forma mais ampla para representar a unidade de melhoria orientada por dados em geral, já que a indústria está rapidamente inventando novas formas que os dados assumem a serviço de tornar os modelos melhores, e francamente porque "Economia de Tarefas" soa muito bem. Também quero distinguir esta categoria do apelido ultrapassado de "rotulagem de dados", que traz à mente caixas delimitadoras e polegares para cima/baixo para respostas de LLM — o mercado evoluiu muito além desses primitivos nos últimos dois anos para tarefas muito mais complexas e de alto valor.
Vamos pegar a indústria jurídica como um exemplo rápido e real. Modelos de IA treinados na internet aberta podem obter uma compreensão de alto nível do direito, conhecer precedentes de jurisprudência publicamente disponíveis, etc. Mas produzir o trabalho real de um advogado talentoso requer dados não disponíveis na internet. Para que um modelo replique fluxos de trabalho jurídicos de alta qualidade, devemos dar ao modelo instruções (revisar um contrato, redigir um argumento), colocar o modelo em ambientes relevantes (uma sala de dados jurídicos) e, em seguida, classificar/verificar a qualidade do trabalho (através de uma rubrica, um exemplo da qual você pode ver aqui). Essas tarefas ensinam ao modelo não apenas o que fazer, mas como fazer. E quanto mais tarefas de alta qualidade você expõe o modelo, melhor ele se torna.
Dessa forma, o que os tokens são para o uso do modelo, as tarefas são para os esforços de melhoria do modelo. Tokens são uma unidade fundamental de inteligência e computação de IA; devemos pensar nas tarefas como uma unidade fundamental de melhoria da IA. E assim como os tokens, as tarefas crescem tanto em função da adoção da IA, quanto à medida que a inteligência de fronteira em desenvolvimento se torna cada vez mais "faminta por tarefas".
Isso não é preciso nem abrangente, mas dá alguns exemplos de cada aumento de função degrau na inteligência do modelo exigindo tarefas muito mais numerosas e de maior complexidade.
Passamos de rótulos de preferência básicos para especialistas qualificados usando rubricas? Tarefas aumentam. Introduzimos agentes verticais que replicam trabalho de domínio de nível especialista? Tarefas aumentam. Agentes precisam trabalhar em horizontes mais longos? Tarefas aumentam. Empresas estão adotando avaliações em massa? Tarefas aumentam!
Como o mercado de inferência, essas entradas de crescimento cumulativas produziram um crescimento igualmente sem precedentes para a Economia de Tarefas:
- OpenAI e Anthropic estão escalando seus gastos com dados em 10x ano após ano, gastando bilhões de dólares mobilizando especialistas em todos os domínios para criar dados e treinar agentes.
- As principais empresas de aplicativos de IA e empresas em nossa rede estão escalando seus gastos individuais relacionados a tarefas para US$ 100 milhões+ no curto prazo, à medida que reconhecem que os dados são seu fosso, e que a IA Aplicada com uma estratégia de dados diferenciada pode vencer modelos prontos para uso.
- A Mercor, empresa do portfólio da Benchmark e principal plataforma para a Economia de Tarefas, atingiu US$ 1 bilhão em ARR em fevereiro deste ano e depois atingiu US$ 2 bilhões em ARR apenas 4 meses depois.
A quantidade de tarefas brutas, a duração e complexidade dessas tarefas, e o custo por hora dos especialistas concluindo as tarefas estão todos crescendo, acumulando-se para criar um crescimento exponencial dos gastos totais com tarefas.
E por mais impressionantes que tenham sido os sinais recentes de crescimento neste mercado, estamos claramente apenas no primeiro inning do crescimento e impacto geral deste mercado. Estamos apenas começando a ver agentes que podem replicar trabalho de alta qualidade em qualquer domínio avançado, e as empresas estão apenas começando a escalar gastos este ano, à medida que acordam para a importância dos dados como um diferencial em relação aos laboratórios. Compare isso com o pano de fundo de que 99% do conhecimento humano relevante para as futuras capacidades que queremos que a IA cubra está na cabeça das pessoas. Se acreditamos que empresas de IA aplicada de todos os tipos (laboratórios, empresas de aplicativos de IA, empresas) vão querer transmitir esse conhecimento tácito para modelos e agentes (e acreditamos que vão), estamos preparados para muitos mais anos de crescimento rápido da Economia de Tarefas em um conjunto muito mais amplo de compradores/participantes do que tivemos no passado.
Tornando a Megatendência de Tarefas mais Legível
Tokens e tarefas são barômetros importantes do progresso e evolução da IA, e ambos estão acelerando rapidamente. No entanto, apesar desse crescimento igualmente explosivo, há muito menos conversas sobre tarefas do que sobre tokens online hoje. Acho que isso se deve principalmente a:
1) historicamente, os gastos neste mercado foram concentrados nos laboratórios de fronteira, que são altamente secretos sobre suas estratégias de melhoria de modelos, incluindo seus gastos com dados/tarefas. Isso está mudando rapidamente a partir deste ano, à medida que empresas de aplicativos de IA e empresas abraçam a Economia de Tarefas para construir diferenciação versus modelos prontos para uso. Essas empresas são mais propensas a comercializar seus esforços neste domínio e empurrar a categoria para a conversa regular sobre IA.
e
2) o mercado não teve uma unidade de abstração de valor tão limpa quanto a inferência tem com os tokens. Parte do propósito deste artigo é mudar isso e unificar a conversa em torno das tarefas como uma unidade de valor na qual possamos padronizar. Tokens são uma língua franca que permite que um público amplo compreenda o progresso da IA independentemente da fluência técnica; as tarefas devem agir da mesma forma para permitir que um público amplo compreenda o investimento da indústria no avanço das capacidades de IA.
Dados esses gargalos, a indústria não tem um "OpenRouter para volume de tarefas" ou algo similar hoje que possa nos dar uma visão proxy ao vivo da escala e crescimento da Economia de Tarefas ao longo do tempo. Embora seria extremamente valioso para uma empresa publicar algo assim no futuro, por enquanto a equipe da Mercor foi gentil o suficiente para fornecer um gráfico de horas de especialistas trabalhadas por trimestre em sua plataforma como uma janela para o crescimento exponencial do mercado. Como você pode ver, os dados reais correspondem à magnitude/velocidade de crescimento que discutimos na última seção:
Fonte: Mercor
De muitas maneiras, a Economia de Tarefas é o mercado definidor para o futuro da IA — a barreira para automatizar cada tarefa que podemos fazer em nossos laptops com agentes é cobrir a distribuição completa de todos os aplicativos, todos os ambientes e todas as tarefas que correspondem a tudo na economia. Isso exigirá uma enorme construção de dados em todos os domínios profissionais, disciplinas acadêmicas e casos de uso do consumidor. Direito, medicina, finanças, software, ciência e muito mais exigirão seus próprios conjuntos de dados gerados por especialistas, avaliações e ambientes de RL. Laboratórios, empresas de aplicativos de IA e empresas vão lutar para escalar rapidamente essa infraestrutura de dados em toda a superfície do trabalho economicamente útil e aqueles que tiverem sucesso continuarão a melhorar as capacidades de fronteira e ganhar participação de mercado.
Começaremos a acompanhar esses esforços muito mais de perto como comunidade à medida que a Economia de Tarefas se tornar mais visível e ubíqua nos próximos anos. E em algum momento em breve, quando falarmos de IA, as tarefas reinarão.
Nota de rodapé: Outro lugar óbvio onde veremos melhorias na capacidade geral de IA é em melhorias algorítmicas nos modelos. Eu os excluí para manter o foco deste artigo nos dados, mas é uma escolha de foco/estilística, e não uma desconsideração de que também teremos melhorias algorítmicas no futuro.
