A Economia dos Tokens
Quando falamos de IA hoje, tokens são rei. Especificamente, tokens de inferência surgiram como o principal indicador para acompanhar o crescimento do ecossistema de IA. Empresas de capital aberto reportam tokens processados por mês para mostrar seu crescimento em IA, analistas comparam o sucesso dos modelos com base em seus volumes relativos de tokens, e equipes de gestão medem seu compromisso e investimento em IA observando seu uso de tokens ao longo do tempo.
Essa popularidade generalizada faz sentido; tokens são uma unidade fundamental de inteligência e computação de IA, e o crescimento no número de tokens é uma boa representação do crescimento geral da IA no mundo. Tokens também abstraem as complexidades da inferência em uma única unidade de medida, tornando-a fácil de entender (leva apenas 2 minutos!) e fácil de acompanhar consistentemente ao longo do tempo. Como uma espécie de língua franca, os tokens permitem que um público amplo compreenda o progresso rápido e complexo da IA, independentemente da fluência técnica.
Mais pessoas estão usando IA? Tokens sobem. Passamos de modelos sem raciocínio para modelos de raciocínio? Tokens sobem. Passamos de consultas para agentes? Tokens sobem. Agentes agora podem trabalhar em segundo plano ou em tarefas de longo prazo? Tokens sobem!
O total absoluto de tokens processados cresce tanto como função do aumento da adoção de IA, mas também devido a evoluções de infraestrutura que tornam os modelos e os formatos de IA mais "famintos por tokens", por exemplo, um agente trabalhando por uma hora vs. 1 minuto.
Essa simplicidade também cria uma forte tese de investimento de crescimento para investidores de venture growth. Todas essas mudanças — tanto na adoção quanto na intensidade de tokens dos modelos — se acumulam umas sobre as outras para criar um crescimento explosivo e exponencial nos volumes gerais de tokens. É fácil de mapear e fácil de acreditar que continuará nessa direção com agentes de longo prazo e agentes em segundo plano no horizonte. Não é à toa que a inferência se tornou uma categoria de investimento superaquecida e muitas empresas estão buscando entrar no negócio de inferência.
A desvantagem de um garoto-propaganda da IA tão legível e popular quanto a inferência é que ele pode congestionar o campo de visão, fazendo com que megatendências emergentes semelhantes passem relativamente despercebidas por serem mais difíceis para um público amplo enxergar e entender.
Uma tendência em particular é semelhante à inferência em muitos aspectos e está prestes a se tornar uma parte muito maior da discussão sobre IA à medida que se torna mais ubíqua e amplamente compreendida. Este é o mercado para melhorar as capacidades dos modelos por meio de dados, que chamamos de Economia das Tarefas.
A Economia das Tarefas
Nos últimos três anos, os LLMs passaram de responder consultas básicas a raciocinar sobre problemas complexos e se tornar agentes que podem realizar trabalhos do mundo real em horizontes de tempo cada vez maiores. No início dessa jornada, as melhorias nos modelos eram feitas treinando-os com os dados disponíveis na internet com quantidades crescentes de computação. À medida que 1) ficamos sem dados adicionais na internet para treinar e 2) saturamos cada vez mais capacidades simples/gerais, um gargalo claro para novas melhorias nos modelos surgiu: dados incrementais de alta qualidade. Esses dados serão gerados e fornecidos pela Economia das Tarefas.
Tarefas são a "unidade de prática" no aprendizado por reforço: um modelo recebe um estado inicial e um ambiente para agir, e seu comportamento é pontuado por um sinal de recompensa/verificador. Em muitas tarefas, essas pontuações são agregadas em um sinal de treinamento que desloca o comportamento do modelo em direção ao que foi bem pontuado. Em sentido estrito, "tarefa" refere-se a esse substrato de pós-treinamento RL. Mas vou usá-lo de forma mais ampla para representar a unidade de melhoria orientada por dados em geral, já que a indústria está rapidamente inventando novas formas que os dados assumem a serviço de tornar os modelos melhores, e, francamente, porque "Economia das Tarefas" soa muito bem. Também quero distinguir esta categoria do rótulo datado de "rotulagem de dados", que traz à mente caixas delimitadoras e joinhas para cima/baixo para respostas de LLMs — o mercado evoluiu muito além desses primitivos nos últimos dois anos, para tarefas muito mais complexas e de alto valor.
Vamos pegar o setor jurídico como um exemplo real rápido. Modelos de IA treinados na internet aberta podem obter uma compreensão de alto nível do direito, conhecer precedentes de jurisprudência publicamente disponíveis, etc. Mas produzir o trabalho real de um advogado talentoso requer dados não disponíveis na internet. Para que um modelo replique fluxos de trabalho jurídicos de alta qualidade, devemos dar ao modelo instruções (revisar um contrato, redigir um argumento), colocar o modelo em ambientes relevantes (uma sala de dados jurídicos) e, em seguida, avaliar/verificar a qualidade do trabalho (por meio de uma rubrica, um exemplo da qual você pode ver aqui). Essas tarefas ensinam ao modelo não apenas o que fazer, mas como fazer. E quanto mais tarefas de alta qualidade você expõe o modelo, melhor ele se torna.
Dessa forma, o que os tokens são para o uso do modelo/inferência, as tarefas são para os esforços de melhoria do modelo. Tokens são uma unidade fundamental de inteligência e computação de IA; devemos pensar nas tarefas como uma unidade fundamental de melhoria da IA. E, assim como os tokens, as tarefas crescem tanto como função da adoção da IA, quanto à medida que a inteligência de fronteira em desenvolvimento se torna cada vez mais "faminta por tarefas".
Isso não é preciso nem abrangente, mas dá alguns exemplos de cada aumento incremental na inteligência do modelo exigindo tarefas muito mais numerosas e de maior complexidade
Passamos de rótulos de preferência básicos para especialistas qualificados usando rubricas? Tarefas sobem. Introduzimos agentes verticais que replicam trabalho de domínio especializado? Tarefas sobem. Agentes precisam trabalhar em horizontes mais longos? Tarefas sobem. Empresas estão adotando avaliações em massa? Tarefas sobem!
Assim como o mercado de inferência, essas entradas de crescimento sobrepostas produziram um crescimento igualmente sem precedentes para a Economia das Tarefas:
- OpenAI e Anthropic estão escalando seus gastos com dados em 10x ano após ano, gastando bilhões de dólares mobilizando especialistas em todos os domínios para criar dados e treinar agentes.
- As principais empresas de aplicativos de IA e empresas em nossa rede estão escalando seus gastos individuais relacionados a tarefas para US$ 100 milhões+ no curto prazo, à medida que reconhecem que os dados são seu fosso, e que a IA Aplicada com uma estratégia de dados diferenciada pode vencer os modelos prontos para uso.
- A empresa do portfólio da Benchmark, Mercor, a plataforma líder para a Economia das Tarefas, atingiu US$ 1 bilhão em ARR em fevereiro passado e, em seguida, atingiu US$ 2 bilhões em ARR apenas 4 meses depois.
A quantidade de tarefas brutas, a duração e complexidade dessas tarefas e o custo por hora dos especialistas que as realizam estão todos crescendo, acumulando-se para criar um crescimento exponencial nos gastos gerais com tarefas
E por mais impressionantes que tenham sido os sinais recentes de crescimento neste mercado, estamos claramente apenas no primeiro inning do crescimento e impacto geral deste mercado. Estamos apenas começando a ver agentes que podem replicar trabalho de alta qualidade em qualquer domínio avançado, e as empresas estão apenas começando a escalar gastos este ano, à medida que acordam para a importância dos dados como um diferencial em relação aos laboratórios. Compare isso com o pano de fundo de que 99% do conhecimento humano relevante para as capacidades futuras que queremos que a IA cubra está na cabeça das pessoas. Se acreditamos que empresas de IA aplicada de todos os tipos (laboratórios, empresas de aplicativos de IA, empresas tradicionais) vão querer transmitir esse conhecimento tácito para modelos e agentes (e acreditamos), estamos preparados para muitos mais anos de crescimento rápido da Economia das Tarefas em um conjunto muito mais amplo de compradores/participantes do que tivemos no passado.
Tornando a Megatendência das Tarefas mais Legível
Tokens e tarefas são barômetros importantes do progresso e evolução da IA, e ambos estão se acelerando rapidamente. No entanto, apesar desse crescimento igualmente explosivo, há muito menos conversas sobre tarefas do que sobre tokens online hoje. Acho que isso se deve principalmente a:
1) historicamente, os gastos neste mercado têm sido concentrados nos laboratórios de fronteira, que são altamente secretos sobre suas estratégias de melhoria de modelos, incluindo seus gastos com dados/tarefas. Isso está mudando rapidamente a partir deste ano, à medida que empresas de aplicativos de IA e empresas tradicionais abraçam a Economia das Tarefas para construir diferenciação em relação aos modelos prontos para uso. Essas empresas são mais propensas a promover seus esforços neste domínio e a empurrar a categoria para a conversa regular sobre IA.
e
2) o mercado não teve uma unidade de abstração de valor tão clara quanto a inferência tem com os tokens. Parte do propósito deste artigo é mudar isso e unificar a conversa em torno das tarefas como uma unidade de valor na qual possamos nos padronizar. Tokens são uma língua franca que permite que um público amplo compreenda o progresso da IA, independentemente da fluência técnica; as tarefas devem agir da mesma forma para permitir que um público amplo compreenda o investimento da indústria no avanço das capacidades de IA.
Dados esses gargalos, a indústria não tem um "OpenRouter para volume de tarefas" ou algo similar hoje que possa nos dar uma visão proxy ao vivo da escala e crescimento da Economia das Tarefas ao longo do tempo. Embora fosse extremamente valioso para uma empresa publicar algo assim no futuro, por enquanto a equipe da Mercor foi gentil o suficiente para fornecer um gráfico de horas de especialistas trabalhadas por trimestre em sua plataforma como uma janela para o crescimento exponencial do mercado. Como você pode ver, os dados reais correspondem à magnitude/velocidade de crescimento que discutimos na última seção:
Fonte: Mercor
De muitas maneiras, a Economia das Tarefas é o mercado definidor para o futuro da IA — a barreira para automatizar cada tarefa que podemos fazer em nossos laptops com agentes é cobrir toda a distribuição de todos os aplicativos, todos os ambientes e todas as tarefas que correspondem a tudo na economia. Isso exigirá uma enorme construção de dados em todos os domínios profissionais, disciplinas acadêmicas e casos de uso do consumidor. Direito, medicina, finanças, software, ciência e além exigirão seus próprios conjuntos de dados gerados por especialistas, avaliações e ambientes de RL. Laboratórios, empresas de aplicativos de IA e empresas tradicionais lutarão para escalar rapidamente essa infraestrutura de dados em toda a superfície do trabalho economicamente útil e aqueles que tiverem sucesso continuarão a melhorar as capacidades de fronteira e ganhar participação de mercado.
Começaremos a acompanhar esses esforços muito mais de perto como comunidade à medida que a Economia das Tarefas se tornar mais visível e ubíqua nos próximos anos. E em algum momento, quando falarmos sobre IA, as tarefas serão rei.
Nota de rodapé: Outro lugar óbvio onde veremos melhorias na capacidade geral de IA é em melhorias algorítmicas nos modelos. Excluí estes para manter o foco deste artigo nos dados, mas é uma escolha de foco/estilística, e não uma crença de que não teremos melhorias algorítmicas no futuro também.
