L'Economia dei Token
Oggi, quando parliamo di IA, i token sono il re. In particolare, i token di inferenza sono emersi come parametro principale per monitorare la crescita dell'ecosistema dell'IA. Le aziende pubbliche riportano i token elaborati mensilmente per mostrare la loro crescita nell'IA, gli analisti confrontano il successo dei modelli in base ai volumi relativi di token, e i team di management misurano il loro impegno e investimento nell'IA osservando il loro utilizzo di token nel tempo.
Questa ampia popolarità ha senso; i token sono un'unità fondamentale dell'intelligenza e del calcolo dell'IA, e la crescita dei token è una buona rappresentazione della crescita complessiva dell'IA nel mondo. I token astrangono anche le complessità dell'inferenza in una singola unità di misura, rendendola sia semplice da capire (ci vogliono solo 2 minuti!) che facile da tracciare in modo coerente nel tempo. Come una sorta di lingua franca, i token permettono a un vasto pubblico di comprendere il rapido e complesso progresso dell'IA indipendentemente dalla competenza tecnica.
Più persone usano l'IA? I token aumentano. Siamo passati da modelli non reasoning a modelli reasoning? I token aumentano. Siamo passati da query ad agenti? I token aumentano. Gli agenti ora possono lavorare in background o su compiti a lungo termine? I token aumentano!
Il totale assoluto dei token elaborati cresce sia in funzione dell'aumentata adozione dell'IA, sia grazie alle evoluzioni infrastrutturali che rendono i modelli e i fattori di forma dell'IA più "avidi di token", ad esempio un agente che lavora per un'ora rispetto a un minuto.
Questa semplicità crea anche una forte tesi di investimento per gli investitori venture-growth. Tutti questi cambiamenti — sia nell'adozione che nell'intensità di token dei modelli — si accumulano l'uno sull'altro, creando una crescita esplosiva ed esponenziale dei volumi complessivi di token. È facile da proiettare, e facile credere che continui in questa direzione con agenti a lungo termine e agenti in background all'orizzonte. Non c'è da stupirsi che l'inferenza sia diventata una categoria di investimento rovente e che molte aziende stiano cercando di entrare nel business dell'inferenza.
Lo svantaggio di un poster child dell'IA così leggibile e popolare come l'inferenza è che può affollare il campo visivo, così che megatrend emergenti simili passano relativamente inosservati perché sono più difficili da vedere e comprendere per un vasto pubblico.
Un trend in particolare è simile all'inferenza per molti aspetti ed è destinato a diventare una parte molto più ampia del dibattito sull'IA man mano che diventa più pervasivo e compreso. Questo è il mercato per migliorare le capacità dei modelli tramite i dati, che chiamiamo la Task Economy.
La Task Economy
Negli ultimi tre anni, i LLM sono passati dal rispondere a query di base, al ragionare su problemi complessi, fino a diventare agenti in grado di completare lavoro reale su orizzonti temporali sempre più lunghi. All'inizio di questo percorso, i miglioramenti dei modelli avvenivano addestrandoli sui dati disponibili su internet con quantità crescenti di potenza di calcolo. Da quando 1) abbiamo esaurito ulteriori dati su internet su cui addestrarci e 2) abbiamo saturato capacità sempre più semplici/generali, è emerso un chiaro collo di bottiglia per ulteriori miglioramenti dei modelli: dati incrementali di alta qualità. Questi dati saranno generati e forniti dalla Task Economy.
I task sono l'"unità di pratica" nell'apprendimento per rinforzo: a un modello viene dato uno stato iniziale e un ambiente in cui agire, e il suo comportamento viene valutato da un segnale di ricompensa/verificatore. Su molti task, questi punteggi vengono aggregati in un segnale di addestramento che sposta il comportamento del modello verso ciò che ha ottenuto punteggi migliori. In senso stretto, "task" si riferisce a questo substrato di post-addestramento RL. Ma lo userò in modo più ampio per rappresentare l'unità di miglioramento guidato dai dati in generale, poiché il settore sta rapidamente inventando nuove forme che i dati assumono al servizio del miglioramento dei modelli, e francamente perché "Task Economy" suona semplicemente bene. Voglio anche distinguere questa categoria dall'etichetta datata di "data labeling", che evoca bounding box e pollice su/giù per le risposte dei LLM — il mercato si è evoluto ben oltre questi elementi primitivi negli ultimi due anni, verso task molto più complessi e di alto valore.
Prendiamo l'industria legale come esempio rapido e concreto. I modelli di IA addestrati sul web aperto possono acquisire una comprensione di alto livello del diritto, conoscere precedenti giurisprudenziali pubblicamente disponibili, ecc. Ma produrre il lavoro reale di un avvocato di talento richiede dati non disponibili su internet. Affinché un modello possa replicare flussi di lavoro legali di alta qualità, dobbiamo fornire al modello dei prompt (rivedi un contratto, redigi un'argomentazione), collocare il modello in ambienti pertinenti (una data room legale), e poi valutare/verificare la qualità del lavoro (tramite una rubrica, un esempio della quale puoi vedere qui). Questi task insegnano al modello non solo cosa fare, ma come farlo. E più task di alta qualità esponi al modello, migliori diventano le sue prestazioni.
In questo modo, quello che i token sono per l'utilizzo/inferenza del modello, i task lo sono per gli sforzi di miglioramento del modello. I token sono un'unità fondamentale dell'intelligenza e del calcolo dell'IA; dovremmo pensare ai task come a un'unità fondamentale del miglioramento dell'IA. E proprio come i token, i task crescono sia in funzione dell'adozione dell'IA, sia perché lo sviluppo dell'intelligenza di frontiera diventa sempre più "avido di task".
Questo non è preciso né esaustivo, ma fornisce alcuni esempi di come ogni aumento di livello dell'intelligenza dei modelli richieda molti più task, di complessità superiore
Siamo passati da etichette di preferenza di base a esperti qualificati che usano rubriche? I task aumentano. Abbiamo introdotto agenti verticali che replicano il lavoro di esperti di dominio? I task aumentano. Gli agenti devono lavorare su orizzonti temporali più lunghi? I task aumentano. Le aziende stanno adottando valutazioni su larga scala? I task aumentano!
Come il mercato dell'inferenza, questi input di crescita cumulativi hanno prodotto una crescita altrettanto senza precedenti per la Task Economy:
- OpenAI e Anthropic stanno scalando la loro spesa per i dati di 10x anno su anno, spendendo miliardi di dollari per mobilitare esperti in ogni dominio al fine di creare dati e addestrare agenti.
- Le principali aziende di applicazioni IA e imprese nella nostra rete stanno scalando la loro spesa individuale relativa ai task a 100 milioni di dollari+ nel breve termine, riconoscendo che i dati sono il loro fossato, e che un'IA applicata con una strategia dati differenziata può battere i modelli standard.
- Mercor, azienda del portfolio Benchmark e piattaforma leader per la Task Economy, ha raggiunto 1 miliardo di dollari di ARR questo febbraio e poi ha raggiunto 2 miliardi di dollari di ARR solo 4 mesi dopo.
La quantità di task grezzi, la durata e complessità di questi task, e il costo orario degli esperti che completano i task stanno tutti crescendo, accumulandosi per creare una crescita esponenziale della spesa complessiva per i task
E per quanto impressionanti siano stati i recenti segnali di crescita in questo mercato, siamo chiaramente solo al primo inning della crescita e dell'impatto complessivo di questo mercato. Stiamo appena iniziando a vedere agenti in grado di replicare lavoro di alta qualità in qualsiasi dominio avanzato, e le imprese stanno solo ora iniziando a scalare la spesa quest'anno mentre si risvegliano all'importanza dei dati come elemento di differenziazione rispetto ai laboratori. Confronta questo con il fatto che il 99% della conoscenza umana rilevante per le future capacità che vogliamo che l'IA copra è nelle teste delle persone. Se crediamo che le aziende di IA applicata di ogni tipo (laboratori, aziende di app IA, imprese) vorranno trasmettere questa conoscenza tacita ai modelli e agli agenti (e lo crediamo), allora siamo pronti per molti altri anni di rapida crescita della Task Economy attraverso un insieme molto più ampio di acquirenti/partecipanti rispetto al passato.
Rendere il Mega-Trend dei Task più Leggibile
I token e i task sono importanti barometri del progresso e dell'evoluzione dell'IA, ed entrambi stanno accelerando rapidamente. Eppure, nonostante questa crescita altrettanto esplosiva, ci sono oggi molte meno conversazioni sui task che sui token online. Penso che ciò sia principalmente dovuto a:
1) storicamente la spesa in questo mercato è stata concentrata nei laboratori di frontiera, che sono molto riservati sulle loro strategie di miglioramento dei modelli, inclusa la loro spesa per dati/task. Questo sta cambiando rapidamente a partire da quest'anno, poiché le aziende di app IA e le imprese abbracciano la Task Economy per costruire differenziazione rispetto ai modelli standard. Queste aziende sono più propense a commercializzare i loro sforzi in questo dominio e a spingere la categoria nella conversazione regolare sull'IA.
e
2) il mercato non ha avuto un'unità di astrazione del valore così pulita come l'inferenza ha con i token. Parte dello scopo di questo articolo è cambiare questa situazione e radunare la conversazione attorno ai task come unità di valore su cui possiamo standardizzarci. I token sono una lingua franca che permette a un vasto pubblico di comprendere il progresso dell'IA indipendentemente dalla competenza tecnica; i task dovrebbero agire allo stesso modo per permettere a un vasto pubblico di comprendere l'investimento del settore nel miglioramento delle capacità dell'IA.
Date queste strozzature, il settore non ha oggi un "OpenRouter per il volume dei task" o qualcosa di simile che possa darci una visione proxy in tempo reale della scala e della crescita della Task Economy nel tempo. Sebbene sarebbe estremamente prezioso per un'azienda pubblicare qualcosa del genere in futuro, per ora il team di Mercor è stato così gentile da fornire un grafico delle ore di lavoro storico degli esperti per trimestre sulla loro piattaforma come finestra sulla crescita esponenziale del mercato. Come puoi vedere, i dati reali corrispondono alla magnitudo/velocità di crescita di cui abbiamo discusso nell'ultima sezione:
Fonte: Mercor
Sotto molti aspetti, la Task Economy è il mercato che definisce il futuro dell'IA — la barriera per automatizzare ogni task che possiamo fare sui nostri laptop con gli agenti è coprire l'intera distribuzione di tutte le app, tutti gli ambienti e tutti i task che corrispondono a tutto nell'economia. Ciò richiederà una massiccia costruzione di dati attraverso ogni dominio professionale, disciplina accademica e caso d'uso consumer. Legge, medicina, finanza, software, scienza e oltre richiederanno ciascuno i propri set di dati generati da esperti, valutazioni e ambienti di RL. I laboratori, le aziende di app IA e le imprese lotteranno tutti per scalare rapidamente questa infrastruttura dati su tutta la superficie del lavoro economicamente utile e chi riuscirà continuerà a migliorare le capacità di frontiera e guadagnare quote di mercato.
Inizieremo a monitorare questi sforzi molto più da vicino come comunità man mano che la Task Economy diventerà più visibile e pervasiva nei prossimi anni. E presto, quando parleremo di IA, i task saranno il re.
Nota a piè di pagina: Un altro luogo ovvio in cui vedremo miglioramenti nelle capacità generali dell'IA è nei miglioramenti algoritmici dei modelli. Li ho esclusi per mantenere il focus di questo articolo sui dati, ma è una scelta stilistica/di focus piuttosto che il pensiero che non otterremo miglioramenti algoritmici anche in futuro.
