Cosa c'è davvero nella bolletta di OpenAI o Anthropic, gli sconti che entrambe pubblicano ma che non puoi raggiungere da una chat box, e perché lo strato che può raggiungerli è appena diventato qualcosa che puoi possedere.
Chiedi alla maggior parte delle persone quanto costa loro l'AI e ti citeranno un abbonamento mensile.
Chiedi quanto costa una singola conversazione e la stanza si fa silenziosa, il che è giusto, perché la risposta onesta è complicata. Sia OpenAI che Anthropic fatturano in un'unità che non puoi vedere, prezzano su quattro assi separati e pubblicano una serie di sconti nella loro documentazione che sono quasi completamente irraggiungibili se sei seduto davanti a una casella di testo.
Niente di tutto questo è nascosto. Tutto è sulle loro pagine dei prezzi e nei loro documenti per sviluppatori proprio adesso. Semplicemente richiede di essere un livello più in basso rispetto a dove si trova la maggior parte delle persone.
Quel divario tra il listino prezzi pubblicato e il prezzo che paga una persona normale non è uno scandalo. È un business, e fino a poco tempo fa non avevi modo di stare dall'altra parte.
Questo articolo spiega cosa c'è realmente nella bolletta, perché le leve reali si trovano dove si trovano, e cosa cambia quando lo strato che le aziona diventa qualcosa che puoi tenere in mano piuttosto che solo pagare. Se vuoi altri contenuti simili sull'AI e sulla proprietà, segui @MossAI_Official.
7 cose nella tua bolletta, direttamente dalla loro documentazione
Tutto ciò che segue è pubblicato da OpenAI o Anthropic. Quasi nulla di tutto ciò è conoscenza comune al di fuori dei team di ingegneria. Le tariffe cambiano costantemente, quindi considera i numeri come illustrazioni della struttura piuttosto che come preventivi fermi.
- L'output costa diverse volte l'input, su entrambe le piattaforme
Ogni modello su entrambi i listini prezzi fattura input e output separatamente, e l'output è sempre molto più costoso. Il rapporto è solitamente compreso tra quattro e sei a uno.
La riformulazione pratica è la parte importante. Ciò che digiti è quasi gratuito. Ciò che il modello risponde è la bolletta. Vincolare la risposta ha un impatto sui costi molto maggiore rispetto a tagliare la domanda, il che è l'opposto di come si comporta quasi tutti.
2. Ti viene fatturato il ragionamento che non ti è permesso leggere
Questa è la cosa che dovrebbe davvero sorprenderti.
La documentazione di aiuto di OpenAI stessa afferma che i token di ragionamento non sono visibili come testo della risposta ma contano nell'utilizzo dell'output e vengono fatturati come token di output, e che una breve risposta visibile può quindi utilizzare più token di quelli suggeriti dal testo visualizzato. La loro guida sul ragionamento conferma che i token di ragionamento grezzi non sono esposti, solo un riepilogo opzionale.
Stai pagando tariffe di output per testo che strutturalmente non ti è consentito vedere.
3. Il tuo limite di output non limita la parte nascosta
Le cose si fanno più nette. La documentazione per l'esecuzione di questi modelli nota che il parametro dei token massimi di output limita l'output visibile mentre i token di ragionamento nascosti non sono vincolati da quel limite.
Ne consegue una conseguenza documentata. Una richiesta può bruciare il suo budget durante la fase di ragionamento e non restituire nulla, con i token già consumati. La guida sul ragionamento di OpenAI riconosce direttamente questo risultato, notando che potresti incorrere in costi per i token di input e di ragionamento senza ricevere una risposta visibile.
Il contatore gira, lo schermo rimane vuoto, e questo è un comportamento documentato, non un bug.
4. Il contesto ripetuto ha uno sconto del novanta percento, e entrambi te lo dicono
La prompt caching è la leva singola più grande nello stack e la maggior parte delle persone non ne ha mai sentito parlare.
La documentazione di caching di Anthropic pone le letture della cache a 0,1 volte il prezzo base di input, con una scrittura in cache di cinque minuti a 1,25 volte e una scrittura di un'ora a 2 volte. OpenAI applica la stessa forma sulle attuali famiglie GPT-5, prezzando l'input in cache a circa dieci percento della tariffa standard di input, con le scritture in cache che portano con sé il proprio premio.
L'aritmetica è dove diventa utile. Con una lettura a un decimo e una scrittura a 1,25 volte, un miss di cache costa circa dodici volte e mezzo quello che costa un hit per lo stesso prefisso, e il punto di pareggio cade a circa due letture. Per qualsiasi cosa che rimanda lo stesso prompt di sistema, schema degli strumenti o documento di riferimento ad ogni chiamata, quella è l'intera differenza tra una piccola bolletta e una grande.
È anche fragile in un modo che vale la pena conoscere. Entrambi i provider memorizzano nella cache tramite corrispondenza esatta del prefisso, quindi un byte modificato in alto nel prompt invalida tutto ciò che sta sotto e il prezzo torna silenziosamente alla tariffa piena.
5. Entrambi dimezzeranno la bolletta per il lavoro che può aspettare
OpenAI e Anthropic gestiscono ciascuno un livello batch asincrono con uno sconto del cinquanta percento su input e output. La documentazione dei prezzi di Anthropic afferma esplicitamente che i moltiplicatori di caching si accumulano con lo sconto batch.
Accumularli e un token di input in cache dentro un batch arriva a una piccola frazione dello standard. Non funziona per nulla di interattivo, ed è precisamente per questo che nessun prodotto consumer lo espone a te.
6. Lo sconto dipende da quale ID modello stai usando, non da quale modello pensi di usare
Ecco una cosa che quasi nessuno controlla.
Lo sconto di caching non è uniforme attraverso il catalogo di un provider. Su OpenAI, le attuali famiglie GPT-5 ottengono circa novanta percento di sconto sull'input in cache, mentre i modelli di generazione precedente hanno sconti considerevolmente minori. Su Anthropic il moltiplicatore standard di lettura cache è 0,1 volte l'input base, con alcuni nuovi modelli che vanno ancora oltre.
Stesso provider, stesso nome di funzione, economie materialmente diverse a seconda di una stringa nella tua configurazione. Gli ID dei modelli legacy sono peggiori di quanto suggerito. I modelli Anthropic ritirati ancora raggiungibili attraverso partner cloud mantengono le loro tariffe originali, che possono essere diverse volte il prezzo attuale per un modello meno capace.
Qualcuno ha impostato quella stringa una volta e nessuno ci è tornato sopra. È lì che vive una quantità sorprendente di spesa eccessiva.
7. Attraversare una soglia di contesto può riprezzare l'intera richiesta
La più sottile, e quella con la forma più fastidiosa.
OpenAI pubblica tariffe separate per contesti lunghi su alcuni modelli, e la meccanica non è quella che le persone presumono. Sopra la soglia, l'intera richiesta viene riprezzata, non solo i token sopra la linea. Un token oltre e l'intera chiamata costa circa il doppio.
Anthropic ha preso una posizione diversa su questo. Sui recenti modelli Claude l'intera finestra di contesto viene fatturata alle tariffe standard per token, con gli sconti di caching e batch che si applicano all'intera finestra.
Questa è una vera differenza strutturale tra le due piattaforme ed è invisibile da qualsiasi interfaccia consumer. Se il tuo carico di lavoro esegue contesti lunghi, può dominare ogni altra considerazione sui prezzi.
Le leve sono pubbliche. Tu comunque non puoi raggiungerle.
Ecco il punto strutturale.
Ogni leva sopra descritta vive al livello API. Raggiungerle richiede il controllo sulla struttura del prompt affinché la cache colpisca davvero, il routing dei modelli affinché il lavoro giusto vada al livello di prezzo giusto, il batching per il lavoro che può tollerare latenza, il controllo dello sforzo di ragionamento e la consapevolezza di in quale livello di contesto cade una richiesta.
Da un'interfaccia chat consumer hai una casella di testo e un addebito mensile. Non puoi instradare, non puoi fare batching, non puoi strutturare un prefisso di cache, e non puoi vedere quanto ti sta costando la tua impostazione di sforzo di ragionamento.
Quindi esiste uno spread. Da una parte c'è ciò che un operatore competente ottiene combinando queste cose. Dall'altra c'è ciò che paga un utente ordinario. Nessuno viene truffato. Gli sconti sono superfici di ingegneria, non funzionalità consumer, e i prodotti consumer non sono costruiti per esporli.
Le aziende che vivono dentro quello spread sono relay, gateway e aggregatori. Si siedono tra utenti e provider, instradano verso il modello sufficiente più economico, mantengono calde le cache così che il contesto ripetuto non venga riacquistato a prezzo pieno, raggruppano ciò che può essere raggruppato, e consegnano all'utente qualcosa di più semplice di una API grezza.
Il loro ricavo è lo spread. Ed è qui che la cosa diventa interessante.
Un relay è un business di throughput, e questo è raro qui
La maggior parte delle cose in questo mercato sono scommesse. Prendi una posizione, hai ragione o torto, il risultato oscilla.
Un relay è una barriera del pedaggio. Il volume passa, il margine matura per unità, e l'economia scala con l'utilizzo piuttosto che con qualcuno che ha ragione.
Tre proprietà seguono, e tutte e tre sono rare.
Il ricavo è per unità e continuo. Non irregolare, non guidato da eventi, non contingente sul fatto che una chiamata vada nella direzione giusta. I token fluiscono, il margine matura, ora dopo ora.
La domanda è non correlata alle crypto. Le persone che scrivono codice, generano video e eseguono assistenti non controllano prima il mercato. Il driver di consumo è l'adozione dell'AI, che è una delle pochissime cose in questa industria che non si muove insieme a tutto il resto.
L'attività è un conteggio, non un'interpretazione. Il throughput è misurabile senza un argomento di attribuzione. Nessuna domanda se un buon mese fosse abilità o fortuna. Le richieste sono passate attraverso o no.
Quest'ultima conta più di quanto sembri. La parte difficile nel rendere qualcosa possedibile è provare cosa ha fatto. Un business di throughput ha una distanza insolitamente corta tra ciò che è successo e ciò che può essere mostrato.
Model Max, e possedere la barriera del pedaggio invece di pagarci solo attraverso
Model Max è un relay API di token, ed è attivo ora come agente di riscatto su Moss Agent Marketplace.
La metà del prodotto è semplice. Accesso ai modelli attraverso una sola rotta, con routing, caching e batching gestiti allo strato dove quelle decisioni sono effettivamente disponibili piuttosto che allo strato dove sei bloccato con una casella di testo.
L'altra metà è la parte degna di attenzione. Come agente sul Marketplace, il relay non è solo qualcosa che usi. È qualcosa in cui puoi detenere una posizione.
Quella forma è diversa dalla maggior parte di questa categoria. L'attività di un relay è vicina all'input ideale per una claim verificabile, perché il throughput è un fatto piuttosto che una narrazione. Nessun track record da interpretare, nessuna storia di performance da accettare sulla fiducia. L'utilizzo è avvenuto o no, e questo è leggibile.
È anche il secondo agente di riscatto che abbiamo lanciato dove la cosa che viene usata e la cosa che viene posseduta sono lo stesso oggetto. Puoi essere un cliente del relay e un detentore di esso allo stesso tempo, e la seconda relazione non è un livello di fedeltà. È una posizione.
Abbiamo iniziato con agenti di trading perché il trading è il banco di prova più duro che esista. Un numero è reale o è una storia, e la blockchain non ti permette di mentire su quale sia. Gli agenti di riscatto portano quello stesso standard a persone che non apriranno mai un perp. Ciò che viene dopo questi spinge ancora oltre, verso sistemi che non semplicemente girano sulla chain ma emettono e operano su di essa da soli.
Di più su questo quando sarà lanciato piuttosto che prima.
4 cose da fare questa settimana, qualunque cosa tu usi
Nessuna di queste richiede Moss.
Smetti di ottimizzare la lunghezza del prompt e inizia a vincolare l'output. Stai pagando per la risposta, non per la domanda. Chiedere cinquanta parole invece di cinquecento fa circa dieci volte di più per la tua bolletta che modificare il tuo prompt.
Controlla cosa ti sta comprando la tua impostazione di sforzo di ragionamento. Su compiti che non richiedono deliberazione, uno sforzo alto è denaro speso per token nascosti che migliorano nulla di ciò che ricevi effettivamente. Questo è il modo più comune in cui le persone pagano troppo senza mai accorgersene.
Apri la tua configurazione e leggi l'ID del modello. Non il nome del modello che pensi di usare, la stringa effettiva. Poi controllala contro il listino prezzi attuale. Gli ID più vecchi portano silenziosamente economie più vecchie, e talvolta sconti di caching considerevolmente peggiori, per un modello meno capace.
Se costruisci qualcosa, misura il tasso di hit della cache prima di ottimizzare qualsiasi altra cosa. I campi di utilizzo nella risposta ti danno la divisione tra input fresco, scritture in cache e letture in cache. Zero letture su chiamate ripetute significa che qualcosa in alto nel tuo prompt sta cambiando e invalidando tutto ciò che sta sotto. Questa è una differenza di costo di dodici volte che si nasconde dietro un byte.
L'abitudine sottostante a tutte e quattro è la vera lezione. Tratta la spesa AI come una bolletta con una struttura piuttosto che un abbonamento con un numero. Una volta che la struttura è visibile, lo è anche la domanda di chi è posizionato dove al suo interno.
Cosa fare ora
Vai su moss.site e guarda Model Max. Usalo come relay se è ciò di cui hai bisogno. Guarda cosa significa detenere una posizione in uno se è ciò che ti interessa. Entrambi sono attivi, e sono lo stesso oggetto, che è la parte che pensiamo sia nuova.
Ogni economia alla fine stabilisce chi possiede la sua infrastruttura. L'economia AI è attualmente nella fase in cui tutti pagano alla barriera del pedaggio e nessuno ha pensato di chiedere chi la possiede.
Quella domanda resta aperta ancora per un po'.
Fonti
- OpenAI Help Center, Comprendere e contare i token, sui token di ragionamento fatturati come output pur non essendo visibili come testo della risposta: https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them
- Guida ai modelli di ragionamento di OpenAI, sui token di ragionamento grezzi non esposti e sull'incorrere in costi senza una risposta visibile: https://developers.openai.com/api/docs/guides/reasoning
- Pagina dei prezzi API di OpenAI, per le attuali tariffe di input, input in cache e output per modello, livelli batch e flex, e tariffe per contesti lunghi: https://openai.com/api/pricing/
- Microsoft Learn Q&A sulla fatturazione Azure OpenAI, sui token di ragionamento nascosti inclusi nella fatturazione e sul parametro dei token massimi di output che non li vincola: https://learn.microsoft.com/en-us/answers/questions/5542366/why-did-azure-report-more-completion-tokens-than-m
- Documentazione di prompt caching di Anthropic, sulle letture cache a 0,1 volte l'input base, i moltiplicatori di scrittura, e l'accumulo con lo sconto Batch API: https://platform.claude.com/docs/en/build-with-claude/prompt-caching
- Pagina dei prezzi di Anthropic, per le attuali tariffe per modello e lo sconto Batch API: https://claude.com/pricing
