Un collega mi ha fatto una domanda banale al lavoro e ho usato un agente per cercare tra le mie chat recenti e i miei documenti. Ha trovato la risposta giusta, ma mi è costata 38 $!!!. Un pessimo ROI. Certo, il mio tempo ha un valore, ma non avrei davvero speso quel tempo e questo compito non richiedeva realmente capacità di pianificazione avanzate (e costose).
Possiamo fare meglio.
La piattaforma Gemini Enterprise Agent Platform di Google Cloud offre Model Garden, con un comodo accesso API a molti dei migliori modelli, inclusi quelli di Google, Anthropic e persino xAI. In realtà, ogni modello su Hugging Face è disponibile per essere distribuito in autonomia, ma per questo articolo ci concentreremo sul nuovo Claude Fable 5.1 di Anthropic e sul nuovo Gemini 3.8 Flash di Google. Gli sviluppatori hanno ora due modelli frontier dalla struttura diversa dietro la stessa identica superficie API enterprise.
Fable 5.1 introduce la pianificazione autonoma di classe Mythos, una finestra di contesto da 1 milione di token e una diligenza profonda multi-step. Gemini 3.8 Flash offre un ragionamento quasi-frontier e una velocità di elaborazione dei token incredibile all'economia Flash ($0,75 per milione di token in input, $3,75 per milione di token in output) con controlli del pensiero regolabili.
Potrebbe sembrare facile scegliere uno solo e instradare tutto attraverso di esso. È un errore.
Se fai passare la routine dello sviluppo attraverso un pianificatore profondo, stai pagando tariffe token frontier per analizzare diff git. Se forzi un modello veloce ad affrontare una migrazione di database irreversibile senza un piano formale, procederà a testa bassa e romperà lo stato prima che tu finisca il caffè.
Possiamo ottenere un miglioramento enorme della "tokenomics" molto semplicemente, utilizzando 2 modelli e indirizzando i compiti.
Di Alan Blount (@zeroasterisk
Ecco la guida completa per arrivarci:
- Configura entrambi i modelli dietro un singolo piano di governance unificato.
- Esegui benchmark sui compiti di routine prima di scegliere un default.
- Usa il modello veloce come coordinatore di prima linea e usa il pianificatore profondo quando sai di aver bisogno di più potenza o quando il modello veloce deve escalation.
- Costruisci un modello mentale sul Task ROI e sul valore (non solo il costo) dei tuoi token.
1. Configura entrambi i modelli dietro un singolo piano di governance unificato
Scegliere la tua piattaforma di inferenza LLM richiede considerazioni su molte scelte di design. Costo, capacità, sicurezza, scelta del modello, funzionalità di serving, attrito per gli sviluppatori, ancora più sicurezza (le chiavi API sono rischiose). Gemini Enterprise Agent Platform (ex Vertex AI) è un'opzione completa con capacità uniche, e poiché espone sia i modelli Gemini che Anthropic come API gestite, una singola autenticazione sicura copre entrambi i carichi di lavoro.
Ma siamo onesti, alcuni percorsi hanno più attrito di quanto vorrei. Mi piace scherzare dicendo che "le cose impossibili sono facili, ma le cose facili sono difficili". Questo è parte del motivo per cui sto scrivendo questo post.
Prima di occuparti dei modelli, effettua il login a gcloud, leggi la documentazione per le varianti.
1gcloud auth application-default login
Per ottenere l'accesso a Claude Fable 5.1, devi abilitare l'API e poi abilitare Claude Fable 5.1 e compilare un modulo molto rapido sul tuo caso d'uso. Ma non hai ancora finito.
Ora Fable rientra nell'Advanced AI Safety Addendum di Google Cloud. Prima di poter inviare anche un solo prompt a aiplatform.googleapis.com, devi configurare esplicitamente la condivisione delle risposte ai prompt e accettare i termini dell'editore a livello di progetto.
Ecco le istruzioni esatte funzionanti per l'endpoint globale, leggi la documentazione per le varianti.
Prima impostiamo alcune variabili che ci saranno utili. Nota che il nome del modello nel percorso URL è claude-fable-5-1 con trattini, non punti, e assicurati di inserire il tuo ID progetto e la posizione, quindi eventualmente cambia il tuo endpoint a seconda della tua regione:
1export PROJECT_ID="YOUR_PROJECT_ID"2export LOCATION="global"3export MODEL="claude-fable-5-1"45# Endpoint globale: aiplatform.googleapis.com (consigliato)6# Endpoint multi-regionali: aiplatform.eu.rep.googleapis.com7# Endpoint regionali: us-central1-aiplatform.googleapis.com8export ENDPOINT="https://aiplatform.googleapis.com"
Quindi chiama l'API setPublisherModelConfig impostando dataSharingEnabledProvider su ANTHROPIC - nota che è tutto in maiuscolo:
1curl -X POST \2 -H "Authorization: Bearer $(gcloud auth print-access-token)" \3 -H "Content-Type: application/json; charset=utf-8" \4 -d '{ "publisherModelConfig": { "dataSharingEnabledProvider": "ANTHROPIC" } }' \5"${ENDPOINT}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/publishers/anthropic/models/${MODEL}:setPublisherModelConfig"
La chiamata iniziale restituisce un oggetto operazione completato che conferma che la condivisione dei dati è attiva:
1{2 "name": "projects/YOUR_PROJECT_NUMBER/locations/global/operations/1234567",3 "metadata": {4 "@type": "type.googleapis.com/google.cloud.aiplatform.v1beta1.SetPublisherModelConfigOperationMetadata",5 "genericMetadata": {6 "createTime": "...",7 "updateTime": "..."8 }9 },10 "done": true,11 "response": {12 "@type": "type.googleapis.com/google.cloud.aiplatform.v1beta1.PublisherModelConfig",13 "loggingConfig": {},14 "dataSharingEnabledProvider": "ANTHROPIC"15 }16}
Se hai già fatto questo, riceverai un errore HTTP 409 che indica che questa impostazione esiste già:
1409 ALREADY_EXISTS: The same PublisherModelConfig already exists.
Questo 409 non è affatto un problema.
Prova il tuo accesso al modello e dovresti ricevere una risposta:
1curl -X POST \2 -H "Authorization: Bearer $(gcloud auth print-access-token)" \3 -H "Content-Type: application/json; charset=utf-8" \4 -d '{"anthropic_version": "vertex-2023-10-16","messages": [{"role": "user", "content": "Hello world."}], "max_tokens": 1024, "stream": true}' \5"${ENDPOINT}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/publishers/anthropic/models/${MODEL}:streamRawPredict"
Se non hai eseguito correttamente questa procedura, riceverai un errore HTTP 403 che appare così:
1403 PERMISSION_DENIED: Access to this model requires data sharing to be enabled for publisher 'anthropic'. Please set `PublisherModelConfig.data_sharing_enabled_provider`2to 'anthropic' via the setPublisherModelConfig API to use this model.
Per ottenere l'accesso a Gemini 3.8 Flash, assicurati di vederlo come model card abilitata e dovrebbe funzionare subito:
1curl -X POST \2 -H "Authorization: Bearer $(gcloud auth print-access-token)" \3 -H "Content-Type: application/json; charset=utf-8" \4 -d '{"contents": [{"role": "user", "parts": [{"text": "Hello world"}]}],"generationConfig": {"thinkingConfig": {"thinkingLevel": "LOW"}}}' \5"${ENDPOINT}/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}/publishers/google/models/gemini-3.8-flash:streamGenerateContent"
… uffa. Ce l'abbiamo fatta 🎉!
Hai bisogno di più quota? Puoi gestire le quote per qualsiasi modello e pagare per il throughput provisioned per alcuni modelli.
2. Non fidarti dei benchmark, esegui i tuoi
Se chiedi a cinque ingegneri quale modello usare per una configurazione agentica, otterrai più di cinque opinioni contrastanti basate sulle sensazioni di Twitter e sulle classifiche sintetiche.
I benchmark pubblici forniscono una risorsa fantastica, ma testano prompt isolati o sempre più spesso compiti nel vuoto. I casi d'uso di produzione, o i tuoi agenti SDLC agentic locali, non corrispondono mai perfettamente ai benchmark pubblici. Il tuo lavoro ha una forma diversa rispetto a qualsiasi benchmark, oggi.
Quindi potresti costruire i tuoi benchmark (Agent Ops ed Evals FTW!) e automatizzare questo su larga scala, oppure puoi semplicemente eseguire i tuoi semplici compiti fianco a fianco. Finché non cambi i file nel tuo compito, dovresti stare bene e con quasi nessuno sforzo ottieni un'idea dei compiti.
Ecco un esempio usando promptfoo per far eseguire a opencode gli stessi 2 compiti con ciascun modello. Dovresti cambiare la descrizione del compito e configurare il tuo ambiente affinché funzioni, ma non dovrebbe essere troppo difficile.
GIF
1# opencode.json2{3 "$schema": "https://opencode.ai/config.json",4 "provider": {5 "google-vertex": {6 "options": { "project": "alanblount-demo", "location": "global" },7 "models": {8 "gemini-3.8-flash": { "id": "gemini-3.8-flash", "name": "Gemini 3.8 Flash" }9 }10 },11 "google-vertex-anthropic": {12 "options": { "project": "alanblount-demo", "location": "global" },13 "models": {14 "claude-fable-5-1": { "id": "claude-fable-5-1", "name": "Claude Fable 5.1" }15 }16 }17 },18...
Configura Promptfoo per confrontare le esecuzioni di compiti agentici di opencode, non solo singoli prompt e modelli.
1# promptfooconfig.yaml2description: "Benchmarking OpenCode Agent Harness: Gemini 3.8 Flash vs. Claude Fable 5.1"34prompts:5 - "Summarize git branch status in one sentence."6 - "Design a zero-downtime database migration strategy from Postgres to Spanner."78providers:9 - id: "exec:opencode run --auto -m google-vertex/gemini-3.8-flash"10 label: "Gemini 3.8 Flash (OpenCode Agent)"11 - id: "exec:opencode run --auto -m google-vertex-anthropic/claude-fable-5-1"12 label: "Claude Fable 5.1 (OpenCode Agent)"1314defaultTest:15 options:16 timeoutMs: 60000
Esegui il tuo confronto fianco a fianco usando Promptfoo:
promptfoo eval -c promptfooconfig.yaml --no-cache
Ecco i miei risultati dall'esecuzione di questa valutazione in un container di sviluppo pulito:
Quando controllava un ramo PR, Claude Fable 5.1 ha condotto più turni di meta-riflessione, re-ispezionando hash degli alberi che non erano cambiati. Ci sono voluti quasi 6 secondi e è costato 23 volte di più. Gemini 3.8 Flash ha riconosciuto l'intento istantaneamente, ha attivato gli strumenti git e ha risposto in 1,1 secondi per meno di un decimo di centesimo.
Sulla complessa migrazione del database, la situazione si è ribaltata. Gemini 3.8 Flash ha prodotto una sequenza lineare solida e pulita in 3 secondi. Ma Fable 5.1 ha speso 12 secondi generando un grafo aciclico diretto (DAG) completo e formale. Ha identificato rischi di skew dell'orologio nelle scritture duali, generato requisiti di chiave di idempotenza e definito una gate di rollback reversibile.
Questo è solo un esempio illustrativo, dovresti confrontare con i tuoi propri compiti.
3. Uso pratico nella quotidianità e in produzione
Che tu utilizzi strumenti di coding pronti all'uso o costruisca servizi agentici personalizzati, il pattern vincente è il coordinamento asimmetrico: velocità economica per l'esecuzione di prima linea, abbinata a profondità deliberata per i checkpoint architetturali. Spendi token costosi su problemi difficili o lavori di pianificazione, ma usa come default token più economici per compiti più semplici.
Harness di Coding Agent (OpenCode, Aider, ecc.)
Non forzare un modello a essere il tuo default universale. Configura subagent specializzati mappati a modelli distinti. Usare lo stesso provider unificato comporta benefici di sicurezza e costi. Usare famiglie di modelli diverse può beneficiare dal fatto che si controllino a vicenda.
Usa l'agente pensatore profondo per identificare la causa radice e pianificare una soluzione per questo problema, e poi usa l'agente worker per gestire ciascuno dei compiti e riportare lo stato. Il pianificatore profondo controlla il loro lavoro e conferma il successo o riassegna.
1# opencode.json2{3 "$schema": "https://opencode.ai/config.json",4 "model": "google-vertex/gemini-flash-latest",5 "agent": {6 "plan": {7 "model": "google-vertex/gemini-flash-latest"8 },9 "build": {10 "model": "google-vertex/gemini-flash-latest"11 },12 "worker": {13 "model": "google-vertex/gemini-3.8-flash",14 "mode": "primary",15 "description": "General worker agent using gemini-3.8-flash"16 },17 "deep-thinker": {18 "model": "google-vertex-anthropic/claude-fable-5-1@default",19 "mode": "primary",20 "description": "Deep thinking agent using Claude Fable 5.1"21 }22 },23...
Agenti Personalizzati "as a Service" (Google ADK, LangGraph, codice custom, ecc.)
Quando costruisci i tuoi harness agentici e i tuoi servizi agentici, hai completa libertà architetturale
- Rimodella l'harness per il modello: Dai a Gemini 3.8 Flash da 3 a 5 strumenti focalizzati (read_file, write_file, run_tests) con schemi JSON rigorosi. I modelli veloci eccellono nell'esecuzione focalizzata, ma un catalogo di 50 strumenti causa confusione nei parametri e spreco di contesto. Dai a Claude Fable 5.1 documenti di architettura, schemi e linee guida, ma rimuovi i permessi diretti di scrittura file.
- Basati sugli Evals: Non indovinare quale modello si adatta a quale nodo. Esegui suite di valutazione automatizzate con controlli di asserzione deterministici sui compiti del tuo repo per trovare dove un modello più piccolo offre il 95% della qualità al 10% del costo. È facile da dire ma difficile da fare, difficile sapere quali scenari vuoi valutare. Dai un'occhiata ai nostri corsi Kaggle di 5 giorni (agents, videcoding) per ulteriori informazioni.
- Usa il Pattern di Escalation "Chiedi Aiuto": Inizia ogni richiesta in entrata sul worker veloce. Dai al worker uno strumento esplicito: ask_for_help(reason, failed_attempts, context). Il worker gestisce direttamente l'85% al 90% delle richieste. Effettua escalation solo in caso di ambiguità, azioni irreversibili o due fallimenti consecutivi degli strumenti.
Il Reality Check sui Router di Modelli "Smart" Automatizzati
I router smart hanno una lunga storia nel ML predittivo (ad tech, rilevamento frodi). I banditi multi-braccio e i router costo-qualità sono maturi perché le feature sono tabellari, gli input sono limitati e il feedback (click, chargeback) è sia immediato che misurabile su un orizzonte temporale lungo.
Nell'IA generativa, gli agenti multi-turno sono un'altra storia. I router dinamici possono avere difficoltà con tre realtà di produzione:
- Il contesto a turno singolo potrebbe non contenere abbastanza segnale sul compito, per scegliere
- Le metriche di successo non sono chiaramente estrapolate alle feature, quindi il router non può "imparare" rapidamente
- Le scelte errate vengono ri-eseguite sull'altro percorso, erodendo eventuali potenziali risparmi e aggiungendo latenza
Il Verdetto: Mantienilo noioso. Componi i tuoi agenti esplicitamente e instrada per confine del compito. Definisci ruoli chiari e lascia che asserzioni di codice concrete o l'intento umano controllino i passaggi di consegne.
4. L'Equazione Token ROI: Per Cosa Stai Realmente Pagando?
I fogli prezzi grezzi ($/1M token) non sono una buona mappa del valore di produzione. Calcolare i costi è solo una parte dell'equazione. È impossibile darti un calcolo che funzionerà sempre, attraverso coding, prodotto, manifattura e ogni altro job-to-be-done là fuori.
Un punto di partenza potrebbe essere pensare al valore di business che stai ottenendo.
- Il costo del tempo umano risparmiato, dipendenti che completano più lavoro e spendono meno tempo in toil e compiti automatizzati.
- Il valore di spedire feature in produzione più velocemente, migliorando al contempo la soddisfazione e la retention dei clienti grazie a quelle feature.
- Gli errori mitigati e le interruzioni di produzione evitate grazie a salvaguardie e pratiche di ingegneria migliorate.
Sottrai il costo dei token, e il costo di upskilling del tuo team per costruire e gestire i loro agenti e hai un calcolo approssimativo del ROI.
Puoi influenzare questi calcoli usando meno e più economici token, ma probabilmente li influenzerai di più facendo più lavoro, più velocemente. Scegli compiti ad alto leverage. Scegli compiti che risultano in overhead risparmiato o ricavi aumentati, che possono essere verificati, e che valgono la pena di essere automatizzati. E mentre decomponi quei compiti, forse vuoi pensare super profondamente e pianificare e sei disposto a pagare di più e aspettare, o forse vuoi eseguire velocemente e affidabilmente. Avrai bisogno di entrambi.
La Tokenomics è un argomento caldo adesso, e ci sono molte più opzioni per ridurre i costi e massimizzare il valore. Il punto principale di questo articolo è che è davvero semplice configurare alcuni diversi agenti su 2 modelli con profili diversi e instradare i compiti da soli. Quello è il posto più facile per iniziare.
Se hai trovato utile questa analisi, dai un'occhiata al nostro precedente pezzo su 5 cose che ogni ingegnere IA dovrebbe sapere sugli sandbox agentici. Segui @GoogleCloudTech e @zeroasterisk per altri approfondimenti dalle trincee dei builder.
