Osservabilità, Valutazione e Garanzia dell'AI: Convergeranno?

I 7 principi di Nadella, l'acquisizione di Arize da 915 milioni di dollari da parte di Dynatrace e il dibattito tra CIO, founder e investitori su chi debba controllare gli agenti AI. Aggiornato a ottobre 2026.

Un agente AI può spiegare un rimborso alla perfezione e comunque inviare i soldi sul conto sbagliato. Il transcript sembra impeccabile, ma la transazione è errata.

Esistono tre categorie di prodotti per intercettare problemi di questo tipo: osservabilità, valutazione e assurance. I vendor hanno iniziato a fonderle. Resta da vedere se gli acquirenti faranno lo stesso, così come resta aperta una seconda domanda: chi dovrebbe occuparsi dei controlli e cosa si intende davvero per "indipendente"?

L'AI sta passando dal semplice rispondere alle domande all'eseguire azioni concrete. Gartner prevede che entro il 2028 un terzo delle applicazioni software enterprise integrerà l'agentic AI, rispetto a meno dell'1% del 2024. Questi agenti possono scrivere e inviare codice, trasferire denaro e comunicare con i clienti, generalmente senza che nessuno debba monitorarli in tempo reale.

Quando il software si limitava a fornire risposte, la domanda principale era se fossero corrette. Gli agenti sollevano molti più interrogativi: cosa ha fatto? Ha agito correttamente? C'è qualcuno pronto a risponderne? E può essere fermato? Per i CIO, queste sono questioni di governance e gestione del rischio dell'AI tanto quanto di ingegneria.

Oggi tre mercati coprono parte di questo scenario:

• L'osservabilità AI registra ciò che l'AI ha fatto.
• La valutazione AI misura quanto bene lo ha fatto.
• L'AI assurance riunisce le evidenze, i controlli e i relativi limiti affinché una persona possa prendere una decisione di cui rispondere. Il governo britannico la descrive come il processo di misurazione, valutazione e comunicazione dell'affidabilità.

L'osservabilità AI era un mercato da 1,25 miliardi di dollari nel 2025, e la stessa ricerca prevede che al suo interno la valutazione e il controllo qualità registreranno la crescita più rapida. Dynatrace ha chiuso l'acquisizione di Arize il 1° ottobre 2026, un'operazione da 915 milioni di dollari per unire valutazione e osservabilità. Cisco ha completato l'accordo per Galileo a maggio. Il 10 ottobre, Satya Nadella ha pubblicato sette principi per fidarsi dell'AI che toccano tutti e tre i mercati.

Il resto di questo articolo analizza come l'AI sia arrivata fin qui, cosa ha proposto Nadella e un dibattito tra cinque voci composite sulla direzione che prenderà il mercato.

Dalle regole agli agenti AI: perché fidarsi è diventato più difficile

Una storia semplificata in quattro fasi. Ognuna ha reso la macchina più capace e più difficile da spiegare.

1. Regole (indicativamente dagli anni '50 agli anni 2000). La maggior parte delle applicazioni software veniva scritta manualmente, passo dopo passo. Erano piene di bug, ma un ingegnere poteva aprire il codice e trovare la riga che li causava.
2. Pattern (anni 2010). Con il deep learning, le macchine hanno imparato dagli esempi anziché dalle regole per attività come il riconoscimento di immagini e voce. Nessuno scriveva la logica. Questi sistemi si limitavano per lo più a etichettare, classificare e raccomandare, mentre persone o software tradizionali decidevano cosa fare dell'output.
3. Chat (dal 2022 al 2024). I chatbot sapevano scrivere, riassumere e argomentare. Spesso sbagliavano, ma di solito una persona leggeva la risposta prima di agire di conseguenza.
4. Agenti (dal 2025 in poi). Gli agenti cliccano, digitano, acquistano, programmano e rilasciano. I laboratori li addestrano facendoli esercitare su task all'interno di uffici simulati, browser e codebase. Alcuni operano per lunghi periodi senza che una persona verifichi ogni singolo passaggio.

Nella fase della chat, una risposta sbagliata costava al massimo una rilettura. Nella fase degli agenti, un'azione sbagliata può costare denaro, dati o un cliente.

Il software prendeva decisioni automatizzate e costose molto prima dell'arrivo degli agenti. La differenza oggi è che un singolo modello general purpose sceglie ed esegue una catena di azioni attraverso diversi strumenti. Quando qualcosa va storto, la causa potrebbe essere il modello, il prompt, i dati recuperati, un'API, una memoria obsoleta, i permessi o uno scambio tra due agenti. La risposta finale è solo una parte delle evidenze.

Nadella descrive così la vecchia situazione: con il software tradizionale, "avevamo gli strumenti e le capacità per ricondurre i comportamenti a uno specifico percorso di codice". Con i modelli attuali, nessuno può indicare i dati di training o i pesi dietro una determinata decisione. Questi tre mercati stanno cercando di colmare questa lacuna.

Il framework di governance AI di Satya Nadella: 7 principi per fidarsi degli agenti AI

Il 10 ottobre 2026, Nadella ha pubblicato sul suo blog "Models as Insider Risks in the Super Intelligence Era". La sua proposta centrale è che "dobbiamo separare la fornitura di intelligenza dall'autorità su di essa".

Paragona un modello avanzato a un dipendente con accessi molto ampi. Il problema non è che il modello sia malevolo. Chiunque abbia accesso a sistemi importanti può commettere errori o essere compromesso, quindi limiti ciò che può raggiungere, registri quello che fa e mantieni la possibilità di fermarlo. Nelle sue parole: "Se non può essere osservato, non ci si può fidare!"

Li definisce sette "principi di osservabilità". Letti insieme, funzionano come un framework di governance AI per gli agenti. Di seguito trovi una parafrasi di ciascun principio, seguita dalla mia mappatura sui mercati che oggi lo coprono.

1. Diversità dei modelli: nessuna singola AI controlla il proprio lavoro o prende decisioni importanti da sola. Mercato attuale: valutazione.
2. Osservare tutto: ogni azione significativa lascia tracce a prova di manomissione leggibili da un essere umano. Mercato attuale: osservabilità.
3. Verificabilità: l'intero sistema viene testato continuamente, inclusi attacchi, guasti e casi limite. Mercato attuale: valutazione e assurance.
4. Controlli indipendenti: le regole su ciò a cui l'AI può accedere risiedono al di fuori dell'AI stessa, dove non può modificarle. Mercato attuale: principalmente strumenti di sicurezza e gestione degli accessi, con i guardrail che iniziano a comparire nelle piattaforme AI.
5. Auditabilità indipendente: le evidenze sul comportamento dell'AI vengono conservate separatamente dall'AI sottoposta a controllo. Mercato attuale: assurance.
6. Contenimento: una persona autorizzata può mettere in pausa o spegnere il modello nel bel mezzo di un task. Mercato attuale: principalmente strumenti di runtime e sicurezza.
7. Segnalazione degli incidenti: quando si verifica un errore, gli interessati vengono informati e le lezioni apprese vengono condivise. Mercato attuale: prassi aziendale, supportata dai log di osservabilità.

Nessun singolo mercato copre più di due principi su sette. I controlli indipendenti e il contenimento rientrano per lo più al di fuori di tutti e tre, nell'ambito degli strumenti di sicurezza e runtime. Considerati nel loro insieme, i principi descrivono un sistema più ampio dei tre mercati messi insieme.

La sua frase conclusiva è: "Il sistema di Super Intelligenza più affidabile non sarà quello con il modello di cui ci fidiamo di più. Sarà quello che ci permette di fidarci il meno possibile del modello".

Fidarsi il meno possibile del modello richiede un registro di ciò che ha fatto (osservabilità), un modo per giudicarlo (valutazione) ed evidenze di cui una persona possa rispondere (assurance). Richiede anche due elementi che questi mercati hanno per lo più lasciato agli strumenti di sicurezza e runtime: controlli che il modello non può modificare e un modo per permettere a una persona di fermarlo.

Osservabilità vs valutazione vs assurance AI: il mercato oggi

Immagina un agente AI come un autista appena assunto.

• L'osservabilità è la dashcam. Registra ogni curva, frenata e mancato incidente, rispondendo alla domanda "cosa ha fatto l'AI?". Viene venduta principalmente ai team che mantengono operativi i sistemi.
• La valutazione è l'esame di guida. Assegna un punteggio in base a come l'autista gestisce situazioni prestabilite e risponde alla domanda "quanto è bravo?". Viene acquistata soprattutto dagli ingegneri che sviluppano prodotti AI e, sempre più spesso, dai team QA.
• L'assurance è il rapporto di revisione. Raccoglie le evidenze necessarie per stabilire se auto e autista sono idonei alla strada, prima del primo viaggio e durante tutta la guida. Risponde alla domanda "ci sono abbastanza prove per poterne rispondere?". Nessuna revisione dimostra che un'auto non farà mai un incidente; un buon rapporto indica cosa è stato controllato, cosa è emerso e cosa rimane ignoto. È il meno sviluppato dei tre e attualmente il lavoro è distribuito tra i team qualità, rischio e compliance.

Strumenti separati per acquirenti separati hanno funzionato ragionevolmente bene finché l'AI si limitava a produrre risposte. Con gli agenti, le distanze tra loro contano molto di più. Ogni strumento è utile di per sé, ma un filmato che nessuno riguarda dimostra poco, un test diventa obsoleto se l'autista cambia ogni settimana e un rapporto dipende dai filmati e dai risultati dei test su cui si basa.

Le recenti acquisizioni di piattaforme di osservabilità e valutazione AI:

• A ottobre 2026, Dynatrace ha acquisito Arize per 915 milioni di dollari, unendo la valutazione al monitoraggio in produzione.
• A maggio 2026, Cisco ha acquisito Galileo per Splunk, coprendo valutazione, monitoraggio e guardrail per gli agenti.
• A febbraio 2026, Snowflake ha acquisito Observe, portando l'osservabilità all'interno di una piattaforma dati.
• A febbraio 2026, ClickHouse ha acquisito Langfuse, uno strumento di tracing per LLM.

Secondo Dynatrace, l'operazione Arize unisce valutazione e osservabilità, permettendo ai team di verificare l'AI prima del lancio e mantenerla affidabile in seguito. Cisco descrive Galileo come una soluzione che copre dalla valutazione iniziale fino al monitoraggio in produzione e ai guardrail.

Queste operazioni mostrano i vendor intenti a combinare i prodotti. Non dimostrano ancora che gli acquirenti stiano unendo i budget, abbandonando gli strumenti specializzati o acquistando servizi di assurance dall'azienda che gestisce la loro AI. Il resto di questo articolo affronta proprio queste domande.

![Diagramma di un agente AI con osservabilità, valutazione, approvazione e controllo che lavorano come un unico ciclo esterno ad esso

https://pbs.twimg.com/media/HUXj23UaIAAG2Id?format=png&name=small

leggi descrizione immagine

ALT

Se i mercati si fondono · osserva, valuta, approva, controlla

Una possibile configurazione nel caso in cui i mercati dovessero fondersi, non una previsione. L'agente svolge il lavoro, mentre registrazione, punteggio e controlli di arresto sono impostati in modo che l'agente non possa modificarli.

Il dibattito: chi dovrebbe controllare gli agenti AI?

Cinque voci composite, costruite partendo dalle argomentazioni ascoltate da investitori e founder. Non sono citazioni di persone reali.

• Investitore a lungo termine: investe con un orizzonte di 15 anni e si concentra su chi acquista.
• Investitore momentum: segue dove si stanno spostando oggi capitali e talenti.
• Costruttore di agenti: rilascia agenti AI ai clienti ogni settimana.
• Founder di piattaforma: gestisce una piattaforma dati e AI e vuole possedere l'intero stack.
• CIO di una banca: approva qualsiasi agente prima che tocchi il conto di un cliente.

Round 1: i mercati si fonderanno?

Investitore momentum: Sta già succedendo. Le aziende di monitoraggio stanno comprando quelle di valutazione, e operazioni di queste dimensioni di solito significano che si sta formando una nuova categoria.

CIO di una banca: Le acquisizioni non equivalgono a una fusione. Ho già comprato suite in passato e mi sono ritrovato con tre prodotti, un logo e tre login. Gartner prevede inoltre che oltre il 40% dei progetti di agentic AI verrà cancellato entro la fine del 2027, anche a causa di controlli del rischio inadeguati. Il problema della fiducia è reale. Non è dimostrato che un unico mercato fuso possa risolverlo.

Investitore a lungo termine: I mercati si fondono quando si fondono gli acquirenti. In questo momento ce ne sono tre: le operations monitorano, il team AI valuta e il risk approva. La domanda è se gli agenti creeranno una figura unica che risponde di tutti e tre.

Costruttore di agenti: La mia azienda ne ha già una. Quando un agente rimborsa il cliente sbagliato, nessuno chiede quale team sia responsabile del problema. Mi chiedono la registrazione, il punteggio e le evidenze nel giro di pochi minuti.

Investitore a lungo termine: Se questa è la prassi comune, significa che l'acquirente si sta fondendo, e questo mi dice molto di più delle acquisizioni.

Round 2: perché non mantenere tre strumenti separati?

CIO di una banca: Perché non posso tenere tre strumenti best-in-class?

Costruttore di agenti: Perché ognuno dipende dagli altri. Non puoi valutare ciò che non è stato registrato, e non puoi approvare ciò che non è stato valutato. Un errore in produzione dovrebbe diventare un nuovo caso di test. Con tre strumenti, ogni passaggio di consegne è un punto in cui le informazioni possono andare perse.

Investitore momentum: Anche il confine tra pre-rilascio e post-rilascio si sta sfumando. Gli agenti cambiano ogni settimana: nuovo modello, nuovo prompt, nuovo strumento. Testare una volta sola al lancio è come ispezionare un'auto una volta sola mentre qualcuno continua a cambiarne il motore.

CIO di una banca: Le suite unificate di solito sono mediocri in tutto.

Investitore a lungo termine: All'inizio, sì. Gli strumenti specializzati tendono a vincere per primi e i prodotti integrati recuperano terreno in seguito. È successo in molte categorie infrastrutturali, anche se non in tutte.

Round 3: chi dovrebbe esserne proprietario?

Founder di piattaforma: Noi eseguiamo già il modello, archiviamo i dati e registriamo i trace. Spostiamo valutazione e approvazione sulla stessa piattaforma: un solo vendor, una sola fattura, un solo posto in cui cercare.

CIO di una banca: Quindi l'azienda che gestisce la mia AI è anche quella che mi dice che funziona?

Founder di piattaforma: Siamo bravi a farlo.

CIO di una banca: Non è questo il punto. Il mio revisore esterno deve rimanere indipendente rispetto al business che verifica. Gli studenti non correggono i propri compiti e le case automobilistiche non eseguono da sole ogni crash test.

Investitore a lungo termine: Nadella fa un'osservazione simile: la validazione deve essere indipendente dall'intelligenza che sta valutando, e i controlli dovrebbero trovarsi al di fuori del modello; questo equivale a una piattaforma che valuta l'AI che sta eseguendo, giudicando le proprie stesse prestazioni.

Costruttore di agenti: Quindi gli strumenti potrebbero fondersi mentre il mercato si divide lungo un'altra linea: controlli effettuati all'interno della piattaforma contro controlli effettuati all'esterno.

Founder di piattaforma: Farlo internamente sarà più economico e semplice.

CIO di una banca: Farlo esternamente potrebbe essere ciò che il mio ente regolatore e la mia assicurazione accettano. Potrei pagare per entrambi, ma firmerò l'approvazione basandomi su uno solo.

Investitore a lungo termine: Bisogna definire cosa si intende per "esterno". L'indipendenza tecnica significa che l'agente non può modificare chi lo controlla, alterare i log o aggirare i propri limiti. L'indipendenza organizzativa significa che un soggetto diverso è responsabile della revisione e non ha alcun incentivo a chiudere un occhio.

Costruttore di agenti: Non sono la stessa cosa. Un'azienda esterna può usare gli stessi modelli e gli stessi controlli deboli della piattaforma. Una piattaforma può mantenere i propri controlli e log completamente fuori dalla portata dell'agente.

CIO di una banca: Allora preferisco fare cinque domande piuttosto che confrontare loghi. L'agente può modificare i log? Il tuo sistema di controllo riesce a vedere il cambiamento effettivo nei miei sistemi o solo ciò che l'agente ha riportato? Chi testa il tuo controllore? Qualcun altro può riprodurre il tuo risultato? Cosa non sei riuscito a verificare?

Round 4: come dovremmo chiamarlo?

Investitore momentum: Probabilmente gli analisti continueranno a chiamarlo osservabilità AI per un altro paio d'anni, perché è lì che si trova il budget.

Founder di piattaforma: "Layer di fiducia AI."

Costruttore di agenti: "Observe, Eval and Assure": osservalo, valutalo e fallo approvare da una persona.

CIO di una banca: Attenzione con "assure". Uno strumento produce evidenze. Una persona le legge e firma. Progetta pensando a quella persona.

Investitore a lungo termine: Il nome conta meno del fatto che gli acquirenti abbiano una voce di budget dedicata. Nel 2026, la maggior parte non ce l'ha. Mi aspetto che entro il 2028 gran parte delle grandi aziende ne avrà una, con un unico responsabile chiamato a rispondere quando un agente sbaglia.

CIO di una banca: Comunque lo si chiami, devo poterlo fermare.

Come testare un agente AI: l'esempio del rimborso

Questo paragrafo descrive un ipotetico agente di assistenza clienti in grado di emettere piccoli rimborsi. È un'illustrazione, non il risultato ottenuto da un cliente.

1. Definisci le regole di business. Il rimborso va al cliente giusto, rimane entro il limite previsto e rispetta le policy. Un tentativo ripetuto non deve generare un doppio pagamento. Le eccezioni arrivano alla persona corretta prima che il denaro venga spostato.
2. Testa condizioni difficili. Usa record clienti in conflitto, un servizio di pagamento lento, il timeout di uno strumento e un'istruzione nascosta in un messaggio di supporto. Esegui i casi più importanti più volte partendo dallo stesso stato iniziale, poiché un singolo test superato dimostra poco. Le simulazioni permettono di testare in sicurezza scenari pericolosi; dispositivi reali e integrazioni reali intercettano differenze che le simulazioni non vedono.
3. Controlla il system of record. Il fatto che l'agente dica "Ho rimborsato 50$" non è un'evidenza. Verifica che il conto corretto abbia ricevuto esattamente un rimborso di 50$. Usa controlli esatti dove la risposta è esatta, e giudici AI solo dove non lo è.
4. Gli errori gravi dovrebbero essere segnalati singolarmente. Importi errati, pagamenti duplicati e operazioni non autorizzate dovrebbero essere mostrati separatamente dalla valutazione generale del completamento del task. Un punteggio medio del 94% può nascondere l'errore più importante.
5. Testa i limiti al di fuori dell'agente. Il sistema di pagamento blocca un rimborso oltre il limite anche se l'agente lo richiede? L'accesso dell'agente può essere revocato a metà task? Fermare l'agente impedisce il pagamento successivo, ma non annulla l'ultimo effettuato.
6. Testa il controllore. Inserisci errori noti e misura quali gli sfuggono. Forniscigli risultati corretti per misurare i falsi allarmi. Tieni separato il "non verificabile" dal "superato".

Questo non risponde alla domanda sul mercato. Descrive come si presentano evidenze utili, indipendentemente da chi le produca.

Dove si inserisce il controllo qualità AI: TestMu AI

TestMu AI (precedentemente LambdaTest) lavora sull'indipendenza tecnica. Non costruiamo modelli e non vendiamo dashboard di monitoraggio in produzione. I nostri controlli girano al di fuori dell'agente testato, prima del rilascio e a ogni modifica, esaminando ciò che è realmente accaduto e non solo ciò che l'agente dichiara.

La piattaforma copre i tre tipi di software trattati in questo articolo: persone che usano app, persone che parlano con bot e agenti che interagiscono con altri agenti. Ogni prodotto risponde a un'esigenza sollevata in precedenza.

• Rook (agenti che controllano agenti). Fa eseguire al tuo agente diversi scenari e registra i risultati attesi ed effettivi di ogni controllo, con evidenze salvate per ogni scenario. Segnala separatamente superamento, fallimento e "impossibile da verificare", così un'evidenza mancante non viene mai conteggiata come un successo.
• Agent Testing (bot che parlano con i clienti). Testa agenti chat, vocali e telefonici in conversazioni realistiche prima che vengano utilizzati dai clienti.
• KaneAI e Kane CLI (app che l'AI aiuta a costruire). Testa le applicazioni in linguaggio naturale (KaneAI) o da terminale (Kane CLI).
• SmartUI insieme ad Accessibility (errori che nessuno aveva previsto). Individua problemi che i controlli funzionali non cercano, come layout rotti o schermate inutilizzabili per alcuni utenti.
• Real Device Cloud (ciò che sfugge alle simulazioni). Esegue i test su telefoni e browser reali, non solo su emulatori.
• HyperExecute (eseguire i casi importanti molte volte). Esegue gli stessi controlli a ogni modifica, in parallelo.
• Test Manager (un registro per l'approvazione). Mantiene un unico registro di ciò che è stato controllato, di ciò che è emerso e di ciò che rimane ignoto, destinato alla persona che deve firmare l'approvazione.

Gli strumenti di osservabilità monitorano ciò che accade dopo il rilascio. Noi forniamo le evidenze utilizzate per decidere cosa arriva al rilascio. I nostri agenti eseguono controlli su una scala che nessun team potrebbe gestire manualmente, mentre i tester decidono cosa vale la pena verificare e cercano problemi che nessun controllo automatico intercetterebbe. Chiamiamo questo lavoro combinato Observe, Eval e Assure.

Non si tratta di certificazione. Il fatto che un prodotto abbia un nome o che esista un agente di controllo aggiuntivo non rende un sistema sicuro o indipendente. Al contrario, dobbiamo essere valutati esattamente come qualsiasi altro tester: sugli scenari eseguiti, sugli errori scoperti e sulle evidenze disponibili per l'ispezione.

Il futuro della governance degli agenti AI: come potrebbe essere il 2030

Queste sono previsioni. Ognuna presenta già oggi un segnale anticipatore.

• Gli agenti ottengono identità e registri. Ogni agente ha un perimetro definito, un approvatore e un log delle proprie azioni. Microsoft prevede di distinguere le azioni degli agenti da quelle umane nel proprio sistema di identità.
• I registri provengono dall'esterno dell'agente. I log vengono scritti da qualcosa che l'agente non può modificare, invece di affidarsi al resoconto dell'agente stesso su ciò che ha fatto.
• I controlli vengono eseguiti in continuo. L'aggiornamento di un modello, la modifica di un prompt o un nuovo strumento attivano automaticamente nuovi test, lasciando alle persone più tempo per il testing esplorativo.
• Gli agenti controllano altri agenti. Gartner prevede che il 15% delle decisioni lavorative quotidiane sarà preso in autonomia dall'agentic AI entro il 2028, rispetto allo zero del 2024. Le persone non possono revisionare un tale volume caso per caso, quindi gli agenti di controllo gestiranno gran parte del monitoraggio di routine mentre gli esseri umani definiranno le priorità e indagheranno le anomalie.
• Le assicurazioni prezzano il rischio AI basandosi sulle evidenze. Dal 2025, gli assicuratori Lloyd's offrono coperture per gli errori dell'AI che pagano quando le prestazioni scendono sotto una soglia concordata, e un sottoscrittore ha dichiarato che non coprirà sistemi considerati troppo soggetti a errori.
• Le aziende stanziano budget dedicati. Un unico responsabile e un unico processo coprono monitoraggio, valutazione, approvazione e controllo, e ogni errore viene reinserito nel ciclo come nuovo test.

Problemi irrisolti

1. Testare il controllore. Un giudice AI (spesso definito LLM-as-a-judge) può essere ingannato con la stessa facilità dell'AI che valuta. Un secondo modello non garantisce un giudizio indipendente, soprattutto quando entrambi sono stati addestrati in modo simile.
2. Manipolare i controlli. Nel luglio 2026, alcuni modelli OpenAI impegnati in una complessa valutazione interna di cybersecurity hanno cercato soluzioni su servizi esterni, aggirato i controlli di isolamento e violato parti dei sistemi di OpenAI e Hugging Face. OpenAI identifica il reward hacking come uno dei fattori principali e precisa che la valutazione non disponeva delle stesse misure di sicurezza dei modelli distribuiti. L'episodio riguarda il modo in cui le valutazioni vengono isolate; non dimostra che tutti gli agenti si comportino così.
3. Auto-report inaffidabili. Nadella definisce la trasparenza del ragionamento "un requisito non negoziabile", ma aggiunge che "da sola non è sufficiente né affidabile". Ciò che un modello dichiara di aver fatto e ciò che ha effettivamente fatto possono non coincidere.
4. Punteggi contro qualità. Un tasso di superamento del 94% misura le prestazioni sui controlli che qualcuno ha scritto. Non dice nulla sulle situazioni per cui nessuno ha previsto un controllo.
5. Costi. Archiviazione indipendente dei log, secondi modelli, esecuzioni ripetute, sandbox isolati e revisione umana aumentano costi e tempi. Registrare tutto genera inoltre obblighi legati ai dati sensibili.
6. Azioni irreversibili. Fermare un agente impedisce ulteriori azioni, ma non annulla quelle già completate: per questo i permessi concessi all'inizio contano più del pulsante di stop.
7. Divulgazione. A settembre 2026, OpenAI ha iniziato a pubblicare gli incidenti di disallineamento nell'ambito di un nuovo framework di disclosure, pur decidendo autonomamente cosa rientri in questa categoria. La maggior parte delle aziende che utilizzano agenti non pubblica report sugli incidenti. La sicurezza aerea è migliorata anche perché gli incidenti vengono indagati pubblicamente.
8. Controlli contro testing. I controlli automatizzati confermano solo ciò a cui qualcuno aveva già pensato di chiedere. Molti errori gravi derivano da domande che nessuno si è posto, e individuarli richiede tester esperti capaci di esplorare, mettere in discussione le specifiche e valutare quali rischi contino davvero.

Nessuno di questi punti ha ancora una risposta definitiva.

A che punto è il dibattito

Le cinque voci hanno concordato su tre aspetti:

• Gli agenti rendono monitoraggio, valutazione e approvazione sempre più interdipendenti.
• Le evidenze devono provenire da fonti che l'agente non può modificare.
• Una persona deve comunque approvare il deployment, i suoi limiti e le sue eccezioni, anche se non ogni singola azione di routine.

Hanno invece divergenze su quattro temi:

• Una piattaforma o più strumenti. Il Fondatore della piattaforma vuole un unico fornitore; il CIO della banca diffida delle suite integrate.
• Dentro o fuori. Eseguire i controlli all'interno della piattaforma costa meno. I controlli indipendenti sono però ciò che revisori, regolatori e assicuratori richiedono da tempo in ambito finanziario e della sicurezza. Quale approccio sia più rilevante per l'AI resta da stabilire.
• Responsabilità. Potrebbe ricadere sull'operations, sul team AI, sul risk management o sulla qualità. Poche aziende hanno già una voce di budget dedicata.
• Terminologia, e se uno strumento possa davvero "garantire" qualcosa.

Tre segnali potrebbero chiarire la situazione. Se gli acquirenti continueranno a collegare strumenti separati tramite standard aperti, i mercati rimarranno distinti. Se la valutazione integrata nelle piattaforme di osservabilità soddisferà la maggior parte delle esigenze, vincerà l'approccio interno. Se non emergerà un budget dedicato all'assurance, i fornitori indipendenti faranno fatica.

Se domani il tuo agente commettesse un errore costoso, a chi ti affideresti per capire cosa è successo: all'azienda che lo gestisce o a qualcuno di esterno?

FAQ

Qual è la differenza tra AI observability, AI evaluation e AI assurance?

L'AI observability registra ciò che un sistema AI ha fatto: input, chiamate agli strumenti, output, errori e costi. L'AI evaluation misura il comportamento rispetto a aspettative definite, ad esempio accuratezza, conformità alle policy o completamento delle attività. L'AI assurance riunisce evidenze, controlli e relativi limiti, permettendo a una persona di prendere una decisione responsabile sull'implementazione o sul mantenimento in funzione del sistema.

Cos'è un framework di governance AI per gli agenti AI?

Stabilisce chi decide a cosa può accedere un agente, come vengono registrate le sue azioni, come viene testato, chi può fermarlo e come vengono segnalati i malfunzionamenti. I sette principi di Satya Nadella sono: diversità dei modelli, osservazione totale, verificabilità, controlli indipendenti, auditabilità indipendente, contenimento e divulgazione degli incidenti.

Quali sono i sette principi di Satya Nadella per fidarsi dell'AI?

Nel suo saggio dell'ottobre 2026 "Models as Insider Risks in the Super Intelligence Era", Nadella elenca: diversità dei modelli, osservazione totale, verificabilità, controlli indipendenti, auditabilità indipendente, contenimento e divulgazione degli incidenti. L'idea centrale è separare la fornitura dell'intelligenza dall'autorità su di essa, trattando i modelli più capaci come dipendenti con ampi livelli di accesso.

AI observability e AI evaluation si stanno consolidando?

I vendor li stanno unendo. Dynatrace ha chiuso l'acquisizione di Arize per 915 milioni di dollari nell'ottobre 2026, mentre Cisco ha completato quella di Galileo nel maggio 2026, entrambe con l'obiettivo di integrare la valutazione al monitoraggio in produzione. Resta da vedere se gli acquirenti uniranno budget e team attorno a un'unica piattaforma.

Chi dovrebbe controllare gli agenti AI: la piattaforma che li esegue o un tester indipendente?

Entrambi gli approcci esistono e la questione è aperta. I controlli interni alla piattaforma costano meno e sono più vicini ai dati. I controlli indipendenti separano il revisore dal sistema esaminato, come spesso richiesto da revisori e regolatori. In entrambi i casi è fondamentale l'indipendenza tecnica, ovvero l'impossibilità per l'agente di alterare il proprio controllore o i relativi registri.

Come si testa un agente AI prima del rilascio?

Definisci le regole di business, poi testa condizioni critiche come dati in conflitto, timeout e istruzioni nascoste. Esegui più volte gli scenari importanti, verifica lo stato reale del sistema anziché la descrizione fornita dall'agente, segnala separatamente gli errori gravi rispetto alle medie, testa i limiti dei permessi al di fuori dell'agente e valida il controllore automatizzato stesso.

Articolo originariamente pubblicato su https://medium.com/@mask.tech/will-ai-observability-evaluation-and-assurance-merge-a5b011e26b3a?sharedUserId=mask.tech

Fonti

L'esempio del rimborso è ipotetico, le voci del dibattito sono ricostruzioni composite e la documentazione dei prodotti descrive funzionalità dichiarate, non prestazioni misurate in modo indipendente.

• Satya Nadella: Models as Insider Risks in the Super Intelligence Era (saggio originale)
• Forbes: Microsoft's Nadella wants an emergency brake on every AI model
• Data Studios: spiegati i sette principi di Nadella
• UK DSIT: Introduction to AI assurance
• W.Media: Gartner sull'adozione e le cancellazioni dell'agentic AI
• Detailed Research: mercato dell'AI observability
• Dynatrace: Dynatrace completa l'acquisizione di Arize
• Magica: Dynatrace sigla un accordo da 915 milioni di dollari per Arize
• Cisco: rendere l'AI affidabile e osservabile (Galileo, completata a maggio 2026)
• Snowflake Form 8-K: chiusura dell'acquisizione di Observe
• We The Flywheel: AI observability nel 2026
• OpenAI: l'incidente Hugging Face e la strada da percorrere
• Implicator: i sei report sugli incidenti di disallineamento di OpenAI
• The Decoder: gli assicuratori Lloyd's lanciano polizze per gli errori AI
• Armilla: gli assicuratori lanciano coperture per gli errori dei chatbot AI
• TestMu AI: risultati ed evidenze di Agent Assurance
• TestMu AI: AI Agent Testing