Come si valuta un agente AI prima di attivarlo davvero

Un titolare di studio commercialista che sta valutando un agente per la lettura automatica delle fatture fa quasi sempre la stessa domanda: "funziona?". È la domanda sbagliata, o meglio, è incompleta. Un agente AI può funzionare benissimo su cento casi di test e fallire in modo silenzioso su un caso reale che nessuno ha previsto — perché la variabilità del mondo reale non è quella di un ambiente controllato.

La domanda utile è un'altra: quanti compiti chiude da solo senza che nessuno intervenga, quanti ne sbaglia senza dirlo, e quanto costa ogni volta che lo fa. Sono le tre metriche che IBM e Databricks — due tra i principali fornitori di infrastrutture per la valutazione di sistemi agentici — indicano come base per capire se un agente è pronto per la produzione o se sta ancora facendo la demo.

Questo articolo non parla di quanto è intelligente un agente AI. Parla di come si misura prima di accenderlo, e di quando i numeri dicono chiaramente di aspettare.

Le tre metriche che contano davvero

Secondo IBM, la valutazione di un agente AI si costruisce su quattro metriche funzionali: percentuale di completamento delle attività, tasso di errore, costo di esecuzione (token o tempo di calcolo) e latenza. Databricks aggiunge un punto chiave: la valutazione di un agente non può limitarsi a un output finale confrontato con una risposta corretta, perché un agente esegue passaggi multipli — pianifica, usa strumenti, accumula contesto — e un errore nelle fasi iniziali può compromettere tutto il ragionamento successivo senza che il risultato finale appaia palesemente sbagliato.

Per una PMI italiana questo si traduce in tre domande concrete da porre prima di ogni attivazione:

Quanti casi su cento l'agente porta a termine senza che una persona debba intervenire o correggere? Un'azienda immobiliare italiana che misura la resa di un agente sulle valutazioni automatiche non guarda solo se lo strumento produce una stima, ma quanti report escono già pronti da inviare al cliente senza ritocchi.

Quanti casi l'agente sbaglia, e soprattutto: quanti errori emergono da soli e quanti restano nascosti finché qualcuno non se ne accorge per caso? Questa seconda parte è quella che le aziende sottovalutano di più.

Quanto costa ogni singola esecuzione, in euro, non in astratto. Un agente che lavora bene ma costa più del tempo umano che sostituisce non è un investimento, è un capriccio tecnologico.

L'errore che non si vede è il problema vero

Il rapporto IA2023 sulla governance degli agenti AI in impresa distingue tra errore visibile ed errore silenzioso, e indica come metrica specifica l'Error Rate / Hallucination Rate: la frequenza di decisioni errate o dati inventati, definita 'essenziale per la sicurezza'. Un errore visibile si autodenuncia: l'agente non trova un dato, restituisce un messaggio di fallimento, un umano interviene. Un errore silenzioso no: l'agente produce un output plausibile ma sbagliato, e nessuno lo controlla perché il processo è automatico per definizione.

Un'analisi sulla governance dell'AI agentica descrive questo fenomeno con due categorie utili: il commission error, quando si accetta un suggerimento sbagliato dell'agente, e l'omission error, quando l'errore non viene nemmeno notato perché il sistema lo ha filtrato fuori dal campo visivo di chi supervisiona. Il secondo è più pericoloso del primo, perché non è una scelta consapevole ma un'assenza di consapevolezza: nessuno sa che c'è un problema finché non esplode altrove — un ordine sbagliato spedito, una fattura letta male e registrata, un cliente che riceve una risposta scorretta dal servizio clienti.

Per questo motivo, prima di attivare un agente AI su un processo che tocca clienti o denaro, serve un periodo di affiancamento in cui ogni decisione viene controllata da una persona, non solo quelle segnalate come dubbie dal sistema stesso. Solo così si scopre il vero tasso di errore, non quello che l'agente ammette di avere.

Quanto costa ogni esecuzione, e perché non è un dettaglio

Un'analisi sui costi nascosti degli agenti AI segnala un punto che molte PMI ignorano: il costo di licenza è solo il biglietto d'ingresso, non il costo totale. Un'architettura agentica scompone un problema in più passaggi — pianifica, consulta basi dati, chiama strumenti esterni, verifica il proprio operato — e ogni ciclo di correzione moltiplica il volume di token scambiati. Un chatbot semplice consuma poche centinaia di token per risposta; un agente che ragiona su più passaggi può consumarne molti di più, e il costo cresce di conseguenza.

Per una PMI italiana, secondo dati aggregati di mercato, un agente semplice con uno o due sistemi collegati e decisioni binarie costa indicativamente tra 4.000 e 8.000 euro di sviluppo iniziale, con costi ricorrenti di esecuzione tra 50 e 300 euro al mese. Un agente di media complessità, con tre o quattro sistemi integrati, sale a 10.000-18.000 euro. Questi numeri variano molto in base al fornitore e al processo, e vanno sempre verificati con un preventivo specifico, non presi come tariffario.

La vera domanda da porsi però non è quanto costa l'agente in assoluto, ma quanto costa ogni singola esecuzione rispetto al valore che genera quella singola esecuzione. Un agente che gestisce ordini a basso valore ma alto volume ha bisogno di un costo per transazione molto basso; un agente che gestisce pratiche complesse e rare può permettersi un costo più alto perché il tempo umano risparmiato per singolo caso è maggiore.

La soglia sotto la quale conviene rimandare

Non ogni processo merita un agente AI. Una guida Databricks sui sistemi agentici indica il criterio più solido: un flusso di lavoro pilota va scelto quando il valore aziendale è chiaro, i dati necessari sono accessibili e ben governati, e le conseguenze di un errore sono limitate e reversibili. Se manca anche solo una di queste tre condizioni, il rischio di partire supera il beneficio atteso.

Ci sono almeno tre segnali concreti che indicano di rimandare l'attivazione, non di procedere comunque:

Il volume è troppo basso per generare dati di valutazione affidabili. Se un processo ricorre dieci volte al mese, non si riesce a costruire un campione statisticamente utile per misurare tasso di completamento ed errore prima di andare in produzione. In questo caso conviene restare su un'automazione più semplice o su intervento manuale, e riconsiderare l'agente quando il volume cresce.

Le conseguenze di un errore non sono reversibili. Un agente che sbaglia nel proporre tre slot per un appuntamento genera un piccolo disagio, facilmente corretto. Un agente che sbaglia nel confermare un ordine a un fornitore o nel registrare una fattura genera un problema economico o normativo che richiede tempo per essere sanato. Più l'errore è costoso da correggere, più serve un margine di sicurezza prima del go-live, non meno controllo.

I dati di partenza sono incompleti o disorganizzati. Un'analisi sull'automazione AI per PMI italiane indica proprio questo come uno degli errori più comuni: l'AI amplifica i processi esistenti, quindi se i dati in un CRM o in un gestionale sono incompleti, il sistema lavorerà male a prescindere da quanto è sofisticato l'agente. In questo caso il problema da risolvere prima non è tecnologico, è di ordine interno.

Un documento del CNI sulla valutazione degli strumenti di IA nell'attività professionale riassume il rischio in una frase netta: il vero rischio non è investire in AI, ma farlo senza un modello economico esplicito. Vale anche al contrario: rimandare un investimento perché mancano i dati per valutarlo non è prudenza eccessiva, è la stessa disciplina applicata prima.

Come si costruisce un pilota che dà davvero risposte

Un pilota che serve a decidere, e non a intrattenere, ha bisogno di una struttura precisa. Prima si definisce una baseline: quanto tempo richiede oggi il processo, quanti errori genera già con il metodo attuale, chi ne è responsabile. Senza questo punto di partenza, qualsiasi numero prodotto dall'agente è privo di termine di paragone.

Poi si stabilisce un criterio di output accettabile: cosa conta come successo, quali fonti sono autorizzate, in quali casi l'agente deve fermarsi e chiedere conferma invece di procedere da solo. Questo passaggio è quello che distingue un agente ben progettato da uno che, come segnalato in più analisi, funziona in un ambiente di test controllato e poi crolla di fronte alla variabilità reale — input imprevisti, dati sporchi, casi limite non previsti in fase di progettazione.

Infine si fissa una data di verdetto. Un pilota senza scadenza diventa uno stato permanente in cui nessuno dichiara ufficialmente se il progetto ha funzionato o no, e questo è, secondo diverse analisi sull'adozione AI in azienda, il modo più comune in cui questi progetti si trascinano senza risultati. La decisione finale — portare l'agente in produzione, estenderlo, o chiuderlo — va presa confrontando i tre numeri (completamento, errore, costo) con la baseline iniziale, non con un'impressione generale di quanto sembra 'intelligente' il sistema durante la demo.

Se stai valutando un agente AI per un processo specifico della tua azienda — ordini, fatture, servizio clienti — il punto di partenza non è la tecnologia, è la baseline: quanto costa oggi quel processo, quanti errori genera già, quale volume ha. Una consulenza e formazione AI mirata serve proprio a costruire questi numeri prima di firmare qualsiasi contratto, così la decisione si prende sui dati e non sulla demo.