Un agente AI sbaglia: chi risponde in azienda, e chi paga

Un agente AI legge una fattura, classifica male l'importo e genera un pagamento duplicato. Un altro risponde a un cliente su WhatsApp promettendo uno sconto che non esiste. In entrambi i casi la domanda arriva subito, di solito dal titolare: chi ha sbagliato? E soprattutto, chi paga?

La risposta non è scritta da nessuna parte per default. Non esiste una norma italiana o europea che dica automaticamente "se l'agente sbaglia, paga il fornitore" oppure "paga l'azienda che lo usa". La responsabilità si costruisce prima che l'agente entri in funzione, non si scopre dopo il danno. Si costruisce in due punti distinti: il contratto con chi fornisce o integra l'agente, e l'organizzazione interna che decide chi controlla cosa.

Questo articolo tratta entrambi i piani. Non è una guida legale — per quello serve un avvocato che legga il tuo contratto specifico — ma una mappa di cosa va scritto e cosa va organizzato prima di attivare un agente AI che lavora su processi reali: ordini, fatture, clienti.

Perché la domanda "chi paga" non ha una risposta automatica

Quando un sistema generativo sbaglia una sintesi o un testo, l'errore di solito resta contenuto: qualcuno lo legge, si accorge che non torna, lo corregge prima che produca effetti. Un agente AI che agisce dentro i sistemi aziendali è diverso. Se classifica male un reclamo, richiama documenti sbagliati o attiva il passaggio errato in un workflow, l'errore si innesta direttamente nel processo e si propaga più in fretta, con conseguenze più concrete: un pagamento duplicato, un ordine sbagliato, una comunicazione scorretta inviata a un cliente.

I contratti dei grandi fornitori di modelli AI, in questa fase, scaricano il rischio su chi usa lo strumento: l'output non è garantito, va verificato, l'uso è "a proprio rischio". Questo significa che, salvo diversa pattuizione, la responsabilità di un errore che arriva al cliente finale ricade quasi sempre su chi ha deployato l'agente in azienda, non sul produttore del modello sottostante. È una distinzione che vale la pena avere chiara prima di firmare qualsiasi contratto di fornitura o integrazione.

Cosa scrivere nel contratto con chi fornisce o integra l'agente

Il contratto con l'agenzia o il fornitore che costruisce l'agente deve rispondere a domande precise, non a formule generiche tipo "fornitura di servizi di intelligenza artificiale". In concreto, deve specificare: su quali processi l'agente opera e con quali permessi (a quali sistemi è connesso, cosa può leggere, cosa può scrivere o modificare); quali log vengono conservati e per quanto tempo, perché senza tracciabilità è impossibile ricostruire dove è nato un errore; chi interviene e in quanto tempo in caso di malfunzionamento segnalato; e come si distingue un errore dovuto a un difetto del sistema fornito da un errore dovuto a dati aziendali sbagliati o incompleti che l'azienda ha fornito in input.

Quest'ultimo punto è spesso quello che genera più contenzioso in pratica: se l'agente sbaglia perché il catalogo prodotti che gli è stato dato è disallineato, la responsabilità tecnica del fornitore non c'entra. Per questo un audit dei dati prima dell'attivazione, oltre a essere una buona pratica operativa, è anche una forma di tutela contrattuale reciproca: chiarisce da dove parte la responsabilità di ciascuna parte.

Come si organizza il lavoro dentro l'azienda

Il contratto con il fornitore copre solo metà del problema. L'altra metà è come l'azienda organizza il lavoro attorno all'agente, e qui il rischio più comune nelle PMI italiane non è tecnico: è il rimpallo tra reparti. L'agente sbaglia un ordine, il magazzino dice che è colpa dell'IT, l'IT dice che il dato in ingresso era sbagliato, il commerciale dice che nessuno gli ha detto che l'agente gestiva anche quel caso. Nel frattempo il cliente aspetta.

Questo si evita assegnando, prima di attivare l'agente, un referente unico che risponde della sua supervisione: chi guarda il lavoro dell'agente, quando lo guarda, e cosa fa se trova un problema. Non deve essere necessariamente una figura tecnica — spesso è chi già gestisce quel processo, formato per riconoscere gli errori tipici del sistema. Le regole si mettono a terra in tre punti concreti: nelle istruzioni dell'agente, dove si scrive esplicitamente cosa può fare e cosa no; nei permessi tecnici dei sistemi collegati, così che anche se l'agente tentasse di fare di più, non ne abbia la possibilità; e nel workflow operativo, stabilendo quali casi non possono procedere senza un passaggio umano. Su questo aspetto specifico — dove mettere il controllo umano dentro un processo automatizzato — vale la pena vedere anche come si traccia il confine tra intervento dell'agente e intervento della persona.

Misurare il rischio prima, non dopo: raggio del danno e reversibilità

Prima di decidere quanto controllo serve su un dato agente, due domande aiutano a dare un numero al rischio invece di discuterne in astratto. La prima: se l'agente sbaglia, quante persone ci rimettono e quanto? Un agente che riassume una riunione interna ha un raggio del danno minimo — se sbaglia, qualcuno se ne accorge e corregge in pochi minuti. Un agente AI che parla con clienti, fornitori o gestisce pagamenti ha un raggio molto più ampio, perché l'errore esce dall'azienda e diventa visibile a terzi.

La seconda domanda: quanto è facile tornare indietro? Una bozza di email che un umano rilegge prima dell'invio è altamente reversibile. Un ordine già spedito o un pagamento già eseguito no. Incrociando queste due variabili si capisce dove serve un controllo umano obbligatorio prima dell'azione e dove basta un controllo a campione dopo. Per una PMI il raggio del danno si traduce in numeri concreti: ore di rilavorazione, clienti persi, eventuali sanzioni del Garante Privacy. Se non sai rispondere a "quanto mi costa se questo va male", è un segnale che quel processo non è ancora pronto per essere automatizzato senza supervisione stretta.

Cosa chiede l'AI Act su questo punto

Dal 2 agosto 2026 il Regolamento UE 2024/1689, l'AI Act, è pienamente applicabile e vincolante per qualsiasi azienda che usa sistemi AI in ambito professionale nell'Unione Europea, indipendentemente dalle dimensioni. Per la maggior parte delle PMI italiane questo non significa un carico normativo enorme: strumenti come chatbot, assistenti di produttività e CRM predittivi rientrano tipicamente nelle categorie a rischio limitato o minimo. Ma gli agenti autonomi che agiscono direttamente su sistemi e dati aziendali possono ricadere in categorie di rischio più alte, con obblighi di trasparenza, supervisione umana e conservazione dei log.

Un punto va tenuto distinto: la compliance all'AI Act non risolve da sola la questione di chi paga un danno concreto. Gli obblighi procedurali del regolamento — informative, valutazioni di rischio, log — sono un piano diverso dalla responsabilità civile per un danno specifico, che si stabilisce nei contratti e, in caso di contenzioso, in tribunale. In Italia, inoltre, l'AI Act si affianca alla Legge 132/2025, che attende ancora decreti attuativi: significa una doppia lettura normativa da tenere sotto controllo, non una sostituzione dell'una con l'altra. Il GDPR, quando l'agente tratta dati personali, resta comunque pienamente applicabile in parallelo.

Un referente, non un comitato

L'errore organizzativo più frequente nelle PMI che attivano un primo agente AI è pensare che la responsabilità sia "di tutti", cioè di nessuno. Serve invece un referente per la governance AI anche in un'azienda di dieci o trenta persone: qualcuno che mantenga un inventario di quali agenti sono attivi, su quali processi, con quali permessi, e che aggiorni le valutazioni quando qualcosa cambia — un nuovo sistema collegato, un nuovo caso d'uso. Non serve un comitato: serve una persona identificabile, con l'autorità per fermare o modificare l'agente se qualcosa non torna.

Questo referente è anche chi, in caso di controllo o di contestazione da parte di un cliente, deve poter dimostrare un percorso: chi ha revisionato cosa, quali verifiche sono state fatte, quando è stata data l'approvazione a operare senza supervisione su un dato caso. La capacità di documentare questo percorso, più che la perfezione tecnica dell'agente, è quello che distingue un incidente gestibile da un problema che si trascina.

Un agente AI che sbaglia non è di per sé un problema: lo diventa quando nessuno sa chi deve intervenire e con quale autorità. Se stai valutando di affidare a un agente AI un processo che tocca clienti, ordini o pagamenti, il momento giusto per definire contratto, permessi e referente interno è prima di attivarlo, non dopo il primo errore. Parliamone in una consulenza prima di firmare qualsiasi proposta.