Come controllare cosa fa un agente AI in azienda

Un agente AI che scrive email, aggiorna un CRM o qualifica lead lo fa perché qualcuno gli ha dato accesso a quei sistemi. La domanda che conta non è se l'agente "capisce" cosa sta facendo, ma chi ha deciso fin dove può arrivare da solo. Molte aziende attivano un agente e si accorgono solo dopo che nessuno aveva scritto da nessuna parte cosa poteva promettere, quali dati poteva toccare, quando doveva fermarsi.

Controllare un agente AI non significa sorvegliarlo in tempo reale. Significa costruire, prima che entri in produzione, tre strati che lavorano insieme: regole scritte in linguaggio semplice, permessi tecnici che rendono quelle regole invalicabili, e un punto preciso dove il lavoro dell'agente si ferma e passa a una persona con il potere di intervenire. Questo articolo entra nel dettaglio di come si progettano questi tre strati e come si decide, caso per caso, cosa resta all'agente e cosa no.

Le regole si scrivono prima, non dopo il primo errore

La prima cosa da fare, secondo chi si occupa di governance degli agenti AI, è scrivere in una pagina semplice cosa un agente può fare e cosa non deve mai fare. Non un documento legale, ma le stesse istruzioni che daresti a un nuovo dipendente il primo giorno: cosa può promettere, quali sconti può concedere, quali frasi non deve mai usare (fonte: davidecaiazzo.it).

Questo vale anche per gli agenti che già lavorano in azienda senza essere chiamati così: il chatbot del sito, l'assistente vocale del centralino. Il primo passo pratico è farne l'elenco, perché non si può controllare qualcosa che non si è mai messo per iscritto.

Le istruzioni da sole, però, non bastano. Sono la prima delle tre leve di controllo, ma restano parole: un agente potrebbe interpretarle male, o un aggiornamento del prompt potrebbe cancellarle senza che nessuno se ne accorga. Per questo servono anche i permessi tecnici.

I permessi tecnici: il vincolo che non si può aggirare

Le istruzioni dicono all'agente cosa non dovrebbe fare. I permessi glielo impediscono anche se, per qualche motivo, provasse a farlo comunque. È la differenza tra chiedere a qualcuno di non entrare in una stanza e chiudere quella stanza a chiave.

Un agente che risponde a domande sui prodotti non ha bisogno di accedere ai dati contabili (fonte: davidecaiazzo.it). Questo si configura non connettendo quell'agente a quel sistema o archivio, punto. Non è una questione di fiducia nell'agente, è una questione di architettura: se il collegamento non esiste, l'errore non può accadere.

La logica corretta è quella del privilegio minimo: ogni agente ha un'identità distinta con l'accesso limitato solo ai dati e agli strumenti necessari alla sua funzione specifica, e le regole devono essere verificabili dall'esterno, non nascoste dentro la logica dell'agente dove potrebbero essere modificate o aggirate (fonte: Databricks). In pratica: un sandboxing che impedisce all'agente di compiere azioni irreversibili, come eliminare record o avviare transazioni finanziarie, senza un checkpoint esplicito di approvazione umana.

Ci sono azioni che, secondo questa logica, l'agente non dovrebbe mai poter fare da solo: alterare dati sensibili, chiudere un fascicolo, prendere decisioni economiche, usare credenziali ad alto privilegio (fonte: dirittobancario.it). Non perché l'agente non sia "capace", ma perché l'errore su queste azioni ha un costo che nessuna efficienza guadagnata vale.

Il workflow: dove si stabilisce chi ferma cosa

Il terzo strato è il workflow operativo: la sequenza dei passaggi del processo, dove si stabilisce che certi casi non possano andare avanti senza un controllo umano (fonte: dirittobancario.it). Qui entra il concetto pratico di "coda da validare": una cartella di lavoro o una lista di pratiche in attesa di controllo umano. L'agente lavora sulla pratica, ma quando incontra un caso che non può chiudere da solo, o produce un output che va verificato, deposita il risultato in quella coda. Un operatore umano apre la coda, vede cosa c'è da controllare e decide.

Questo è il punto in cui la supervisione umana smette di essere un'idea vaga e diventa un compito reale: qualcuno deve essere individuato, con un compito chiaro e con il potere effettivo di intervenire, non solo il titolo di "responsabile" su un organigramma.

Cosa dovrebbe far scattare l'approvazione umana? Le azioni irreversibili, le decisioni che incidono sui diritti di qualcuno, le eccezioni alla policy, le transazioni di valore elevato, le comunicazioni esterne sensibili e qualsiasi modifica ai permessi stessi dell'agente (fonte: kla.digital). Una regola pratica e misurabile, non filosofica: per esempio, l'agente si ferma dopo due richieste consecutive non risolte, oppure sopra una certa cifra di rimborso, oppure quando riconosce un cliente arrabbiato (fonte: davidecaiazzo.it).

Questo discorso vale a maggior ragione quando gli agenti non lavorano da soli ma in sequenza o in coordinamento tra loro, dentro un ecosistema di agenti AI: più aumentano i passaggi automatici, più serve un punto di controllo chiaro tra un passaggio e il successivo.

I log: senza tracciabilità non c'è controllo, c'è fiducia cieca

Un guardrail che nessuno verifica non è un guardrail, è una speranza. Ogni azione intrapresa da un agente autonomo deve essere registrata con un contesto sufficiente a ricostruire la decisione che l'ha generata: quali strumenti ha usato, quando, quali comandi ha inviato, quali risultati ha ottenuto (fonte: IBM). Questi audit trail servono a due cose molto concrete: capire perché un agente ha sbagliato, e dimostrarlo a un cliente o a un'autorità se serve.

Qui va fatta una distinzione che spesso si trascura. Un log applicativo tradizionale, modificabile, non ha valore probatorio: registra cosa è successo, ma chiunque potrebbe averlo alterato dopo. Nei processi con conseguenze legali o economiche concrete, questo diventa un problema reale: più un agente diventa autonomo, più il suo processo decisionale diventa opaco, e la maggior parte delle aziende che li adotta non ha un sistema per rispondere alla domanda che conta davvero — cosa l'agente ha ricevuto, cosa ha fatto, cosa ha prodotto (fonte: truescreen.io). Non tutte le aziende hanno bisogno di questo livello di certificazione: dipende da quanto le decisioni dell'agente toccano soldi, dati sensibili o diritti di terzi. Ma la distinzione tra "un log c'è" e "un log ha valore probatorio" va conosciuta prima di trovarsi a doverla spiegare a un avvocato.

Sul piano operativo, rivedere un piccolo campione di conversazioni o azioni ogni settimana per il primo mese, poi passare a un controllo mensile, è una pratica ragionevole per chi parte da zero (fonte: davidecaiazzo.it). I log servono anche a miglioramento continuo: se un agente risponde lentamente o male su certe domande, i log rivelano dove, e permettono di correggere i prompt o ampliare i dati su cui si basa (fonte: IBM).

Serve un tecnico per fare tutto questo?

Non sempre, e vale la pena dirlo perché spesso questo timore blocca l'adozione anche dove non servirebbe. Per un solo agente con compiti semplici — per esempio un agente che risponde a domande frequenti o fa da primo filtro per la gestione delle email aziendali — bastano le impostazioni già presenti nello strumento che si usa: permessi, regole di comportamento, soglia di escalation (fonte: davidecaiazzo.it).

Servono invece competenze tecniche, interne o esterne, quando si collegano più agenti tra loro, quando si trattano dati sensibili, o quando l'agente opera in un processo con margini di errore economico o legale non trascurabili — per esempio un agente che qualifica lead collegato al CRM e alle campagne, dove un errore di permessi può significare dati di contatto trattati male o promesse commerciali non autorizzate. In quel momento la domanda cambia: non più "come faccio a far funzionare l'agente", ma "chi ha il potere reale di fermarlo se sbaglia, e come verifico che stia rispettando le regole che ho scritto". È una domanda organizzativa prima che tecnica, e ha una risposta diversa a seconda di quanto è critico il processo.

Prima di far lavorare un agente AI senza supervisione diretta, hai scritto da qualche parte cosa può fare, cosa non può toccare, e quando deve fermarsi? Se la risposta è no, quello non è ancora un agente sotto controllo: è un rischio che stai correndo senza saperlo. Se vuoi capire dove mettere questi confini nel tuo caso specifico, parliamone insieme.