Chatbot AI: le quattro metriche che dicono se funziona davvero

Di Simone Amato, Co-Founder & CTO di Samurai Lab

Hai installato un chatbot sul sito o su WhatsApp, è passato un mese o due, e ti chiedi se funziona davvero o se è solo un widget che risponde "non ho capito" alla metà delle domande. La risposta non sta nella sensazione che te ne fai quando leggi qualche trascrizione a campione. Sta in quattro numeri, che vanno letti ogni mese e confrontati tra loro, non uno alla volta.

Il problema di molte PMI italiane che adottano un chatbot è che lo trattano come un progetto una tantum: si attiva, si dimentica, si guarda solo se qualcuno si lamenta. Ma un chatbot AI è un sistema che cambia prestazioni nel tempo, perché cambiano le domande dei clienti, i prodotti, le stagioni. Monitorarlo è un lavoro mensile, non una verifica fatta una volta sola.

In questo articolo vediamo quali sono le quattro metriche che contano davvero, come leggerle insieme invece che separatamente, e soprattutto come distinguere un problema di contenuti (la knowledge base che il bot usa per rispondere) da un problema di modello (la tecnologia sotto il cofano). È una distinzione che fa risparmiare soldi: spesso si cambia fornitore o si investe in un modello più potente quando basterebbe riscrivere dieci schede prodotto.

Tasso di risoluzione autonoma: il numero che conta di più, ma non da solo

Il tasso di risoluzione autonoma misura quante conversazioni si chiudono senza intervento umano, con l'utente che ottiene una risposta e non chiede altro. È la metrica più citata perché è anche la più facile da leggere: una fonte di settore riporta che sistemi di questo tipo arrivano a risolvere circa l'80% delle domande in autonomia nel supporto clienti delle PMI, ventiquattro ore su ventiquattro.

Questo dato va preso con cautela, perché varia moltissimo in base al settore, alla complessità delle richieste e, soprattutto, a quanto è curata la base di conoscenza del bot. Un chatbot per uno studio professionale che risponde su orari e documenti da portare avrà un tasso di risoluzione più alto di uno che deve gestire resi, variazioni di ordine o problemi tecnici su un prodotto complesso.

Il punto da ricordare: un tasso di risoluzione alto non basta a dire che il chatbot funziona bene. Se il bot risolve il 70% delle conversazioni ma il 70% riguarda solo "a che ora aprite", mentre lascia sistematicamente senza risposta le domande sui prezzi o sulla disponibilità, il numero è ingannevole. Va sempre letto insieme alle altre tre metriche.

Conversazioni escalate: non è un fallimento, è un segnale

La percentuale di conversazioni che il bot trasferisce a un operatore umano non è, di per sé, un dato negativo. Un chatbot tradizionale basato su regole, quando non trova una corrispondenza con un pattern previsto, chiede all'utente di riformulare oppure passa la richiesta a una persona: è un comportamento previsto, non un errore. Anche i chatbot basati su AI generativa devono saper riconoscere quando una richiesta è troppo delicata, troppo specifica o semplicemente fuori portata, e passarla a un umano invece di inventare una risposta plausibile ma sbagliata.

Quello che conta è la tendenza nel tempo, non il valore assoluto in un mese isolato. Se le escalation crescono mese dopo mese a parità di volume di conversazioni, qualcosa è cambiato: sono arrivate domande nuove che il bot non sa gestire, oppure è stato lanciato un prodotto che la knowledge base non copre ancora. Se invece le escalation sono stabili e riguardano sempre le stesse categorie di richieste (per esempio reclami o casi personalizzati), è normale: sono conversazioni che un chatbot non dovrebbe gestire da solo, perché il costo di una risposta sbagliata è alto.

Qui si inserisce una domanda ricorrente tra chi valuta se investire in questi strumenti: chatbot o form di contatto, quale converte di più? La risposta dipende proprio da come si leggono le escalation. Un form raccoglie tutto indistintamente e lascia che sia una persona a smistare; un chatbot ben calibrato filtra prima, risolve quello che può e passa all'operatore solo ciò che serve davvero attenzione umana, con il contesto già raccolto.

Contatti qualificati generati: la metrica che guarda al fatturato

Le prime due metriche raccontano l'efficienza del bot nel rispondere. Questa terza racconta se il bot porta valore commerciale, cioè se genera contatti che poi si trasformano in preventivi, appuntamenti o vendite. Un contatto qualificato non è semplicemente un numero di telefono lasciato nella chat: è un contatto per cui il bot ha raccolto almeno le informazioni minime per permettere a chi vende di agire subito, per esempio il tipo di richiesta, il budget indicativo o la data desiderata.

Questo aspetto riguarda da vicino chi cerca un chatbot per prendere appuntamenti o un chatbot ai per studi professionali: l'agente può gestire i promemoria di follow-up, raccogliere informazioni prima di passare la richiesta a una persona e fare una prima qualificazione dei contatti in ingresso da sito e campagne, con criteri oggettivi come settore, dimensione o urgenza. Se il tuo chatbot genera molte conversazioni ma pochissimi contatti utilizzabili dal commerciale, il problema non è il volume, è la qualità delle domande che il bot fa durante la conversazione.

Questa è anche la metrica dove si vede se un chatbot regge il confronto con un semplice modulo di contatto: un form raccoglie dati statici, un chatbot ben addestrato può fare domande di qualificazione dinamiche, adattate a quello che l'utente ha già detto.

Domande senza risposta: il termometro della knowledge base

Questa è probabilmente la metrica più sottovalutata, ma è quella che permette di capire dove intervenire. Ogni volta che un utente fa una domanda e il bot non trova nulla di pertinente nella sua base di conoscenza, quella domanda va registrata e letta a fine mese. Non come errore isolato, ma come lista.

Se la lista delle domande senza risposta è lunga e riguarda argomenti che l'azienda conosce benissimo (nuovi prodotti, variazioni di prezzo, nuove sedi), il problema non è il modello linguistico che sta dietro al bot: è che nessuno ha aggiornato i documenti da cui il bot attinge le risposte. È la differenza, spesso fraintesa, tra un chatbot che "non è abbastanza intelligente" e un chatbot a cui semplicemente non è mai stata data l'informazione da restituire. Un modello più sofisticato non inventerà la data di apertura di una sede che non è scritta da nessuna parte nei suoi dati.

Se invece la lista di domande senza risposta è corta, ma il tasso di risoluzione resta basso e le escalation sono alte, allora il problema può effettivamente riguardare il modello: fatica a interpretare domande formulate in modo ambiguo, o gestisce male conversazioni con più passaggi. Sono due diagnosi diverse, con soluzioni diverse e costi diversi: aggiornare una knowledge base è un lavoro di ore, cambiare il motore conversazionale è un progetto più impegnativo.

Come leggere le quattro metriche insieme, mese per mese

Il metodo pratico è costruire una tabella mensile con questi quattro numeri affiancati, e guardare non il valore assoluto ma la direzione nel tempo. Un chatbot va giudicato sulla sua traiettoria su più mesi, non su una fotografia isolata, perché le domande dei clienti cambiano con le stagioni, i lanci di prodotto, le campagne pubblicitarie in corso.

Uno schema di lettura utile: se il tasso di risoluzione autonoma scende e le domande senza risposta salgono nello stesso periodo, la causa quasi sempre è la knowledge base che non ha seguito l'evoluzione del catalogo o dei servizi. Se il tasso di risoluzione resta stabile ma le escalation salgono su argomenti nuovi, è normale e segnala solo che serve aggiornare i contenuti su quell'area specifica. Se contatti qualificati e tasso di risoluzione sono alti ma le vendite non seguono, il problema non è il chatbot: è quello che succede dopo, nel passaggio al commerciale.

Questo tipo di monitoraggio vale anche per chi gestisce un chatbot multilingua per e-commerce: in quel caso la lettura va fatta lingua per lingua, perché una knowledge base tradotta male o non aggiornata in una lingua secondaria genera tassi di domande senza risposta molto più alti che nella lingua principale, anche se il modello sottostante è lo stesso.

Quanto costa monitorare (e cosa costa non farlo)

Una domanda frequente di chi valuta l'investimento riguarda quanto costa un chatbot per sito web, ma la domanda più rilevante nel tempo è quanto costa non monitorarlo. Un chatbot lasciato a sé stesso, senza che nessuno guardi le quattro metriche con regolarità, tende a peggiorare in silenzio: la knowledge base invecchia, le domande senza risposta aumentano, gli utenti si accorgono che il bot gira a vuoto e smettono di usarlo, tornano a chiamare o a scrivere email, con lo stesso carico che si voleva ridurre.

Il costo del monitoraggio mensile, in termini di tempo, è contenuto: va considerato parte del progetto fin dall'inizio, non un extra. Chi implementa un chatbot senza prevedere chi guarderà questi numeri ogni mese compra uno strumento che si degraderà con il passare del tempo.

Le quattro metriche, lette insieme e mese per mese, dicono quasi sempre dove intervenire prima ancora di aprire una trascrizione di conversazione. Se hai un chatbot che non sai più leggere, o devi ancora decidere se installarne uno e vuoi partire con un metodo di misurazione già definito, puoi parlarne con Samurai Lab.