Cluster · KPI progetto AI
KPI di un progetto AI: cosa misurare
Quali indicatori seguire in un progetto AI: metriche di processo, di qualità e di adozione. Quali ignorare e perché.
Tempo di lettura: 9 min
Guida operativa · Avviare e misurare
I progetti AI vengono misurati male in modo prevedibile: si guarda quanto è bravo il sistema e si ignora quanto viene usato. Il primo numero è tecnico, il secondo decide il destino del progetto.
Le metriche utili si dividono in tre famiglie, e servono tutte e tre. Da sole, ciascuna può raccontare una storia falsa.
In sintesi
- Tre famiglie: processo, qualità, adozione.
- L'adozione è la più ignorata e la più predittiva.
- L'accuratezza da sola non dice nulla: conta chi intercetta l'errore.
- La metrica più informativa è quante volte il sistema viene aggirato.
- Cinque numeri costanti valgono più di un cruscotto ricco.
- Settimanale nei primi due mesi, poi mensile.
Le tre famiglie
| Famiglia | Cosa misura | Esempi |
|---|---|---|
| Processo | Se il lavoro va meglio | Tempo per pratica, volume gestito, tempi di attesa |
| Qualità | Quanto il sistema sbaglia e con che effetto | Correzioni necessarie, eccezioni, errori sfuggiti |
| Adozione | Se viene davvero usato | Utilizzi su occasioni, aggiramenti, utenti attivi |
La terza famiglia è quella che manca nei report e che spiega i fallimenti. Un sistema con ottime metriche di processo e qualità ma adozione bassa è un sistema che funziona su una frazione dei casi, e quel dato resta invisibile finché qualcuno non lo cerca.
I cinque numeri che bastano
- Il numero di partenza, rimisurato con lo stesso metodo: ore, errori, tempi.
- Volume gestito dal sistema rispetto al volume totale applicabile.
- Correzioni necessarie: quante volte l'output va modificato prima di usarlo.
- Eccezioni: quante e di che tipo, con l'andamento nel tempo.
- Aggiramenti: quante volte si è tornati al metodo vecchio, e per quali casi.
Il punto 2 richiede di conoscere il denominatore, cioè quante occasioni ci sono state. È il numero che pochi calcolano e che rivela se il sistema copre il dieci o il novanta per cento del lavoro reale.
Perché l'accuratezza da sola inganna
È la metrica preferita nelle presentazioni e la meno significativa da sola.
Un sistema con il novantacinque per cento di accuratezza può essere eccellente o disastroso a seconda di cosa succede al cinque per cento. Se quell'errore viene intercettato da chi controlla prima dell'invio, il costo è qualche secondo. Se arriva al cliente, il costo è tutt'altro.
Come leggerla
- Accuratezza + chi controlla + quando
- Errori che arrivano a destinazione
- Costo medio di un errore sfuggito
Come non leggerla
- Percentuale da sola
- Media su tipi di errore molto diversi
- Confronto con l'accuratezza umana senza contesto
Le metriche che non servono
Vale la pena elencarle, perché consumano attenzione senza produrre decisioni.
- Numero di richieste gestite senza denominatore: cresce sempre, non dice nulla
- Soddisfazione generica raccolta con un questionario: nessuno risponde male a caldo
- Tempo medio senza distinguere i tipi di richiesta: mescola cose diverse
- Confronti con benchmark di settore: i processi variano troppo tra aziende simili
L'ultimo punto merita attenzione perché è quello che i fornitori propongono più spesso. Un benchmark di settore su processi che non conosci nel dettaglio non è un termine di paragone: il tuo termine di paragone sei tu prima.
Esempi pratici
Automazione documentale. I cinque numeri: documenti gestiti su totale ricevuti, percentuale passata senza correzioni, eccezioni per tipo, tempo per documento, casi ancora inseriti a mano. Tutti raccoglibili con pochi minuti al mese.
Assistente clienti. Conversazioni gestite su totale, quante hanno richiesto un operatore, quante hanno generato una seconda richiesta dello stesso cliente, tempo alla prima risposta. La terza è la più onesta: misura se il problema è stato davvero risolto.
Progetto con adozione bassa. Metriche di qualità ottime, ma solo il trenta per cento delle occasioni passava dal sistema. Chiedendo il motivo è emerso che per due tipi di richiesta comuni il sistema non era stato configurato. Correzione di due giorni, adozione salita.
Come si raccolgono senza diventare un lavoro
L'obiezione più comune alla misurazione è che nessuno ha tempo di farla. È fondata se si immagina un sistema di rilevazione strutturato, e infondata se si accetta che cinque numeri approssimativi valgono più di venti precisi che nessuno raccoglie.
- Preferisci un conteggio automatico dove esiste, anche se imperfetto
- Dove serve rilevazione manuale, riducila a una spunta
- Fissa un momento fisso: il primo lunedì del mese, dieci minuti
- Assegna la raccolta a chi guarda i numeri, non a chi li produce
L'ultimo punto evita il conflitto di interessi: se chi raccoglie i dati è anche chi ha spinto per il progetto, la raccolta tende a diventare ottimistica senza malafede.
La metrica che dice quando fermarsi
C'è un indicatore che quasi nessuno definisce e che vale la pena avere: la soglia oltre la quale il progetto va rivisto.
Non serve per rinunciare al primo intoppo, serve per non trascinare all'infinito qualcosa che non funziona. Può essere un livello di adozione minimo dopo tre mesi, un tasso di correzioni che non scende, un numero di aggiramenti che cresce.
Definirla prima costa niente e cambia la conversazione: quando quel numero viene superato, non si discute se il progetto vada bene — si è già deciso in precedenza cosa fare. È lo stesso principio del criterio di chiusura descritto in progetto pilota AI, applicato alla fase di esercizio.
I cinque numeri in tabella
| KPI | Come si ricava | Cosa dice |
|---|---|---|
| Numero di partenza rimisurato | Stesso metodo di prima | Se il lavoro va meglio |
| Volume gestito / occasioni | Serve il denominatore | Copertura reale |
| Correzioni necessarie | Conteggio o campione | Affidabilità |
| Eccezioni per tipo | Coda di sistema | Dove non regge |
| Aggiramenti | Si chiede alle persone | Dove il sistema non serve |
Le prime quattro si ricavano dai sistemi; la quinta no, e va chiesta. È anche la più utile.
Errori da evitare
- Misurare solo la qualità tecnica. Nasconde i problemi di adozione.
- Non avere il denominatore. Il volume senza occasioni non informa.
- Non chiedere degli aggiramenti. È l'informazione più utile.
- Costruire cruscotti che nessuno apre. Cinque numeri bastano.
- Confrontarsi con benchmark esterni. Il paragone sei tu prima.
- Smettere di misurare dopo il rilascio. Le derive arrivano dopo.
Come applicarlo in azienda
Prepara un foglio con cinque colonne e una riga per mese. Compilalo tu o falla compilare al referente del progetto: dieci minuti al mese.
Nei primi due mesi guardalo ogni settimana, perché è lì che si intercettano i problemi mentre sono piccoli. Poi mensilmente. E ogni tre mesi fai la domanda sugli aggiramenti, che non compare in nessun sistema di monitoraggio automatico.
Il calcolo del ritorno è in ROI di un progetto AI, l'impostazione iniziale in progetto pilota AI.
Cosa guardare nel lungo periodo
Dopo i primi mesi le metriche cambiano funzione: non servono più a correggere il sistema, ma ad accorgersi che qualcosa intorno è cambiato.
Il segnale tipico è una metrica stabile che comincia lentamente a peggiorare: le correzioni aumentano, le eccezioni crescono, l'adozione cala. Quasi mai la causa è nel sistema: è un aggiornamento a monte, un processo modificato, una nuova categoria di casi che prima non esisteva.
Per questo la revisione mensile va mantenuta anche quando tutto va bene. Costa dieci minuti e intercetta il degrado descritto in quanto costa mantenere un sistema AI, che è il modo più comune in cui un progetto riuscito smette silenziosamente di funzionare.
Le metriche nella fase di pilota
Durante un pilota le metriche hanno una funzione diversa: non servono a gestire il sistema ma a prendere una decisione entro una data.
Questo cambia cosa guardare. Serve soprattutto il confronto con il numero di partenza e il tasso di adozione; le metriche fini di qualità contano meno, perché in quella fase il sistema è per definizione da tarare.
- Confronto diretto con la misura iniziale, stesso metodo
- Quante volte è stato usato su quante occasioni
- Quali categorie di casi non copre
- Se il trend migliora settimana dopo settimana
L'ultimo punto è quello che orienta la decisione finale: un sistema mediocre che migliora costantemente merita l'estensione più di uno buono ma piatto, perché il primo sta ancora imparando dal contesto e il secondo ha già dato quello che poteva. L'impostazione completa è in progetto pilota AI.
Conclusione
Misurare un progetto AI richiede cinque numeri e costanza, non strumenti sofisticati. Le metriche di processo dicono se il lavoro va meglio, quelle di qualità se il sistema è affidabile, quelle di adozione se tutto questo sta succedendo davvero.
La domanda che vale più di ogni cruscotto resta la più semplice: in quali casi le persone continuano a fare a mano? Le risposte a quella domanda sono la lista delle cose da sistemare, compilata da chi conosce il lavoro.
Se vuoi capire quali processi della tua azienda possono essere automatizzati con l'AI, Giallo Studio può aiutarti a trasformare il problema in un workflow reale.
Un'ultima raccomandazione: condividi i numeri con chi usa il sistema, non solo con chi ha deciso di comprarlo. Le persone che vedono l'effetto del proprio lavoro tendono a segnalare di più e ad adottare meglio, e spesso hanno spiegazioni per gli scostamenti che nessun altro può fornire.
Schema consigliato: Article + FAQPage + BreadcrumbList
Risorse correlate
FAQ
Quali sono i KPI essenziali di un progetto AI?
Tre famiglie: processo (tempo, volume, errori), qualità (quanto spesso il sistema sbaglia e con che conseguenze), adozione (quanto viene effettivamente usato). La terza è quella che viene ignorata più spesso ed è quella che predice il destino del progetto.
Qual è la metrica più sottovalutata?
Quante volte le persone aggirano il sistema. Un sistema tecnicamente ottimo che viene bypassato per certi casi sta dicendo esattamente dove non regge, e lo dice meglio di qualunque questionario di soddisfazione.
Ogni quanto vanno guardati?
Settimanalmente nei primi due mesi, poi mensilmente. La frequenza alta iniziale serve a intercettare le derive quando sono ancora piccole; dopo, un controllo mensile basta per accorgersi che qualcosa è cambiato a monte.
Il tasso di accuratezza è un buon indicatore?
Da solo no, perché non dice nulla sulle conseguenze. Un novantacinque per cento di accuratezza è ottimo se l'errore viene intercettato prima di uscire, e grave se il cinque per cento arriva al cliente. Va sempre letto insieme a chi controlla e quando.
Come si misura l'adozione?
Rapporto tra volte in cui il sistema è stato usato e volte in cui sarebbe stato applicabile. È un numero che richiede di sapere quante occasioni ci sono state, e per questo pochi lo calcolano — ma è quello che distingue un sistema vivo da uno formalmente attivo.
Servono cruscotti complessi?
No. Cinque numeri su un foglio, guardati con regolarità, valgono più di un cruscotto ricco che nessuno apre. La qualità della misurazione dipende dalla costanza, non dagli strumenti.