Cluster · rischi AI azienda
Come valutare i rischi di un sistema AI
Un metodo in sei passaggi per valutare i rischi di un sistema AI in azienda: classificazione, dati, impatto sulle persone e controlli.
Tempo di lettura: 10 min
Guida operativa · AI Act e conformità
Valutare i rischi di un sistema AI non richiede un metodo complicato. Richiede di porsi le domande giuste nell'ordine giusto, e di distinguere due tipi di rischio che vengono sempre confusi: il rischio giuridico, quello che interessa all'AI Act, e il rischio operativo, quello che può danneggiare la tua azienda.
Sono indipendenti. Un assistente che scrive bozze commerciali è a rischio giuridico minimo, ma se le sue bozze partono senza revisione può costarti un cliente. Viceversa un sistema classificato ad alto rischio può essere gestito benissimo e non produrre alcun danno.
In sintesi
- Esistono due rischi distinti: giuridico (norma) e operativo (business). Vanno valutati entrambi.
- La domanda decisiva non è «quanto sbaglia» ma «cosa succede quando sbaglia».
- Il fattore che cambia tutto è il grado di automazione: suggerire o agire.
- La valutazione va fatta da chi conosce il processo, non da chi conosce la tecnologia.
- Una pagina di documentazione è sufficiente e dimostra governo.
- Va rifatta quando cambia l'uso, anche a software invariato.
Il metodo in sei passaggi
- Descrivi cosa fa in una frase, senza gergo: «legge le email in arrivo e propone una risposta che un operatore approva».
- Elenca i dati che tocca. Ci sono dati di persone? Informazioni riservate di clienti? Know-how aziendale?
- Stabilisci il grado di automazione: suggerisce, esegue con approvazione, o esegue da solo?
- Individua chi subisce le conseguenze di un errore: nessuno, un collega, un cliente, una persona che dipende da quella decisione.
- Verifica chi se ne accorge e in quanto tempo. È il punto più trascurato.
- Decidi i controlli proporzionati a quanto emerso.
I passaggi 3 e 5 sono quelli che fanno la differenza fra una valutazione utile e un esercizio di forma.
Il grado di automazione cambia tutto
Lo stesso sistema, con lo stesso tasso di errore, ha profili di rischio completamente diversi a seconda di quanto è autonomo.
| Grado | Cosa fa | Rischio | Controllo tipico |
|---|---|---|---|
| Suggerisce | Propone, decide una persona | Basso | Nessuno particolare |
| Esegue con approvazione | Prepara l'azione, serve un via libera | Medio | L'approvazione deve essere informata |
| Esegue in autonomia | Agisce senza passaggi umani | Alto | Limiti, soglie, log, possibilità di fermarlo |
Chi subisce l'errore
È la domanda che determina se sei nel territorio dell'AI Act o solo in quello del buon senso operativo.
Rischio contenuto
- L'errore produce una bozza da correggere
- Se ne accorge chi lavora, subito
- Il danno è tempo perso
Rischio serio
- L'errore raggiunge un cliente o un candidato
- Nessuno lo verifica prima
- La persona colpita non sa che c'era un sistema
- Il danno è una decisione sbagliata su qualcuno
Quando ci si trova nella colonna di destra, si è nel perimetro descritto in i quattro livelli di rischio dell'AI Act, e servono le garanzie previste.
Il punto cieco: chi se ne accorge
Nella maggior parte delle valutazioni che vedo manca completamente. Eppure è la variabile che trasforma un errore gestibile in un problema.
Un sistema che sbaglia il 5% delle volte, con un operatore che rilegge tutto, produce zero danni. Lo stesso sistema, con lo stesso 5%, in un flusso dove nessuno rilegge, produce un errore su venti che arriva a destinazione — e nessuno lo scopre finché non si lamenta qualcuno.
- Esiste un punto in cui una persona vede l'output prima che produca effetti?
- Quella persona ha modo e tempo di accorgersi che è sbagliato?
- Esiste un log per ricostruire cosa è successo?
- C'è un modo rapido per fermare il sistema?
Se le risposte sono no, il rischio non è il modello: è il processo intorno.
Esempi pratici
Assistente che prepara preventivi. Dati: descrizioni tecniche, a volte nomi di clienti. Automazione: suggerisce, il titolare approva. Chi subisce: nessuno, l'errore si vede prima. Chi se ne accorge: chi firma. Rischio basso su entrambi i fronti, nessun controllo aggiuntivo necessario.
Agente che risponde su WhatsApp ai clienti. Dati personali sì. Automazione: esegue in autonomia. Chi subisce: il cliente. Chi se ne accorge: nessuno, se non si guardano le conversazioni. Qui i controlli servono: dichiarare che è automatico, prevedere il passaggio a operatore, rivedere periodicamente un campione di conversazioni, avere un modo per spegnerlo.
Strumento che ordina i CV per punteggio. Dati personali di candidati. Automazione: suggerisce un ordine, ma di fatto orienta la decisione. Chi subisce: la persona esclusa. Chi se ne accorge: nessuno, perché lo scartato non richiama. Alto rischio: servono sorveglianza umana reale, informazione ai candidati, verifica dei criteri. Vedi anche GDPR e AI in azienda.
Automazione che riconcilia fatture. Nessun dato personale rilevante, automazione alta, ma l'errore si vede in contabilità e si corregge. Rischio operativo medio, giuridico basso: bastano soglie e un report delle eccezioni.
I controlli proporzionati al rischio
Individuato il livello di rischio, la domanda successiva è: quali controlli metto? La risposta sbagliata è «tutti quelli possibili», perché controlli sproporzionati vengono aggirati e producono l'illusione della sicurezza.
| Livello | Controlli sufficienti |
|---|---|
| Basso | Nessuno particolare. Formazione di base sull'uso |
| Medio | Revisione umana prima dell'invio, log consultabili |
| Alto | Soglie e limiti, sorveglianza umana informata, revisione a campione, interruttore, tracciabilità completa |
Tre controlli meritano una nota, perché sono quelli che le aziende dimenticano.
Le soglie. Un sistema che agisce dovrebbe avere limiti espliciti: importo massimo, numero massimo di azioni per ora, casistiche su cui si ferma e chiede. Sono la differenza tra un errore contenuto e un errore ripetuto duecento volte prima che qualcuno se ne accorga.
La revisione a campione. Non serve rileggere tutto: serve guardare venti conversazioni al mese scelte a caso. È il modo più economico per accorgersi che il sistema ha iniziato a comportarsi diversamente.
L'interruttore. Deve esistere e qualcuno deve sapere dov'è. Sembra banale finché non serve alle sette di sera con un agente che sta mandando messaggi sbagliati ai clienti.
Il rischio di non fare niente
Le valutazioni del rischio raccontano sempre cosa può andare storto se adotti un sistema. Quasi mai considerano l'altro lato: cosa succede se non lo adotti.
Non è retorica commerciale, è parte di una valutazione onesta. Un processo manuale ha anch'esso un tasso di errore, spesso non misurato proprio perché nessuno lo controlla. Una casella email gestita a mano perde richieste; un inserimento dati manuale sbaglia; una risposta che arriva dopo tre giorni fa perdere il cliente.
Rischi del sistema AI
- Errori del modello
- Dipendenza da un fornitore
- Dati che escono dal perimetro
- Comportamento che cambia negli aggiornamenti
Rischi del processo manuale
- Errori umani non misurati
- Dipendenza da singole persone
- Tempi che fanno perdere opportunità
- Nessuna tracciabilità di cosa è stato deciso
Il confronto corretto non è «AI contro perfezione», ma «AI contro come lavoriamo adesso». Molte valutazioni bocciano un sistema con il 3% di errore per sostituire un processo manuale che ne fa il 7% senza che nessuno lo abbia mai misurato.
Il modo per uscirne è misurare la situazione di partenza prima di introdurre qualsiasi cosa — è il senso del AI per PMI: guida pratica e dei KPI di un progetto AI. Per una panoramica sui casi in cui il gioco vale la candela: esempi di automazione AI in azienda.
Errori da evitare
- Valutare la tecnologia invece dell'uso. Il modello non determina il rischio, il processo sì.
- Fermarsi al tasso di errore. Conta la conseguenza, non la frequenza.
- Non rivalutare al cambio di automazione. Da suggeritore a esecutore è un progetto nuovo.
- Delegare la valutazione a chi non conosce il processo. Solo chi lavora sa quali errori sono tollerabili.
- Non prevedere l'interruttore. Ogni sistema che agisce deve poter essere fermato in fretta.
Come applicarlo in azienda
Prendi un foglio e per ogni sistema AI scrivi sei righe: cosa fa, che dati tocca, quanto è autonomo, chi subisce l'errore, chi se ne accorge, quali controlli hai. Dieci minuti a sistema.
Il risultato è una pagina che serve a tre cose: decidere dove servono controlli, dimostrare governo in caso di verifica, e accorgersi dei casi in cui state per mettere in automatico qualcosa che non dovrebbe esserlo. Molte delle cause di fallimento descritte in perché falliscono i progetti AI si intercettano proprio qui.
Conclusione
La valutazione del rischio di un sistema AI si riduce a due domande oneste: cosa succede quando sbaglia, e chi se ne accorge. Tutto il resto è contorno.
Le aziende che si mettono nei guai non sono quelle che usano modelli meno buoni: sono quelle che hanno lasciato che un sistema passasse da suggerire a decidere senza che nessuno prendesse quella decisione consapevolmente.
Se vuoi passare dai test con ChatGPT a un sistema AI integrato nei processi aziendali, Giallo Studio progetta agenti e automazioni su misura, con i controlli dimensionati sul rischio reale. Puoi vedere alcuni sistemi funzionanti in The Lab.
Schema consigliato: Article + FAQPage + HowTo + BreadcrumbList
Risorse correlate
FAQ
Serve una valutazione dei rischi anche per un semplice assistente?
Una valutazione formale no, ma il ragionamento sì, e richiede pochi minuti. Le domande sono sempre le stesse: quali dati tocca, chi subisce le conseguenze se sbaglia, chi se ne accorge. Per un assistente che riassume documenti interni le risposte sono rassicuranti e la valutazione si chiude lì.
Qual è la differenza tra rischio dell'AI Act e rischio operativo?
L'AI Act guarda al rischio per i diritti fondamentali e la sicurezza delle persone. Il rischio operativo riguarda il danno che il sistema può fare al tuo business: errori nelle risposte ai clienti, decisioni sbagliate, interruzioni. Un sistema può essere a rischio minimo per la norma e ad alto rischio per te.
Come si valuta il rischio che il sistema sbagli?
Non basta chiedersi con che frequenza sbaglia: bisogna chiedersi cosa succede quando sbaglia. Un errore che produce una bozza da correggere ha impatto trascurabile; lo stesso tasso di errore su un messaggio inviato automaticamente al cliente è un problema. La combinazione frequenza per conseguenza è ciò che conta.
Chi dovrebbe fare la valutazione in una PMI?
Chi conosce il processo, non chi conosce la tecnologia. La persona che gestisce l'attività ogni giorno sa quali errori sono tollerabili e quali no, e questa è l'informazione decisiva. Il supporto tecnico serve per capire come il sistema funziona, non per stabilire cosa è accettabile.
Ogni quanto va rifatta?
Ogni volta che cambia l'uso del sistema, la fonte dei dati o il grado di automazione. Il caso più tipico è il passaggio da suggerimento a esecuzione automatica: lo stesso sistema che prima proponeva e ora agisce ha un profilo di rischio completamente diverso, anche se il software è identico.
Serve documentare la valutazione?
Una pagina è sufficiente per la maggior parte dei casi, e serve più di quanto sembri: dimostra governo in caso di verifica o contestazione, e obbliga a rendere espliciti ragionamenti che altrimenti restano impliciti e non condivisi.