Cluster · strategia modello misto AI
Strategia a modello misto: leggero e potente
Come usare un modello leggero e uno potente insieme: criteri di passaggio, verifiche e quanto si risparmia davvero.
Tempo di lettura: 10 min
Guida operativa · Confronti modelli AI
La domanda «quale modello AI scegliere» ha spesso una risposta che sorprende: due. Un modello economico che gestisce il grosso del traffico e uno più capace che interviene solo sui casi difficili.
È l'impostazione che nella pratica dà il miglior rapporto fra qualità e spesa, e questa guida spiega come costruirla e cosa verificare perché funzioni davvero.
In sintesi
- Il modello leggero riceve tutto il traffico.
- Solo i casi dubbi o complessi salgono al modello capace.
- Con il 10% di casi difficili, la spesa resta vicina a quella economica.
- Condizione indispensabile: il modello leggero ammette di non sapere.
- Serve un criterio esplicito di passaggio, non un'intuizione.
- Quasi sempre serve anche un terzo livello umano.
Perché funziona
Il principio è semplice e vale in quasi ogni processo aziendale: la difficoltà dei casi non è distribuita in modo uniforme.
Su mille fatture, novecento sono ordinarie — formato noto, campi presenti, nulla di ambiguo. Ottanta hanno qualche irregolarità. Venti sono casi veri, che anche una persona deve guardare due volte.
Usare lo stesso modello per tutte e mille significa pagare la tariffa dei venti casi difficili anche per i novecento facili. È lo spreco più diffuso nei progetti AI, e si corregge separando i flussi.
L'architettura, in concreto
- Il primo livello riceve ogni richiesta
- Produce un esito e un'indicazione di confidenza
- Un criterio esplicito decide se chiudere o far salire
- Il secondo livello tratta i casi passati
- Un terzo livello umano riceve ciò che nessuno chiude
- Tutto viene registrato per poter tarare
Il secondo punto è quello che distingue un'impostazione che funziona da una che sembra funzionare. Non basta che il modello produca una risposta: deve produrre anche un segnale su quanto quella risposta sia affidabile.
Nella pratica questo si ottiene chiedendo esplicitamente al modello di dichiarare l'incertezza, e — più affidabile ancora — di citare il punto del documento da cui trae ogni affermazione. Se non riesce a citare, il caso sale.
La condizione che decide tutto
C'è un modo in cui questa impostazione fallisce, ed è silenzioso: se il modello leggero chiude con sicurezza casi che non ha capito, quei casi non arrivano mai al secondo livello.
Il risultato è peggiore di non avere il secondo livello affatto, perché il sistema dà l'impressione di avere una rete di sicurezza che in realtà non scatta mai.
| Comportamento del modello leggero | Conseguenza sul sistema |
|---|---|
| Dichiara l'incertezza | Il caso sale, il sistema funziona |
| Restituisce un campo vuoto | Il caso è intercettabile |
| Inventa un valore plausibile | Il caso si chiude, l'errore passa |
Come definire il criterio di passaggio
Il criterio non va deciso a intuito: va scelto fra opzioni misurabili e poi tarato sui dati veri.
Confidenza dichiarata. Il modello indica quanto è sicuro; sotto una soglia il caso sale. È il criterio più flessibile, ma richiede di verificare che la confidenza dichiarata corrisponda davvero alla correttezza.
Categoria del caso. Alcune tipologie salgono sempre, a prescindere. È il criterio più prevedibile e il più facile da spiegare a chi deve fidarsi del sistema.
Caratteristiche del documento. Lunghezza oltre una soglia, formato non riconosciuto, campi mancanti. È il criterio più semplice da implementare.
Esito del primo tentativo. Se il modello non chiude, il caso sale. È il criterio più diretto ma anche il più costoso, perché paga sempre due passaggi sui casi difficili.
Nella pratica si combinano: una regola sulle categorie critiche, più una soglia di confidenza per tutto il resto.
Quanto si risparmia davvero
Prendiamo 200.000 casi al mese, 1.500 token di input e 300 di output. Confrontiamo tre configurazioni con un modello economico a 0,20/1,20 $ e uno capace a 5/25 $.
| Configurazione | Spesa mensile stimata |
|---|---|
| Tutto sul modello capace | ~3.000 $ |
| Tutto sul modello economico | ~132 $ |
| Misto, 10% sui casi difficili | ~420 $ |
La riga centrale è quella che tutti vorrebbero e che quasi nessuno può permettersi in termini di qualità. La terza offre la qualità della prima sui casi che la richiedono, a un settimo del costo.
Il calcolo completo del costo reale, che include contesto ripetuto e tentativi falliti, è in costo per task o prezzo per token.
Il terzo livello: le persone
In quasi tutti i processi aziendali una piccola percentuale di casi non va chiusa automaticamente. Progettarlo fin dall'inizio è più economico che aggiungerlo dopo un incidente.
Cosa deve arrivare a una persona
- Casi che nessuno dei due livelli chiude
- Categorie critiche definite in anticipo
- Anomalie rispetto ai dati storici
- Un campione casuale, per controllo
Come deve arrivare
- Con il contesto già preparato
- Con l'indicazione di cosa è dubbio
- Dentro lo strumento che la persona usa già
- In una coda gestibile, non a raffica
L'ultima riga della colonna di destra è quella che determina se il sistema verrà usato. Se richiede di aprire un altro strumento o di cambiare abitudini, l'adozione crolla nel giro di poche settimane — indipendentemente da quanto sia buono il modello.
Errori da evitare
- Non verificare che il modello leggero ammetta di non sapere.
- Definire il criterio a intuito invece che sui dati.
- Non controllare a campione i casi chiusi al primo livello.
- Fissare la soglia una volta e non ritararla mai.
- Dimenticare il terzo livello umano.
- Non registrare gli esiti: senza dati non si ottimizza.
Il terzo punto è il controllo di sicurezza dell'intera impostazione. Serve ad accorgersi se il primo livello sta chiudendo casi che avrebbe dovuto passare oltre, ed è l'unico modo di scoprire il fallimento silenzioso prima che produca danni.
Come tarare la soglia
La soglia di passaggio non si indovina: si trova con i dati, in tre passaggi che richiedono qualche settimana di funzionamento.
Primo: parti prudente. All'inizio conviene far salire più casi del necessario. Costa qualcosa in più, ma evita di scoprire il problema dai reclami invece che dai dati.
Secondo: registra tutto. Per ogni caso servono l'esito del primo livello, la confidenza dichiarata, se è salito e — dove disponibile — l'esito corretto. Senza questi dati non c'è taratura possibile.
Terzo: guarda i due errori. Ci sono due modi di sbagliare soglia, e vanno misurati separatamente perché hanno costi diversi.
| Tipo di errore | Cosa succede | Costo |
|---|---|---|
| Soglia troppo alta | Salgono casi che il primo livello chiudeva bene | Spesa inutile |
| Soglia troppo bassa | Si chiudono casi che andavano approfonditi | Errori non intercettati |
La seconda riga costa molto più della prima, e questo dovrebbe orientare la taratura: meglio far salire qualche caso di troppo che lasciarne passare uno sbagliato. Il costo di un caso in più al secondo livello è di frazioni di centesimo; il costo di un dato sbagliato che entra nei sistemi aziendali è di ordini di grandezza superiore.
Quando il misto non conviene
Non è sempre la risposta giusta, e vale la pena dirlo per evitare di aggiungere complessità dove non serve.
Volumi bassi. Sotto qualche migliaio di casi al mese, la differenza di spesa fra le configurazioni è modesta e non giustifica il lavoro di costruire e mantenere due livelli. Meglio un modello solo, scelto bene.
Casi omogenei. Se tutti i casi si assomigliano, non c'è una minoranza difficile da separare. La strategia mista sfrutta proprio la disomogeneità: senza quella, non ha nulla su cui lavorare.
Compiti a rischio alto. Se ogni singolo caso ha conseguenze rilevanti, conviene usare direttamente il modello più capace e concentrare l'ottimizzazione altrove — sul prompt, sulla selezione del contesto, sulla revisione umana.
Primo progetto. Costruire un sistema a due livelli come prima cosa aggiunge complessità prima di aver capito il problema. Meglio partire semplice, misurare, e introdurre il secondo livello quando i dati mostrano che serve.
| Situazione | Impostazione consigliata |
|---|---|
| Volumi alti, casi disomogenei | Misto a due livelli |
| Volumi bassi | Un modello solo, scelto bene |
| Rischio alto per ogni caso | Modello capace + revisione |
| Primo progetto | Semplice, poi si evolve |
L'ultima riga è un consiglio che vale in generale: un sistema semplice che funziona e viene misurato è la base migliore per qualunque ottimizzazione successiva. La complessità aggiunta prima di avere i dati è quasi sempre complessità sprecata.
Esempi pratici
Studio contabile, estrazione da fatture fornitori. Ottomila documenti al mese, quattrocento fornitori con formati diversi. Il modello economico chiude circa il novanta per cento; il sette per cento sale al secondo livello e il due arriva a una persona. Da ottomila documenti da guardare a centosessanta, con una spesa di API nell'ordine delle decine di euro.
E-commerce, prima risposta ai clienti. Il modello leggero riconosce gli intenti ricorrenti e risponde dalla base documentale. I messaggi fuori schema — quelli in cui il cliente descrive una situazione ambigua o è arrabbiato per un motivo non ancora spiegato — non vengono risolti a tutti i costi: salgono al secondo livello e, se serve, a un operatore.
Azienda manifatturiera, classificazione di un archivio storico. Centinaia di migliaia di documenti da etichettare, senza urgenza. Qui il secondo livello serve soprattutto per i documenti che il primo non riesce a classificare con sicurezza: lasciarli non classificati è meglio che metterli nella categoria sbagliata, perché un documento mal etichettato diventa introvabile.
Come applicarlo in azienda
L'impostazione si costruisce in tre fasi, e la prima è quella che protegge tutte le altre.
Verifica la condizione. Prima di qualunque cosa, prova che il modello leggero riconosca i propri limiti: dagli un caso a cui manca l'informazione richiesta e guarda cosa fa. Se inventa un valore plausibile, l'intera impostazione non regge, perché quei casi non saliranno mai al secondo livello.
Definisci il criterio di passaggio. Non a intuito ma fra opzioni misurabili: confidenza dichiarata sotto soglia, categoria del caso, irregolarità del documento, primo tentativo che non chiude. Nella pratica si combinano — una regola sulle categorie critiche più una soglia per il resto.
Tara sui dati. Parti prudente, facendo salire più casi del necessario, e registra tutto. Dopo qualche settimana avrai i numeri per stringere la soglia. Sbagliare per eccesso costa frazioni di centesimo per caso; sbagliare per difetto costa errori non intercettati.
Il calcolo del risparmio atteso, con i numeri delle diverse fasce, è in quanto si risparmia con un modello leggero; il criterio per capire quale fascia usare come primo livello è in quando basta un modello economico.
Se vuoi progettare un sistema AI che usi il modello giusto al momento giusto, Giallo Studio progetta agenti e automazioni su misura per le PMI.
Per completare il ragionamento. Il metodo per costruire il banco di prova è in come si leggono i benchmark AI. Il calcolo del costo per compito completato, che è il numero su cui si decide davvero, è in quando conviene cambiare modello AI. Per capire quando conviene rimettere in discussione la configurazione, il criterio è in perché i benchmark dei vendor non sono comparabili.
Conclusione
La strategia a modello misto è il modo più efficace di ridurre la spesa di un sistema AI senza perdere qualità, e sfrutta una proprietà vera di quasi tutti i processi: la maggior parte dei casi è ordinaria.
Ma poggia su una condizione che va verificata prima, non dopo: il modello leggero deve riconoscere i propri limiti. Senza quella, il secondo livello non scatta e il sistema fallisce in silenzio.
Se vuoi progettare un sistema AI che usi il modello giusto al momento giusto, Giallo Studio costruisce agenti e automazioni su misura per le PMI.
Schema consigliato: Article + FAQPage + BreadcrumbList
Risorse correlate
FAQ
Cos'è una strategia a modello misto?
Un'impostazione in cui un modello economico gestisce tutto il traffico e passa a un modello più capace solo i casi che riconosce come complessi o incerti, ottenendo qualità alta a costo contenuto.
Quanto si risparmia?
Dipende dalla percentuale di casi difficili. Se sono il dieci per cento del traffico, la spesa si avvicina a quella del modello economico mantenendo la qualità del modello capace sui casi che la richiedono.
Qual è la condizione perché funzioni?
Che il modello leggero riconosca i propri limiti. Se chiude con sicurezza casi che non ha capito, quelli non salgono mai al secondo livello e l'intera impostazione fallisce silenziosamente.
Come si decide quando far salire un caso?
Con un criterio esplicito e misurabile: bassa confidenza dichiarata dal modello, categoria del caso, lunghezza o irregolarità del documento, oppure un primo tentativo che non chiude.
Si possono usare fornitori diversi per i due livelli?
Tecnicamente sì, ma aggiunge complessità di gestione. Restare nello stesso fornitore semplifica credenziali, monitoraggio e manutenzione, e va preferito salvo motivi specifici.
Serve anche un terzo livello umano?
In quasi tutti i processi aziendali sì. Una piccola percentuale di casi non va chiusa automaticamente e deve arrivare a una persona, con il contesto già preparato dal sistema.