Latenza dei modelli AI a confronto

La latenza è la variabile che quasi nessuno misura in fase di valutazione e che decide se un sistema AI verrà usato o abbandonato. Un modello brillante che risponde in otto secondi è, dal punto di vista di chi lo usa, peggiore di uno normale che risponde in due.

Questa guida spiega quando conta, cosa la influenza davvero e come ridurla senza cambiare modello.

Quando conta e quando no

È la prima distinzione da fare, perché divide nettamente i casi d'uso.

Nella colonna di destra la latenza esce completamente dalla decisione, e si può scegliere il modello guardando solo qualità e costo. È una libertà che vale la pena sfruttare: molti sistemi aziendali contengono carichi di questo tipo trattati come se fossero urgenti.

Cosa dicono le documentazioni

I fornitori non pubblicano tempi di risposta in secondi, perché dipendono da troppe variabili. Alcuni indicano però una scala relativa fra i propri modelli.

La documentazione Anthropic, per esempio, colloca i modelli della famiglia Claude su una scala di latenza in cui Haiku 4.5 è il più veloce e Fable 5.1 il più lento, con Opus 5 e Sonnet 5 in posizione intermedia.

È un'informazione utile per orientarsi, ma non sostituisce la misurazione: la latenza reale dipende dalla lunghezza dei tuoi prompt, da quanto testo generi e dal livello di elaborazione impostato.

Le quattro variabili che la determinano

La fascia del modello. In generale, più il modello è capace, più è lento. È una regolarità che vale in tutte le famiglie e che rende la fascia economica doppiamente interessante negli scenari interattivi: costa meno e risponde prima.

La lunghezza del prompt. Più testo il modello deve leggere prima di rispondere, più tempo passa. Un sistema che manda un archivio intero a ogni domanda è lento per costruzione, indipendentemente dal modello.

La lunghezza della risposta. Generare richiede tempo proporzionale alla quantità prodotta. Chiedere risposte concise riduce la latenza oltre che il costo.

Il livello di ragionamento. È la variabile con l'impatto più grande e la meno considerata. Alzare l'elaborazione può moltiplicare il tempo di risposta, perché il modello produce token intermedi prima di iniziare a rispondere. Il meccanismo è in reasoning effort: cosa cambia nei confronti.

Il caso degli agenti

Nei flussi agentici la latenza si comporta in modo diverso e più insidioso: si moltiplica per il numero di passaggi.

Un agente che compie dodici passaggi paga il tempo di risposta dodici volte. Un'esecuzione che con un modello veloce dura tre minuti può arrivare a dieci con uno lento. E il paradosso è che i modelli indicati per i flussi agentici lunghi sono spesso i più lenti della propria famiglia.

Non è un motivo per escluderli, ma va messo in conto quando si progetta il flusso — e soprattutto quando si decide se l'agente lavora mentre qualcuno guarda o durante la notte.

Come misurarla

• Usa i tuoi prompt reali, non esempi brevi
• Cronometra dalla richiesta alla risposta completa
• Misura su almeno venti casi, non uno
• Guarda anche i casi peggiori, non solo la media
• Ripeti a livelli di ragionamento diversi
• Negli agenti, misura l'esecuzione intera

Il quarto punto è quello che conta di più per l'esperienza d'uso. Una media di due secondi con picchi occasionali di quindici viene percepita come un sistema inaffidabile, molto più di una media costante di quattro secondi.

Ridurre la latenza percepita

C'è un insieme di accorgimenti che migliorano l'esperienza senza toccare il modello, e spesso valgono più di un cambio di fascia.

Mostrare la risposta mentre viene generata. Il tempo alla prima parola visibile è molto più breve di quello alla risposta completa, e per chi guarda è quello che conta.

Mostrare i passaggi negli agenti. Un'esecuzione lunga che dice cosa sta facendo passo per passo viene percepita come un sistema che lavora, non come uno bloccato.

Rispondere subito a ciò che si può. Se una parte della risposta è immediata e una richiede elaborazione, dare la prima subito cambia completamente la percezione dell'attesa.

Le soglie che contano per chi usa il sistema

Non tutti i ritardi sono uguali. Ci sono soglie oltre le quali la percezione cambia qualitativamente, e conoscerle aiuta a decidere dove investire.

L'ultima riga suggerisce una soluzione strutturale che spesso viene scartata troppo in fretta: se un compito richiede più di un minuto, forse non deve essere interattivo affatto. Farlo partire e avvisare quando è pronto è un'esperienza migliore di un'attesa lunga davanti a uno schermo.

Il legame fra latenza e costo

Le due variabili si muovono quasi sempre nella stessa direzione, e questo è una buona notizia per chi ottimizza.

Le leve che riducono la latenza — scendere di fascia, accorciare il prompt, chiedere risposte concise, abbassare il ragionamento — riducono anche il costo. È raro dover scegliere fra le due.

Tutte e cinque le righe vanno nella stessa direzione. L'unico caso in cui le due cose divergono è la qualità: gli stessi interventi possono peggiorarla sui compiti difficili, ed è per questo che vanno verificati sui propri casi invece che applicati alla cieca.

Il ragionamento sul costo reale, con le voci che il listino non contiene, è in costo per task o prezzo per token.

Esempi pratici

Chat di assistenza clienti. La latenza è la variabile numero uno: il cliente ha la finestra aperta e aspetta. Fascia leggera, prompt corto, risposta mostrata mentre viene generata. La qualità in più di un modello superiore non compensa l'attesa.

Assistente interno sulle procedure. Latenza importante ma meno critica: chi lavora tollera qualche secondo se la risposta è precisa. Qui vale la pena bilanciare, e misurare se il livello di ragionamento più alto migliora davvero le risposte o solo il tempo.

Agente che elabora documenti durante la notte. Latenza irrilevante. Si sceglie il modello più capace che il budget consente, senza pensarci. È il caso in cui liberarsi del vincolo di velocità permette di ottimizzare tutto il resto.

Errori da evitare

• Non misurare la latenza prima di scegliere il modello.
• Misurarla su esempi brevi invece che sui propri prompt reali.
• Guardare solo la media ignorando i casi peggiori.
• Trattare come urgenti carichi che potrebbero girare di notte.
• Mettere un compito lento dentro un'interfaccia sincrona.
• Cambiare modello prima di provare a mostrare la risposta mentre arriva.

Come applicarlo in azienda

Il primo intervento non riguarda il modello: riguarda la classificazione del carico.

Fai l'elenco di ciò che il tuo sistema fa e segna quali parti hanno davvero qualcuno che aspetta. È un esercizio da mezz'ora che quasi sempre rivela una quota consistente di lavoro senza urgenza — arricchimento di archivi, report periodici, classificazione retroattiva. Su quella quota la latenza esce dalla decisione, e puoi scegliere guardando solo qualità e costo.

Per la parte interattiva, misura invece di stimare: usa i tuoi prompt reali, cronometra dalla richiesta alla risposta completa su almeno venti casi e guarda anche i picchi. Una media di due secondi con punte occasionali di quindici viene percepita peggio di una media costante di quattro.

Se dopo queste verifiche la latenza resta un problema, le leve sono quattro e vanno tutte nella stessa direzione del risparmio: scendere di fascia, accorciare il prompt, chiedere risposte più brevi e abbassare il livello di ragionamento sui compiti semplici — quest'ultimo è quello con l'impatto maggiore, come spiegato in reasoning effort: cosa cambia nei confronti.

Un caso merita una decisione strutturale: se un compito richiede più di un minuto, probabilmente non deve essere interattivo affatto. Farlo partire e avvisare quando è pronto è un'esperienza migliore di un'attesa lunga davanti a uno schermo — vale soprattutto per gli agenti, dove la latenza si moltiplica per i passaggi, come discusso in miglior modello AI per agenti.

Se vuoi progettare un sistema AI che risponda alla velocità che il tuo caso richiede, Giallo Studio può aiutarti a trasformare il problema in un workflow reale.

Per completare il ragionamento. Il metodo per costruire il banco di prova è in quando basta un modello economico. Il calcolo del costo per compito completato, che è il numero su cui si decide davvero, è in strategia a modello misto: leggero e potente. Per capire quando conviene rimettere in discussione la configurazione, il criterio è in come si leggono i benchmark AI.

Conclusione

La latenza è la variabile che decide se un sistema AI verrà usato, ed è quella che quasi nessuno misura prima di scegliere. Conta solo dove qualcuno attende — ma dove conta, pesa quanto la qualità.

Le leve sono più di una: scendere di fascia, accorciare prompt e risposte, abbassare il livello di ragionamento sui compiti semplici e mostrare la risposta mentre arriva. Spesso l'ultima vale più delle altre.

Se vuoi progettare un sistema AI che risponda alla velocità che il tuo caso richiede, Giallo Studio costruisce agenti e automazioni su misura per le PMI.

Schema consigliato: Article + FAQPage + BreadcrumbList