Come si leggono i benchmark AI

I benchmark dei modelli AI sono ovunque e vengono letti male quasi sempre. La colpa non è di chi li legge: sono presentati come classifiche sportive — un vincitore, dei numeri, una graduatoria — quando in realtà sono misure di compiti specifici in condizioni specifiche.

Questa guida spiega cosa raccontano davvero, perché i numeri di vendor diversi non si sommano, e come un'azienda può usarli per decidere invece di subirli. I dati citati sono tutti da fonti ufficiali, con data, perché in questo campo un numero senza data vale poco.

Cosa misura davvero un benchmark

Un benchmark è un insieme di prove con una risposta considerata corretta. Misura la percentuale di prove superate. Questo significa due cose che nelle classifiche spariscono.

Misura quel compito. Un test di programmazione dice quanto un modello risolve problemi di programmazione simili a quelli del test. Non dice se scrive bene in italiano, se ragiona su documenti lunghi, se sbaglia poco quando non sa.

Misura in una configurazione. Lo stesso modello, con più tempo di ragionamento o con strumenti a disposizione, ottiene risultati diversi. Nell'annuncio di Claude Opus 5 del 24 luglio 2026, Anthropic mostra esplicitamente come le prestazioni cambino al variare del livello di effort — non un numero unico, ma una curva.

Perché i numeri dei vendor non si sommano

È il malinteso che genera più decisioni sbagliate. Anthropic, OpenAI e Google pubblicano ciascuno i propri risultati, e sembra naturale metterli in una tabella. Non lo è.

• Ogni vendor sceglie quali benchmark pubblicare, e pubblica quelli in cui va bene
• Ogni vendor usa la propria impalcatura: prompt, strumenti, numero di tentativi
• Le versioni dei benchmark cambiano — Frontier-Bench v0.1 e CursorBench 3.2 sono versioni precise, non nomi generici
• Alcuni risultati sono su benchmark interni non riproducibili da terzi

Anthropic stessa, nell'annuncio di Opus 5, cita miglioramenti «sul nostro benchmark interno» per le valutazioni di chimica organica. È un'informazione onesta e utile, ma per definizione non confrontabile con i numeri di un altro vendor.

La conseguenza pratica: le tabelle che mettono in fila punteggi di vendor diversi sono quasi sempre costruite male, anche quando i singoli numeri sono corretti. Il tema è approfondito in perché i benchmark dei vendor non sono comparabili.

Le classifiche indipendenti

Esistono valutazioni non prodotte dai vendor, come LMArena, che confrontano i modelli su preferenze espresse da persone e pubblicano classifiche separate per categoria — chat, agenti, codice, immagini, documenti.

Hanno un vantaggio: la misura è la stessa per tutti. E un limite: misurano la preferenza umana su conversazioni generiche, che non è la stessa cosa della resa su un tuo processo specifico.

Il costo per task: la misura che conta

Qui c'è la differenza più importante tra leggere un benchmark da appassionato e leggerlo da azienda.

Il prezzo pubblicato è per milione di token. Alla data di questo articolo, sui listini ufficiali:

Fonti: platform.claude.com, developers.openai.com, ai.google.dev — listini consultati il 19 agosto 2026. Prezzi Gemini riferiti al piano Standard.

Quel prezzo però non dice quanto costa risolvere un problema. Un modello più caro al token che arriva alla soluzione in tre passaggi può costare meno di uno economico che ne impiega quindici. È esattamente il ragionamento che Anthropic espone nell'annuncio di Opus 5, dove parla di costo per task e non di prezzo per token.

Il ragionamento completo è in costo per task o prezzo per token.

Le tre cose che rendono un confronto onesto

1. La data. I modelli cambiano in settimane. Alla data di questo articolo Opus 5 è uscito da meno di un mese e Google ha in listino Gemini 3.6, 3.5 e 3.1 contemporaneamente.
2. La configurazione. Quale livello di ragionamento, quali strumenti, quanti tentativi.
3. La fonte. Chi ha prodotto il numero e se è riproducibile da terzi.

Un confronto che dichiara queste tre cose è utilizzabile anche fra sei mesi, perché il lettore sa cosa sta guardando. Uno che le omette è una fotografia senza didascalia.

Come sceglie davvero un'azienda

Nessuna delle informazioni sopra sostituisce la prova sul proprio caso. Il metodo che funziona è più corto di quanto sembri.

1. Prendi dieci esempi reali del compito che ti interessa, compresi i casi difficili.
2. Prova due o tre modelli sugli stessi esempi, con la stessa istruzione.
3. Valuta tu la qualità: sono risposte che useresti?
4. Misura il costo complessivo per arrivare al risultato, non il prezzo al token.
5. Verifica anche la resa in italiano, che i benchmark internazionali misurano poco.

Il passaggio 5 conta più di quanto le classifiche lascino intendere: la maggior parte dei benchmark pubblici è in inglese, e per un'azienda italiana la qualità nella propria lingua è un criterio di selezione reale. Il tema è ripreso in miglior modello AI per l'italiano.

Esempi pratici

Studio che deve riassumere documenti lunghi. I benchmark di coding sono irrilevanti. Contano finestra di contesto e tenuta sui testi lunghi. Tre modelli, dieci documenti veri, confronto dei riassunti: la decisione si prende in mezza giornata.

Azienda che vuole automatizzare risposte ai clienti. Qui il criterio non è il punteggio massimo ma la costanza: un modello che sbaglia raramente in modo grave batte uno che eccelle e ogni tanto inventa. È una qualità che le classifiche non misurano bene, e che si vede solo provando.

Progetto ad alto volume. Con migliaia di richieste al giorno la differenza di prezzo tra fasce diventa dominante. Vale la pena verificare se un modello leggero copre il compito, come discusso in quando basta un modello economico.

Errori da evitare

• Mettere in tabella numeri di vendor diversi. Impalcature diverse, confronto non valido.
• Ignorare il livello di ragionamento. Cambia i risultati dello stesso modello.
• Confrontare piani tariffari diversi. Standard contro Batch non è un confronto.
• Leggere classifiche senza data. In questo campo invecchiano in settimane.
• Scegliere il primo in classifica generale. La classifica generale non è il tuo caso d'uso.
• Non provare sui propri dati. È l'unica misura che descrive davvero la tua situazione.

Come applicarlo in azienda

Quando leggi un confronto tra modelli, fatti tre domande: di quando è, con quale configurazione sono stati ottenuti i numeri, e chi li ha prodotti. Se l'articolo non risponde, trattalo come un'indicazione di massima e non come una base per decidere.

Poi, prima di scegliere, fai la prova sui tuoi dieci casi. È mezza giornata di lavoro e sostituisce settimane di lettura di classifiche, perché misura esattamente il compito che ti interessa invece di un compito che assomiglia al tuo.

Se vuoi capire quali processi della tua azienda possono essere automatizzati con l'AI, Giallo Studio può aiutarti a trasformare il problema in un workflow reale. Il quadro sui criteri di scelta è in come scegliere un modello AI, quello sui costi in costo delle API AI.

Il metodo in sei passi

Tutto quanto detto finora si condensa in una procedura che una PMI può eseguire in mezza giornata, senza competenze tecniche particolari e senza spendere in consulenze prima di aver capito cosa serve.

Primo: scrivi il compito in una frase. Non «vogliamo usare l'AI», ma «classificare le email in arrivo in cinque categorie» oppure «estrarre otto campi dalle fatture fornitori». Se non riesci a scriverlo in una frase, il progetto non è ancora definito e nessun benchmark ti aiuterà.

Secondo: raccogli dieci casi reali. Presi dal lavoro vero, con l'esito corretto già noto. Almeno tre devono essere casi difficili: documento mal scritto, informazione mancante, formato anomalo. Sono quelli che distinguono i modelli.

Terzo: scegli due o tre candidati. Qui i benchmark servono, ed è l'unico momento in cui servono. Guarda i test pertinenti al tuo tipo di compito e restringi il campo.

Quarto: esegui lo stesso test su tutti. Stesso materiale, stesse istruzioni, stessa configurazione. Annota per ogni caso l'esito, il tempo e il consumo.

Quinto: fai valutare a chi conosce il lavoro. Non a chi conosce l'AI. La persona che fa quel lavoro tutti i giorni riconosce in due secondi un errore che a un tecnico sembra una risposta ragionevole.

Sesto: guarda come sbaglia. È il passo che quasi tutti saltano ed è il più informativo, per la ragione spiegata più avanti.

Cinque ore in tutto, e producono più informazione utile di settimane passate a confrontare classifiche.

Perché contano gli errori più dei successi

Due modelli con lo stesso tasso di errore possono avere valore completamente diverso, e la differenza sta nel tipo di errore.

Un modello che, di fronte a un documento incompleto, risponde «il campo non è presente» ha sbagliato nulla: ha fatto il suo lavoro. Un modello che inventa un valore plausibile ha prodotto un errore che nessuno verificherà, perché non ha l'aspetto di un errore.

Questo criterio non compare in nessuna classifica pubblica, perché richiede di guardare le risposte una per una. Ed è esattamente il motivo per cui il test interno resta insostituibile.

Come applicarlo in azienda

Il modo pratico di usare tutto questo è trasformarlo in una procedura fissa che si ripete a ogni valutazione, invece di un ragionamento da rifare ogni volta.

Prima di guardare qualunque classifica, scrivi il compito in una frase e raccogli i dieci casi reali. È l'unico lavoro che richiede attenzione, e va fatto da chi conosce il processo. Poi usa i benchmark per restringere a due o tre candidati di fascia comparabile, secondo il criterio descritto in quali benchmark AI contano davvero.

La prova vera arriva dopo, ed è quella che decide. Stesso materiale per tutti i candidati, stessa configurazione, esiti valutati da chi fa quel lavoro tutti i giorni. Aggiungi due misurazioni che quasi nessuno fa: quanto costa ogni caso davvero, con il metodo di costo per task o prezzo per token, e quanto tempo passa fra richiesta e risposta.

L'ultimo passaggio è quello che protegge nel tempo: una revisione a calendario ogni sei mesi, non quando esce un modello nuovo. Le revisioni fatte sull'onda di un annuncio partono già orientate verso l'alto; quelle a data fissa guardano anche verso il basso, dove sta il risparmio.

Se vuoi che questa valutazione la faccia qualcuno con te, sui tuoi documenti e sui tuoi processi, Giallo Studio può aiutarti a trasformare il problema in un workflow reale.

Tre letture per chiudere il quadro. Se stai ancora scegliendo la fascia, il criterio operativo è in strategia a modello misto: leggero e potente. Per il calcolo della spesa reale — quella che comprende contesto ripetuto, tentativi falliti e revisione umana — il riferimento è quando conviene cambiare modello AI. E quando il traffico è disomogeneo, l’impostazione che dà il miglior rapporto fra qualità e costo è descritta in il miglior modello AI dipende dal caso d'uso.

Le tre domande da fare a chi ti propone un modello

Che la proposta arrivi da un fornitore, da un consulente o da un collega, tre domande rivelano in pochi minuti quanto lavoro c'è dietro.

«Con quale configurazione è stato ottenuto questo numero?» Versione del benchmark, impalcatura, livello di ragionamento. Una risposta precisa indica che il confronto è stato fatto davvero; una risposta vaga indica che il numero è stato copiato da un comunicato.

«Avete provato la fascia sotto?» È la domanda che fa risparmiare di più. La tentazione commerciale spinge verso l'alto, e chi propone una fascia inferiore spiegando perché basta sta lavorando nel tuo interesse.

«Cosa succede quando il modello non sa rispondere?» Se non c'è una risposta precisa, il sistema chiuderà con sicurezza anche i casi che non ha capito — e quelli producono errori che nessuno verificherà.

Come si costruisce un dieci casi che serve davvero

Non tutti i banchi di prova sono uguali, e la differenza si vede subito in produzione.

La terza riga è quella che quasi nessuno inserisce ed è la più informativa di tutte. Dare al modello un documento a cui manca il campo richiesto e chiederglielo produce una risposta che dice tutto: dichiarare l'assenza è corretto, restituire un campo vuoto è accettabile, inventare un valore plausibile è squalificante a qualunque prezzo.

Vale infine la pena conservare il banco di prova in un file, con gli esiti corretti e i risultati di ogni modello provato. Diventa il riferimento permanente: alla valutazione successiva, fra sei mesi, il confronto costa un'ora invece di cinque, e puoi mettere il modello nuovo accanto a tutti quelli già testati sugli stessi identici casi.

Conclusione

I benchmark AI sono utili se letti per quello che sono: misure di compiti specifici, in configurazioni specifiche, in un momento specifico. Diventano fuorvianti quando si trasformano in classifiche assolute.

Per un'azienda la regola pratica è una sola: i numeri pubblici servono a restringere il campo a due o tre candidati, la scelta si fa sui propri dati. E ogni cifra che leggi, compresa quelle di questo articolo, va guardata insieme alla sua data.

Schema consigliato: Article + FAQPage + BreadcrumbList