Perché i benchmark dei vendor non sono comparabili

Mettere in una tabella il punteggio di Claude, quello di GPT e quello di Gemini sullo stesso benchmark sembra la cosa più naturale del mondo. È anche quasi sempre sbagliato, e non perché i singoli numeri siano falsi: perché sono stati ottenuti in condizioni diverse.

Questo articolo spiega quali sono quelle condizioni, perché nessuno le dichiara tutte, e come si legge un annuncio di vendor senza trarne conclusioni che non regge.

Le cinque variabili che spostano il risultato

Il livello di ragionamento. I modelli attuali hanno impostazioni di effort configurabili. Un punteggio ottenuto a effort massimo e uno a effort medio non sono la stessa misura, e la differenza può essere ampia.

Il numero di tentativi. Un risultato "al primo tentativo" e uno "migliore su dieci tentativi" sono cose diverse. Entrambe legittime, entrambe pubblicabili, non confrontabili.

Gli strumenti concessi. Un modello che può eseguire codice o cercare sul web affronta il test in modo diverso da uno che risponde a memoria.

La versione del benchmark. Non esiste "il" benchmark: esiste Frontier-Bench v0.1, CursorBench 3.2, ARC-AGI 3. Le versioni cambiano e i numeri non si trasferiscono.

Il prompt di sistema. L'istruzione con cui il modello affronta il test è parte dell'impalcatura, e raramente viene pubblicata per intero.

Dove i numeri sono invece solidi

C'è un caso in cui i dati dei vendor sono affidabili e utili: il confronto tra due modelli dello stesso vendor.

Quando Anthropic afferma che Opus 5 più che raddoppia le prestazioni di Opus 4.8 su Frontier-Bench v0.1 a un costo per task inferiore, sta misurando due suoi modelli con la stessa impalcatura, lo stesso test, lo stesso metodo. Quel confronto regge.

Questo è il motivo per cui gli articoli comparativi meglio costruiti confrontano fasce di prezzo e caratteristiche verificabili — contesto, costo, latenza, disponibilità — e usano i benchmark come indicazione qualitativa, non come classifica.

I benchmark interni

Meritano una nota a parte perché compaiono spesso e vengono letti male.

Un vendor può costruire valutazioni proprie su domini specifici. Anthropic, sempre nell'annuncio di Opus 5, riporta miglioramenti misurati su benchmark interni per le scienze della vita — per esempio sulla chimica organica.

Non c'è nulla di scorretto: l'azienda dichiara che si tratta di una sua valutazione. Ma un numero del genere non è verificabile da terzi e non può essere messo accanto a un risultato pubblico di un concorrente. È un'indicazione dell'azienda su sé stessa, e come tale va citata.

Cosa dichiarare in un confronto onesto

1. Chi ha prodotto il numero e quando.
2. Quale versione esatta del benchmark.
3. Con quale livello di ragionamento.
4. Con quanti tentativi e quali strumenti.
5. Se il benchmark è pubblico o interno.

Un articolo che dichiara questi cinque elementi resta utile anche a distanza di mesi, perché il lettore può collocare il dato. Uno che li omette invecchia male e induce in errore.

Esempi pratici

Tabella comparativa trovata online. Mette in fila tre modelli su un test di coding, senza date né configurazioni. Non è utilizzabile per decidere: potrebbe confrontare un modello a effort massimo con uno a effort medio, o versioni diverse del test.

Annuncio di un vendor. Dice che il nuovo modello supera il precedente su un test specifico a costo inferiore. È un'informazione solida per decidere se aggiornare, ed è esattamente il caso in cui i dati del vendor servono.

Classifica indipendente. Utile per restringere il campo a due o tre candidati. Non sufficiente per scegliere, perché misura preferenze generiche e non il tuo processo.

Errori da evitare

• Costruire tabelle cross-vendor con numeri pubblicati. È l'errore più diffuso.
• Ignorare la versione del benchmark. v0.1 e 3.2 non sono dettagli.
• Trattare i benchmark interni come pubblici. Non sono verificabili.
• Citare numeri senza data. In questo campo invecchiano in settimane.
• Dedurre "il migliore" da un test solo. Misura un compito, non tutti.
• Non provare sui propri dati. È l'unico confronto che controlli davvero.

Come applicarlo in azienda

Quando ricevi una proposta che si appoggia a benchmark — da un fornitore, da un consulente, da un articolo — chiedi le cinque informazioni elencate sopra. Se non ci sono, il numero non è un argomento: è un'illustrazione.

Poi fai la verifica che nessuna classifica può fare al posto tuo: dieci esempi reali del tuo compito, gli stessi per ogni modello, con la stessa istruzione. Il metodo completo è in come si leggono i benchmark AI e i criteri di scelta in come scegliere un modello AI.

Come si legge un annuncio, riga per riga

Prendiamo un caso reale. Nell'annuncio di Claude Opus 5 del 24 luglio 2026, Anthropic afferma che il modello raggiunge lo stato dell'arte su Frontier-Bench e GDPval-AA, e che su Frontier-Bench v0.1 più che raddoppia il risultato di Opus 4.8 a un costo per task inferiore.

È una frase costruita bene, e vale la pena smontarla per capire cosa contiene davvero.

• La versione è dichiarata (v0.1): buon segno, permette il riscontro
• Il confronto è con il modello precedente dello stesso vendor: legittimo e verificabile
• Viene citato il costo per task, non solo il punteggio: raro e utile
• Il dato resta auto-riportato: non è una verifica indipendente
• Non è detto quale impalcatura abbia prodotto il numero

Lo stesso annuncio dichiara anche il rovescio della medaglia: su cybersecurity il modello resta dietro a un concorrente. È un dettaglio che vale la pena notare, perché un annuncio che ammette un limite è mediamente più affidabile di uno che non ne ammette nessuno.

Le tre asimmetrie strutturali

Al di là delle intenzioni, ci sono tre ragioni per cui un numero prodotto da un vendor non può essere neutro. Non riguardano l'onestà, riguardano il metodo.

La selezione dei test. Ogni vendor sceglie quali benchmark citare. Se un modello va bene su otto prove e male su tre, nell'annuncio compariranno le otto. Non è una bugia, è una selezione — e produce un ritratto sistematicamente più favorevole del reale.

L'ottimizzazione dell'impalcatura. Chi ha costruito il modello sa come ottenerne il massimo: quale formato di prompt funziona meglio, quale livello di ragionamento conviene, come strutturare i tentativi. Sul modello concorrente questa conoscenza manca, e il divario che ne risulta è in parte artificiale.

La scelta del momento. Il confronto viene pubblicato quando il proprio modello è appena uscito e quello del concorrente ha qualche mese. È la fotografia più favorevole possibile, e in un settore che si muove così in fretta bastano poche settimane per cambiare il quadro.

Nessuna delle tre richiede malafede per prodursi. Sono conseguenze strutturali del fatto che chi misura è anche chi vende, ed è il motivo per cui questi numeri servono a orientarsi ma non a decidere.

Cosa fare, in pratica

La conclusione non è ignorare i numeri dei vendor: sono spesso l'unica fonte disponibile su un modello appena uscito. È usarli per quello che sono.

• Leggili come ipotesi da verificare, non come conclusioni
• Cerca il confronto interno (nuovo contro precedente): è il più affidabile
• Diffida dei confronti con la concorrenza senza configurazione dichiarata
• Controlla se esiste una fonte indipendente sullo stesso test
• Usa i numeri per restringere a due o tre candidati, mai per scegliere

Il secondo punto merita una nota. Quando un vendor confronta il proprio modello nuovo con il proprio modello precedente, gran parte delle asimmetrie sparisce: stessa impalcatura, stessa competenza nell'ottimizzazione, stesso interesse a mostrare un progresso reale. Restano i limiti dell'auto-riporto, ma il confronto è molto più solido di quello contro un concorrente.

Esempi pratici

PMI che valuta due modelli per l'assistenza clienti. Legge due annunci: ciascun fornitore dichiara di essere avanti sul proprio test preferito. Nessuno dei due numeri è utilizzabile, perché i test sono diversi e le configurazioni non dichiarate. La decisione va presa provando entrambi su cinquanta messaggi veri già arrivati dai clienti.

Azienda che deve giustificare la scelta alla direzione. Portare un punteggio di benchmark in una riunione è fragile: alla prima domanda su come è stato ottenuto, il numero si sgonfia. Molto più solido presentare il risultato sui propri dieci casi, con esiti verificabili da chiunque in azienda.

Team tecnico che confronta due modelli sul codice. Trova due punteggi molto diversi sullo stesso benchmark. La causa è quasi sempre l'impalcatura: uno dei due poteva eseguire i test e correggersi, l'altro no. Il confronto va rifatto a parità di strumento, come spiegato in SWE-bench e i benchmark di coding.

Come applicarlo in azienda

La regola operativa è una: usa i numeri dei vendor come ipotesi da verificare, mai come conclusioni.

In pratica significa tre cose. Prima: preferisci i confronti interni — nuovo modello contro modello precedente dello stesso fornitore — perché eliminano gran parte delle asimmetrie. Seconda: quando un annuncio non dichiara versione, impalcatura e livello di ragionamento, scarta il numero invece di interpretarlo. Terza: usa i numeri superstiti solo per restringere a due o tre candidati.

Poi il lavoro vero, che è sempre lo stesso: dieci casi reali, stesso materiale per tutti, valutazione affidata a chi conosce il processo. Il metodo completo è in come si leggono i benchmark AI.

Se vuoi capire quali processi della tua azienda possono essere automatizzati con l'AI, Giallo Studio può aiutarti a trasformare il problema in un workflow reale.

Da qui, tre approfondimenti utili. Per orientarti fra le fasce di prezzo, il quadro completo è in quando basta un modello economico. Il modo corretto di leggere i numeri dichiarati dai produttori è in costo per task o prezzo per token. E per capire se il tuo compito richiede davvero la fascia che stai pagando, la verifica è in strategia a modello misto: leggero e potente.

Conclusione

I numeri dei vendor non sono falsi: sono misure prodotte con impalcature diverse, che smettono di essere confrontabili nel momento in cui vengono affiancate.

Restano preziosi per una cosa sola, ed è quella per cui sono pensati: capire quanto un modello nuovo migliora rispetto al precedente dello stesso vendor. Per tutto il resto serve il tuo test sui tuoi dati.

Se vuoi capire quali processi della tua azienda possono essere automatizzati con l'AI, Giallo Studio può aiutarti a trasformare il problema in un workflow reale.

Schema consigliato: Article + FAQPage + BreadcrumbList