Gemini 4 Carbon benchmark: la tabella completa e come leggerla

Nella tabella ufficiale pubblicata da Google il 28 ottobre 2026, Gemini 4 Carbon risulta primo in 15 delle 17 righe, ma non su FrontierSWE 2 (primo GPT-6 Astra con 65,5%) né su OSWorld-2.1 (primo Claude Opus 5.5 con 87,2%). Il conteggio è nostro e vale solo per i modelli scelti da Google: Gemini 4 Argon, GPT-6 Astra, Claude Opus 5.5 e Claude Fable 5.1. Qui trovi i Gemini 4 Carbon benchmark completi e un metodo per leggerli senza trasformare la tabella di un fornitore in una decisione d'acquisto.

I dati vengono dall'annuncio di Google e dalla valutazione del modello, con tabella "as of October, 2026" e note di metodologia, consultati il 28 ottobre 2026. Giallo non ha provato Gemini 4 Carbon e non ha rieseguito nessun benchmark: leggiamo ciò che Google ha pubblicato. Al 28 ottobre il modello non è disponibile per aziende e sviluppatori: Google lo apre prima a un sottoinsieme di difensori informatici, poi ad altri partner tramite il Fairwind Program.

Per capire che cos'è il modello e quando potrebbe arrivare, parti dalla guida a Gemini 4 Carbon.

Quali sono i Gemini 4 Carbon benchmark ufficiali, riga per riga?

La tabella Google di ottobre 2026 confronta cinque modelli su 17 benchmark in otto aree. "—" indica un dato non disponibile; il grassetto segna il valore più alto della riga. I valori sono quelli della valutazione del modello.

Le colonne non hanno tutte lo stesso peso: i numeri dei concorrenti sono dichiarati dai fornitori o presi da leaderboard, quelli di Carbon sono spesso calcolati da Google. Per il confronto fra i due modelli Google c'è l'analisi Carbon contro Argon.

Dove Gemini 4 Carbon è davanti, area per area?

Il vantaggio è netto in alcune righe e fatto di decimali in altre: conviene leggerlo per area, perché è l'area a dire se il numero somiglia al tuo lavoro.

Capacità generali e coding agentico

Nell'Artificial Analysis Intelligence Index v5.0, calcolato da Artificial Analysis con strumenti, Carbon ha 59, Opus 5.5 ha 58 e Astra 57; Google lo indica anche nell'annuncio come primo posto. Sul coding il quadro è misto. Su SWE-sweep Carbon fa 9,6% contro il 4,3% di Argon (più del doppio, calcolo nostro) ma solo 0,1 punti sopra Astra. Su Terminal-Bench 4.0 (AA) Carbon è a 65,2% e Opus 5.5, secondo, è a 59,6%: 5,6 punti di distacco (calcolo nostro). Su FrontierSWE 2, invece, Carbon è dietro.

Nell'annuncio Google aggiunge che gli imbrogli riusciti su Terminal-Bench 4.0 sono scesi a 0,0%, con tentativi allo 0,4%: è un'affermazione del fornitore, non una verifica esterna. Per il confronto con Astra c'è la pagina su Carbon, GPT-6 Astra e Claude e la tabella Astra.

Computer use e lavoro d'ufficio

Su Agents' Last Exam v1.1 Carbon totalizza 77,4% contro 73,1% di Astra e 71,6% di Opus 5.5. Su OSWorld-2.1 offline Carbon è secondo (81,5%), appena sopra Astra (80,9%) e dietro Opus 5.5. Su AutomationBench (set privato, leaderboard Zapier) Carbon ha 53,9% contro 51,3% di Argon, il secondo (2,6 punti), 41,4% di Astra e 42,5% di Opus 5.5: ampio il distacco dai modelli non Google, contenuto quello da Argon. Su Vending-Bench 2 il saldo di Carbon è 16.484 dollari contro 15.515 di Astra: è il punteggio di un test, non un incasso reale.

Multimodale, contesto lungo, scienza

Su Chartography Carbon ha 72,5% e Argon 71,6% (senza strumenti); su Blueprint-Bench 2 58,6% contro 54,4%. GraphWalks, da 256k a 1M token, vede Carbon a 96,2% contro 84,2% di Argon e 71,8% di Astra: è, con ExploitGym, uno dei due vantaggi più grandi della tabella. In scienza Carbon è a 80,0% su RiemannBench e a 64,8% su Terminal-Bench-Science 0.1, dove Astra è vicino con 63,3%. Per CWE-bench, ExploitGym e SEC-bench Pro, dove Carbon è primo, c'è l'approfondimento su Carbon e cybersecurity.

Dove Gemini 4 Carbon non vince?

Gemini 4 Carbon non è primo in due righe su 17, entrambe sul lavoro agentico. Google parla di capacità allo stato dell'arte in cybersecurity e su compiti di lunga durata, non di primato assoluto.

Su FrontierSWE 2 l'ordine è Astra (65,5%), Opus 5.5 (62,3%), Carbon (61,2%), Fable 5.1 (56,3%), Argon (55,0%): Carbon è a 4,3 punti da Astra (calcolo nostro). Il numero viene dalla leaderboard di Proximal, non da un calcolo Google. Rispetto ad Argon Carbon guadagna 6,2 punti, ma non scavalca i due modelli davanti.

Su OSWorld-2.1 Carbon è a 5,7 punti da Opus 5.5 (calcolo nostro). Il test è un sottoinsieme offline di 82 task e Google riporta, per Carbon e Argon, il massimo su 3 esecuzioni con un harness Gemini CUA aggiornato. È un criterio favorevole a Carbon, e Opus 5.5 resta davanti; per i concorrenti vale ciò che hanno pubblicato i fornitori nelle loro system card. Chi cerca un agente che usi il computer non può leggere l'area "Computer use" come una vittoria di Carbon.

Quando una differenza di punteggio è troppo piccola per contare?

Una differenza di 0,2 punti non basta per dire che un modello sia migliore dell'altro. Quattro righe hanno un distacco minuscolo fra primo e secondo e vanno trattate come parità fino a prova contraria: Vals Index v2.2 (Carbon 70,4% contro 70,2% di Opus 5.5, cioè 0,2 punti), SWE-sweep (9,6% contro 9,5% di Astra, 0,1 punti), Artificial Analysis Index (59, 58 e 57) e Chartography (72,5% contro 71,6% di Argon, 0,9 punti).

Il Vals Index v2.2 è prodotto da Vals AI; per ogni modello abbiamo un solo valore e nessun margine di errore da citare, quindi 0,2 punti possono essere vantaggio reale o rumore di misura. Su SWE-sweep il problema è doppio: il dato di Carbon è calcolato da Google con l'harness mini-swe-agent e un reward pesato per sottocompiti, quelli dei concorrenti vengono dalla leaderboard pubblica. Procedure diverse e 0,1 punti di distanza non autorizzano alcuna classifica.

Nell'Artificial Analysis Index, 59 contro 58 e 57 descrive un gruppo di testa stretto, non un modello chiaramente più intelligente: gli indici aggregati comprimono attività molto diverse, come spiega la guida su come leggere i benchmark AI.

Come si legge la metodologia: chi ha calcolato cosa?

La metodologia dice per ogni riga chi ha prodotto il numero, e il peso della riga cambia di conseguenza. Per Carbon e Argon Google dichiara pass@1 salvo note, un solo tentativo senza voto di maggioranza né calcolo parallelo, con le impostazioni di thinking più alte della Gemini API. Per Astra, Opus 5.5 e Fable 5.1 usa i numeri dei fornitori, con ragionamento al massimo quando disponibile, come riporta la valutazione del modello.

Una riga calcolata da Google per i propri modelli non è un test indipendente. Le schede sotto dicono che cosa controllare prima di fidarsi di un numero.

Che cosa significano questi numeri per una PMI italiana?

Per una PMI la tabella serve a scegliere che cosa provare, non a scegliere un fornitore. Al 28 ottobre 2026 Carbon non è accessibile a un'azienda e Google non ha pubblicato data di disponibilità generale, finestra di contesto né limiti di output. Le righe vicine al tuo lavoro servono a scegliere i modelli disponibili da confrontare nel frattempo.

Scenario ipotetico: un'officina di 15 persone riceve ordini per email e vuole preparare le bozze delle conferme. La riga più vicina è AutomationBench, ma è un set privato e non si può ripetere: serve un campione proprio di 30-40 email reali, anonimizzate, con la bozza che il responsabile considera corretta. Scenario ipotetico: uno studio di commercialisti vuole interrogare fascicoli di bilancio molto lunghi. GraphWalks dice solo che Carbon regge contesti lunghi su un test sintetico; allo studio interessa se cita la pagina giusta in un fascicolo con scansioni.

Un benchmark non dice nulla del costo per risposta accettata. Il prezzo introduttivo dichiarato nell'annuncio è 2 dollari per milione di token in input e 10 in output, uguale ad Argon, poi 4 e 20 dollari; Google non ha indicato quando finisce il periodo introduttivo di Carbon. Claude Opus 5.5 costa 4 e 20 dollari secondo il listino Anthropic. I conti sono nella guida ai prezzi API di Carbon.

Come costruire un proprio test quando Gemini 4 Carbon sarà disponibile?

Si parte dai tuoi casi, con un metodo che vale oggi per altri modelli e domani per Carbon: la tabella Google ti dà i candidati, il tuo campione la risposta. Il percorso di valutazione per Argon usa lo stesso schema con un modello già disponibile via API.

1. Scegli un solo processo con risultato verificabile: una bozza di preventivo, una classificazione di email, una patch su un difetto noto.
2. Raccogli 30-50 casi reali, anonimizzati, compresi i difficili e quelli in cui il sistema deve dire «non lo so».
3. Scrivi prima il criterio di accettazione e che cosa è un errore grave.
4. Dai a ogni modello stesso materiale, stesse istruzioni e stessi strumenti; registra versione, data e impostazioni.
5. Misura correttezza (controllata da una persona), attesa e costo dei risultati accettati, ritentativi inclusi.
6. Tieni un secondo campione, mai usato per mettere a punto le istruzioni, per verificare che regga.
7. Ripeti il confronto quando cambia la versione del modello.

Nel frattempo puoi provare modelli accessibili, per esempio Gemini 4 Argon via API: il campione sarà pronto quando Carbon arriverà. Un progetto di agenti AI parte proprio da un campione di questo tipo; per la scelta in generale c'è la guida a come scegliere un modello AI.

Quali errori fanno più danni leggendo i benchmark di un nuovo modello?

Il primo errore è trattare colonne con autori diversi come un solo esperimento (vedi perché i benchmark dei fornitori non sono comparabili). Il secondo è contare le vittorie: «15 righe su 17» non pesa le righe, e una vittoria per 0,1 punti vale quanto una per 12.

Il terzo è ignorare le condizioni di laboratorio: guardrail spenti, internet disattivato, finestre di 5 ore e massimo su più esecuzioni non somigliano all'uso quotidiano. Il quarto è dimenticare le allucinazioni, che un punteggio alto non elimina (guida). Il quinto è aspettare Carbon senza preparare alcun test.

Conviene aspettare Gemini 4 Carbon o partire con i modelli disponibili?

Conviene partire dal test, non dal modello. Il vantaggio dichiarato di Carbon è ampio in poche righe (contesto lungo con GraphWalks, exploit con ExploitGym) e stretto o incerto in altre (coding e computer use), e l'accesso per la tua azienda non ha data. Preparare oggi campione e criteri richiede lo stesso lavoro, qualunque modello vinca.

Se vuoi trasformare questa tabella in un confronto ripetibile sui tuoi processi, la consulenza AI di Giallo parte dai tuoi documenti e dalle tue regole di accettazione. Verifica sempre le pagine ufficiali: tabelle, versioni e prezzi possono cambiare.