GPT-6 Astra e ARC-AGI-3

Il 99,9% su ARC-AGI-3 è il numero più spettacolare dell'annuncio di GPT-6 Astra, e anche quello più facile da fraintendere. La generazione precedente si fermava al 7,8%: un salto di oltre dodici volte in un solo passaggio.

Vale la pena capire cosa misura quel test, cosa dice davvero il risultato e perché per un'azienda conta meno di quanto il numero suggerisca. Dati verificati il 4 settembre 2026.

Cosa misura ARC-AGI

Il formato è semplice da spiegare e difficile da risolvere. Vengono mostrate alcune coppie di griglie colorate — una di partenza e una di arrivo — e bisogna capire quale regola trasforma la prima nella seconda, per poi applicarla a un caso nuovo.

La regola non è mai dichiarata e non si ripete fra un compito e l'altro. Non esiste un repertorio da imparare: va derivata sul momento, da due o tre esempi.

È questo a rendere il test resistente alla memorizzazione. Molti benchmark possono essere risolti da un modello che ha visto contenuti simili in addestramento; qui la risposta non è recuperabile da nessuna fonte. Il funzionamento completo è in ARC-AGI: cos'è e perché se ne parla.

I numeri, su tutte le versioni

Questa tabella dice più della singola riga citata ovunque.

Su ARC-AGI-3, la versione più recente e difficile, il distacco è enorme. Ma su ARC-AGI-2 il vantaggio su Opus 5 è di 4,6 punti, e su ARC-AGI-1 c'è parità esatta con Fable 5.

La spiegazione è nella natura del test: ogni versione viene resa più difficile proprio quando i modelli iniziano a saturare la precedente. ARC-AGI-1 e 2 sono ormai vicine al massimo per tutti i modelli di punta, quindi non distinguono più. ARC-AGI-3 è la prova che ancora distingue — e lì il divario è netto.

Cosa dice la fonte esterna

Il commento più significativo non viene da OpenAI ma dalla ARC Prize Foundation, che gestisce il benchmark. Greg Kamradt, citato nell'annuncio, afferma che su ARC-AGI-3 Astra ha superato la loro linea di riferimento umana per efficienza d'azione sul 96% dei livelli, raggiungendo di fatto la parità umana sul benchmark.

Aggiunge che non si tratta solo del miglior modello mai testato, ma di un cambio di passo nelle prestazioni dei modelli di frontiera — non solo nella capacità di navigare e risolvere ambienti nuovi, ma anche nell'efficienza con cui impara a farlo.

È una dichiarazione di terza parte, il che la rende più solida di un'autovalutazione. Vale però la pena notare la formulazione precisa: parla di efficienza d'azione, cioè di quante mosse servono per risolvere, non solo di quanti problemi vengono risolti.

La nota metodologica

Nelle footnote OpenAI dichiara che su ARC-AGI-3 Astra è stato eseguito con la propria impalcatura basata sull'API Responses, che cambia due impostazioni per avvicinarsi meglio alle prestazioni del mondo reale. Precisa che le modifiche non erano mirate specificamente a quel benchmark.

Non è una squalifica del risultato: è un'informazione che cambia cosa si può affermare. Il 99,9% non è stato ottenuto nella configurazione predefinita, quindi non è direttamente confrontabile con punteggi di altri modelli eseguiti senza modifiche analoghe.

È lo stesso problema dell'impalcatura che rende fragili quasi tutti i confronti fra fornitori, descritto in perché i benchmark dei vendor non sono comparabili.

Cosa significa per un'azienda

Poco, in modo diretto, ed è giusto dirlo senza giri di parole.

ARC-AGI misura la capacità di dedurre regole nuove da pochi esempi. La stragrande maggioranza dei compiti aziendali richiede l'opposto: applicare bene regole già note, in modo costante, su volumi alti. Classificare una fattura, rispondere a una richiesta ricorrente, estrarre un campo da un documento.

Per quei compiti la qualità che serve non è la creatività nel dedurre ma l'affidabilità nel ripetere — e ARC-AGI non la misura affatto.

Esempi pratici

PMI che valuta un assistente sulle procedure interne. ARC-AGI è irrilevante: il compito è recuperare e riformulare informazioni presenti nei documenti, non dedurre regole astratte.

Azienda che automatizza l'estrazione da fatture. Anche qui il test non aiuta. Serve provare sui propri PDF, compresi quelli fatti male, e verificare che il modello dichiari quando un dato non è leggibile.

Team che costruisce un agente su compiti aperti e variabili. Qui il segnale è più pertinente, perché la capacità di affrontare situazioni non previste conta davvero. Resta comunque secondario rispetto ai test sul campo.

Errori da evitare

• Leggerlo come misura di intelligenza generale.
• Usarlo per scegliere un fornitore: non predice il tuo caso.
• Confrontare versioni diverse del test.
• Ignorare la nota sull'impalcatura usata.
• Dedurne la qualità su scrittura, codice o estrazione.
• Trascurare costo e latenza, che in produzione decidono.

Come applicarlo in azienda

L'uso corretto di un risultato come questo è come termometro del settore, non come scheda prodotto.

Sapere che la capacità di risolvere problemi nuovi ha fatto un salto di questa entità è utile per una cosa precisa: decidere quando riprovare un progetto accantonato perché la tecnologia non bastava. Metti in calendario una revisione semestrale delle idee messe da parte — è un controllo da mezz'ora che ogni tanto sblocca qualcosa.

Per decidere oggi, invece, il metodo resta quello di sempre: dieci casi reali del tuo processo, di cui tre difficili e uno a cui manca l'informazione richiesta, valutati da chi conosce il lavoro. È descritto passo per passo in come si leggono i benchmark AI.

E la domanda che precede tutte: il tuo compito richiede di dedurre regole nuove o di applicarne di note? Nella grande maggioranza dei casi aziendali è la seconda — e allora questo numero, per quanto impressionante, non entra nella decisione.

Perché questo salto è diverso dagli altri

Su quasi tutti i benchmark i progressi arrivano per gradi: qualche punto per generazione, con curve che si appiattiscono man mano che il test satura. Qui è successo qualcosa di diverso — da 7,8% a 99,9% in un passaggio — e vale la pena chiedersi perché.

L'ipotesi più semplice è che ARC-AGI-3 misuri una capacità a soglia invece che continua. Un modello o riesce a derivare la regola da pochi esempi, oppure no; non c'è un modo di riuscirci a metà. Quando quella capacità si sblocca, il punteggio non sale del dieci per cento: salta.

Se l'ipotesi regge, spiega anche perché su ARC-AGI-1 e 2 i modelli sono tutti raggruppati in alto: quelle versioni sono già sotto la soglia per tutti, e distinguono solo sul margine.

Cosa distingue ARC-AGI dagli altri test dell'annuncio

Nelle tabelle di Astra ci sono oltre trenta benchmark, ma quasi tutti misurano una cosa diversa da questa.

L'ultima riga è l'unica che non dipende da ciò che il modello ha visto in addestramento. Ed è per questo che il risultato viene seguito con tanta attenzione da chi studia i progressi del settore: è il segnale più pulito disponibile, mentre gli altri sono sempre in parte contaminati.

Per un'azienda vale però l'osservazione opposta: proprio perché misura una capacità così generale, dice pochissimo su un compito specifico. Le righe delle prime quattro categorie sono molto più informative per una decisione d'acquisto — a patto di guardare quella pertinente al proprio lavoro, secondo il criterio di quali benchmark AI contano davvero.

Cosa guardare invece, per decidere

Se il tuo obiettivo è capire se questo modello ti serve, ci sono tre righe delle tabelle molto più utili del 99,9%.

AutomationBench (41,4% contro 18,1% della generazione precedente): misura la capacità di portare a termine automazioni, che è il compito aziendale per eccellenza.

Terminal-Bench 4.0 (57,9%): compiti tecnici multi-passo eseguiti fino alla fine.

Le metriche di allineamento, dove più basso è meglio: dicono cosa fa il modello quando qualcosa va storto, che è la condizione in cui un agente aziendale finisce regolarmente.

Nessuna delle tre farà titolo, ma insieme descrivono meglio del 99,9% cosa succederà quando affiderai a questo modello un processo reale.

Una cautela sul concetto di "parità umana"

La formulazione della ARC Prize Foundation è precisa e vale la pena non allargarla: parla di superare la loro linea di riferimento umana per efficienza d'azione sul 96% dei livelli.

È una cosa specifica. Significa che il modello risolve i livelli usando meno mosse del riferimento umano stabilito da chi gestisce il benchmark. Non significa che ragiona come una persona, né che abbia raggiunto una capacità generale paragonabile a quella umana.

La distinzione conta perché "parità umana" è un'espressione che viaggia bene sui titoli e si stacca facilmente dal contesto in cui è stata detta. Nel dubbio, la formulazione da riportare è quella originale: efficienza d'azione, su quel benchmark, su quei livelli.

Il collegamento con i risultati matematici

C'è un filo che lega questo punteggio all'altra affermazione straordinaria dell'annuncio: i due contributi dichiarati su problemi aperti riguardanti i gap fra numeri primi.

Entrambi riguardano la stessa capacità di fondo — affrontare un problema di cui non esiste una soluzione già vista. Un benchmark costruito per resistere alla memorizzazione e un problema matematico irrisolto da decenni chiedono, in forme molto diverse, la stessa cosa.

Se i risultati matematici verranno confermati dalla comunità, saranno una prova molto più forte di qualunque punteggio: perché su un problema aperto non esiste una risposta da recuperare, e il risultato è verificabile da chiunque abbia le competenze per farlo. Il quadro è in GPT-6 Astra per scienza e matematica.

Conclusione

Il 99,9% su ARC-AGI-3 è un risultato notevole, confermato da una fonte esterna che parla di parità umana sull'efficienza d'azione, e va letto insieme alla nota sull'impalcatura usata.

Racconta qualcosa di vero sulla direzione della tecnologia: i modelli stanno diventando meno dipendenti da ciò che hanno già visto. Ma non dice come andrà sui tuoi documenti — e sulle versioni precedenti del test, dove i modelli sono più vicini alla saturazione, i margini si riducono a pochi punti.

Se vuoi capire quali processi della tua azienda possono essere automatizzati oggi, Giallo Studio può aiutarti a trasformare il problema in un workflow reale.

Schema consigliato: Article + FAQPage + BreadcrumbList