Perché lo stesso modello fa 99,9% e 62,7% su ARC-AGI-3
Stessa settimana, stesso modello, due punteggi: 99,9% dichiarato da OpenAI, 62,7% verificato da ARC Prize. Il meccanismo che li separa è l'harness.
Il 2 settembre 2026 OpenAI ha presentato GPT-6 Astra dichiarando un 99,9% su ARC-AGI-3, con una nota a piè di pagina: il modello è stato eseguito con il "responses API harness", che modifica due impostazioni "per avvicinarsi alle prestazioni reali". Lo stesso giorno, la verifica indipendente di ARC Prize ha pubblicato il risultato dello stesso modello sullo stesso benchmark: 62,7%, ottenuto con un harness diverso, al costo di 26.098 dollari. Stesso modello, stessa settimana, 37 punti di distanza. La differenza non sta nei pesi del modello: sta in ciò che il sistema attorno a lui gli permette di ricordare mentre gioca. Questo pezzo spiega il meccanismo.
Cosa misura ARC-AGI-3
ARC-AGI-3 non è un test a risposta chiusa. È un ambiente interattivo: una serie di giochi 2D in cui l'agente deve esplorare, capire le regole senza istruzioni esplicite e costruire un piano per raggiungere l'obiettivo. ARC Prize lo definisce come un benchmark che misura quattro componenti dell'intelligenza agentica: esplorazione, modellazione, definizione degli obiettivi e pianificazione.
La metrica non è "risposta giusta o sbagliata", ma efficienza d'azione: quante mosse servono rispetto a un basale umano, misurato su circa 500 persone che hanno giocato i livelli in fase di test. Un agente che risolve un livello ma impiega il triplo delle azioni di una persona ottiene un punteggio peggiore di uno che lo risolve con meno mosse.
In un benchmark di questo tipo, però, il modello non agisce da solo. Tra il modello e il gioco c'è l'harness: il software che invia le osservazioni, raccoglie le azioni e gestisce la cronologia della conversazione. È l'harness a decidere cosa il modello vede dal turno precedente. Ed è l'harness, in questo caso, il fattore che sposta i numeri.
Due harness, due memorie
Sulla pagina dei risultati di ARC Prize ci sono due definizioni, una accanto all'altra. Lo standard harness "permette al modello di portarsi avanti gli appunti che sceglie di tenere durante l'ambiente": il modello può conservare solo ciò che ha scritto in chiaro. Il provider adapter harness "preserva lo stato di ragionamento opaco tra le richieste e usa la compaction per le conversazioni più lunghe, permettendo al modello di riusare il lavoro già fatto".
Lo standard harness: appunti visibili, ragionamento scartato
Lo standard harness è l'interfaccia che ARC Prize usa per tutti i modelli: minimale, uguale per ogni provider, pensata per rendere i confronti equi. Il modello gioca e può scrivere appunti in chiaro, ma il ragionamento privato che ha prodotto quegli appunti viene scartato a ogni azione. A ogni mossa il modello deve ricostruire da zero il proprio pensiero: vede la sequenza delle mosse e gli appunti, ma non i piani, le ipotesi e le intuizioni che li hanno generati. È come un giocatore di scacchi a cui, a ogni mossa, viene ritirato il foglio con le varianti già calcolate: deve rivalutare ogni volta le stesse linee, anche quelle che aveva già scartato, e fatica a costruire una strategia che duri più di una mossa.
OpenAI ha documentato questo effetto su GPT-5.6 Sol, il modello precedente, in un post intitolato Come due impostazioni hanno triplicato i nostri punteggi su ARC-AGI-3: con l'harness ufficiale di ARC il modello otteneva il 13,3% sul set pubblico, perché il ragionamento veniva eliminato a ogni azione e la finestra di contesto usava un troncamento a rotazione che buttava via le azioni più vecchie man mano che la cronologia cresceva.
Il provider adapter: stato opaco e compaction
Il provider adapter è l'harness che OpenAI usa in produzione, nei suoi prodotti, e che riproduce le caratteristiche della sua API. Due modifiche rispetto allo standard. La prima: i messaggi di ragionamento privati restano nella cronologia tra un'azione e l'altra, quindi il modello non deve re-interpretare il gioco a ogni mossa. La seconda: quando la finestra di contesto si riempie, il contenuto viene compattato in un riassunto invece di eliminare i messaggi più vecchi: è la compaction. Su GPT-5.6 Sol, il passaggio a ragionamento preservato e compaction ha portato il punteggio dal 13,3% al 38,3% sul set pubblico, con 6 volte meno token di output.
Gli effetti sono visibili nei replay pubblicati da ARC Prize. Astra sviluppa una notazione algebrica compatta per tenere traccia dello stato del gioco: coordinate, regole, piani in sequenza ("L8: hub q2 (8↓)", "extend8 to3; retract10 to2; shorten8 to1"). Il modello trasforma l'ambiente sconosciuto in un modello simbolico che usa per pianificare, e nel harness di test PRO-LONG, con un sandbox a disposizione, arriva a scrivere librerie specifiche per ogni gioco, come maze_solver.py per un labirinto con guardie.
Cosa fa la memoria ai numeri
La tabella di ARC Prize mette i due risultati uno accanto all'altro. Con lo standard harness, il miglior punteggio di Astra è 62,7%, a 26.098 dollari. Con il provider adapter, 99,9%, a 18.817 dollari. Il punteggio sale di 37 punti e il costo scende di quasi 8 mila dollari: meno azioni, meno chiamate al modello, meno token. Nell'insieme dei 167 casi risolti da entrambi gli harness, il provider adapter è stato circa 3,66 volte più veloce e ha usato il 49% di token in meno. Astra inoltre ha impiegato meno azioni del basale umano sul 96% dei livelli, con il 51,7% di azioni in meno per livello in media.
Il caso più netto è il livello G50T: con lo standard harness Astra ottiene lo 0,0% a ogni livello di reasoning; con il provider adapter, il 100,0% a ogni livello. Il modello è identico: cambia solo ciò che il sistema gli lascia ricordare.
Con lo standard harness, il livello di reasoning sposta il punteggio di circa 27 punti: dal 35,2% del livello "none" al 62,7% del livello "max". Con il provider adapter, lo sposta di circa 3 punti: dal 96,7% al 99,9%. Quando l'harness preserva la memoria tra le richieste, l'effort smette di essere il fattore discriminante: il punteggio è saturo a qualunque livello di reasoning.
Cosa resta da leggere in un punteggio
Nessuna delle due misure è sbagliata, e questo è il punto che ARC Prize esplicita: sono due domande diverse. Lo standard harness chiede quanto vale il modello da solo, con un'interfaccia minima e uguale per tutti; il provider adapter chiede quanto vale il modello quando usa le funzioni di gestione del contesto che il suo produttore ha progettato per lui. Da settembre, ARC Prize pubblica entrambi i risultati sulla leaderboard, etichettati in modo esplicito.
La conseguenza pratica riguarda chi legge un numero. Un punteggio di benchmark senza l'indicazione dell'harness è un numero incompleto: la stessa identità, con due setup diversi, produce il 62,7% o il 99,9% sullo stesso test. Prima di confrontare due modelli, o due versioni dello stesso modello, chiediti due cose: quanto ha preso, e con quale sistema attorno.
Further Reading
Greg Kamradt
