OpenAI ha presentato GPT-5.6 accompagnandolo, come ogni lancio di quest’anno, con una tabella di punteggi: la variante più potente del modello ha toccato l’89,5% su Terminal-Bench 2.1 nelle misurazioni indipendenti di Artificial Analysis il 9 luglio 2026. Numeri simili compaiono in ogni annuncio, da Anthropic a Google a xAI, e vengono rilanciati da stampa e fornitori come se fossero pagelle oggettive. Non lo sono. Questo articolo non confronta modelli, di cui il blog si occupa altrove: spiega cosa misurano davvero gli strumenti citati in ogni comunicato del 2026, dove falliscono e come dovrebbe leggerli chi deve decidere un acquisto senza essere un ricercatore.
L’indice che vuole misurare tutto: l’Artificial Analysis Intelligence Index
Il punto di partenza di quasi tutte le classifiche che circolano è l’Intelligence Index di Artificial Analysis, un laboratorio indipendente che riesegue in proprio le valutazioni sui modelli, invece di fidarsi dei numeri dichiarati dai produttori. L’indice aggrega in un punteggio unico i risultati su una decina di prove: ragionamento, matematica, programmazione, conoscenza scientifica, uso di strumenti. Il valore del progetto sta proprio nell’indipendenza: stesse condizioni per tutti, stesso protocollo, aggiornamento continuo a ogni rilascio.
L’aggregazione, però, è anche il suo limite strutturale.
Comprimere dieci abilità diverse in un numero solo presuppone che i pesi assegnati a ciascuna prova riflettano ciò che serve a chi legge. Non è così quasi mai. Un modello mediocre in matematica olimpionica ma eccellente nell’estrazione di dati da documenti può essere la scelta giusta per uno studio professionale e comparire a metà classifica. Un indice sintetico dice chi è più bravo in media sulle prove scelte da chi ha costruito l’indice. Non dice chi è più bravo per il vostro lavoro, che è l’unica domanda che interessa a un’impresa.
La parte più utile del lavoro di Artificial Analysis, paradossalmente, non è l’indice che dà il nome alle classifiche. Sono le dimensioni che pubblica accanto: il prezzo per milione di token, la velocità di generazione, la latenza al primo token. Incrociando intelligenza e costo emergono le uniche informazioni davvero decisionali, per esempio quali modelli offrono l’80% delle prestazioni di punta a un decimo del prezzo. Un dirigente che guarda solo la colonna del punteggio sta ignorando le tre colonne che determineranno la sua bolletta.
C’è poi un effetto secondario: da quando l’indice è diventato la classifica di riferimento del settore, i laboratori ottimizzano i modelli anche per salire in quella graduatoria. Vale la vecchia regola di Goodhart: quando una misura diventa un obiettivo, smette di essere una buona misura.
Terminal-Bench 2.1: quando anche il test ha i bug
Terminal-Bench valuta la capacità di un agente di lavorare in un terminale: installare pacchetti, configurare ambienti, diagnosticare errori, portare a termine compiti da amministratore di sistema. È una prova più vicina al lavoro reale dei classici quiz a risposta multipla, e per questo è diventata una delle citazioni obbligate nei lanci del 2026.
La sua storia recente insegna qualcosa che i comunicati non dicono mai. La versione 2.1 ha dovuto rivedere 28 degli 89 compiti della versione 2.0, quasi un terzo del totale, per correggere tre classi di difetti: consegne che non corrispondevano a ciò che il sistema di verifica controllava davvero, risorse di calcolo dichiarate diverse da quelle disponibili, e la deriva del benchmark nel tempo, con ambienti software che invecchiando cambiavano la difficoltà effettiva delle prove.
Un terzo dei compiti difettosi in un benchmark di riferimento.
Il dato va maneggiato nella direzione giusta: la revisione è un segno di serietà dei manutentori, non uno scandalo. Ma dimostra che i punteggi confrontati tra versioni diverse non sono confrontabili, e che ogni cifra assoluta, compreso quell’89,5% del lancio di luglio, incorpora le scelte e gli errori di chi ha scritto i test. I benchmark sono software, e il software ha bug.
C’è un secondo elemento che i non addetti trascurano: nelle prove agentiche il punteggio non misura solo il modello, misura la coppia modello più impalcatura. La stessa rete neurale, inserita in un sistema che pianifica meglio, gestisce la memoria di lavoro o ritenta i comandi falliti, guadagna punti senza essere diventata più intelligente. Quando due laboratori dichiarano risultati sullo stesso benchmark con impalcature diverse, il confronto è tra due prodotti ingegneristici completi, non tra due modelli. Legittimo, ma va detto. E di solito non viene detto.
SWE Marathon: la maratona che nessuno finisce
All’estremo opposto della saturazione c’è SWE Marathon, il banco di prova più severo dell’anno: compiti di ingegneria del software a orizzonte lunghissimo, come costruire un compilatore, ottimizzare kernel di calcolo o sviluppare un servizio pronto per la produzione, sostenendo la qualità per ore o giorni di lavoro autonomo. Qui la retorica dei progressi inarrestabili si rovescia: il modello in testa alla classifica si ferma attorno al 29% dei compiti portati a termine, e sulle graduatorie che accettano solo risultati verificati in modo indipendente i punteggi pubblicati sono perfino più bassi.
È il numero più informativo dell’estate 2026, proprio perché è basso.
Dice che gli agenti attuali eccellono nei compiti brevi e ben specificati, e degradano quando l’orizzonte si allunga: perdono il filo degli obiettivi, accumulano piccoli errori che si compongono, non sanno riconoscere quando una strada intrapresa ore prima va abbandonata. Chi progetta l’adozione in azienda dovrebbe tenere questa asimmetria al centro: automatizzare il singolo passaggio funziona già molto bene, delegare un progetto intero non funziona ancora. I benchmark di maratona misurano esattamente la distanza tra le due cose, ed è per questo che i comunicati stampa li citano di rado.
La distanza, peraltro, si accorcia a ritmo misurabile. L’istituto di ricerca indipendente METR ha stimato nel 2025 che la durata dei compiti che i migliori modelli riescono a completare in autonomia raddoppia all’incirca ogni sette mesi. Se la tendenza reggesse, le maratone di oggi sarebbero le passeggiate di dopodomani. Ma è una proiezione, non una legge fisica: e chi pianifica investimenti aziendali su una curva esponenziale altrui farebbe bene a rileggere la storia delle promesse sulla guida autonoma, in ritardo di un decennio sul calendario annunciato.
SWE-bench Verified e la parabola della saturazione
SWE-bench Verified è il capostipite delle prove di programmazione realistiche: 500 problemi tratti da veri repository open source in Python, ciascuno validato da ingegneri umani per garantire che la soluzione sia davvero verificabile. Quando fu introdotto, i migliori modelli risolvevano una frazione minoritaria dei casi. Oggi i modelli di punta superano stabilmente il 70%, e la corsa continua.
Questa traiettoria racconta il ciclo di vita di ogni benchmark. Nasce difficile e discriminante: distingue bene i modelli forti dai deboli. Poi i punteggi salgono, le differenze tra i primi cinque si riducono a pochi punti percentuali, e la prova smette di misurare: si dice che satura. A quel punto il settore ne inventa una più difficile, e il ciclo riparte. È successo ai grandi test di conoscenza generale, superati ormai da quasi tutti i modelli commerciali; sta succedendo a SWE-bench; toccherà, prima o poi, anche alle maratone.
Il ciclo produce anche prove costruite apposta per resistere: nel 2025 è arrivato Humanity’s Last Exam, migliaia di domande a livello di frontiera della conoscenza umana raccolte da centinaia di specialisti proprio perché i test precedenti non discriminavano più. La corsa tra chi costruisce modelli e chi costruisce esami è diventata una disciplina a sé.
La saturazione ha una conseguenza pratica per chi legge le classifiche: su un benchmark saturo, la differenza tra 92 e 94 non significa quasi nulla, perché è dentro il margine di variabilità delle condizioni di prova. Eppure è esattamente su quei due punti che si costruiscono i titoli dei comunicati.
Contaminazione e punteggi su misura: perché i numeri si gonfiano
Ci sono poi due vizi che nessuna revisione dei compiti può eliminare del tutto. Il primo è la contaminazione: i modelli si addestrano su porzioni enormi del web, e i benchmark pubblici, con le loro soluzioni, finiscono prima o poi nei dati di addestramento. Un modello che ha visto le risposte durante l’addestramento non sta ragionando, sta ricordando. I laboratori applicano filtri di deduplicazione e i benchmark più seri mantengono quote di test private, ma la garanzia assoluta non esiste, e il sospetto cresce ogni volta che un modello brilla su una prova pubblica e delude su una privata equivalente.
Il secondo vizio sono le condizioni di prova. Lo stesso modello può essere eseguito con budget di ragionamento minimo o massimo, con o senza strumenti esterni, con impalcature software che ritentano i casi falliti. Le sigle che accompagnano i punteggi, come le configurazioni a ragionamento esteso citate nei lanci, indicano spesso la configurazione più costosa, quella che un cliente reale non userà mai per il lavoro quotidiano perché moltiplica tempi e spesa. E la distinzione tra risultati verificati da terzi e risultati autodichiarati dai produttori, che le classifiche serie espongono con chiarezza, sparisce regolarmente nel passaggio ai titoli di giornale.
Il numero in grassetto del comunicato è quasi sempre vero. Ma è vero nelle condizioni scelte da chi lo pubblica.
Cosa deve farne un decisore non tecnico
La conclusione operativa non è che i benchmark siano inutili. È che vanno usati per quello che sono: uno strumento di scrematura, mai una garanzia di risultato. Un modello che crolla in tutte le classifiche indipendenti si può scartare senza rimpianti. Tra i quattro o cinque che le dominano, la classifica non basta più a scegliere.
Nella pratica dell’acquisto, tre abitudini proteggono più di cento classifiche. Diffidare di ogni punteggio senza la versione esatta del benchmark e la configurazione di prova accanto. Dare più peso alle valutazioni indipendenti che a quelle autodichiarate, e più peso ancora alla coerenza di un modello su prove diverse che al primato su una sola. E ricordare che tra il punteggio e il valore in produzione ci sono di mezzo i dati aziendali, gli utenti reali e i casi limite che nessun esame pubblico contiene.
Vale anche per i fornitori che citano i benchmark nelle offerte commerciali. Chiedere sempre: misurato da chi, su quale versione, con quale impalcatura, a quale costo per compito. Quattro domande che durano un minuto e smontano la metà delle slide.
Il passo successivo spetta a chi compra: costruire una valutazione interna con venti o trenta casi reali della propria attività, i propri documenti, il proprio gergo, i propri errori tipici, e far girare i candidati su quelli, misurando anche costi e tempi di risposta, non solo la qualità. È un lavoro di giorni, non di mesi, e vale più di qualunque indice aggregato. Le competenze per impostarlo si costruiscono: AIPIA le tratta nei suoi percorsi formativi sull’intelligenza artificiale, pensati anche per chi deve valutare la tecnologia senza svilupparla, e chi vuole approfondire il dibattito sulla misurazione dell’intelligenza delle macchine trova riferimenti utili nella selezione di libri sull’intelligenza artificiale curata dall’associazione.
I benchmark rispondono alla domanda sbagliata posta bene: quale modello è più bravo in astratto. La domanda giusta, quale strumento fa risparmiare ore alla mia organizzazione senza crearle rischi, non ha classifica pubblica. Ha solo la vostra.
