Epoch AI ha annunciato il 5 marzo 2026 che GPT-5.4 Pro ha raggiunto il 50% su FrontierMath Tiers 1-3, il benchmark di matematica più difficile mai costruito per i modelli di intelligenza artificiale. È un record: il punteggio più alto registrato su un test che un anno prima nessun modello riusciva a superare al 5%. Nel frattempo, Humanity’s Last Exam — un’altra prova progettata per resistere ai progressi dell’IA — ha continuato a rappresentare un limite superiore che i modelli sfiorano ma non raggiungono. Questi benchmark raccontano una storia diversa da quella delle classifiche abituali: non misurano quanto l’IA è brava nei compiti ordinari, ma dove si ferma quando affronta problemi davvero difficili.
FrontierMath: problemi che nessun modello doveva risolvere
FrontierMath è un benchmark creato da Epoch AI, il centro di ricerca indipendente che traccia l’andamento dell’IA, con finanziamento di OpenAI. Contiene diverse centinaia di problemi matematici originali, non pubblicati, creati e validati da matematici professionisti. I problemi sono organizzati in quattro livelli di difficoltà: i Tiers 1-3 coprono dalla matematica universitaria avanzata al livello post-dottorato; il Tier 4 contiene problemi a livello di ricerca, ai confini della conoscenza matematica umana. Esiste inoltre una sezione di “Open Problems” — problemi aperti che nessun matematico ha ancora risolto. A differenza di benchmark come AIME o MATH, dove i problemi hanno soluzioni note e possono essere contaminati dai dati di addestramento, FrontierMath usa esclusivamente problemi originali e inediti, il che lo rende resistente alla contaminazione — il modello non può aver visto la soluzione nel suo training.
Quando FrontierMath è stato lanciato nel 2024, nessun modello risolveva più del 2-5% dei problemi nei Tiers 1-3. Il benchmark era stato progettato per durare anni prima di essere “saturato”. GPT-5.4 Pro, con il 50% sui Tiers 1-3 e il 38% sul Tier 4, ha bruciato le tappe in modo imprevisto dai creatori stessi del test. Il dato è significativo perché i problemi non sono quiz a risposta multipla: sono problemi aperti dove il modello deve generare codice Python per calcolare la soluzione, senza opzioni predefinite tra cui scegliere. Il modello deve comprendere il problema, progettare una strategia di risoluzione, implementarla in codice e produrre la risposta corretta — un processo che richiede capacità di ragionamento matematico concatenato su molti passaggi.
Un episodio ha colpito la comunità scientifica. Un matematico polacco, Bartosz Naskręcki, aveva contribuito a FrontierMath con un problema di Tier 4 costruito sulla base di vent’anni di ricerca personale in teoria di Galois e geometria algebrica. Aveva testato il problema contro modelli precedenti per assicurarsi che non fosse risolvibile. Aveva aggiunto ostacoli deliberati per renderlo più difficile. Epoch AI ha sottoposto il problema a GPT-5.4 Pro undici volte indipendenti. In una delle undici esecuzioni, il modello ha trovato la soluzione corretta — seguendo una strategia leggermente diversa in ciascun tentativo, ma raggiungendo la conclusione critica solo in un caso. Naskręcki, che aveva pubblicamente dichiarato l’incapacità dei modelli AI di ragionare matematicamente in profondità, ha rivisto la propria posizione.
Separatamente, GPT-5.4 Pro ha risolto un altro problema di Tier 4 trovando un preprint del 2011 che lo stesso autore del problema non conosceva. Il modello ha fatto una sorta di “archeologia bibliografica”, scoprendo una scorciatoia che un ricercatore umano esperto del campo non aveva trovato in anni di lavoro. Questo tipo di capacità — non ragionamento puro ma ricerca e combinazione di conoscenze distribuite in migliaia di articoli — è un aspetto dell’IA che i benchmark standard non catturano.
I limiti che restano: il Tier 4 e i problemi aperti
Il 50% sui Tiers 1-3 è un traguardo, ma non è il 100%. Metà dei problemi di livello avanzato resta irrisolto. Sul Tier 4, la percentuale scende al 38%, e l’analisi di Epoch AI suggerisce che circa il 30% dei problemi del benchmark resta fuori dalla portata di qualunque modello attuale, anche con centinaia di tentativi. Il pattern è sublogaritmico: aggiungere più tentativi porta rendimenti decrescenti, e i problemi più difficili sembrano resistere non per ragioni statistiche ma per limiti strutturali nella capacità di ragionamento dei modelli.
Un’analisi dettagliata di Epoch AI ha verificato la questione della contaminazione dei dati. FrontierMath è stato finanziato da OpenAI, che ha accesso esclusivo a tutti i 290 problemi dei Tiers 1-3 e alle soluzioni di 237 di essi. Epoch conserva un sottoinsieme di problemi “held-out” — non condiviso con OpenAI — per verificare se le prestazioni del modello dipendano dalla familiarità con i problemi specifici. Sui Tiers 1-3, GPT-5.4 Pro ha ottenuto il 52% sul set non held-out e il 42% su quello held-out. Sul Tier 4, i numeri sono invertiti: 25% sul set non held-out e 55% su quello held-out. Nessuna delle differenze è statisticamente significativa, il che suggerisce che la contaminazione non è un fattore determinante — il modello sta effettivamente ragionando, non memorizzando soluzioni.
Un dato che merita attenzione riguarda la diversità tra modelli. Dei problemi risolti complessivamente, 140 sono stati risolti da almeno due famiglie di modelli diverse, il che indica che i modelli non hanno profili di competenza radicalmente diversi: se un modello sa risolvere un problema, anche un altro probabilmente ci riesce. L’eccezione è ChatGPT Agent — la versione con accesso alla ricerca web — che ha risolto il 5% di problemi in più rispetto agli altri, probabilmente perché alcuni problemi beneficiano dell’accesso a letteratura matematica oscura disponibile online. Il contributo della ricerca web alla risoluzione di problemi matematici avanzati è un risultato inatteso che suggerisce che la capacità di “archeologia bibliografica” dell’IA — trovare e combinare risultati sepolti nella letteratura — è una competenza distinta dal ragionamento puro.
Sui problemi aperti — quelli che nessun matematico ha risolto — GPT-5.4 Pro non ha prodotto soluzioni verificate. Ha generato osservazioni su un problema che gli autori hanno giudicato relativamente poco interessanti e già anticipate. Un utente ha tuttavia segnalato una possibile soluzione a un problema aperto, attualmente in fase di verifica. Se confermata, sarebbe la prima volta che un modello linguistico contribuisce a risolvere un problema matematico genuinamente aperto — un evento che sposterebbe la percezione delle capacità dell’IA dalla replica alla scoperta. Ma il singolo caso, anche se confermato, non cambierebbe la realtà statistica: su decine di problemi aperti, il tasso di successo resta vicino a zero.
Humanity’s Last Exam: il tentativo di costruire un test a prova di IA
Humanity’s Last Exam (HLE) è un benchmark complementare a FrontierMath, sviluppato in collaborazione con il Center for AI Safety. Contiene 2.500 domande multidisciplinari tra le più difficili mai compilate — matematica, scienze umane, scienze naturali — create da quasi mille esperti contribuenti. L’ambizione dichiarata è costruire un test che misuri sia la profondità del ragionamento sia l’ampiezza della conoscenza, e che resista alla saturazione da parte dei modelli per un periodo prolungato.
HLE include domande “trappola” che richiedono buon senso e ragionamento non convenzionale anziché conoscenze memorizzate. Un modello che si limita a recuperare informazioni dal training data fallisce sulle domande progettate per essere fuorvianti. A inizio 2026, i punteggi dei migliori modelli su HLE restano modesti rispetto alla prestazione umana esperta, confermando che il test raggiunge il suo obiettivo: misurare i limiti, non celebrare i progressi.
L’indice composito Epoch AI ha integrato sia FrontierMath sia HLE nella propria classifica aggiornata a marzo 2026, accanto a benchmark per il ragionamento agentico come APEX-Agents. L’inclusione di questi test riflette un cambio di prospettiva: la comunità di ricerca si sta spostando dai benchmark che misurano le capacità medie a quelli che mappano i confini — i problemi dove i modelli falliscono, non quelli dove riescono. Per la ricerca, i confini sono più informativi dei successi: dicono dove concentrare gli sforzi, dove i limiti architetturali persistono, dove servono approcci diversi.
Il LM Council, nella sua classifica aggiornata a marzo 2026, ha integrato sia FrontierMath sia HLE con pesi specifici nell’indice composito. Il risultato è una classifica dove GPT-5.4 Pro domina sulla matematica avanzata, Gemini 3.1 Pro sul ragionamento astratto (ARC-AGI-2), e Claude di Anthropic sulla coerenza del ragionamento lungo e sulle capacità agentiche. Nessun modello è primo su tutto — una frammentazione che è essa stessa un dato rilevante per chi deve scegliere quale modello usare per quale compito.
Perché i benchmark sui limiti contano per le imprese
Un’impresa che valuta l’adozione dell’IA per compiti complessi — analisi legale, modellazione finanziaria, ricerca scientifica — deve sapere non solo cosa il modello sa fare ma dove si ferma. FrontierMath e HLE offrono una risposta empirica: i modelli attuali possono risolvere problemi di livello post-dottorato il 50% delle volte, il che significa che falliscono l’altra metà. Per un compito professionale dove l’errore ha conseguenze — un calcolo errato in una perizia, una conclusione sbagliata in un’analisi strategica — un tasso di successo del 50% non è sufficiente per un uso non supervisionato.
La fragilità del ragionamento — il fatto che GPT-5.4 Pro ha risolto il problema di Naskręcki in una sola esecuzione su undici — è un dato altrettanto importante quanto la risoluzione stessa. Significa che la capacità del modello di risolvere un problema difficile non è affidabile: dipende dalla traiettoria casuale del ragionamento, non da una comprensione stabile del problema. Per un professionista che deve decidere se fidarsi dell’output del modello su un compito complesso, questo dato impone cautela: una risposta corretta su un problema specifico non garantisce che il modello risponderà correttamente a un problema simile, perché il processo non è deterministico. La pratica migliore, per i compiti ad alta responsabilità, è eseguire più volte la stessa richiesta e confrontare le risposte — un approccio che i laboratori chiamano “best-of-N” e che riduce la probabilità di errore a costo di moltiplicare le richieste.
Per i professionisti italiani dell’IA, FrontierMath e HLE sono benchmark da conoscere non per i punteggi in sé, ma per ciò che dicono sulla maturità reale dei modelli. La narrativa commerciale tende a enfatizzare i progressi — il 50% su FrontierMath è un titolo forte — ma il dato completo racconta una storia di capacità impressionanti ma ancora fragili, di progressi rapidi ma con limiti strutturali. Questa distinzione è la base per una consulenza competente: aiutare le imprese a capire non solo cosa l’IA può fare oggi, ma cosa non può ancora fare — e quanto costa non saperlo.
