Epoch AI ha aggiornato il proprio indice composito delle prestazioni dei modelli linguistici includendo due benchmark che segnano un cambio di direzione nella valutazione dell’intelligenza artificiale: ARC-AGI-2, che misura il ragionamento astratto generalizzabile, e APEX-Agents, che testa le capacità agentiche — la capacità di un modello di pianificare, eseguire e verificare compiti complessi in modo autonomo su più passaggi il 9 marzo 2026. L’inclusione di questi test riflette una presa d’atto della comunità di ricerca: i benchmark tradizionali — quiz di conoscenza, problemi matematici standard, generazione di codice isolata — non catturano più le capacità che distinguono i modelli di frontiera. Servono test che misurino non cosa il modello sa, ma come ragiona e come agisce.
ARC-AGI-2: ragionamento astratto oltre i pattern appresi
ARC-AGI (Abstraction and Reasoning Corpus for Artificial General Intelligence) è un benchmark creato da François Chollet, ricercatore di Google, progettato per misurare un tipo di intelligenza che i modelli linguistici tradizionali faticano a esibire: la capacità di astrarre regole generali da pochi esempi e applicarle a situazioni nuove. I problemi di ARC-AGI presentano griglie visive con pattern che l’esaminato deve comprendere e replicare — trasformazioni geometriche, regole di colorazione, relazioni spaziali — senza istruzioni esplicite. Ogni problema ha un input e un output di esempio, e il modello deve inferire la regola e applicarla a un nuovo input.
La versione 2 del benchmark, ARC-AGI-2, ha innalzato la difficoltà con problemi più complessi, regole più astratte e meno indizi visivi. Mentre gli esseri umani risolvono circa l’85% dei problemi di ARC-AGI, i modelli linguistici hanno a lungo oscillato sotto il 10%. Gemini 3.1 Pro, nella sua versione di marzo 2026, ha raddoppiato le prestazioni rispetto al predecessore su ARC-AGI-2, posizionandosi in testa alla classifica su questo specifico benchmark. Il risultato è notevole: mostra che i modelli stanno iniziando a sviluppare una forma limitata di ragionamento per analogia — non equivalente a quella umana, ma misurabile e in miglioramento.
Il motivo per cui ARC-AGI conta più di altri benchmark è che misura qualcosa di diverso dalla conoscenza. Un modello che risolve un problema matematico potrebbe farlo perché ha visto problemi simili nel training data. Un modello che risolve un problema ARC-AGI non può averlo visto: i problemi sono unici e non assomigliano a nulla presente nei dati di addestramento. La prestazione su ARC-AGI, per quanto imperfetta, è l’indicatore più vicino di cui disponiamo a una misura della capacità di ragionamento generalizzabile — la capacità di affrontare un problema mai visto applicando principi astratti, non pattern memorizzati.
Per le applicazioni aziendali, il ragionamento astratto misurato da ARC-AGI correla con la capacità del modello di gestire situazioni non standard — eccezioni, casi inediti, problemi che non rientrano nei template abituali. Un modello che eccelle solo su compiti standardizzati ma fallisce su ARC-AGI potrebbe essere affidabile per il lavoro di routine ma inadatto per i compiti che richiedono adattamento a circostanze impreviste. Un modello con buone prestazioni su ARC-AGI, al contrario, ha maggiori probabilità di gestire correttamente le eccezioni — che sono esattamente i casi dove l’errore è più costoso e dove la supervisione umana è più necessaria.
La differenza tra i modelli su ARC-AGI-2 è più marcata che su altri benchmark. Mentre su SWE-bench o AIME i modelli di punta si distinguono per pochi punti percentuali, su ARC-AGI-2 le differenze possono essere di 2-3 volte. Questa dispersione suggerisce che il ragionamento astratto non è un sottoprodotto automatico dell’intelligenza generale del modello: richiede capacità specifiche — forse architetturali, forse legate al post-training — che non tutti i laboratori hanno sviluppato allo stesso livello. L’investimento di Google in questa direzione con Gemini 3.1 Pro indica che DeepMind considera il ragionamento astratto una competenza strategica, non un benchmark tra tanti.
APEX-Agents: misurare l’IA che agisce, non solo che risponde
APEX-Agents è un benchmark di recente introduzione che testa le capacità agentiche dei modelli linguistici: la capacità di ricevere un obiettivo complesso, scomporlo in sotto-compiti, eseguirli in sequenza usando strumenti esterni (browser, terminale, file system, API), verificare i risultati e correggere il corso quando qualcosa va storto. Non è un test di conversazione ma un test di azione: il modello deve fare cose nel mondo digitale, non solo parlarne.
L’importanza di APEX-Agents nel 2026 riflette un cambiamento nel modo in cui i modelli vengono effettivamente usati nelle aziende. Sempre più applicazioni AI non sono chatbot che rispondono a domande ma agenti che eseguono compiti: prenotare riunioni, gestire ticket di assistenza, analizzare dati da fonti multiple, coordinare flussi di lavoro multi-step. Gartner stima che entro la fine del 2026, oltre il 60% dei flussi di lavoro aziendali nelle grandi imprese sarà guidato da agenti AI. Misurare quanto bene i modelli svolgono questi compiti è diventato una necessità — e APEX-Agents è una delle risposte a questa necessità.
Il benchmark testa scenari che richiedono pianificazione a medio termine: compiti che non possono essere completati in un singolo passaggio ma richiedono una sequenza coordinata di azioni, con la possibilità di errori intermedi che devono essere identificati e corretti. I modelli vengono valutati non solo sulla correttezza del risultato finale ma anche sull’efficienza del percorso — quanti passaggi servono, quanti errori vengono commessi e corretti, quanto tempo richiede l’esecuzione.
L’indice Epoch AI aggiornato: la nuova classifica
L’inclusione di ARC-AGI-2 e APEX-Agents nell’indice Epoch AI ha ridisegnato la classifica dei modelli. Gemini 3.1 Pro è in testa sulle metriche di ragionamento astratto, grazie alle prestazioni raddoppiate su ARC-AGI-2. GPT-5.4 guida sui benchmark matematici (FrontierMath al 50%) e sul coding (SWE-bench). Claude di Anthropic si posiziona bene sulle metriche agentiche e sulla coerenza del ragionamento lungo. Nessun modello domina su tutti i fronti — la classifica produce profili comparativi, non un vincitore unico.
Questa frammentazione è essa stessa un dato rilevante. Suggerisce che le capacità misurate dai diversi benchmark — conoscenza fattuale, ragionamento matematico, comprensione visiva, ragionamento astratto, capacità agentiche — non si sviluppano in parallelo. Un modello eccellente sulla matematica non è automaticamente eccellente sul ragionamento astratto. Un modello forte sulle capacità agentiche può essere mediocre sulla comprensione multimodale. Per le imprese che devono scegliere quale modello adottare, la moltiplicazione dei benchmark rilevanti rende la decisione più complessa ma anche più informata — a patto di sapere quale capacità conta di più per il proprio caso d’uso specifico.
Il benchmark METR e la misura del tempo-orizzonte
Un ulteriore benchmark che sta guadagnando attenzione nell’indice Epoch AI è la metrica METR, che misura il “time horizon” dei modelli: la durata del compito umano a cui un modello raggiunge il 50% di successo. In pratica, METR chiede: quanto lunghi possono essere i compiti che l’IA completa con affidabilità? Un modello che riesce su compiti di 10 minuti ma fallisce su compiti di 2 ore ha un time horizon corto. Un modello che mantiene le prestazioni su compiti di diverse ore ha un time horizon lungo — e questo è rilevante per le applicazioni aziendali dove i compiti reali sono quasi sempre più complessi di un singolo prompt.
I compiti di METR sono estratti da benchmark diversi — RE-Bench per il machine learning engineering, HCAST per il software engineering generale, SWAA per le operazioni software — e offrono una misura aggregata della maturità operativa del modello. Un time horizon lungo correla con la capacità del modello di mantenere contesto, pianificare a più passaggi, recuperare da errori e portare a termine compiti complessi senza perdere il filo. Per le imprese che vogliono usare l’IA per compiti che richiedono ore anziché minuti — analisi di un intero dossier legale, revisione di un progetto software, produzione di un report di consulenza completo — il time horizon è la metrica più predittiva della qualità del risultato.
Un aspetto metodologico da sottolineare: i benchmark agentici come APEX-Agents e METR sono significativamente più difficili da standardizzare rispetto ai benchmark tradizionali. Un test matematico ha una risposta corretta e una sbagliata; un test agentico ha molti modi di raggiungere lo stesso risultato, con percorsi più o meno efficienti. La valutazione richiede ambienti di esecuzione controllati — sandbox software dove l’agente può operare senza rischi — e criteri di successo che tengano conto non solo del risultato finale ma anche del processo. L’infrastruttura necessaria per eseguire questi test è costosa e complessa, il che limita il numero di laboratori e organizzazioni in grado di produrre valutazioni indipendenti affidabili.
Cosa significa per i professionisti e le imprese
Per i professionisti italiani dell’IA, i nuovi benchmark rappresentano un’evoluzione nella competenza richiesta per valutare e consigliare i modelli. Non basta più guardare il punteggio su SWE-bench o AIME: bisogna saper leggere le prestazioni su ARC-AGI-2 (per valutare la capacità di ragionamento generalizzabile), su APEX-Agents (per valutare l’affidabilità in compiti multi-step), e su metriche di time horizon (per capire quanto a lungo il modello mantiene le prestazioni). Questa competenza comparativa — saper leggere i benchmark nel contesto del caso d’uso del cliente — è un servizio professionale sempre più richiesto e ancora raro.
Per le imprese, il messaggio pratico è che la scelta del modello deve partire dal compito, non dalla classifica. Se l’obiettivo è automatizzare compiti agentici — gestione di ticket, coordinamento di flussi di lavoro, analisi multi-fonte — le prestazioni su APEX-Agents e METR sono i dati più rilevanti. Se l’obiettivo è l’analisi di problemi complessi e non standardizzati, ARC-AGI-2 offre un’indicazione della capacità del modello di ragionare fuori dagli schemi appresi. Se l’obiettivo è il coding o la matematica, i benchmark classici come SWE-bench e AIME restano il riferimento.
Per le imprese italiane in particolare, il benchmark METR ha un’implicazione operativa diretta. Molti dei compiti che le PMI vorrebbero automatizzare — dall’analisi di un fascicolo legale alla preparazione di un report finanziario, dalla gestione di un progetto alla risposta a una gara d’appalto — sono compiti con un orizzonte temporale di ore, non di minuti. Un modello con un time horizon corto può aiutare con sotto-compiti specifici ma non può gestire l’intero processo. Un modello con un time horizon lungo può diventare un vero assistente operativo, capace di lavorare su un compito complesso dall’inizio alla fine con supervisione intermittente. La differenza tra i due scenari ha implicazioni concrete su quanta produttività l’IA può effettivamente liberare e su come progettare i flussi di lavoro ibridi uomo-macchina.
L’indice Epoch AI aggiornato non produce un modello migliore in assoluto. Produce una mappa delle capacità che permette scelte informate — e per chi deve investire tempo e risorse nell’adozione dell’IA, una scelta informata vale molto più di una scommessa alla cieca sulla classifica del momento.
