L'IA non è onnipotente: battuta dagli umani in un difficile test di matematica

Shutterstock

Toccherà ricredersi: la tecnologia più rivoluzionaria del decennio, capace di recuperare informazioni su quasi qualsiasi argomento, non è riuscita a superare con successo un test matematico, seppur decisamente difficile, arrivando soltanto alla sufficienza.

Un risultato che, almeno per il momento, conferma come l’IA sia ancora distante dal diventare una vera AGI, una forma di intelligenza paragonabile o superiore a quella umana.

• In cosa consiste il test di matematica e quali sono i modelli coinvolti
• Nessun modello raggiunge il punteggio perfetto
• Perché le IA non hanno risolto tutti i quesiti

In cosa consiste il test di matematica e quali sono i modelli coinvolti

Ma partiamo dall’inizio. Nell’ambito del progetto First Proof, creato per monitorare l’evoluzione delle capacità dell’intelligenza artificiale nella ricerca matematica avanzata, un gruppo di ricercatori ha deciso di mettere alla prova quattro differenti modelli IA.

Oltre al recente ChatGPT 5.5 Pro, hanno preso parte al test i tre modelli sviluppati rispettivamente dall’Università della California di Los Angeles (UCLA), dall’Università di Princeton e dal Politecnico Federale di Zurigo (ETH), che hanno per l’occasione sviluppato delle soluzioni personalizzate basate su chatbot già esistenti, tra cui Gemini e la versione pubblica di Claude.

Test primo nel suo genere, non si basa su esercizi reperibili online o presenti nei dati di addestramento delle IA. I dieci problemi erano completamente inediti: non erano mai stati pubblicati nella letteratura scientifica né comparsi su Internet.

A fornire le domande sono stati dieci matematici appartenenti a differenti aree di specializzazione. Ognuno di loro ha proposto un problema affrontato durante la propria attività di ricerca e non ancora reso pubblico. Le risposte generate dai modelli sono state poi valutate direttamente da esperti del settore.

E i risultati riportati nell’articolo pubblicato su Nature sono strabilianti.

Nessun modello raggiunge il punteggio perfetto

Nonostante i progressi compiuti negli ultimi anni e la straordinaria capacità computazionale dei sistemi moderni, nessuna delle IA coinvolte è riuscita a risolvere tutti e dieci i problemi.

I risultati migliori sono arrivati dal team dell’ETH di Zurigo, che ha risolto sei quesiti su dieci, appunto una specie di “sufficienza”. Il sistema utilizzato prevedeva una sorta di “consiglio consultivo” composto dai principali chatbot disponibili, incaricati di verificare, correggere e migliorare le risposte prodotte da ChatGPT.

Al secondo posto si è classificato il gruppo dell’UCLA, che ha sviluppato una piattaforma basata su ChatGPT. A seguire Princeton, il cui sistema utilizza principalmente Gemini 3.1 Pro come motore di elaborazione, e infine OpenAI con una versione di ChatGPT impiegata senza strumenti di supporto esterni.

Proprio il risultato ottenuto dal chatbot di OpenAI ha sorpreso i ricercatori. Se in questo caso ChatGPT ha quasi fallito il test, solo pochi mesi prima aveva contribuito a trovare la soluzione di un problema matematico formulato oltre ottant’anni fa dal celebre matematico Paul Erdős.

Perché le IA non hanno risolto tutti i quesiti

Il motivo dietro il mancato raggiungimento del punteggio massimo da parte delle IA si potrebbe spiegare come un segnale della relativa immaturità della tecnologia. Ed è una spiegazione che potrebbe bastare per noi lettori, meno per i matematici.

Non a caso, il team dell’ETH ha avviato un’indagine preliminare per comprendere perché tre dei problemi di First Proof siano rimasti irrisolti da tutti e quattro i partecipanti.

Dalle prime osservazioni emerge che, in alcuni casi, ai sistemi mancasse quell’intuizione decisiva e inattesa che consente ai ricercatori umani di colmare l’ultimo passaggio necessario alla dimostrazione. In altre situazioni, invece, l’impostazione generale della soluzione era corretta, ma i modelli non erano riusciti a gestire tutti i dettagli richiesti.

I ricercatori hanno inoltre rilevato un’altra criticità ben nota: la tendenza alle allucinazioni, ovvero la produzione di informazioni errate o inesatte, un fenomeno che si è manifestato anche quando ai modelli veniva richiesto esplicitamente di verificare riferimenti e passaggi logici.