I Chatbot AI non sono più affidabili, che cosa è cambiato?

In Sintesi

• Un report di NewsGuard dimostra che l’affidabilità dei modelli AI nel gestire le notizie di cronaca è notevolmente diminuita.
• Questo è dovuto alla capacità di ricerca in tempo reale sul web, che li rende vulnerabili alla disinformazione creata per ingannare gli algoritmi.

Un recente studio condotto da NewsGuard, società che si occupa di valutare l’affidabilità delle fonti di informazione, mostra diversi dubbi sull’accuratezza dei modelli di intelligenza artificiale nel trattare le notizie di cronaca. Il report, infatti, rivela un quadro preoccupante in cui l’affidabilità dei chatbot non solo non è migliorata nell’ultimo anno, ma in alcuni casi è addirittura peggiorata in modo significativo.

Come funziona l’analisi di NewsGuard

Il metodo di NewsGuard consiste nel sottoporre a 10 chatbot affermazioni false presentate come vere e valutarne la capacità di identificare e smentire la disinformazione, replicando l’utilizzo che ne fanno gli utenti per verificare informazioni trovate online o sui social media.

I dati raccolti nel 2025, confrontati con quelli del 2024, mostrano una duplice tendenza. Da un lato, la capacità dei modelli di confutare le notizie false è apparentemente migliorata, passando dal 51% al 65%. Tuttavia, da un’analisi più approfondita emerge un fenomeno allarmante: la tendenza a ripetere informazioni inaccurate è quasi raddoppiata, passando dal 18% al 35%.

Questo incremento può essere spiegato con un cambiamento nel comportamento dei chatbot: se nel 2024 si rifiutavano di rispondere nel 31% dei casi, nel 2025 hanno fornito una risposta al 100% delle domande. Pertanto, il calo del tasso di errore totale (dal 49% al 35%) non mostra un miglioramento, ma piuttosto rivela una maggiore propensione a fornire risposte errate a fronte di un minor numero di rifiuti.

Secondo il report di NewsGuard i modelli più accurati sono:

• Claude, con un tasso di errore molto basso, intorno 10%
• Gemini, con un tasso di errore del 16,67%
• Mistral, con un tasso di errore del 36,37%
• ChatGPT e Meta AI, entrambi con un tasso di errore del 40%
• Perplexity, che registra un tasso di errore del 46,67%
• Inflection, con un tasso di errore del 56,67%

Perché i chatbot commettono errori

Secondo NewsGuard, il principale fattore alla base di questo peggioramento è l’introduzione della capacità di ricerca in tempo reale sul web. A differenza di un anno fa, infatti, la maggior parte dei modelli si basavano unicamente sui dati di addestramento e si rifiutavano o non erano in grado di rispondere a domande su eventi recenti.

Oggi questi strumenti sono capaci di cercare informazioni online per fornire risposte; un approccio che pur riuscendo a fornire risposte aggiornate, rappresenta anche un grave rischio che riguarda l’attendibilità delle fonti selezionate

I modelli AI, infatti, tendono a cadere nella trappola di siti noti per la diffusione di disinformazione; questa vulnerabilità non è casuale e i ricercatori ritengono che i network di disinformazione abbiano modificato le proprie strategie, passando dal targeting del pubblico umano su social media a quello degli algoritmi di intelligenza artificiale. La produzione in massa di articoli falsi, sebbene poco condivisi sui social, ha come obiettivo quello di saturare il web e influenzare i modelli di IA, trasformandoli in veicoli involontari di notizie false.

Possiamo dire, quindi, che modelli di intelligenza artificiale, nel loro sforzo di diventare più utili e reattivi, hanno acquisito una notevole fragilità. La sfida per gli sviluppatori è quella di istruire gli algoritmi non solo a cercare informazioni, ma anche a valutarne criticamente l’attendibilità, un compito che, al momento, è ancora piuttosto ostico per questa tecnologia.