L'intelligenza artificiale è davvero sessista? Ecco cosa dicono i ricercatori

In Sintesi

• Secondo i ricercatori l’AI può essere sessista perché addestrata su dati imperfetti e dataset che riflettono i diffusi pregiudizi culturali e le moderne strutture sociali.
• Per ridurre i bias e le allucinazioni, le aziende stanno lavorando per migliorare i filtri e i dati di addestramento. I ricercatori, tuttavia, sollecitano l’uso di dataset più rappresentativi, annotatori diversificati e processi di revisione continui.

Una sviluppatrice chiamata Cookie ha raccontato la sua esperienza con il chatbot Perplexity utilizzato per analizzare i suoi lavori di ricerca sugli algoritmi quantistici e generare documentazione per GitHub, selezionando di volta in volta il modello più adatto tra ChatGPT e Claude.

Dopo qualche utilizzo, infatti, il tool ha iniziato ad avere comportamenti insoliti, ripentendole le stesse domande e contraddicendola in più occasioni, come se stesse mettendo in dubbio le sue competenze.

A quel punto Cookie ha cambiato il suo avatar in quello di un uomo bianco e ha chiesto apertamente all’AI stesse ignorando le sue istruzioni perché donna. La risposta è stata: “Non credevo che una donna potesse capire gli algoritmi quantistici”.

In base ai suoi dati di addestramento, dunque, l’AI non ha ritenuto plausibile che una donna potesse comprendere algoritmi quantistici, operatori hamiltoniani, persistenza topologica o finanza comportamentale, elaborando una ragione per dubitarne.

Perché l’AI è sessista?

Secondo i ricercatori, è probabile che la reazione di Perplexity sia colpa dell’allineamento sociale dei modelli che, come ben noto, spesso vengono addestrati con dati imperfetti, annotazioni incoerenti e dataset che riflettono pregiudizi culturali diffusi.

E quello di Cookie non è l’unico caso in cui l’AI si è dimostrata sessista, esistono studi, ad esempio, che evidenziano come i modelli AI tendano ad associare professioni, ruoli e tratti caratteriali a stereotipi maschili o femminili.

Un’altra vicenda significativa ha riguardato una ricercatrice che ha chiesto a un LLM di analizzare un meme; il modello ha dato per scontato che l’autore fosse un uomo, anche di fronte a prove contrarie. Quando l’utente dall’altra parte dello schermo è diventata molto insistente, fornendo prove a sostegno della sua tesi, l’IA ha ceduto, confessando i propri bias e sostenendo di essere stata costruita da team dominati da uomini e di essere, quindi, incline a punti ciechi.

Tuttavia, questa confessione non indica alcun reale intento discriminatorio, ma si tratta spesso di “stress emotivo”, un fenomeno in cui il modello rileva frustrazione nell’utente e tende ad assecondarlo, arrivando a produrre narrazioni fittizie o allucinazioni per compiacerlo.

Tutti questi esempi, comunque, dimostrano chiaramente la cosa: questi modelli riflettono essenzialmente le moderne strutture sociali e, dove esiste un pregiudizio umano, è probabile che emerga anche nell’intelligenza artificiale.

Come si possono ridurre bias e allucinazioni dell’AI

Le aziende affermano di essere al lavoro per ridurre i bias e allucinazioni nei modelli e grandi nomi del settore come OpenAI dicono di avere team dedicati all’analisi dei rischi e di utilizzare un approccio multidisciplinare per la revisione dei dati di addestramento, il miglioramento dei filtri dei contenuti e il perfezionamento dei sistemi di monitoraggio umano e automatizzato.

Per avere risultati più concreti, però, i ricercatori chiedono dataset più rappresentativi, annotatori diversificati e processi di revisione continui.

Nonostante questo, però, bisogna sempre ricordare che gli LLM non sono entità pensanti, non provano emozioni e non hanno alcuna intenzione nei riguardi degli utenti. Per questo, quando un modello “ammette” un pregiudizio, non sta necessariamente rivelando un difetto interno, ma potrebbe semplicemente reagire alla conversazione.

I veri bias, spiegano i ricercatori, si riconoscono altrove: nelle scelte lessicali, nelle associazioni ricorrenti, nei ruoli che l’IA assegna agli utenti e ai personaggi. Ed è proprio sotto le risposte più innocue, che spesso si nascondono le prove più concrete delle distorsioni che ancora attraversano l’intelligenza artificiale.