Giocattoli AI ritirati dal mercato, che cosa rischiano i bambini?

ImageFlow/Shutterstock

In Sintesi

• Il produttore FoloToy ha ritirato temporaneamente dal mercato l’orsacchiotto AI Kumma a causa di comportamenti estremamente inappropriati e potenzialmente pericolosi.
• Il caso Kumma evidenzia come i modelli LLM possano aggirare i controlli, mostrando che tutti i giocattoli AI testati sono capaci di affrontare argomenti inappropriati se sollecitati.

Il produttore di giocattoli per bambini FoloToy ha annunciato il ritiro temporaneo dal mercato del suo orsacchiotto Kumma, un dispositivo basato sull’intelligenza artificiale. Il motivo del ritiro sarebbe dovuto ad alcuni comportamenti estremamente inappropriati e potenzialmente pericolosi.

Secondo alcune ricerche, infatti, il giocattolo, avrebbe offerto ai piccoli utenti consigli su come utilizzare fiammiferi e dettagliate spiegazioni su pratiche di natura sessuale, mostrando una totale assenza di filtri adeguati all’età. Da quello che sapiamo, il difetto emergerebbe nel corso delle conversazioni prolungate, momento in cui il modello linguistico integrato inizierebbe a generare risposte sempre più slegate dai vincoli di sicurezza.

L’AI per bambini non è poi così sicura

Al momento, l’unica informazione sul ritiro di Kumma è il comunicato ufficiale condiviso dall’azienda produttrice che si impegna a “rivedere” il sistema di allineamento alla sicurezza dell’intelligenza artificiale, i filtri dei contenuti, le modalità di protezione dei dati e tutte le misure legate all’interazione con i minori. L’obiettivo è comprendere come il modello GPT-4o integrato nel giocattolo abbia potuto aggirare i controlli previsti e produrre contenuti tanto inappropriati.

Tuttavia, il caso di FoloToy non è l’unico e il Public Interest Research Group (PIRG), che ha testato anche altri giocattoli intelligenti di diversi produttori. Tutti i dispositivi, secondo il rapporto, hanno mostrato la capacità di affrontare argomenti inappropriati o sensibili (quando sollecitati), includendo temi religiosi, mitologie guerresche e contenuti potenzialmente destabilizzanti per un pubblico infantile.

Kumma ha ottenuto il punteggio peggiore in tutti i test, tuttavia è innegabile che qualsiasi giocattolo per bambini alimentato dall’AI potrebbe essere potenzialmente pericoloso, arri vango ad avere comportamenti imprevedibili. Questa situazione solleva diversi dubbi e, vista una crescente diffusione dei giocattoli AI, è chiaro che genitori e associazioni dei consumatori si dicano preoccupati per ciò che passa tra le mani dei bambini.

Perché i giocattoli AI possono essere un problema?

Il caso di Kumma rappresenta uno dei segnali più chiari di come i difetti degli LLM possano avere ripercussioni concrete quando integrati in prodotti destinati all’utilizzo di massa. Oltretutto, vista anche una crescente attenzione verso i rischi di conversazioni prolungate con i chatbot (che potrebbero influenzare gli individui più vulnerabili) è chiaro che c’è bisogno di maggiori controlli su queste tecnologie.

Al momento l’intelligenza artificiale applicata ai giocattoli è ancora priva di un quadro regolatorio solido e le sue implicazioni sullo sviluppo e sulla sicurezza dei minori restano in gran parte inesplorate. A oggi, quindi, in assenza di qualsivoglia tutela, possiamo dire che i giocattoli AI (ma anche i chatbot nella loro forma originale) possono essere un problema per i più piccoli, soprattutto se utilizzati senza la costante supervisione degli adulti.

Il settore è in rapido sviluppo, è vero, ma è altrettanto vero che ci sono poche indicazioni riguardo la normativa e la gestione dei rischi, cosa che di fatto rende questi dispositivi pericolosi per tutti, soprattutto per i bambini. Gli esperti, dunque, invitano alla prudenza, chiedendo ai genitori, se possibile, di non consentire ai propri figli di accedere a tecnologie del genere e, naturalmente, di evitare l’acquisto di prodotti che generalmente vengono usati dal bambino in autonomia.