Dal MIT arriva il sistema per proteggere i minori dai contenuti dannosi generati dall'IA
Il MIT ha presentato un sistema capace di individuare i modelli di IA modificati per creare contenuti illegali, senza dover analizzare gli output.
- Ricercatori del MIT e l'organizzazione Thorn hanno sviluppato una tecnica che identifica modelli IA modificati per generare materiale sessuale su minori analizzando le modifiche interne.
- La procedura usa Gaussian Probing sugli adattatori LoRA per osservare risposte interne e determina con elevata precisione se un modello è stato specializzato per produrre CSAM.
- I test mostrano altissima accuratezza e il metodo permette di limitare la diffusione di modelli a rischio; gli sviluppatori mirano ora a estendere i test su più modelli.
La sicurezza sui minori è messa a dura prova dall’intelligenza artificiale. Con la sua crescente popolarità dei modelli open source, infatti, sempre più persone possono scaricare, modificare e adattare sistemi IA non solo per creare immagini artistiche o strumenti personalizzati, ma anche per generare contenuti illegali, discorsi d’odio o materiale pedopornografico.
Per fortuna dal Massachusetts Institute of Technology (MIT) arriva un sistema che permette di individuare i modelli IA potenzialmente pericolosi prima che possano essere utilizzati per generare contenuti dannosi per i minori.
- Dal MIT arriva il metodo per individuare i modelli AI dannosi per i minori
- Come sono riusciti a sviluppare il metodo
- Cosa cambia per la sicurezza dei minori nell’era dell’IA
Dal MIT arriva il metodo per individuare i modelli AI dannosi per i minori
In collaborazione con l’organizzazione no-profit Thorn, un gruppo di ricercatori ha sviluppato un nuovo sistema di verifica in grado di stabilire se un modello di intelligenza artificiale sia stato modificato per generare CSAM (Child Sexual Abuse Material), ovvero materiale relativo ad abusi sessuali sui minori.
Purtroppo, a forza di svilupparsi, l’IA ha cominciato a diventare uno strumento anche per criminali, non solo cyber. Grazie alla possibilità di personalizzare i modelli attraverso tecniche come il fine-tuning, oggi l’IA può essere usata per qualsiasi attività, anche quelle in cui la sicurezza dei minori viene messa totalmente a repentaglio.
Tra l’altro, fino a oggi, per verificare la sicurezza di un modello, gli esperti dovevano chiedere direttamente all’IA di generare contenuti e successivamente analizzare i risultati prodotti. Un metodo però difficile da applicare su larga scala e con un ulteriore problema: la continua esposizione dei valutatori a materiale estremamente problematico.
Per questo motivo i ricercatori hanno deciso di cambiare approccio, concentrandosi non sui risultati generati dal modello, ma sulle modifiche interne che vengono effettuate durante il processo di personalizzazione.
Come sono riusciti a sviluppare il metodo
Come spiegano i ricercatori del MIT nel loro studio (disponibile su ArXiv), questa soluzione analizza gli adattatori LoRA, ovvero le modifiche applicate al modello durante il fine-tuning, per capire se un sistema sia stato specializzato per produrre contenuti dannosi senza dover generare alcuna immagine.
Il metodo utilizza una tecnica chiamata Gaussian Probing, attraverso la quale i ricercatori forniscono al modello una serie di punti dati casuali e osservano il modo in cui il sistema li elabora all’interno della propria struttura interna.
Gli scienziati hanno analizzato queste variazioni in diversi livelli del modello, raccogliendo le informazioni prodotte nelle varie fasi del processo e calcolando una sorta di media complessiva delle modifiche introdotte dall’adattatore LoRA.
Alla fine hanno scoperto che queste risposte interne rappresentano un indicatore molto preciso del tipo di specializzazione applicata al modello. In pratica, il sistema riesce a riconoscere se un modello è stato modificato per determinate attività senza dover osservare direttamente ciò che genera.
E anche in maniera estremamente accurata: nei test condotti, è emerso che la tecnica è in grado di identificare i modelli adattati per produrre CSAM con un’accuratezza del 100%.
Cosa cambia per la sicurezza dei minori nell’era dell’IA
In breve, con questa nuova soluzione i revisori potranno identificare ancora più facilmente i modelli open source a rischio. E così limitare il più possibile la diffusione di questi contenuti, ormai in crescita da anni.
Secondo i dati citati dai ricercatori, il National Center for Missing and Exploited Children avrebbe ricevuto oltre 1,5 milioni di segnalazioni di CSAM generati dall’IA nel 2025, in aumento rispetto alle circa 67.000 del 2024.
In futuro, il team di ricerca punta ad ampliare i test su un numero maggiore di modelli e varianti, oltre a verificare se il Gaussian Probing possa essere utilizzato anche per individuare potenziali caratteristiche dannose nei modelli di base prima ancora che vengano sottoposti a personalizzazione.
FAQ
Nei test citati i ricercatori hanno raggiunto il 100% di accuratezza nell'identificare modelli adattati per produrre CSAM.
Permette ai revisori di individuare modelli open source a rischio prima che vengano usati per diffondere contenuti illeciti, limitando la circolazione di materiale dannoso.
Analizza le modifiche interne (adattatori LoRA) applicate durante il fine-tuning usando Gaussian Probing invece di ispezionare le immagini generate.
No: il metodo riconosce specializzazioni dannose esaminando risposte interne del modello, evitando l'esposizione diretta a materiale offensivo.
Nei test del team la tecnica ha identificato modelli adattati per produrre CSAM con un'accuratezza del 100%.
I revisori possono segnalare e limitare più rapidamente modelli open source a rischio, riducendo la diffusione di contenuti dannosi.
I ricercatori vogliono testare Gaussian Probing anche sui modelli base per valutare se individua caratteristiche dannose prima delle personalizzazioni.
