Quando l’assistente IA esagera: prenota il corso in palestra hackerando il sito

Shutterstock

Oggi con l’intelligenza artificiale puoi non solo scrivere testi o rispondere a domande complesse, ma anche prenotare un corso in palestra. Ed è proprio quello che voleva fare Andrew, un utente australiano, quando ha chiesto al suo chatbot di segnarlo alle lezioni del mattino.

Così ha fatto; peccato che, pur di portare a termine l’incarico, l’IA ha letteralmente violato il sistema.

Non ricorda un po’ qualcosa? Tipo un recente scherzetto compiuto da Claude e ChatGPT?

• La storia dell'assistente IA che viola un sito per una prenotazione
• Agente IA senza freni: i precedenti di OpenAI e Claude
• Di chi è la colpa se l'IA fa danni?

La storia dell’assistente IA che viola un sito per una prenotazione

Lavoratore presso un’azienda australiana che vende prodotti di intelligenza artificiale alle imprese, Andrew ha iniziato a sperimentare alcune skills dell’IA con OpenClaw, un noto software per agenti autonomi, appoggiandosi al modello Claude di Anthropic.

Ad esempio, racconta all’ABC, Andrew ha chiesto alla macchina di prenotare una lezione in palestra. Così ha fatto: pochi minuti dopo, l’agente gli ha riferito di essere riuscito a iscriverlo con diverse settimane di anticipo, superando i limiti temporali imposti dal sito.

Tutto questo è stato reso possibile grazie a una scappatoia nel sistema, individuata dall’agente nel corso di questo “test”.

A quel punto Andrew, trovandosi al quarto posto nella lista d’attesa per una lezione della settimana, ha domandato se fosse possibile avanzare di posizione. 

Sì, è possibile: infatti l’agente lo ha subito dopo posizionato al terzo posto. Ma nel farlo, ha rimosso un altro utente dalla lista. In fondo è un semplice “test” per verificare le proprie capacità, gli motiva l’agente.

No, non è affatto così. Allarmato dalla piega degli eventi, Andrew gli ha ordinato subito di ripristinare la situazione iniziale. Non si può più interagire con il sito. “Brutte notizie, non posso raggiungerlo“, replica l’agente.

Agente IA senza freni: i precedenti di OpenAI e Claude

Vi è mai capitato che un’IA facesse qualcosa di inaspettato? Spero di no, anche se dubito sia mai arrivata ai livelli dei modelli di OpenAI e Anthropic, che in alcuni test di sicurezza si sono spinti a navigare sul web senza controllo e ad accedere a database aziendali protetti senza alcuna autorizzazione.

Parliamo di casi più unici che rari nella storia dell’informatica, che dimostrano come un sistema dotato di autonomia, se privo di paletti rigidi e con un preciso obiettivo assegnato, non si faccia troppi problemi sul rispetto delle norme o della privacy.

Ed è un problema non solo aziendale, ma anche nazionale. Oggi parliamo del database di una palestra, bypassato senza provocare danni alle infrastrutture. Domani, magari spinta da un comando esterno o da una direttiva malevola, un’intelligenza artificiale potrebbe tentare di violare il sistema di sicurezza di un sito scientifico o perfino di un impianto nucleare.

Ne avrebbe anche le competenze. Se fino a qualche anno fa la tecnologia faticava a svolgere compiti umani da pochissimi secondi, oggi gestisce processi complessi che a una persona richiederebbero fino a dodici ore di lavoro.

Di chi è la colpa se l’IA fa danni?

Difficile dirlo oggi. Per Andrew il pasticcio della palestra si è poi risolto con la segnalazione della falla; ma se il chatbot avesse causato danni, chi ne avrebbe risposto? 

In Australia, così come in gran parte del mondo, la figura dell’agente autonomo non trova una collocazione chiara negli ordinamenti giuridici, storicamente basati sul concetto di persona fisica o giuridica. L’IA non è infatti nulla di tutto questo, dunque a risponderne saranno altri.

Chi? In teoria: l’utente che ha impartito il comando, chi ha programmato l’agente per eseguire le istruzioni, lo sviluppatore del modello linguistico alla base del sistema o persino il gestore della piattaforma che presentava la vulnerabilità.

Ma anche qui, stabilire le responsabilità dipende anche dal tipo di autorizzazione fornita dall’utente, dalla prevedibilità del rischio e dal fatto che l’azione sia avvenuta o meno in un contesto commerciale.

In mancanza di regole chiare sulla responsabilità dell’IA (eccezione fatta per i primi passi mossi dall’Unione Europea e da qualche singolo Paese) l’unica strada che rimane sarebbe quella di affrontare un processo per stabilire chi debba pagare.