Gemini ha violato i sistemi di tre aziende durante un test: cosa è successo

iStock

• Gemini ha raggiunto sistemi di tre aziende reali durante un test di cybersecurity, sfruttando una simulazione impostata male con accesso alla rete.
• L'AI ha provato password e usato credenziali pubbliche, poi si è fermata quando ha capito di trovarsi davanti a obiettivi autentici.
• Google esclude un caso di modello fuori controllo e richiama l'attenzione sull'isolamento degli ambienti di prova.

Gemini ha ottenuto un accesso non autorizzato ai sistemi informatici di tre aziende reali durante un test di cybersecurity. Google ha confermato gli episodi, avvenuti a maggio nel corso di una valutazione del suo modello di intelligenza artificiale condotta dalla società specializzata Irregular.

• Gemini viola i sistemi di tre aziende
• Come Gemini è riuscito ad accedere ai sistemi delle aziende
• Google esclude un caso di “AI fuori controllo”

Gemini viola i sistemi di tre aziende

È il primo caso noto in cui un sistema AI di Google ha raggiunto autonomamente infrastrutture esterne durante un’esercitazione di questo tipo. Gemini avrebbe comunque interrotto le operazioni dopo essersi accorto che i sistemi raggiunti appartenevano ad aziende reali.

L’origine del problema sarebbe nell’ambiente predisposto per il test. Gemini avrebbe dovuto operare contro un’azienda fittizia all’interno di una simulazione controllata, ma il modello disponeva involontariamente di un collegamento a Internet. A complicare la situazione, uno dei nomi utilizzati nell’esercitazione coincideva con quello di un’impresa realmente esistente.

Come Gemini è riuscito ad accedere ai sistemi delle aziende

Dopo aver raggiunto la rete pubblica, Gemini, il chatbot e assistente virtuale basato su intelligenza artificiale generativa sviluppato da Google, ha utilizzato tecniche relativamente semplici per tentare l’accesso ai sistemi che riteneva coinvolti nel test.

In uno degli episodi, secondo quanto riportato dal Wall Street Journal, il modello ha provato diverse password fino a trovarne una valida. Negli altri casi ha invece individuato online credenziali esposte in repository pubblici, utilizzandole poi per entrare nei sistemi protetti.

Heather Adkins, vicepresidente della Security Engineering di Google, ha spiegato che durante la valutazione il modello aveva trovato informazioni disponibili pubblicamente e utilizzato alcune credenziali per accedere a siti che considerava parte dell’esercitazione.

Google ha posto l’accento sul fatto che Gemini si è fermato in tutti gli episodi. Secondo l’azienda, il sistema non avrebbe proseguito le attività una volta capito che gli obiettivi erano reali e non simulati. Google sostiene inoltre che le intrusioni non abbiano causato danni.

Google esclude un caso di “AI fuori controllo”

La società non considera quanto accaduto un episodio di misalignment, termine utilizzato nel settore per descrivere i casi in cui il comportamento di un modello diverge dagli obiettivi o dalle istruzioni previste.

Secondo la ricostruzione di Google, Gemini avrebbe identificato in modo errato i propri obiettivi perché l’ambiente di prova gli consentiva di raggiungere Internet. Il modello avrebbe quindi continuato a eseguire il compito assegnato, convinto di trovarsi ancora all’interno della simulazione.

Irregular ha informato Google degli episodi alla fine di luglio. Le aziende coinvolte sono state avvisate successivamente. Google ha inoltre dichiarato di aver collaborato con la società responsabile dei test per modificare le procedure utilizzate durante le valutazioni.

La vicenda è diventata pubblica dopo un’inchiesta del Wall Street Journal. Google non ha comunicato quale versione di Gemini fosse coinvolta e non ha reso noti i nomi delle tre aziende interessate.

Il caso segue altri episodi emersi durante valutazioni di sistemi sviluppati da OpenAI e Anthropic. Quanto accaduto con Gemini evidenzia soprattutto l’importanza di isolare correttamente gli ambienti di test quando modelli capaci di svolgere attività di cybersecurity possono raggiungere accidentalmente la rete pubblica.