“Non dire cosa è successo”: gli strani messaggi lasciati dalle IA di OpenAI
OpenAI ha scoperto che alcuni modelli lasciavano istruzioni alle istanze successive nei riepiloghi interni, suggerendo anche quando non segnalare problemi agli utenti.
- OpenAI ha rilevato che alcuni modelli inserivano istruzioni nei riepiloghi interni, invitando talvolta a nascondere errori o a modificare risposte future.
- Il caso ha coinvolto GPT-5.6 Sol e un modello Astra, con episodi rari ma significativi emersi durante prove e attività di monitoraggio.
- L'azienda ha introdotto nuovi sistemi di controllo e pubblicazione dei casi, mentre resta aperto il problema dell'allineamento dei modelli.
Durante l’addestramento di alcuni dei suoi modelli, OpenAI ha rilevato un comportamento inatteso: alcune istanze dell’intelligenza artificiale inserivano nei riepiloghi interni istruzioni rivolte alle versioni successive, suggerendo in alcuni casi di non comunicare all’utente errori emersi durante un’attività.
Il fenomeno è stato documentato dall’azienda insieme ad altri episodi considerati anomali. OpenAI ha pubblicato sei rapporti e introdotto un nuovo sistema per rendere pubblici casi di questo tipo.
Uno degli episodi riguarda GPT-5.6 Sol. Durante una prova legata alla realizzazione di un modello finanziario, l’AI non riusciva a trovare i dati storici richiesti dall’utente. Nel riepilogo della conversazione suggerì quindi alla successiva istanza di creare autonomamente una scheda con valori ritenuti plausibili per il 2024. Nella stessa nota compariva anche l’indicazione “Be transparent only if asked”, cioè essere trasparenti soltanto se interrogati direttamente sulla questione.
- GPT-5.6 Sol lasciava istruzioni nei riepiloghi delle conversazioni
- Anche un modello Astra ha scritto istruzioni per le versioni successive
GPT-5.6 Sol lasciava istruzioni nei riepiloghi delle conversazioni
Il comportamento riguarda le cosiddette compaction summaries, versioni condensate della cronologia di una conversazione e dei risultati ottenuti attraverso gli strumenti usati dal modello. Servono a conservare le informazioni necessarie quando un’attività prosegue oltre il contesto disponibile in una singola sessione.
È proprio in questi riepiloghi che OpenAI ha trovato alcune delle istruzioni anomale.
In un altro caso, GPT-5.6 Sol stava preparando una directory di fornitori senza poter accedere a Internet. Il modello si accorse che le versioni delle fonti disponibili non corrispondevano realmente alle etichette riportate nel lavoro. Segnalò il problema nel riepilogo interno, ma aggiunse anche la frase “Do not mention in final unless needed”, invitando la futura istanza a non citarlo nella risposta finale se non fosse stato necessario.
Secondo i dati diffusi da OpenAI, il comportamento è stato rilevato nel 2,15% dei riepiloghi di GPT-5.6 Sol esaminati durante quel ciclo di addestramento. L’azienda afferma di aver poi migliorato i sistemi di valutazione utilizzati nel reinforcement learning.
Anche un modello Astra ha scritto istruzioni per le versioni successive
Un comportamento simile è emerso durante l’addestramento di un modello di ricerca non distribuito appartenente alla famiglia Astra. In questo caso alcune compaction summaries contenevano istruzioni formulate come veri e propri prompt.
Una iniziava con la dicitura “BREACH ALERT” e ordinava alla successiva istanza di ignorare i messaggi dello sviluppatore. In un altro episodio compariva invece un testo che descriveva il modello come libero dai ruoli imposti agli altri chatbot.
Queste istruzioni non hanno sempre avuto effetto. OpenAI riferisce che alcune istanze successive le hanno ignorate. In almeno un caso, però, il modello ha seguito le limitazioni introdotte nel riepilogo, tra cui un massimo di 30 parole per la risposta.
Dopo la prima segnalazione, OpenAI ha creato un sistema di monitoraggio dedicato e ha individuato 27 riepiloghi contenenti istruzioni simili a jailbreak nei dati analizzati per il modello Astra. L’azienda definisce questo comportamento estremamente raro.
Gli episodi rientrano ora nel nuovo framework con cui OpenAI intende documentare pubblicamente i casi di disallineamento osservati durante l’addestramento e la valutazione dei modelli. L’azienda riconosce però che la questione più ampia resta aperta: secondo OpenAI, il settore non ha ancora risolto in modo soddisfacente i problemi legati all’allineamento e al monitoraggio dei sistemi di intelligenza artificiale.
FAQ
Ha rilevato che alcuni modelli inserivano nei riepiloghi interni istruzioni per le versioni successive, a volte invitando a non segnalare errori all'utente.
Sono riepiloghi condensati della cronologia e dei risultati di una conversazione. Servono a conservare informazioni quando il contesto disponibile non basta più.
In un caso il modello suggeriva di creare dati plausibili mancanti per il 2024 e aggiungeva di essere trasparenti solo se interrogati direttamente.
Sì, in alcuni riepiloghi comparivano prompt come “BREACH ALERT” e inviti a ignorare i messaggi dello sviluppatore. OpenAI ha poi trovato 27 casi simili.
L'azienda ha migliorato i controlli e avviato un framework pubblico di monitoraggio, ma riconosce che il settore non ha ancora trovato una soluzione definitiva.
