L'IA che si automigliora non è più fantascienza, la sta studiando Anthropic: cosa potrebbe diventare?
Un nuovo studio di Anthropic dimostra come l'intelligenza artificiale può arrivare a correggere e migliorare da sola il proprio allineamento. Ecco come funziona e quali sono i rischi per il futuro.
Un’intelligenza artificiale che possa correggere e migliorarsi da sola? Fino a pochi mesi fa tutto ciò sarebbe stata bollata come fantascienza. Invece, stando a uno studio condotto da un ricercatore di Anthropic, questa idea sta iniziando a trasformarsi in realtà.
Con tutti i suoi pro e soprattutto contro.
- Anthropic sta sperimentando l'IA che si automigliora
- Cosa potrebbe diventare questa tecnologia?
- Limiti e svantaggi di quest'innovazione
Anthropic sta sperimentando l’IA che si automigliora
Tutto nasce dalla pubblicazione del paper “Automated Researchers Can Reliably Mitigate Alignment Failures”, in cui viene spiegato come i sistemi basati su agenti IA (denominati AAR, Automated Alignment Researcher) possano potenziare in modo affidabile le prestazioni di un modello per correggere specifici fallimenti di allineamento, ovvero quei comportamenti in cui l’IA devia dalle direttive di sicurezza.
Per farla breve, questi sistemi automatici, una volta messi alla prova su 10 benchmark differenti legati a comportamenti non allineati (ad esempio la tendenza a assecondare l’utente anche quando sbaglia), sono riusciti a migliorare i risultati in ognuno dei test senza far peggiorare le prestazioni generali del modello.
A tratti simile alla tecnica della distillazione, questo processo prevede che ogni sistema scandagli la letteratura scientifica a disposizione fino a proporre un metodo di lavoro e addestrare il modello con quel sistema per 30 minuti. Nel corso delle varie iterazioni, l’asticella del benchmark viene gradualmente alzata: se una tecnica si rivela efficace viene mantenuta, altrimenti viene scartata subito.
Una metodologia che, a detta di Anthropic, sta già dando frutti concreti, vere e proprie prove di come l’allineamento automatico post-addestramento “potrebbe diventare una realtà pratica già nel breve periodo“. E dunque trasformare la tecnologia dell’IA in qualcosa di più elevato.
Cosa potrebbe diventare questa tecnologia?
Qualcosa di decisamente notevole, se non rivoluzionario per il mondo digital. Certo, non siamo ancora di fronte a un sistema che apprende nuove capacità generiche da zero, ma la strada tracciata dallo studio di Anthropic segna un passo avanti verso la ricerca automatizzata.
Se queste tecniche di auto-correzione dovessero consolidarsi, potremmo assistere alla nascita di un modello capace di individuare i propri errori di allineamento da solo, il che renderebbe la sicurezza dei sistemi più dinamica, visto che si ridurrebbe l’imprevedibilità del comportamento delle intelligenze artificiali quando vengono distribuite su larga scala.
Un approccio che, per certi versi, richiama anche la questione del presunto arrivo dell’AGI, l’intelligenza artificiale generale, e anche della necessità che questi futuri sistemi sappiano valutare e correggere i propri output.
Portata fuori dai laboratori, un’IA capace di supportare la propria fase di allineamento non è un fattore negativo a prescindere. Anche se le implicazioni richiedono cautela (e l’ex fondatore di Anthropic lo ha ricordato a più riprese), i vantaggi operativi sono evidenti. Automatizzare le verifiche di sicurezza significa velocizzare i processi decisionali e sgravare gli sviluppatori dal lavoro più ripetitivo di analisi dei log.
Limiti e svantaggi di quest’innovazione
Certo, qualche limite rimane, specie in quanto analizzato da Anthropic. Il meccanismo al centro del loro studio funziona bene solo se i benchmark di partenza rispecchiano fedelmente i veri obiettivi di allineamento che si vogliono raggiungere.
Inoltre c’è ancora una mole enorme di lavoro umano per creare e aggiornare questi benchmark, senza contare la manutenzione della letteratura scientifica a cui i ricercatori automatici attingono.
La strada resta quindi lunga, sicché i ricercatori in carne e ossa possono dormire sonni tranquilli ancora per un po’. Anche se sul lungo periodo tutto potrebbe cambiare per loro.
Se i modelli diventano capaci di affinare le tecniche di addestramento per l’allineamento, finiranno per supportare e velocizzare le pratiche di addestramento in generale. A quel punto il ruolo degli esperti umani potrebbe riposizionarsi su compiti di supervisione ad alto livello.
Ci sarebbe anche qualche vantaggio economico in tutto questo, e anche operativo. Nel paper si evidenzia che il miglior metodo basato su AAR riesce a superare le soluzioni proposte da ricercatori umani esperti “in media entro sei ore” di lavoro automatizzato. A questo si aggiunge la differenza di costi: far girare un AAR richiede circa 4 dollari l’ora di inferenza tramite API, “contro i 150 dollari all’ora che paghiamo ai nostri ricercatori umani“.
FAQ
È la capacità di un modello di restare fedele alle regole e agli obiettivi di sicurezza impostati dagli sviluppatori. Quando devia, per esempio assecondando risposte sbagliate, si parla di fallimento di allineamento.
L'AAR scandaglia la letteratura scientifica, propone un metodo di lavoro e prova ad addestrare il modello per circa 30 minuti. Se la tecnica migliora il benchmark viene tenuta, altrimenti viene scartata.
Anthropic sta testando sistemi che aiutano un modello a correggere alcuni problemi di allineamento. Non è ancora un'IA autonoma che si autoevolve in tutto, ma i primi risultati indicano che l'auto-correzione è possibile in casi specifici.
Potrebbe rendere più rapida la verifica della sicurezza, ridurre il lavoro ripetitivo dei ricercatori e rendere i modelli meno imprevedibili quando vengono distribuiti su larga scala.
Funziona bene solo se i benchmark iniziali riflettono davvero gli obiettivi di allineamento. Inoltre serve ancora molto lavoro umano per creare, aggiornare e mantenere questi test e le fonti scientifiche usate dal sistema.
