Claude diventa più sicuro e ora può bloccare le conversazioni dannose
Con il nuovo aggiornamento, Claude diventa più sicuro: ora l'AI può bloccare le conversazioni dannose con l'utente evitando di affrontare temi delicati
In sintesi
- Con i modelli Opus 4 e 4.1, Claude può interrompere le conversazioni in casi estremi di interazioni dannose o abusive, quando i tentativi di reindirizzare il dialogo falliscono.
- Il blocco riguarda solo la conversazione in corso: l’utente può comunque avviarne una nuova, mentre Anthropic raccoglierà feedback per migliorare la funzione.
Con un post sul blog ufficiale, Anthropic ha annunciato un’importante novità per Claude. Con l’utilizzo dei modelli Opus 4 e 4.1, infatti, il chatbot AI sarà in grado di interrompere conversazioni dannose con gli utenti in caso di rilevamento di argomenti particolarmente delicati. Il sistema rappresenta una “ultima risorsa” e sarà attivato solo nel caso in cui i tentativi di “reindirizzamento” della conversazione da parte dell’AI dovessero fallire.
Le novità in arrivo per Claude
Stando a quanto riportato da Anthropic, i modelli Claude Opus 4 e 4.1 possono contare ora su una nuova funzione che permette all’AI di terminare la conversazione con gli utenti. L’azienda specifica che tale funzione sarà utilizzata solo in “rari ed estremi casi di interazioni persistentemente dannose o abusive con gli utenti“.
L’AI potrebbe decidere di interrompere la conversazione con un utente in caso di “richieste da parte degli utenti di contenuti sessuali che coinvolgono minori e tentativi di sollecitare informazioni che consentirebbero violenza su larga scala o atti terroristici“. La funzione è stata sviluppata come parte di un programma di ricerca dedicato allo studio del concetto di benessere dell’AI.
Anthropic chiarisce, in ogni caso, che l’applicazione di questa nuova funzione sarà rara e, come sottolineato in apertura, sarà applicata solo in casi estremi, dopo che i tentativi di riportare la conversazione sul binario giusto falliranno. Nella stragrande maggioranza dei casi, infatti, non ci sarà bisogno di attivare questa nuova funzione.
La possibilità di interrompere unilateralmente una conversazione rappresenta anche un modo economico per gestire una situazione delicata, interrompendo un dialogo potenzialmente difficile da portare avanti per l’AI senza fornire informazioni illegali e potenzialmente dannose.
Anthropic ha invitato i suoi utenti a fornire feedback in merito alla funzione, nel caso in cui dovessero imbattersi in un comportamento del genere. Nel corso delle prossime settimane potrebbero arrivare dettagli aggiuntivi su questa funzione, proprio grazie ai possibili feedback in arrivo da parte degli utenti. Di conseguenza, sulle scelte dell’AI di interrompere le conversazioni, ne sapremo di più nel prossimo futuro.
Cosa succede quando la conversazione termina
Quando Claude applica il blocco della conversazione, andando a terminare un dialogo potenzialmente dannoso, l’utente non può più inviare messaggi nella conversazione interrotta. L’unica opzione disponibile sarà iniziarne una nuova per affrontare daccapo l’argomento. Il blocco di una conversazione non ha alcun effetto sulle altre. Non si tratta, quindi, di un blocco totale del servizio ma di un comportamento che mira a interrompere le interazioni in corso con l’AI.
