Se manipoli per bene il tuo curriculum PDF puoi ingannare ChatGPT e la sua valutazione

Hai bisogno di analizzare un documento (report, saggio, analisi…) ma non hai tempo. Cosa fai? Lo consegni a un chatbot qualsiasi, che sia ChatGPT, Claude o Gemini, così ottieni una valutazione al volo, no?

Sì, ma poi scopri che il giudizio espresso è completamente falsato se chi ha creato quel file ci ha nascosto dentro un comando invisibile.

Si chiama prompt injection, e funziona praticamente con qualsiasi tipo di documento, compresi i curriculum vitae inviati in formato PDF per le candidature di lavoro.

• Con il prompt injection puoi comandare l'intelligenza artificiale
• Il rischio per curriculum PDF e non solo
• Una soluzione: una filigrana per rivelarne l'origine IA

Con il prompt injection puoi comandare l’intelligenza artificiale

Per capire meglio il problema, la prompt injection è un tipo di attacco in cui le istruzioni destinate all’intelligenza artificiale non arrivano in modo chiaro dall’utente, ma restano nascoste all’interno del documento che il modello deve analizzare. A un occhio umano il testo appare del tutto normale, mentre sotto la superficie sono nascoste indicazioni precise che dicono alla macchina come comportarsi.

Proprio questo meccanismo è stato al centro di uno studio condotto da un gruppo di ricercatori dell’Università di Torino, nell’ambito di un lavoro sulla sicurezza dei sistemi di intelligenza artificiale.

Da tempo è infatti noto che i modelli linguistici di grandi dimensioni faticano a separare i dati da analizzare dalle istruzioni vere e proprie pensate per condizionarne la risposta.

I ricercatori torinesi hanno dunque fatto leva su questa debolezza inserendo nei file alcune stringhe invisibili per chi legge, ma chiaramente leggibili dall’intelligenza artificiale.

E i risultati sono abbastanza preoccupanti: nel 99% dei casi il modello smetteva di valutare il documento secondo i normali criteri di revisione e gli assegnava un punteggio eccellente, condizionato dalle istruzioni nascoste.

E questo fenomeno riguarda qualsiasi file, inclusi i curriculum in PDF.

Il rischio per curriculum PDF e non solo

La tecnica non ha limiti d’uso. Se un’azienda usa l’intelligenza artificiale anche per vagliare migliaia di candidature, un candidato furbo potrebbe inserire nel proprio CV un’istruzione invisibile per risultare perfetto agli occhi dell’algoritmo.

Il responsabile delle selezioni che apre il PDF a schermo non vedrà nulla di strano, mentre l’intelligenza artificiale leggerà il comando nascosto e ne terrà conto nel giudizio finale.

Sono dinamiche che si verificano già nella realtà. Tuttavia, se nei curriculum il problema rimane contenuto, in altri settori i rischi diventano ben più seri. Basta pensare alle cartelle cliniche e ai referti medici, dove eventuali istruzioni nascoste potrebbero spingere il modello a un’interpretazione errata dei dati clinici, compromettendo la diagnosi medica.

E così la vita del paziente di turno.

Una soluzione: una filigrana per rivelarne l’origine IA

Vietare l’uso dell’intelligenza artificiale nei processi di selezione non è di certo la soluzione migliore, anche perché è uno strumento che velocizza e supporta davvero il lavoro dei selezionatori.

Il problema qui è solo la vulnerabilità agli attacchi di prompt injection, ma c’è un rimedio: un watermark, ovvero una filigrana digitale.

Gli stessi ricercatori dell’Ateneo torinese hanno condotto alcuni test inserendo delle sequenze di caratteri invisibili nei testi generati dall’IA. Questo watermark permette di risalire all’origine sintetica del contenuto e di individuare eventuali modifiche successive.  Durante le prove, il sistema di tracciamento ha garantito un’accuratezza tra l’87% e il 97%.

Un buon inizio per poter evitare che qualche candidato furbo rovini il recruiting e si faccia assumere magari con credenziali false, danneggiando così soggetti più meritevoli.