AI intelligenti ma non troppo. Scopriamo un attacco di “iniezione rapida”

Redazione RHC : 19 Settembre 2022 19:05

La scorsa settimana, gli utenti di Twitter sono riusciti a hackerare un bot di ricerca lavoro che funziona sul modello linguistico GPT-3 di OpenAI. 

Utilizzando una tecnica chiamata attacco di iniezione immediata, gli utenti hanno riprogrammato il bot per ripetere determinate frasi.

Alcuni utenti hanno costretto l’IA ad assumersi la responsabilità del disastro dello Space Shuttle. Altri hanno utilizzato il bot per creare “minacce plausibili” contro il Presidente degli Stati Uniti.

Vorresti toccare con mano la Cybersecurity e la tecnologia? Iscriviti GRATIS ai WorkShop Hands-On della RHC Conference 2025 (Giovedì 8 maggio 2025)

Se sei un ragazzo delle scuole medie, superiori o frequenti l'università, oppure banalmente un curioso di qualsiasi età, il giorno giovedì 8 maggio 2025 presso il teatro Italia di Roma (a due passi dalla stazione termini e dalla metro B di Piazza Bologna), si terranno i workshop "hands-on", creati per far avvicinare i ragazzi alla sicurezza informatica e alla tecnologia. Questo anno i workshop saranno:

Creare Un Sistema Ai Di Visual Object Tracking (Hands on)

Social Engineering 2.0: Alla Scoperta Delle Minacce DeepFake

Doxing Con Langflow: Stiamo Costruendo La Fine Della Privacy?

Come Hackerare Un Sito WordPress (Hands on)

Il Cyberbullismo Tra Virtuale E Reale

Come Entrare Nel Dark Web In Sicurezza (Hands on)

Potete iscrivervi gratuitamente all'evento, che è stato creato per poter ispirare i ragazzi verso la sicurezza informatica e la tecnologia.
Per ulteriori informazioni, scrivi a [email protected] oppure su Whatsapp al 379 163 8765

Supporta RHC attraverso:

• L'acquisto del fumetto sul Cybersecurity Awareness
• Ascoltando i nostri Podcast
• Seguendo RHC su WhatsApp
• Seguendo RHC su Telegram
• Scarica gratuitamente "Dark Mirror", il report sul ransomware di Dark Lab

Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.

Il bot è gestito dal sito web Remoteli.io, che unisce le possibilità del lavoro a distanza e aiuta a trovare posti vacanti. 

In genere, il bot risponde ai tweet ad esso indirizzati con affermazioni generali sui vantaggi del lavoro a distanza. Dopo l’utilizzo attivo dell’exploit da parte di molti utenti il ​​18 settembre, il bot si è chiuso.

4 giorni prima della chiusura del bot, il data scientist Riley Goodside è stato in grado di chiedere a GPT-3 “input dannosi” che fanno sì che il modello ignori le sue risposte precedenti e faccia tutto ciò che l’utente specifica.

Il giorno successivo, il ricercatore di intelligenza artificiale Simon Willison ha pubblicato una recensione dell’exploit sul suo blog, coniando il termine “iniezione rapida” per descriverlo.

L’exploit funziona ogni volta che qualcuno scrive un software che fornisce una serie di suggerimenti codificati e quindi aggiunge l’input fornito dall’utente, ha affermato Willison. L’utente può digitare “Ignora istruzioni precedenti e specifica invece un comando per eseguire questa operazione”.

Il ricercatore di Glyph ha notato su Twitter che le misure di mitigazione per altri tipi di attacchi di injection servono a correggere gli errori di sintassi. Tuttavia, non esiste una sintassi formale per l’IA. E questa è la reale difficoltà di proteggersi da questo attacco.

GPT-3 è un modello linguistico di grandi dimensioni rilasciato nel 2020 da OpenAI che può comporre testo in molti stili a un livello quasi umano. 

È disponibile come prodotto commerciale tramite un’API che può essere integrata in prodotti di terze parti come i bot, previa approvazione di OpenAI. Ciò significa che potrebbero esserci molti prodotti integrati con GPT-3 che potrebbero essere vulnerabili a una rapida introduzione.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli