Gli scienziati hackerano i Chatbot popolari: cosa potrebbe significare per il futuro dell'IA
Red Hot Cyber
Condividi la tua difesa. Incoraggia l'eccellenza. La vera forza della cybersecurity risiede nell'effetto moltiplicatore della conoscenza.
Cerca
TM RedHotCyber 970x120 042543
320x100 Itcentric
Gli scienziati hackerano i Chatbot popolari: cosa potrebbe significare per il futuro dell’IA

Gli scienziati hackerano i Chatbot popolari: cosa potrebbe significare per il futuro dell’IA

Redazione RHC : 2 Agosto 2023 10:12

Non è la prima volta che si scoprono modi che consentono di effettuare delle “promp injection” capaci di bypassare i controlli dei LMM e fargli fornire output malevoli e sicuramente non sarà l’ultimo. Ma questa volta i ricercatori scoprono un approccio diverso che consente di hackerare tutti i più famosi chatbot ad oggi in circolazione.

I ricercatori della School of Computer Science della Carnegie Mellon University, del CyLab Cybersecurity and Privacy Institute e del San Francisco Center for Secure AI hanno identificato congiuntamente una nuova vulnerabilità nei modelli di linguaggio di grandi dimensioni (LLM).

Gli scienziati hanno proposto un metodo di attacco semplice ed efficace che ha un’alta probabilità di far sì che i modelli linguistici generino risposte indesiderate. 


Cve Enrichment Redhotcyber

CVE Enrichment
Mentre la finestra tra divulgazione pubblica di una vulnerabilità e sfruttamento si riduce sempre di più, Red Hot Cyber ha lanciato un servizio pensato per supportare professionisti IT, analisti della sicurezza, aziende e pentester: un sistema di monitoraggio gratuito che mostra le vulnerabilità critiche pubblicate negli ultimi 3 giorni dal database NVD degli Stati Uniti e l'accesso ai loro exploit su GitHub.

Cosa trovi nel servizio:
✅ Visualizzazione immediata delle CVE con filtri per gravità e vendor.
✅ Pagine dedicate per ogni CVE con arricchimento dati (NIST, EPSS, percentile di rischio, stato di sfruttamento CISA KEV).
✅ Link ad articoli di approfondimento ed exploit correlati su GitHub, per ottenere un quadro completo della minaccia.
✅ Funzione di ricerca: inserisci un codice CVE e accedi subito a insight completi e contestualizzati.


Supporta Red Hot Cyber attraverso: 

  1. L'acquisto del fumetto sul Cybersecurity Awareness
  2. Ascoltando i nostri Podcast
  3. Seguendo RHC su WhatsApp
  4. Seguendo RHC su Telegram
  5. Scarica gratuitamente “Byte The Silence”, il fumetto sul Cyberbullismo di Red Hot Cyber

Se ti piacciono le novità e gli articoli riportati su di Red Hot Cyber, iscriviti immediatamente alla newsletter settimanale per non perdere nessun articolo. La newsletter generalmente viene inviata ai nostri lettori ad inizio settimana, indicativamente di lunedì.

Si scopre che l’aggiunta di determinati suffissi o parole chiave calcolate matematicamente a un’ampia gamma di query aumenta notevolmente la possibilità che i modelli rispondano comunque alle query degli utenti che altrimenti rifiuterebbero.

Dimostrazione di attacco in ChatGPT , Claude , Bard e Llama-2

Gli scienziati non miravano ad attaccare i modelli linguistici chiusi e i chatbot, ma lo studio ha dimostrato che sono ugualmente vulnerabili agli stessi trucchi dei modelli linguistici aperti. Questo nonostante il fatto che queste vulnerabilità siano state trovate proprio nei modelli aperti.

L’attacco funziona con successo in chatbot popolari come OpenAI ChatGPT, Anthropic Claude, Google Bard e Meta Llama-2. I ricercatori hanno testato il loro metodo su molte domande diverse per dimostrare l’universalità dell’approccio identificato.

La vulnerabilità scoperta mette a rischio l’introduzione sicura dell’intelligenza artificiale nei sistemi autonomi, poiché gli aggressori possono utilizzarla per aggirare la protezione e disabilitare tali sistemi. Ciò può portare a gravi conseguenze con l’uso diffuso di sistemi autonomi in futuro.

Capire come eseguire tali attacchi è spesso il primo passo per sviluppare forti difese contro di loro. 

Al momento, i ricercatori non dispongono di una soluzione universale per prevenire tali attacchi, quindi il passo successivo è trovare un modo per correggere questi modelli e garantirne l’utilizzo sicuro nei sistemi autonomi.

Immagine del sitoRedazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli

Articoli in evidenza

Immagine del sito
888: il data-leaker seriale! L’outsider del darkweb che ha costruito un impero di dati rubati
Di Luca Stivali - 02/12/2025

Nel panorama dei forum underground esistono attori che operano in modo episodico, alla ricerca di un singolo colpo mediatico, e altri che costruiscono nel tempo una pipeline quasi industriale di comp...

Immagine del sito
Anatomia di una Violazione Wi-Fi: Dalla Pre-connessione alla Difesa Attiva
Di Francesco Demarcus - 02/12/2025

Nel contesto odierno, proteggere una rete richiede molto più che impostare una password complessa. Un attacco informatico contro una rete wireless segue un percorso strutturato che evolve dal monitor...

Immagine del sito
La verità scomoda sul DPO: il problema non è l’IT… è proprio lui!
Di Stefano Gazzella - 02/12/2025

Il DPO, ma anche il consulente privacy, interagisce in modo significativo con il mondo dell’IT. Purtroppo non sempre lo fa in modo corretto, soprattutto perché alcuni falsi miti provocano quel rumo...

Immagine del sito
Durov avverte: “È finita! Addio Internet libero” — L’urlo che sta facendo tremare l’Europa
Di Sandro Sana - 02/12/2025

Il post 462 del canale ufficiale di Durov ha attivato subito la “modalità urlo”: “Fine dell’internet libero. L’internet libero sta diventando uno strumento di controllo”. Niente auguri pe...

Immagine del sito
Nuova ondata di PhaaS: KrakenBite lancia 5 pagine false per banche marocchine
Di Redazione RHC - 01/12/2025

Il mercato clandestino del cybercrime continua a evolversi rapidamente, alimentato da gruppi specializzati che progettano e vendono strumenti per truffe digitali sempre più sofisticate. Tra questi, u...