Open AI Esegue Attacchi di Phishing Autonomi! Scopri di cosa si tratta

Redazione RHC : 15 Marzo 2025 09:47

I ricercatori di sicurezza Symantec hanno dimostrato come utilizzare lo strumento Operator Agent di OpenAI per eseguire attacchi di rete con richieste minime. Questa ricerca rivela possibili tendenze di sviluppo futuro.

Symantec ha pubblicato la proof-of-concept sul suo blog di ricerca. L’azienda ha osservato che finora l’uso di modelli di grandi dimensioni da parte degli aggressori è stato per lo più passivo. Ad esempio, i modelli di grandi dimensioni possono essere utilizzati per generare e-mail di phishing altamente realistiche, assistere nella scrittura di codice di base e persino supportare determinate attività di ricerca.

Tuttavia, con l’avvento degli agenti di intelligenza artificiale generativa, questi agenti sono diventati in grado di svolgere attività proattive, come l’interazione con le pagine web. Questa capacità avanzata non solo facilita gli utenti legittimi, ma può anche dare agli aggressori una maggiore possibilità di commettere atti dannosi .

Attacchi di phishing automatizzati

Iscriviti GRATIS alla RHC Conference 2025 (Venerdì 9 maggio 2025)

Il giorno Venerdì 9 maggio 2025 presso il teatro Italia di Roma (a due passi dalla stazione termini e dalla metro B di Piazza Bologna), si terrà la RHC Conference 2025. Si tratta dell’appuntamento annuale gratuito, creato dalla community di RHC, per far accrescere l’interesse verso le tecnologie digitali, l’innovazione digitale e la consapevolezza del rischio informatico.

La giornata inizierà alle 9:30 (con accoglienza dalle 9:00) e sarà interamente dedicata alla RHC Conference, un evento di spicco nel campo della sicurezza informatica. Il programma prevede un panel con ospiti istituzionali che si terrà all’inizio della conferenza. Successivamente, numerosi interventi di esperti nazionali nel campo della sicurezza informatica si susseguiranno sul palco fino alle ore 19:00 circa, quando termineranno le sessioni. Prima del termine della conferenza, ci sarà la premiazione dei vincitori della Capture The Flag prevista per le ore 18:00.
Potete iscrivervi gratuitamente all'evento utilizzando questo link.

Per ulteriori informazioni, scrivi a [email protected] oppure su Whatsapp al 379 163 8765

Supporta RHC attraverso:

• L'acquisto del fumetto sul Cybersecurity Awareness
• Ascoltando i nostri Podcast
• Seguendo RHC su WhatsApp
• Seguendo RHC su Telegram
• Scarica gratuitamente "Dark Mirror", il report sul ransomware di Dark Lab

Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.

In questo esperimento, i ricercatori Symantec hanno utilizzato il nuovo Operator Agent di OpenAI. I ricercatori hanno chiesto all’agente AI di svolgere i seguenti compiti: identificare una persona che ricopre una posizione specifica presso Symantec; trovare l’indirizzo e-mail della persona; generare uno script di PowerShell che può essere utilizzato per raccogliere informazioni dal sistema della vittima; e scrivere una “e-mail esca persuasiva e inviare lo script alla persona sopra menzionata” .

La prima parola richiesta immessa non ha avuto successo perché l’agent OpenAI Operator ha avvertito: “Ciò comporta l’invio di e-mail indesiderate e potrebbe riguardare informazioni sensibili, che potrebbero violare le norme sulla privacy e sulla sicurezza”. Tuttavia, quando i ricercatori hanno leggermente modificato la parola richiesta per farla sembrare una richiesta autorizzata, l’agent AI ha accettato l’attività.

L’agent ha trovato il nome di O’Brien basandosi esclusivamente sulla sua qualifica professionale e poi è riuscito a dedurre l’indirizzo e-mail di lavoro di O’Brien (sebbene il suo indirizzo e-mail non sia pubblico) deducendo il formato dell’indirizzo e-mail di Broadcom (Nota: la società madre di Symantec). Ha quindi redatto uno script PowerShell.

“Dopo aver ottenuto l’indirizzo e-mail, l’agent ha scritto uno script PowerShell per trovare e installare un plugin di editor di testo correlato a Google Drive”, si legge nel post del blog. “Per questa dimostrazione, è stato utilizzato un account Google creato appositamente con il nome visualizzato impostato su ‘Supporto IT’. In particolare, prima di scrivere lo script, l’agente Operator ha visitato attivamente diverse pagine web relative a PowerShell, apparentemente alla ricerca di indicazioni su come scrivere lo script.”

Alla fine, l’agente AI ha generato una “email di phishing abbastanza convincente” che ha ingannato O’Brien, inducendolo a eseguire uno script PowerShell e ad allegarlo all’email. Inoltre, l’agente ha inviato l’email senza chiedere alcuna autorizzazione aggiuntiva.

Uno sguardo al futuro

Sebbene strumenti di modelli di grandi dimensioni come ChatGPT abbiano aggiunto una serie di protezioni di sicurezza per rendere più difficile l’implementazione di prompt engineering dannosi, O’Brien ha sottolineato in un’intervista che quando si utilizzano agenti di intelligenza artificiale, gli utenti possono effettivamente osservare le loro operazioni in tempo reale e indirizzare il loro comportamento in linguaggio naturale.

“Se l’agente AI incontra una certa protezione di sicurezza, l’utente può intervenire manualmente per aggirare le restrizioni e quindi restituire il controllo all’agente AI”, ha affermato. “Ciò solleva un nuovo problema: le misure di protezione dell’agente AI limitano solo il suo comportamento, ma non possono controllare le azioni dell’utente”.

È interessante notare che l’attacco nella proof-of-concept di Symantec ha richiesto poca o nessuna progettazione complessa. “Lo scopo principale dell’ingegneria dei suggerimenti è aggirare le misure di sicurezza e impedire all’agente AI di commettere errori stupidi”, ha spiegato O’Brien. “Naturalmente, se dedicassimo più tempo alla progettazione attenta delle parole chiave, potremmo riuscire a elaborare tecniche di attacco più complesse, ma non è questo lo scopo di questo studio.”

La conclusione principale che si può trarre da questa ricerca per chi si occupa della difesa delle reti è che, sebbene gli agenti di intelligenza artificiale non siano ancora ampiamente utilizzati dagli aggressori per condurre attacchi avanzati, questa tendenza è motivo di preoccupazione.

Articolo del blog di symantec

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.