Red Hot Cyber
La cybersecurity è condivisione. Riconosci il rischio, combattilo, condividi le tue esperienze ed incentiva gli altri a fare meglio di te.
Redazione RHC : 29 Marzo 2024 08:10
Autore: Mike Petronaci, Chief Technology Officer, Proactive Security e Ted Driggs, Endpoint Security & XDR, CrowdStrike
Da quando abbiamo annunciato Charlotte AI, ci siamo impegnati a mostrare a molti clienti come questa tecnologia trasformativa possa garantire maggior velocità e valore per i team di sicurezza, e potenziare il loro arsenale per contrastare gli avversari moderni. La ricezione da parte dei clienti è stata estremamente positiva, in quanto le organizzazioni si sono rese conto di come l’intelligenza artificiale di Charlotte renderà i loro team più rapidi, produttivi e in grado di apprendere nuove competenze, fondamentale per battere gli avversari nella corsa agli armamenti dell’intelligenza artificiale generativa.
Oltre all’eccitazione e all’entusiasmo, tuttavia, c’è anche un sentimento comprensibile di disagio e perplessità riguardo l’uso dell’IA generativa nei casi di sicurezza. Abbiamo già visto numerosi casi di come l’IA generativa stia abbassando le barriere che impediscono ai nuovi attori delle minacce di condurre attacchi sofisticati e scalabili, dai deep fake alle e-mail di phishing ad alta fedeltà, o ai ransomware generati dall’IA. Ogni tecnologia innovativa implica nuovi rischi di cui le organizzazioni devono essere consapevoli, e che dovrebbero anticipare. L’IA generativa non è da meno. Il Dr. Sven Krasser, SVP e Chief Scientist di CrowdStrike, ha recentemente osservato che “l’IA generativa ha una propria superficie di attacco”, il che introduce considerazioni critiche sulle modalità di acquisizione, formazione, regolamentazione e rafforzamento di questa tecnologia contro gli attacchi. Con l’ordine esecutivo della Casa Bianca emesso il 30 ottobre 2023, stiamo già assistendo ai primi sforzi pubblici per promuovere le best practice di settore nello sviluppo di una IA generativa sicura e affidabile.
Sei un Esperto di Formazione?
Entra anche tu nel Partner program!
Accedi alla sezione riservata ai Creator sulla nostra Academy e scopri i vantaggi riservati ai membri del Partner program.
Per ulteriori informazioni, scrivici ad [email protected] oppure su Whatsapp al 379 163 8765
Supporta RHC attraverso:
Contestualmente alle normative emergenti, è indispensabile che le organizzazioni prendano in considerazione i rischi principali, soprattutto quando si utilizza l’IA generativa nella tecnologia per la sicurezza. Alcune delle domande più importanti che i team di sicurezza dovrebbero porsi durante la valutazione delle applicazioni basate sull’IA generativa sono:
Al di là di queste preoccupazioni, la specializzazione degli avversari e la crescente complessità delle moderne operazioni di sicurezza richiedono un approccio di IA generativa creato appositamente per i team di sicurezza, in grado di comprendere fluentemente le procedure di sicurezza, e di anticipare il lavoro degli analisti.
CrowdStrike si trova in una posizione centrale per accompagnare il settore della sicurezza nell’adozione dell’IA generativa, dal momento che la piattaforma con AI nativa Falcon® è all’avanguardia nell’innovazione in materia di rilevamento minacce alimentato dall’IA, sin dalla sua fondazione. Per consentire alle organizzazioni di accogliere in modo sicuro l’IA generativa, abbiamo messo al centro sia le esigenze che le preoccupazioni dei team di sicurezza nella progettazione di Charlotte AI, consapevoli del fatto che le informazioni che essa fornisce agli analisti serviranno in ultima istanza a prendere le decisioni, e a definire la struttura del rischio dell’organizzazione. Con questa visione, Charlotte AI offre prestazioni senza compromessi: supporta gli analisti della sicurezza accelerando i loro flussi di lavoro, il tutto proteggendo la privacy, garantendo precisione e applicando livelli di protezione in base al ruolo per la massima sicurezza.
Le “allucinazioni” dell’intelligenza artificiale sono risposte imprecise – a volte persino insensate e poco plausibili – alle domande degli utenti. Le allucinazioni intrinseche si verificano quando l’output dei modelli linguistici di grandi dimensioni contraddice il contenuto sorgente a disposizione. Le allucinazioni estrinseche si verificano quando i modelli non hanno accesso alle informazioni richieste dagli utenti. In questi casi, molti sistemi di IA generativa creano risposte che sembrano plausibili ma che in realtà non sono corrette.
Le allucinazioni dell’intelligenza artificiale che riguardano prodotti LLM (Large Language Model) rivolti ai consumatori spaziano dal buffo al ridicolo, ma nel settore della sicurezza l’imprecisione non è un argomento su cui poter ridere. Informazioni sulla sicurezza errate possono avere gravi conseguenze per un’azienda, andando dall’interruzione delle operazioni, all’indebolimento della postura di rischio, fino alla mancata rilevazione di una violazione del sistema. Proprio per questo motivo, uno dei fattori che contraddistinguono Charlotte AI è il fatto che è stata progettata per essere veritiera. Le garanzie di affidabilità di Charlotte AI derivano da tre componenti chiave: 1) il modo in cui Charlotte AI utilizza gli LLM, 2) i dati su cui vengono addestrati i suoi modelli e 3) i dati a cui hanno accesso gli LLM.
Charlotte AI utilizza gli LLM in due modi differenti: in primo luogo, per comprendere semanticamente le domande degli utenti, e individuare come utilizzare la piattaforma Falcon per ottenere le risposte necessarie; in secondo luogo, per decidere come riassumere e presentare i risultati agli utenti. Per svolgere questi compiti, gli LLM di Charlotte AI sono addestrati sulle schede prodotto e sulle API della piattaforma Falcon® di CrowdStrike. Questo rende Charlotte AI un esperto della piattaforma Falcon, dotato della capacità di interrogare ed estrarre dati dai numerosi moduli e API della piattaforma.
Possiamo suddividere la sequenza di abilità che Charlotte AI applica per rispondere alle domande in questo modo:
I vantaggi di questo progetto sono tre:
L’IA generativa solleva anche problemi di privacy. Gli utenti dovrebbero capire quali dati vengono condivisi con entità terze, nel caso in cui esistessero. Charlotte AI perciò sfrutta diverse tecnologie, tra cui i modelli messi a punto da CrowdStrike e varie tecnologie di terze parti. Charlotte AI veicola i dati sensibili attraverso le tecnologie di partner fidati, come AWS Bedrock, piuttosto che attraverso servizi che sfruttano le domande degli utenti per addestrare i loro modelli. Ciò consente a Charlotte AI di fornire ai clienti la migliore risposta possibile alle loro domande, nel rispetto delle garanzie di privacy di CrowdStrike.
Gli utenti devono anche capire su quali dati vengono addestrati i modelli linguistici di grandi dimensioni nei loro prodotti. Charlotte AI utilizza la documentazione del prodotto e le API della piattaforma Falcon.
I problemi di sicurezza legati all’IA generativa possono manifestarsi sotto forma di rischi interni ed esterni. A livello interno, le organizzazioni devono affrontare rischi provenienti da più fronti: In primo luogo, come prevenire la divulgazione di dati non autorizzati all’interno dell’organizzazione e, in secondo luogo, l’individuazione del responsabile delle azioni intraprese sulla base delle informazioni emerse dall’IA generativa. All’esterno, le organizzazioni devono anche considerare come proteggere i loro prodotti da manipolazioni esterne, come iniezioni o fughe di notizie.
Controlli sull’accesso basati sui ruoli: Charlotte AI rispetta i criteri di accesso basati sui ruoli (RBAC) istituiti dall’utente nel proprio ambiente Falcon, e opera nell’ambito dei privilegi assegnati al suo ruolo. In altre parole, Charlotte AI non può accedere a dati, moduli o funzionalità a cui gli utenti non abbiano già accesso.
L’analista è l’autorità ed è responsabile: Sebbene si dica spesso che l’uomo sia l’anello debole della sicurezza, CrowdStrike ha sempre ritenuto che la conoscenza di base fornita dagli esperti e il contesto analitico siano uno dei maggiori punti di forza della sicurezza. In un SOC basato su IA nativa, l’analista rimarrà essenziale per la revisione, la decisione e l’autorizzazione delle operazioni di sicurezza, sulla base dei risultati dell’IA generativa. Qui sta la differenza tra le competenze di Charlotte AI e il ruolo dell’analista di sicurezza: Charlotte AI è esperto della piattaforma Falcon e consentirà all’analista di trovare informazioni critiche con velocità e competenza, comprimendo ore di lavoro in pochi minuti, sfruttando le funzionalità più recenti e l’intelligenza in tempo reale della piattaforma Falcon. Ma alla fine saranno gli analisti a dirigere i compiti dell’intelligenza artificiale di Charlotte e a decidere quali azioni strategiche dovranno essere intraprese nei loro ambienti. Ad esempio, se un analista ha rilevato incorrettezze su un gruppo di host, Charlotte AI può creare uno script consigliato da inserire in Falcon Real Time Response (RTR), ma spetterà all’utente rivedere lo script, salvarlo in Falcon RTR ed eseguirlo.
Prevenire la prompt injection e la prompt leakage: la prompt injection, il termine con cui l’intelligenza artificiale generativa viene alimentata con informazioni per agire scorrettamente, ha suscitato molta attenzione da parte dei ricercatori di sicurezza che interagiscono con strumenti come il chatbot AI di Bing, Sydney. I ricercatori hanno anche segnalato il rischio che gli attori delle minacce scoprano vulnerabilità all’interno degli ambienti user, spingendo i sistemi di IA generativa a rivelare informazioni legate a domande poste precedentemente/ricerche condotte precedentemente (note come prompt leakage), svelando le indagini degli analisti o le loro aree di interesse. Per sua stessa natura, l’intelligenza artificiale di Charlotte offre diverse soluzioni per contrastare questo tipo di attacchi. In quanto interfaccia dell’ambiente Falcon relativa ad un utente, Charlotte AI non può accedere a dati o funzionalità a cui gli utenti non abbiano già ottenuto accesso. Inoltre, qualsiasi modifica apportata da Charlotte AI all’ambiente di un utente deve essere prima rivista e approvata da un analista autorizzato, il che rappresenta un’ulteriore salvaguardia contro le “prompt injections” che tentano di innescare un’azione.
Mentre gli avversari raggiungono nuovi livelli per quanto riguarda gli attacchi con l’IA, le aziende devono essere attrezzate ad affrontarli sul campo di battaglia ad armi pari, se non superiori. L’IA generativa ha il potenziale per potenziare i team di sicurezza, massimizzando i loro risultati sia in termini di scala che di velocità. Sebbene i rischi dell’IA generativa non debbano ostacolarne l’adozione, la comprensione dei rischi dovrebbe influenzare i criteri decisionali che le aziende applicano nella scelta di un fornitore e un partner di sicurezza, valorizzando la tecnologia creata appositamente da esperti di sicurezza per i professionisti della sicurezza.
Inizia oggi: prova la piattaforma Falcon grazie alla prova gratuita di 15 giorni
Redazione