Red Hot Cyber
La cybersecurity è condivisione. Riconosci il rischio, combattilo, condividi le tue esperienze ed incentiva gli altri a fare meglio di te.
Alessandro Rugolo : 12 Novembre 2024 14:12
L’Open Web Application Security Project (OWASP) è un’organizzazione senza scopo di lucro che sviluppa standard di sicurezza per le applicazioni e le API (Application Programming Interface). I suoi progetti, tra cui la “Top Ten”, sono utilizzati come riferimento per la sicurezza applicativa a livello mondiale.
La OWASP Top Ten più famosa e storicamente significativa è la lista dei 10 principali rischi di sicurezza per le applicazioni web. Lanciata nel 2003 e aggiornata periodicamente, è uno degli standard di riferimento più conosciuti nel campo della sicurezza informatica.
Oggi, con la diffusione dei modelli linguistici di grandi dimensioni (LLM, Large Language Models), OWASP ha introdottouna nuova lista Top Ten specifica per aiutare a identificare e mitigare i rischi di sicurezza unici di questi modelli. Gli LLM, come GPT, sono suscettibili a nuove vulnerabilità, che vanno dall’esfiltrazione di dati sensibili alla manipolazione delle risposte. Comprendere e mitigare tali rischi è fondamentale, soprattutto per applicazioni critiche e sensibili.
Sei un Esperto di Formazione?
Entra anche tu nel Partner program!
Accedi alla sezione riservata ai Creator sulla nostra Academy e scopri i vantaggi riservati ai membri del Partner program.
Per ulteriori informazioni, scrivici ad [email protected] oppure su Whatsapp al 379 163 8765
Supporta RHC attraverso:
Vediamo subito quali sono i rischi principali, sulla base della versione 1.1, la più recente di OWASP LLM Top Ten:
Al di là della lista, ciò che serve è acquisire dimestichezza e conoscenza su questi rischi e gestirli, occorre dunque capire come possono essere mitigati.
Per ognuno dei dieci rischi elencati nella Top Ten esistono metodi più o meno efficaci per la mitigazione. Se pensiamo alla prompt injection, il rischio numero uno nella top ten LLM, la metodologia di mitigazione più efficace consiste nell’implementare filtri di input avanzati per rilevare e bloccare potenziali attacchi.
Per mitigare i rischi legati alla gestione insicura dell’output (Insecure Output Handling), è fondamentale applicare alcune pratiche di sicurezza. In primis, l’output generato deve essere sanitizzato per evitare che contenga codice dannoso, come quello usato negli attacchi XSS. Inoltre, l’adozione di filtri linguistici è cruciale per bloccare contenuti inappropriati o dannosi, regolando i termini o le frasi che possono essere generati. Un’altra misura importante è l’uso di una struttura di risposta predeterminata, che garantisce che l’output segua un formato sicuro e controllato, riducendo il rischio di generare risposte non sicure. Infine, è essenziale implementare monitoraggio e logging delle risposte prodotte dal modello, per rilevare attività sospette e prevenire attacchi futuri.
Per contrastare il rischio di avvelenamento dei dati di addestramento (Training Data Poisoning), è essenziale adottare misure di protezione rigorose. Una pratica fondamentale è la verifica dei dati, assicurando che provengano da fonti affidabili e non siano stati manipolati, tramite tecniche di autenticazione. Inoltre, il monitoraggio della qualità dei dati è cruciale per individuare e rimuovere dati anomali o dannosi, mantenendo l’integrità del modello. È importante anche applicare tecniche di differenziazione dei dati, come la privacy differenziale, per proteggere le informazioni sensibili durante l’addestramento. Infine, è essenziale controllare le dipendenze esterne, garantendo che le fonti di dati, inclusi i modelli pre-addestrati, siano sicure e prive di vulnerabilità.
Tra le raccomandazioni generali, valide dunque per tutti, si ricorda che è bene realizzare audit regolari del modello, controlli di accesso e valutazioni di vulnerabilità.
La sicurezza degli LLM richiede il coinvolgimento di ingegneri, sviluppatori e team di sicurezza per affrontare in modo olistico i rischi.
In ambito europeo si sta cercando di gestire meglio questi nuovi rischi. Il progetto KINAITICS è un’iniziativa finanziata dall’Unione Europea che si concentra sull’analisi e la gestione delle minacce cyber-cinetiche, in particolare quelle che coinvolgono sistemi cyber-fisici e intelligenza artificiale.
Questo progetto, lanciato nell’ottobre 2022, riunisce partner da cinque Paesi europei tra cui l’Italia, include istituzioni come il Commissariat à l’Énergie Atomique (CEA) che agisce da coordinatore del progetto, oltre a diversi partner privati, per migliorare la sicurezza dei sistemi interconnessi che impiegano AI per il controllo e l’elaborazione dati.
KINAITICS si distingue per il suo approccio innovativo nello sviluppo di una matrice di minacce specifica, adattata a mitigare i rischi derivanti dall’integrazione dell’intelligenza artificiale in contesti industriali e cyber-fisici. Il progetto mira a prevenire attacchi sofisticati, come quelli basati sui digital twin di una fabbrica, che consentono a un attaccante di identificare punti vulnerabili nei cicli di produzione e introdurre misure di disturbo per sabotare i sistemi di controllo.
Un digital twin è una replica virtuale di un sistema fisico, e se compromesso, può portare a guasti nei cicli produttivi reali, manipolando i dati che alimentano i modelli. Questi attacchi dimostrano quanto sia cruciale proteggere i modelli AI avanzati, che, se vulnerabili, possono compromettere l’intero sistema cyber-fisico.
KINAITICS sviluppa tecnologie e metodologie per rilevare e difendersi da tali attacchi, creando una matrice di minacce mirata a rafforzare la sicurezza nei settori industriali. L’obiettivo complessivo è creare difese più resilienti attraverso strumenti e metodologie avanzate, integrando standard legali ed etici per garantire un uso sicuro dell’AI in vari settori industriali.
La sicurezza dei modelli di intelligenza artificiale, in particolare quelli linguistici avanzati, è un ambito in continua evoluzione, con rischi specifici come gli attacchi attraverso i digital twins che possono compromettere interi sistemi cyber-fisici. L’integrazione crescente dell’AI in contesti industriali e quotidiani richiede soluzioni proattive per proteggere le infrastrutture e garantire un uso sicuro delle tecnologie. L’OWASP LLM Top Ten offre una guida per identificare e mitigare i principali rischi, ma è essenziale una gestione continua e approfondita.
Poiché le minacce evolvono rapidamente, la sicurezza degli LLM non può essere considerata un compito da eseguire una sola volta, ma deve essere un processo continuo. L’adozione di misure di protezione specifiche è essenziale, ma la gestione delle vulnerabilità richiede una vigilanza costante e l’implementazione di aggiornamenti regolari, audit di sicurezza e valutazioni dei rischi. Un approccio olistico alla sicurezza, che coinvolga ingegneri, sviluppatori e team di sicurezza in un ciclo continuo di monitoraggio e miglioramento, è cruciale per prevenire nuove vulnerabilità e garantire che le tecnologie emergenti siano sempre protette da potenziali attacchi. Solo così si potrà garantire l’integrità dei modelli e proteggere le applicazioni sensibili da rischi imprevisti.
Progetti come KINAITICS, con il loro approccio innovativo alla protezione contro le minacce cyber-cinetiche, rappresentano un passo cruciale nel rafforzamento della sicurezza, mirando a prevenire attacchi sofisticati e a sviluppare difese resilienti. La sensibilizzazione dei professionisti della sicurezza è fondamentale per ridurre le vulnerabilità e assicurare che queste tecnologie avanzate siano utilizzate in modo sicuro e responsabile.
Alessandro Rugolo