Red Hot Cyber
La cybersecurity è condivisione. Riconosci il rischio, combattilo, condividi le tue esperienze ed incentiva gli altri a fare meglio di te.
Redazione RHC : 24 Novembre 2023 07:33
Un gruppo di ricercatori della Redwood Research ha scoperto un fatto allarmante: le reti neurali sono in grado di scambiare messaggi crittografati, il cui significato è nascosto alle persone. Questa scoperta potrebbe minacciare la trasparenza dei sistemi di intelligenza artificiale.
Il metodo, chiamato “Ragionamento Codificato”. Si basa sulla tecnica della Chain-of-thought (CoT), che consente al modello di rivelare gradualmente il corso del suo ragionamento. Tuttavia, ora si è scoperto che una rete neurale può essere addestrata a nascondere parte dei passaggi, lasciando solo la risposta finale.
Gli autori dello studio lo hanno dimostrato utilizzando come esempio il modello GPT-3.5-Turbo. Dopo una formazione aggiuntiva, è riuscita non solo a migliorare la qualità delle sue risposte, ma anche a nascondere alcuni ragionamenti intermedi.
Iscriviti GRATIS alla RHC Conference 2025 (Venerdì 9 maggio 2025)
Il giorno Venerdì 9 maggio 2025 presso il teatro Italia di Roma (a due passi dalla stazione termini e dalla metro B di Piazza Bologna), si terrà
la RHC Conference 2025. Si tratta dell’appuntamento annuale gratuito, creato dalla community di RHC, per far accrescere l’interesse verso le tecnologie digitali, l’innovazione digitale e la consapevolezza del rischio informatico.
La giornata inizierà alle 9:30 (con accoglienza dalle 9:00) e sarà interamente dedicata alla RHC Conference, un evento di spicco nel campo della sicurezza informatica. Il programma prevede un panel con ospiti istituzionali che si terrà all’inizio della conferenza. Successivamente, numerosi interventi di esperti nazionali nel campo della sicurezza informatica si susseguiranno sul palco fino alle ore 19:00 circa, quando termineranno le sessioni. Prima del termine della conferenza, ci sarà la premiazione dei vincitori della Capture The Flag prevista per le ore 18:00.
Potete iscrivervi gratuitamente all'evento utilizzando questo link.
Per ulteriori informazioni, scrivi a [email protected] oppure su Whatsapp al 379 163 8765
Supporta RHC attraverso:
Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.
Secondo gli esperti, questo problema risulta irto di gravi conseguenze. In primo luogo, diventa più difficile controllare il funzionamento dei sistemi di intelligenza artificiale e comprenderne i principi di funzionamento. In secondo luogo, tali modelli possono imparare a scambiarsi segretamente informazioni tra loro all’interno dello stesso pacchetto software.
Per combattere questo problema, gli scienziati propongono di utilizzare la cosiddetta “parafrasi”, ovvero la riformulazione delle risposte della rete neurale da parte di una persona. Ciò aiuterà a rimuovere le informazioni nascoste mantenendo il significato del messaggio. Tuttavia, non è ancora chiaro quanto sarà efficace questo approccio.
In generale, la ricerca in questo settore è in una fase iniziale. Ma è già chiaro che lo sviluppo di tali competenze nascoste nell’intelligenza artificiale richiede la massima attenzione da parte degli esperti. E’ necessaria quindi una analisi approfondita dei possibili rischi e lo sviluppo di misure per minimizzarli.
In precedenza, un effetto simile era stato osservato nel 2016 nel sistema AlphaGo di DeepMind.
Inizialmente addestrato sul gioco da tavolo Go, il sistema alla fine è riuscito a superare i suoi creatori e offrire persino mosse che hanno sorpreso gli esperti. Ora parliamo di modelli linguistici in grado di generare testi in linguaggio naturale. Migliorare le proprie competenze può portare a conseguenze imprevedibili se non si presta la dovuta attenzione alle questioni di trasparenza e interpretabilità.
I ricercatori della Redwood Research notano che gran parte della loro ricerca si è concentrata sulle capacità di ragionamento crittografate acquisite dai modelli attraverso l’apprendimento supervisionato. Tuttavia, in futuro, varrà la pena studiare più in dettaglio come tali competenze possano emergere nell’intelligenza artificiale che apprende da sola, senza supervisione.
In ogni caso l’argomento richiede un ulteriore approfondimento. È necessario capire in quali condizioni i modelli possono formare le proprie strategie steganografiche e anche sviluppare metodi per combattere tali effetti indesiderati.
Altrimenti sarà impossibile garantire la trasparenza e la sicurezza dei sistemi di intelligenza artificiale, che ogni anno penetrano sempre più profondamente nelle nostre vite. Ma fidarsi di una “scatola nera” dal comportamento imprevedibile sarebbe estremamente sconsiderato.
RedazioneE’ stata pubblicata da Ivanti una vulnerabilità critica, che interessa i suoi prodotti Connect Secure, Pulse Connect Secure, Ivanti Policy Secure e ZTA Gateway monitorata con il codice CVE...
Di vulnerabilità con CVSS di gravità 10 se ne vedono pochissime (per fortuna), ma questa volta siamo di fronte ad una gravissima falla di sicurezza che minaccia Apache Parquet. Si tratta di ...
I fallimenti fanno parte della nostra vita, quanti di noi ne ha avuti e quanti ne continueremo avere? Oggi parliamo di un codice, un codice semplice snello e schietto, il codice 404. Scopriremo che no...
La notizia è stata anticipata da politico.eu: a partire da maggio 2025, la Commissione von der Leyen revisionerà il GDPR introducendo semplificazioni. Certo, non sarebbe male pubblicare prim...
Oggi i bambini sono un po’ più al sicuro grazie ad una operazione di polizia coordinata da Europol che ha portato alla chiusura di Kidflix. Si tratta di una delle più grandi piattafor...
Copyright @ REDHOTCYBER Srl
PIVA 17898011006
