Red Hot Cyber
La cybersecurity è condivisione. Riconosci il rischio, combattilo, condividi le tue esperienze ed incentiva gli altri a fare meglio di te.
Redazione RHC : 8 Maggio 2021 10:00
Autore: Bruce Schneier
https://www.schneier.com/blog/archives/2021/04/when-ais-start-hacking.html
Sei un Esperto di Formazione?
Entra anche tu nel Partner program!
Accedi alla sezione riservata ai Creator sulla nostra Academy e scopri i vantaggi riservati ai membri del Partner program.
Per ulteriori informazioni, scrivici ad [email protected] oppure su Whatsapp al 379 163 8765
Supporta RHC attraverso:
Il grande maestro Bruce Schneier, ha scritto di recente un saggio “Quando le IA iniziano ad hackerare” sul suo blog. Vogliamo condividerlo in quanto a nostro avviso, al suo interno, sono celati messaggi importanti che possono illuminarci e farci riflettere su come affrontare in modo etico questa grande rivoluzione che stiamo vivendo in questo periodo storico.
Una buona lettura a tutti.
Se non hai già abbastanza di cui preoccuparti, considera un mondo in cui le IA siano degli hacker.
L’hacking è antico quanto l’umanità.
Siamo risolutori di problemi creativi.
Sfruttiamo le scappatoie, manipoliamo i sistemi e ci battiamo per ottenere maggiore influenza, potere e ricchezza. Ad oggi, l’hacking è stata esclusivamente un’attività umana.
Ma non sarà così per molto tempo.
Come ho descritto in un rapporto che ho appena pubblicato, l’intelligenza artificiale alla fine troverà vulnerabilità in tutti i tipi di sistemi sociali, economici e politici e quindi le sfrutterà a velocità, scala e portata senza precedenti. Dopo aver hackerato l’umanità, i sistemi di intelligenza artificiale hackereranno altri sistemi di intelligenza artificiale e gli esseri umani saranno poco più che danni collaterali.
Ok, forse questa è un po’ un’iperbole, ma non richiede una tecnologia fantascientifica del lontano futuro. Non sto postulando una “singolarità” dell’IA, in cui il ciclo di feedback dell’apprendimento dell’IA diventa così veloce da superare la comprensione umana. Non presumo androidi intelligenti. Non presumo intenzioni malvagie. La maggior parte di questi hack non richiede nemmeno importanti scoperte di ricerca nell’intelligenza artificiale. Stanno già accadendo. Man mano che l’intelligenza artificiale diventa più sofisticata, spesso non sappiamo nemmeno che sta accadendo.
Le IA non risolvono i problemi come fanno gli umani. Guardano a più tipi di soluzioni di noi. Seguiranno percorsi complessi che non abbiamo considerato. Questo può essere un problema a causa di qualcosa chiamato explainability problem. I moderni sistemi di intelligenza artificiale sono essenzialmente scatole nere. I dati entrano da una parte e dall’altra esce una risposta. Può essere impossibile capire come il sistema sia giunto alla sua conclusione, anche se sei un programmatore guardando il codice.
Nel 2015, un gruppo di ricerca ha alimentato un sistema di intelligenza artificiale chiamato Deep Patient health and medical data, da circa 700.000 persone e ha verificato se fosse in grado di prevedere le malattie. Questo potrebbe accadere anche se Deep Patient non fornisce alcuna spiegazione relativa ad una diagnosi e i ricercatori non hanno idea di come si sia giunti a quelle conclusioni. Un medico può fidarsi o ignorare il computer, ma quella fiducia rimarrà cieca.
Mentre i ricercatori stanno lavorando su una IA che possa spiegare se stessa, sembra esserci un compromesso tra capacità e spiegazioni. Le spiegazioni sono una scorciatoia cognitiva usata dagli esseri umani, adatta al modo in cui gli umani prendono le decisioni. Costringere una IA a produrre spiegazioni potrebbe essere un ulteriore vincolo che potrebbe influenzare la qualità delle sue decisioni. Il fatto è che per ora, le IA stanno diventando sempre più opache e prive di spiegazioni.
Separatamente, le intelligenze artificiali possono impegnarsi in qualcosa chiamato hacking della ricompensa. Poiché le IA non risolvono i problemi allo stesso modo delle persone, inciamperanno invariabilmente in soluzioni che noi umani non avremmo mai potuto prevedere e alcune sovvertiranno l’intento del sistema. Questo perché le IA non pensano in termini di implicazioni, contesto, norme e valori che noi umani condividiamo e diamo per scontato. Questo hacking per la ricompensa implica il raggiungimento di un obiettivo, ma in un modo che i progettisti delle IA non volevano né intendevano.
Prendi una simulazione di calcio in cui un’intelligenza artificiale ha capito che se avesse calciato il pallone fuori limite, il portiere avrebbe dovuto lanciare il pallone e lasciare la porta indifesa. O un’altra simulazione, in cui un’intelligenza artificiale ha capito che invece di correre, poteva diventare abbastanza alta da tagliare un traguardo lontano cadendoci sopra. O il robot aspirapolvere che invece di imparare a non sbattere contro le cose, ha imparato a guidare all’indietro, dove non c’erano sensori che gli dicessero che stava sbattendo contro le cose. Se ci sono problemi, incongruenze o scappatoie nelle regole e se queste proprietà portano a una soluzione accettabile, allora le IA troveranno il modo di hackerare.
Abbiamo imparato a conoscere questo problema di hacking da bambini con la storia di Re Mida. Quando il dio Dioniso gli concede un desiderio, Mida chiede che tutto ciò che occherà si trasformi in oro. Finisce per morire di fame e infelice quando il suo cibo, le sue bevande e la sua figlia si trasformeranno in oro. È un problema di specifica: Mida ha programmato l’obiettivo sbagliato nel sistema.
I geni sono molto precisi riguardo la formulazione dei desideri e possono essere maliziosamente pedanti. Lo sappiamo, non c’è ancora modo di superare in astuzia il genio. Qualunque cosa tu desideri, sarà sempre in grado di concederla in un modo che vorresti non avesse fatto. Hackererà il tuo desiderio. Obiettivi e desideri sono sempre sottospecificati nel linguaggio e nel pensiero umano. Non descrivono mai tutte le opzioni o includono tutti gli avvertimenti, come le eccezioni e le condizioni applicabili. Qualsiasi obiettivo che specifichiamo sarà necessariamente incompleto.
Mentre gli esseri umani molto spesso comprendono implicitamente il contesto e di solito agiscono in buona fede, non possiamo specificare completamente gli obiettivi per una IA.
E le intelligenze artificiali non saranno in grado di comprendere completamente il contesto.
Nel 2015, la Volkswagen è stata sorpresa a barare sui test di controllo delle emissioni. Non si trattava di intelligenza artificiale – gli ingegneri umani hanno programmato un normale computer per imbrogliare – ma vediamo meglio la cosa. Hanno programmato il loro motore per rilevare i test di controllo delle emissioni e per comportarsi in modo diverso. Il loro imbroglio è rimasto inosservato per anni.
Se ti chiedessi di progettare il software di controllo del motore di un’auto per massimizzare le prestazioni pur superando i test di controllo delle emissioni, non progetteresti il software per imbrogliare senza capire che stavi barando. Questo semplicemente non è vero per un’intelligenza artificiale. Penserà “fuori dagli schemi” semplicemente perché non avrà una concezione della cosa. Non capirà che la soluzione Volkswagen danneggia gli altri, mina l’intento dei test di controllo delle emissioni e infrange la legge. A meno che i programmatori non specifichino l’obiettivo di non comportarsi in modo diverso durante il test, un’intelligenza artificiale potrebbe inventare lo stesso hack. I programmatori saranno soddisfatti, i contabili estasiati. E a causa del problema della “mancata spiegazione”, nessuno si renderà conto di cosa ha fatto l’IA. E sì, conoscendo la storia della Volkswagen, possiamo stabilire esplicitamente l’obiettivo di evitare quel particolare hack.
Quanto è realistico l’hacking delle IA nel mondo reale?
La fattibilità di un’intelligenza artificiale che inventa un nuovo hack dipende molto dal sistema specifico che viene modellato. Affinché un’intelligenza artificiale inizi anche solo a ottimizzare un problema, per non parlare di hackerare una soluzione completamente nuova, tutte le regole dell’ambiente devono essere formalizzate in un modo che il computer possa comprendere. Gli obiettivi, noti nell’IA come “funzioni obiettivo”, devono essere stabiliti. E l’intelligenza artificiale ha bisogno di una sorta di feedback su quanto bene sta andando in modo che possa migliorare.
A volte è semplice. Negli scacchi, le regole, l’obiettivo e il feedback: hai vinto o perso? – sono tutti precisamente specificati. E non c’è contesto da conoscere al di fuori di quelle cose che infangerebbero le acque. Questo è il motivo per cui la maggior parte degli attuali esempi di hacking per obiettivi e ricompense provengono da ambienti simulati. Questi sono artificiali e vincolati, con tutte le regole specificate all’IA. L’ambiguità intrinseca nella maggior parte degli altri sistemi finisce per essere una difesa della sicurezza a breve termine contro l’hacking dell’IA.
Dove questo diventa interessante sono i sistemi che sono ben specificati e quasi interamente digitali. Pensa a sistemi di governance come il codice fiscale: una serie di algoritmi, con input e output. Pensa ai sistemi finanziari, che sono più o meno trattabili algoritmicamente.
Possiamo immaginare di dotare un’IA di tutte le leggi e i regolamenti mondiali, oltre a tutte le informazioni finanziarie mondiali in tempo reale, oltre a qualsiasi altra cosa che riteniamo possa essere rilevante; e poi dandogli l’obiettivo del “massimo profitto”. La mia ipotesi è che questo non sia molto lontano e che il risultato sarà ogni sorta di nuovi hack.
Ma i progressi nell’IA sono discontinui e contro-intuitivi. Le cose che sembrano facili si rivelano difficili e le cose che sembrano difficili si rivelano facili. Non lo sappiamo fino a quando non si verificherà la svolta.
Quando le IA inizieranno ad hackerare, tutto cambierà. Non saranno vincolati negli stessi modi, o avranno gli stessi limiti, delle persone. Cambieranno la velocità, la scala e la portata dell’hacking, a velocità e intensità per cui non siamo pronti. I robot di generazione di testo con intelligenza artificiale, ad esempio, verranno replicati a milioni sui social media. Saranno in grado di impegnarsi su questioni 24 ore su 24, inviare miliardi di messaggi e sopraffare qualsiasi discussione online tra esseri umani. Quello che vedremo come un dibattito politico turbolento saranno i robot che litigano con altri robot. Influenzeranno artificialmente ciò che pensiamo sia normale, ciò che pensiamo pensano gli altri.
La crescente portata dei sistemi di intelligenza artificiale rende anche gli hack più pericolosi. Le IA stanno già prendendo decisioni importanti sulle nostre vite, decisioni che credevamo fossero di competenza esclusiva degli umani: chi ottiene la libertà condizionale, riceve prestiti bancari, entra all’università o trova un lavoro. Man mano che i sistemi di intelligenza artificiale diventano più capaci, la società cederà loro le più – e più importanti – decisioni. Gli hack di questi sistemi diventeranno dannosi.
E se fornissi a un’IA l’intero codice fiscale degli Stati Uniti? O, nel caso di una multinazionale, i codici fiscali del mondo intero? Quante scappatoie troverà di cui non siamo già a conoscenza? Dozzine? Migliaia? Non ne abbiamo idea.
Sebbene disponiamo di sistemi sociali che si occupano di hack, quelli sono stati sviluppati quando gli hacker erano umani e riflettono la velocità, le dimensioni e la portata dell’uomo. L’IRS non può occuparsi di dozzine – figuriamoci migliaia – di scappatoie fiscali scoperte di recente. Un’intelligenza artificiale che scopre hack imprevisti ma legali dei sistemi finanziari potrebbe ribaltare i nostri mercati più velocemente di quanto potremmo recuperare.
Come discusso nel mio rapporto, mentre gli hack possono essere utilizzati dagli aggressori per sfruttare i sistemi, possono anche essere utilizzati dai difensori per applicare patch e proteggere i sistemi. Quindi, a lungo termine, gli hacker di intelligenza artificiale favoriranno la difesa perché il nostro software, codice fiscale, sistemi finanziari e così via potranno essere patchati prima di essere distribuiti. Ovviamente, il periodo di transizione è pericoloso a causa di tutte le regole legacy che verranno violate. Lì, la nostra soluzione deve essere la resilienza.
Dobbiamo costruire strutture di governo resilienti in grado di rispondere rapidamente ed efficacemente agli attacchi. Non servirà a nulla se occorrono anni per aggiornare il codice fiscale o se un hack legislativo diventa così radicato da non poter essere riparato per motivi politici. Questo è un problema difficile della governance moderna. Inoltre, non è un problema sostanzialmente diverso dalla costruzione di strutture di governo in grado di operare alla velocità e complessità dell’era dell’informazione.
Quello che ho descritto è l’interazione tra sistemi umani e computer e i rischi inerenti quando i computer iniziano a fare la parte degli umani. Anche questo è un problema più generale rispetto agli hacker di intelligenza artificiale. E mentre è facile lasciare che la tecnologia ci guidi nel futuro, stiamo molto meglio se come società decidiamo quale dovrebbe essere il ruolo della tecnologia nel nostro futuro.
Questo è tutto quello che dobbiamo capire ora, prima che queste IA arrivino online e inizino a hackerare il nostro mondo.
Redazione