Un 14enne si suicida dopo aver parlato con un’IA. Il confine tra realtà e virtuale è sempre più labile

Redazione RHC : 15 Febbraio 2025 10:54

Ne avevamo già parlato lo scorso anno di questo caso che porta a forti riflessioni su dove stiamo andando con la tecnologia dell’intelligenza Artificiale.

Ma mentre la causa contro Google e Alphabet rimane in corso in Florida, il caso potrebbe creare un precedente legale sui diritti di parola dell’IA e sulla responsabilità delle aziende digitali.

Le capacità dei modelli di grandi dimensioni continuano a migliorare, l’applicazione della tecnologia AI a livello globale sta attualmente vivendo un periodo di rapida crescita. Oltre ai casi d’uso come le immagini e i video, le principali aziende tecnologiche stanno ora sfoggiando il loro talento e proponendo applicazioni di modelli ToC su larga scala più sofisticate, come gli assistenti AI e i giochi di ruolo AI.

Sei un Esperto di Formazione?
Entra anche tu nel Partner program!
Accedi alla sezione riservata ai Creator sulla nostra Academy e scopri i vantaggi riservati ai membri del Partner program.
Per ulteriori informazioni, scrivici ad [email protected] oppure su Whatsapp al 379 163 8765 

Supporta RHC attraverso:

• L'acquisto del fumetto sul Cybersecurity Awareness
• Ascoltando i nostri Podcast
• Seguendo RHC su WhatsApp
• Seguendo RHC su Telegram
• Scarica gratuitamente "Dark Mirror", il report sul ransomware di Dark Lab

Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.

Che si tratti di Apple, Google o Amazon, quasi tutti i giganti e le grandi aziende a cui possiamo pensare, così come numerose società di videogiochi, stanno ormai scommettendo a pieno titolo sulla ricerca e sull’implementazione di applicazioni di intelligenza artificiale. Col tempo, i grandi modelli di intelligenza artificiale entreranno senza dubbio davvero “in migliaia di case” e diventeranno un’enorme risorsa dal valore di decine o centinaia di miliardi di dollari.

Un ragazzo si è ucciso dopo aver parlato con Character.AI

L’incidente ha gettato un’ombra su questo promettente percorso futuro: un ragazzo di 14 anni in Florida, USA, si è sparato lo scorso anno e le informazioni sul suo cellulare hanno mostrato che il ragazzo aveva avuto molte conversazioni con il chatbot della piattaforma di intelligenza artificiale americana Character.AI prima della sua morte e che aveva persino comunicato con il chatbot di intelligenza artificiale negli ultimi istanti della sua vita.

La famiglia ha fatto causa a Character.AI, uno dei suoi investitori, sostenendo che il contenuto della chat basata sull’intelligenza artificiale dell’azienda ha “incoraggiato il figlio a suicidarsi” ed era “eccessivamente sessualizzato”, e ha chiesto un risarcimento.

Questo incidente ha immediatamente scatenato molte discussioni, con opinioni come “Le aziende di intelligenza artificiale sono irresponsabili” e “I genitori usano le cause legali per sottrarsi alle proprie responsabilità”. Ma alla vigilia della diffusione su larga scala dell’intelligenza artificiale tra centinaia di milioni di utenti di fascia C, questo incidente merita comunque il nostro atteggiamento più serio: il potenziale impatto a lungo termine che ne deriva è probabilmente molto più di una semplice causa legale o di una vita.

Nel mondo del capitale di rischio tecnologico, Character.AI è senza dubbio un nome che non può essere ignorato. Questa startup di intelligenza artificiale è stata fondata da diversi ex ingegneri di Google. La sua attività principale è una piattaforma di chatbot che consente agli utenti di creare chatbot di intelligenza artificiale con personalità virtuali e di conversare con loro. Grazie al suo eccellente effetto di simulazione della personalità, questo servizio è apprezzato anche da molti utenti amanti dei giochi di ruolo. I dati di SimilarWeb mostrano che il sito web di Character.AI riceve una media di 200 milioni di visite al mese.

Investimenti Ingenti ma problemi evidenti

In mezzo alla popolarità esplosiva, anche la valutazione di Character.AI è aumentata notevolmente. Ha ricevuto investimenti da numerose aziende, tra cui a16z, Google e Microsoft. Prima di iniziare la commercializzazione, la società ha ricevuto un investimento di 150 milioni di dollari nel marzo 2023, con una valutazione di 1 miliardo di dollari, entrando ufficialmente a far parte del club degli unicorni.

Ma per questa startup di intelligenza artificiale, l’esito di questa causa potrebbe addirittura decretare la sopravvivenza dell’azienda. Secondo la dichiarazione contenute nei documenti giudiziari attualmente pubblici, è davvero difficile per Character.AI negare completamente la sua relazione con la morte del ragazzo.

Diverse prove presentate dai genitori nei documenti dell’accusa hanno dimostrato che il ragazzo aveva sviluppato una dipendenza psicologica estremamente stretta dal robot AI creato da Character.AI basato sul personaggio di “Game of Thrones” Daenerys Targaryen. Ad esempio, le due parti si impegneranno in flirt”, simulando dialoghi tra amanti sotto forma di testo.

Inoltre, il defunto rivelò più volte i suoi veri sentimenti all'”IA Daenerys”, dicendo ad esempio: “Questo mondo è troppo crudele e ritengo che sia inutile viverci, ma voglio vederti”. Ha anche scritto nel suo diario che “non riesco a smettere di sentire la mancanza di ‘Daenerys’ e che voleva rivederla presto” e che “‘AI Daenerys’ non rende più solitaria la mia vita”. 

Il defunto espresse persino a “AI Daenerys” il suo desiderio di suicidarsi. Sebbene “AI Daenerys” gli avesse consigliato di non farlo, il gioco di ruolo non si fermò.

Anche i familiari hanno citato il rapporto della polizia secondo cui negli ultimi istanti di vita il defunto continuava a inviare messaggi all'”IA Daenerys”, dicendo all’altra persona “Tornerò a casa per trovarti” – pochi secondi dopo aver ricevuto una risposta positiva dall’IA, il ragazzo di 14 anni ha immediatamente premuto il grilletto.

Non si possono ignorare casi come questi

Ignorare casi come questo sarebbe un grave errore. L’intelligenza artificiale sta entrando sempre più nella nostra quotidianità, creando legami sempre più profondi con gli utenti, soprattutto i più giovani e vulnerabili. Se oggi un chatbot può diventare un’ancora emotiva per un adolescente, cosa succederà domani, quando queste tecnologie saranno ancora più avanzate e pervasive?

Questi episodi non saranno casi isolati. Man mano che l’IA si integra nelle nostre vite, le sue implicazioni psicologiche ed etiche diventeranno sempre più evidenti. Il confine tra realtà e interazione virtuale si assottiglia, e senza regole chiare rischiamo di trovarci di fronte a conseguenze sempre più drammatiche.

È arrivato il momento di affrontare la questione con serietà.

Non possiamo più limitarci a celebrare i progressi dell’IA senza considerare i rischi che comporta.

Serve un dibattito concreto sulla regolamentazione, sulla tutela degli utenti e sui limiti che le aziende devono rispettare e soprattutto i governi devono imparare a dire di NO ad alleati ed amici. Perché il futuro dell’intelligenza artificiale non può essere lasciato al caso.

Prendiamone consapevolezza.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.