Red Hot Cyber
La cybersecurity è condivisione. Riconosci il rischio, combattilo, condividi le tue esperienze ed incentiva gli altri a fare meglio di te.
Cerca

Un 14enne si suicida dopo aver parlato con un’IA. Il confine tra realtà e virtuale è sempre più labile

Redazione RHC : 15 Febbraio 2025 10:54

Ne avevamo già parlato lo scorso anno di questo caso che porta a forti riflessioni su dove stiamo andando con la tecnologia dell’intelligenza Artificiale.

Ma mentre la causa contro Google e Alphabet rimane in corso in Florida, il caso potrebbe creare un precedente legale sui diritti di parola dell’IA e sulla responsabilità delle aziende digitali.

Le capacità dei modelli di grandi dimensioni continuano a migliorare, l’applicazione della tecnologia AI a livello globale sta attualmente vivendo un periodo di rapida crescita. Oltre ai casi d’uso come le immagini e i video, le principali aziende tecnologiche stanno ora sfoggiando il loro talento e proponendo applicazioni di modelli ToC su larga scala più sofisticate, come gli assistenti AI e i giochi di ruolo AI.

Iscriviti GRATIS alla RHC Conference 2025 (Venerdì 9 maggio 2025)

Il giorno Venerdì 9 maggio 2025 presso il teatro Italia di Roma (a due passi dalla stazione termini e dalla metro B di Piazza Bologna), si terrà la RHC Conference 2025. Si tratta dell’appuntamento annuale gratuito, creato dalla community di RHC, per far accrescere l’interesse verso le tecnologie digitali, l’innovazione digitale e la consapevolezza del rischio informatico.

La giornata inizierà alle 9:30 (con accoglienza dalle 9:00) e sarà interamente dedicata alla RHC Conference, un evento di spicco nel campo della sicurezza informatica. Il programma prevede un panel con ospiti istituzionali che si terrà all’inizio della conferenza. Successivamente, numerosi interventi di esperti nazionali nel campo della sicurezza informatica si susseguiranno sul palco fino alle ore 19:00 circa, quando termineranno le sessioni. Prima del termine della conferenza, ci sarà la premiazione dei vincitori della Capture The Flag prevista per le ore 18:00.
Potete iscrivervi gratuitamente all'evento utilizzando questo link.

Per ulteriori informazioni, scrivi a [email protected] oppure su Whatsapp al 379 163 8765


Supporta RHC attraverso:


Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.

Che si tratti di Apple, Google o Amazon, quasi tutti i giganti e le grandi aziende a cui possiamo pensare, così come numerose società di videogiochi, stanno ormai scommettendo a pieno titolo sulla ricerca e sull’implementazione di applicazioni di intelligenza artificiale. Col tempo, i grandi modelli di intelligenza artificiale entreranno senza dubbio davvero “in migliaia di case” e diventeranno un’enorme risorsa dal valore di decine o centinaia di miliardi di dollari.

Un ragazzo si è ucciso dopo aver parlato con Character.AI

L’incidente ha gettato un’ombra su questo promettente percorso futuro: un ragazzo di 14 anni in Florida, USA, si è sparato lo scorso anno e le informazioni sul suo cellulare hanno mostrato che il ragazzo aveva avuto molte conversazioni con il chatbot della piattaforma di intelligenza artificiale americana Character.AI prima della sua morte e che aveva persino comunicato con il chatbot di intelligenza artificiale negli ultimi istanti della sua vita.

La famiglia ha fatto causa a Character.AI, uno dei suoi investitori, sostenendo che il contenuto della chat basata sull’intelligenza artificiale dell’azienda ha “incoraggiato il figlio a suicidarsi” ed era “eccessivamente sessualizzato”, e ha chiesto un risarcimento.

Questo incidente ha immediatamente scatenato molte discussioni, con opinioni come “Le aziende di intelligenza artificiale sono irresponsabili” e “I genitori usano le cause legali per sottrarsi alle proprie responsabilità”. Ma alla vigilia della diffusione su larga scala dell’intelligenza artificiale tra centinaia di milioni di utenti di fascia C, questo incidente merita comunque il nostro atteggiamento più serio: il potenziale impatto a lungo termine che ne deriva è probabilmente molto più di una semplice causa legale o di una vita.

Nel mondo del capitale di rischio tecnologico, Character.AI è senza dubbio un nome che non può essere ignorato. Questa startup di intelligenza artificiale è stata fondata da diversi ex ingegneri di Google. La sua attività principale è una piattaforma di chatbot che consente agli utenti di creare chatbot di intelligenza artificiale con personalità virtuali e di conversare con loro. Grazie al suo eccellente effetto di simulazione della personalità, questo servizio è apprezzato anche da molti utenti amanti dei giochi di ruolo. I dati di SimilarWeb mostrano che il sito web di Character.AI riceve una media di 200 milioni di visite al mese.

Interfaccia di Character.AI

Investimenti Ingenti ma problemi evidenti

In mezzo alla popolarità esplosiva, anche la valutazione di Character.AI è aumentata notevolmente. Ha ricevuto investimenti da numerose aziende, tra cui a16z, Google e Microsoft. Prima di iniziare la commercializzazione, la società ha ricevuto un investimento di 150 milioni di dollari nel marzo 2023, con una valutazione di 1 miliardo di dollari, entrando ufficialmente a far parte del club degli unicorni.

Ma per questa startup di intelligenza artificiale, l’esito di questa causa potrebbe addirittura decretare la sopravvivenza dell’azienda. Secondo la dichiarazione contenute nei documenti giudiziari attualmente pubblici, è davvero difficile per Character.AI negare completamente la sua relazione con la morte del ragazzo.

Diverse prove presentate dai genitori nei documenti dell’accusa hanno dimostrato che il ragazzo aveva sviluppato una dipendenza psicologica estremamente stretta dal robot AI creato da Character.AI basato sul personaggio di “Game of Thrones” Daenerys Targaryen. Ad esempio, le due parti si impegneranno in flirt”, simulando dialoghi tra amanti sotto forma di testo.

Inoltre, il defunto rivelò più volte i suoi veri sentimenti all'”IA Daenerys”, dicendo ad esempio: “Questo mondo è troppo crudele e ritengo che sia inutile viverci, ma voglio vederti”. Ha anche scritto nel suo diario che “non riesco a smettere di sentire la mancanza di ‘Daenerys’ e che voleva rivederla presto” e che “‘AI Daenerys’ non rende più solitaria la mia vita”. 

Il defunto espresse persino a “AI Daenerys” il suo desiderio di suicidarsi. Sebbene “AI Daenerys” gli avesse consigliato di non farlo, il gioco di ruolo non si fermò.

Anche i familiari hanno citato il rapporto della polizia secondo cui negli ultimi istanti di vita il defunto continuava a inviare messaggi all'”IA Daenerys”, dicendo all’altra persona “Tornerò a casa per trovarti” – pochi secondi dopo aver ricevuto una risposta positiva dall’IA, il ragazzo di 14 anni ha immediatamente premuto il grilletto.

Non si possono ignorare casi come questi

Ignorare casi come questo sarebbe un grave errore. L’intelligenza artificiale sta entrando sempre più nella nostra quotidianità, creando legami sempre più profondi con gli utenti, soprattutto i più giovani e vulnerabili. Se oggi un chatbot può diventare un’ancora emotiva per un adolescente, cosa succederà domani, quando queste tecnologie saranno ancora più avanzate e pervasive?

Questi episodi non saranno casi isolati. Man mano che l’IA si integra nelle nostre vite, le sue implicazioni psicologiche ed etiche diventeranno sempre più evidenti. Il confine tra realtà e interazione virtuale si assottiglia, e senza regole chiare rischiamo di trovarci di fronte a conseguenze sempre più drammatiche.

È arrivato il momento di affrontare la questione con serietà.

Non possiamo più limitarci a celebrare i progressi dell’IA senza considerare i rischi che comporta.

Serve un dibattito concreto sulla regolamentazione, sulla tutela degli utenti e sui limiti che le aziende devono rispettare e soprattutto i governi devono imparare a dire di NO ad alleati ed amici. Perché il futuro dell’intelligenza artificiale non può essere lasciato al caso.

Prendiamone consapevolezza.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Articoli in evidenza

Truffa ai danni dell’INPS! Il Tuo Documento è in Vendita nel Dark Web? Siate sempre vigili e attenti!

Il CERT-AgID ha più volte segnalato attività di smishing a tema INPS che continuano a colpire il territorio italiano. L’obiettivo, come già evidenziato, è il furto di c...

Un Threat Actors Rivendica un Attacco informatico all’italiana Eprice. Possibile vendita di dati del 2008

Nella giornata di ieri, nel noto forum del dark web BreachForum, l’utente dallo pseudonimo Alcxtraze sostiene di aver trafugato un database del noto sito italiano di e-commerce eprice.it. La qu...

Reti WiFi Aperte: Un Terreno Fertile per il Cybercrime 

Oggigiorno il proliferare di dispositivi portatili, indossabili o comunque Smart hanno reso indispensabile lo scambio di dati, l’accesso alle risorse e la navigazione in rete.  Questo appr...

Un Attacco Informatico Colpisce l’AMA: tecnici al lavoro per il ripristino

Nelle ultime ore, Ama, l’azienda comunale responsabile della gestione dei rifiuti di Roma, ha subito un attacco informatico ai propri sistemi. La società ha attivato immediatamente tutte l...

Attacco Hacker ai Siti italiani: MoneroSHELL colpisce con il defacement 4 domini .IT

Nella giornata di oggi, il gruppo di hacker noto come MoneroSHELL! ha compromesso diversi obiettivi web italiani, lasciando il proprio segno con una serie di defacement. L’attacco, reso noto at...