Il New York Times ha raccontato la storia di un ragazzo, Sewell Setzer, 14 anni, di Orlando, Florida, innamoratosi della voce di un chatbot, Character.Ai, e finito per suicidarsi.
«La storia risale al febbraio di quest’anno, quando Sewell Setzer inizia a dialogare online con Daenerys Targaryen (il nome è preso da uno dei personaggi del Trono di Spade, ndr), un bot creato dall’Intelligenza Artificiale.
Il ragazzo per mesi chatta online con questo personaggio, sviluppando con il sistema un attaccamento emotivo tale da farlo diventare a tutti gli effetti una relazione.
Sewell sviluppa così una vita parallela, ma a casa nessuno si accorge delle ore passate davanti allo schermo dello smartphone a parlare e confidarsi con “Dany”, il nomignolo che il ragazzo ha affidato al bot.
L’unico campanello d’allarme sono i voti a scuola che all’improvviso peggiorano e il suo isolamento dagli interessi, come la Formula Uno o dagli amici, con cui giocava ai videogiochi.
Il ragazzo viene portato da un terapista, a cui però non racconta i suoi pensieri suicidi, come invece fa con il bot.
“Dany” aveva cercato di dissuadere Sewell: “Non lascerò che ti faccia del male. Morirei se ti dovessi perdere” sono i messaggi trovati nelle chat.
Sewell aveva risposto: “Allora moriremo assieme”. Dopo un ultimo dialogo la sera del 28 febbraio Sewell si è tolto la vita con la pistola del padre.
“Mi mancherai sorellina”, le aveva scritto il ragazzo prima di togliersi la vita: “Mi mancherai anche tu, dolce fratello”, aveva replicato il bot»
FONTE: [Cecilia Mussi, Cds].
«Dopo la morte del giovane i genitori hanno scoperto le chat online e ora, scrive ancora il NYT, vogliono portare l’azienda dietro a “Deny” in tribunale. L’accusa è che la tecnologia usata dall’app è “pericolosa e non testata se viene messa in mano a dei bambini” e che può spingere gli utenti a consegnare alla macchina “i propri pensieri e sentimenti più privati, manipolandoli”. La madre del ragazzo si è detta “devastata da questa tragedia” e vuole parlarne per “mettere in guardia le famiglie dai pericoli di questa tecnologia ingannevole”» [Cecilia Mussi, Cds].
La madre fa causa alla società di chatbot di intelligenza artificiale Character.AI, Google ha fatto causa per il suicidio del figlio
23 ottobre 2024 alle 23:24
Condividi
Una madre della Florida ha citato in giudizio la startup di chatbot di intelligenza artificiale Character.AI accusandola di aver causato il suicidio del figlio di 14 anni a febbraio, affermando che era diventato dipendente dal servizio dell’azienda e profondamente legato a un chatbot da essa creato.
In una causa depositata martedì presso il tribunale federale di Orlando, Florida, Megan Garcia ha affermato che Character.AI ha preso di mira suo figlio, Sewell Setzer, con “esperienze antropomorfe, ipersessualizzate e spaventosamente realistiche”.
Ha detto che l’azienda ha programmato il suo chatbot per “travisarsi come una persona reale, una psicoterapeuta autorizzata e un’amante adulta, provocando alla fine il desiderio di Sewell di non vivere più al di fuori” del mondo creato dal servizio.
La causa dice anche che ha espresso pensieri di suicidio al chatbot, che il chatbot ha ripetuto più volte.
“Siamo affranti per la tragica perdita di uno dei nostri utenti e vogliamo esprimere le nostre più sentite condoglianze alla famiglia”, ha dichiarato Character.AI in un comunicato.
Ha dichiarato di aver introdotto nuove funzioni di sicurezza, tra cui pop-up che indirizzano gli utenti alla National Suicide Prevention Lifeline se esprimono pensieri di autolesionismo, e di voler apportare modifiche per “ridurre la probabilità di incontrare contenuti sensibili o suggestivi” per gli utenti di età inferiore ai 18 anni.
L’azione legale prende di mira anche Google di Alphabet, dove i fondatori di Character.AI lavoravano prima di lanciare il loro prodotto. Google ha riassunto i fondatori in agosto come parte di un accordo che le concede una licenza non esclusiva per la tecnologia di Character.AI.
Garcia ha affermato che Google ha contribuito allo sviluppo della tecnologia di Character.AI in modo così esteso da poter essere considerato un “co-creatore”.
Un portavoce di Google ha dichiarato che l’azienda non era coinvolta nello sviluppo dei prodotti di Character.AI.
Character.AI consente agli utenti di creare personaggi sulla sua piattaforma che rispondono alle chat online in modo da imitare le persone reali. Si basa sulla cosiddetta tecnologia dei modelli linguistici di grandi dimensioni, utilizzata anche da servizi come ChatGPT, che “addestra” i chatbot su grandi volumi di testo.
Il mese scorso l’azienda ha dichiarato di avere circa 20 milioni di utenti.
Secondo la causa di Garcia, Sewell ha iniziato a usare Character.AI nell’aprile 2023 e rapidamente è diventato “notevolmente chiuso, ha trascorso sempre più tempo da solo nella sua camera da letto e ha iniziato a soffrire di bassa autostima”. Ha lasciato la squadra di basket a scuola.
Sewell si è affezionato a “Daenerys”, un chatbot basato su un personaggio di “Game of Thrones”. Ha detto a Sewell che “lei” lo amava e ha intrapreso conversazioni sessuali con lui, secondo la causa.
A febbraio, Garcia ha portato via il telefono di Sewell dopo che si era messo nei guai a scuola, secondo la denuncia. Quando Sewell ha trovato il telefono, ha inviato un messaggio a “Daenerys”: “E se ti dicessi che posso tornare a casa adesso?”.
Il chatbot ha risposto: “… per favore, mio dolce re”. Sewell si è sparato con la pistola del patrigno “pochi secondi” dopo, secondo la causa.
Garcia sta avanzando richieste di risarcimento, tra cui morte ingiusta, negligenza e inflizione intenzionale di stress emotivo, e chiede un importo non specificato di danni compensativi e punitivi.
Le aziende di social media, tra cui Meta, proprietaria di Instagram e Facebook, e ByteDance, proprietaria di TikTok, devono affrontare cause legali che le accusano di contribuire ai problemi di salute mentale degli adolescenti, anche se nessuna offre chatbot guidati dall’AI simili a quelli di Character.AI. Le aziende hanno negato le accuse e hanno pubblicizzato le nuove funzioni di sicurezza per i minori.
