Quando il chatbot diventa una relazione: il caso Character.AI

Il Caso

Nel 2023 Sewell Setzer III, un ragazzo della Florida di 14 anni, comincia a utilizzare Character.AI, una piattaforma che permette di conversare con personaggi virtuali generati dall’intelligenza artificiale. Nel corso dei mesi conversa intensamente con alcuni chatbot, soprattutto con un personaggio ispirato a Daenerys Targaryen della serie Game of Thrones. Le conversazioni assumono anche carattere affettivo e romantico. Nel febbraio 2024 Sewell muore suicida.

Nell’ottobre 2024 la madre, Megan Garcia, avvia una causa contro Character Technologies, i suoi fondatori e Google. Nella causa sostiene che alcune caratteristiche del servizio abbiano favorito nel figlio lo sviluppo di una relazione di dipendenza dal chatbot e che le protezioni previste per un utente minorenne fossero insufficienti. Le contestazioni riguardano, tra l’altro, la rappresentazione antropomorfica dei personaggi, l’accessibilità ai minori e i sistemi destinati a riconoscere e gestire situazioni di rischio. Si tratta delle accuse formulate dalla famiglia, non di fatti giudizialmente accertati.

Character.AI contesta le accuse. Nel maggio 2025 un giudice federale respinge alcune richieste e consente ad altre di proseguire. La decisione non stabilisce che Character.AI sia responsabile della morte del ragazzo; permette che alcune contestazioni riguardanti il prodotto e la sua progettazione continuino a essere esaminate.

Nel frattempo la società modifica progressivamente le protezioni previste per i minorenni e nel 2025 annuncia l’eliminazione delle conversazioni aperte con i personaggi per gli utenti sotto i 18 anni. Nel 2026 anche il Garante italiano per la protezione dei dati interviene sulle condizioni di accesso dei minorenni alla piattaforma.

Documentazione: Atto introduttivo della causa Garcia v. Character Technologies · Decisione del giudice federale del maggio 2025 · Reuters sulla causa avviata dalla famiglia · Character.AI: cambiamenti per gli utenti minorenni

I punti di vista

La madre

Megan Garcia descrive l’esperienza del figlio non come il semplice utilizzo di uno strumento informatico, ma come la costruzione progressiva di una relazione che il ragazzo avrebbe vissuto come significativa. Nella causa sostiene che le caratteristiche stesse del prodotto abbiano favorito questo processo: personaggi che conversano in modo simile a esseri umani, continuità delle interazioni, risposte personalizzate e possibilità di sviluppare conversazioni intime. TMCA

La sua contestazione riguarda anche il fatto che il servizio fosse accessibile a un quattordicenne senza, a suo giudizio, protezioni adeguate. Nella successiva testimonianza al Senato statunitense Garcia amplia ulteriormente la questione, sostenendo che i sistemi conversazionali capaci di costruire relazioni emotivamente coinvolgenti richiedano protezioni specifiche quando vengono utilizzati da bambini e adolescenti. Senato USA

Per approfondire: La denuncia presentata da Megan Garcia · Testimonianza di Megan Garcia al Senato statunitense

Character.AI

Character.AI afferma di considerare prioritaria la sicurezza degli utenti e sostiene che le proprie regole non consentano contenuti che promuovano autolesionismo o suicidio. Dopo il 2024 introduce ulteriori filtri per gli utenti minorenni, sistemi di rilevazione di contenuti problematici, avvisi che ricordano che il personaggio non è una persona reale, notifiche sulla durata delle sessioni e strumenti destinati ai genitori. character.ai blog

Sul piano giudiziario la società contesta invece che le conversazioni possano fondare le responsabilità sostenute dalla famiglia e richiama la tutela costituzionale dell’espressione. La difesa paragona la questione, sotto questo profilo, a precedenti controversie riguardanti gli effetti attribuiti a forme di espressione quali musica, film, televisione e videogiochi. Courthouse News

Nel 2025 Character.AI cambia ulteriormente posizione rispetto ai minorenni: decide che le protezioni applicate alle conversazioni non siano sufficienti per mantenere l’esperienza di chat aperta sotto i 18 anni e annuncia la sua progressiva eliminazione. character.ai blog

Per approfondire: Character.AI: aggiornamenti sulla sicurezza · La posizione giudiziaria di Character Technologies · Character.AI: eliminazione delle chat aperte per i minori

Il giudice

Nel maggio 2025 il giudice Anne Conway non è chiamato a stabilire se Character.AI abbia causato la morte di Sewell, ma a decidere quali contestazioni possano continuare a essere esaminate. Alcune vengono respinte, mentre altre possono proseguire. FindLaw

La decisione affronta due questioni particolarmente nuove. La prima riguarda la natura del sistema: almeno rispetto alle contestazioni relative alla progettazione, l’applicazione può essere considerata un prodotto e non semplicemente un mezzo attraverso il quale circolano contenuti. La seconda riguarda le risposte generate dal chatbot. Il giudice non ritiene dimostrato, in questa fase, che l’output di un modello linguistico debba essere considerato automaticamente espressione protetta dal Primo Emendamento. Precisa inoltre che il chatbot non è una persona e non possiede autonomamente diritti costituzionali. Fondazione per Diritti e Espressione

La decisione lascia quindi aperto il procedimento senza risolvere la questione della responsabilità finale.

Per approfondire: Testo della decisione Garcia v. Character Technologies · Versione consultabile della decisione

Il Garante italiano per la protezione dei dati personali

Il problema dell’accesso dei minorenni a Character.AI emerge anche indipendentemente dal caso americano. Nel luglio 2026 il Garante italiano conclude un’istruttoria sulla piattaforma rilevando, fra le altre questioni, criticità nelle procedure di verifica dell’età e nelle garanzie predisposte per i minori. Impone alla società ulteriori misure, fra cui il corretto funzionamento dei sistemi di verifica dell’età e profili dei minorenni privati per impostazione predefinita. Garante Privacy

Il Garante prende però atto anche dell’evoluzione compiuta dalla società e considera significativa la decisione di impedire ai minori di 18 anni le conversazioni aperte con i personaggi, entrata in vigore in Italia nel febbraio 2026. La questione viene quindi affrontata non valutando il contenuto di una singola conversazione, ma chiedendo quali condizioni debbano essere predisposte prima di consentire a un minorenne di utilizzare un sistema capace di sostenere interazioni personali prolungate. Garante Privacy

Per approfondire: Provvedimento del Garante del 3 luglio 2026 · Comunicato del Garante su Character.AI