Quando l’IA diventa un assistente per ogni studente: il caso “Ed” di Los Angeles

Il Caso

Nel marzo 2024 il Los Angeles Unified School District (LAUSD), uno dei maggiori sistemi scolastici pubblici statunitensi, avvia Ed, una piattaforma basata sull’IA destinata a studenti e famiglie. Il sistema utilizza informazioni già presenti nei servizi del distretto — voti, frequenza, risultati, compiti e altri dati — per fornire risposte personalizzate, suggerire attività e risorse, ricordare scadenze e facilitare l’accesso ai servizi scolastici.

Lo sviluppo viene affidato alla società tecnologica AllHere nell’ambito di un contratto quinquennale del valore massimo di circa 6 milioni di dollari. Per funzionare, Ed deve integrare informazioni provenienti da numerosi sistemi e fornitori. Il chatbot non è accessibile agli studenti sotto i 13 anni e parte del suo funzionamento prevede supervisione umana.

Nel giugno 2024 AllHere entra in difficoltà finanziarie e licenzia o sospende gran parte del personale. LAUSD disattiva il chatbot dichiarando di non poter più garantire la componente di supervisione umana.

Nello stesso periodo un ex responsabile tecnico di AllHere segnala possibili problemi nel trattamento dei dati personali degli studenti. Il distretto avvia verifiche e dichiara di non essere a conoscenza di violazioni dei dati riconducibili a Ed. La piattaforma senza chatbot e il progetto di utilizzare l’IA per personalizzare i servizi scolastici non vengono però abbandonati.

Documentazione: Presentazione ufficiale di Ed da parte di LAUSD · Ricostruzione del progetto e della sua sospensione · Inchiesta sul trattamento dei dati degli studenti

I punti di vista

Il distretto scolastico

Per il sovrintendente Alberto Carvalho, Ed risponde alla necessità di superare un modello uguale per tutti. La piattaforma dovrebbe mettere insieme informazioni che normalmente si trovano in sistemi separati e utilizzarle per costruire indicazioni personalizzate per ciascuno studente. L’IA viene quindi presentata non semplicemente come chatbot, ma come strumento attraverso il quale rendere più facilmente accessibili dati, opportunità e risorse già presenti nel sistema scolastico.

Dopo il collasso di AllHere, Carvalho difende il progetto e distingue la validità dell’idea dai problemi dell’azienda fornitrice. La disattivazione del chatbot viene motivata soprattutto dalla perdita della supervisione umana: secondo il distretto, Ed potrà essere ripristinato quando sarà nuovamente garantito un sistema human in the loop. LAUSD afferma inoltre che i dati degli studenti rimangono soggetti alle proprie regole di privacy e sicurezza indipendentemente dalle vicende societarie di AllHere.

Per approfondire: LAUSD: presentazione e finalità di Ed · La posizione del distretto dopo la crisi di AllHere

Gli studenti e le famiglie

Nella fase iniziale alcuni studenti e genitori sperimentano Ed come un punto di accesso immediato alle informazioni scolastiche. Una studentessa intervistata al momento del lancio lo utilizza per conoscere i propri voti e chiedere come migliorare in matematica; le risposte risultano utili soprattutto per indirizzarla verso risorse disponibili, anche se ancora piuttosto generiche. Una madre riferisce di apprezzare l’immediatezza delle risposte e la possibilità di comprendere meglio i compiti dei figli per poterli aiutare.

Dopo la sospensione del chatbot emergono però anche famiglie che dichiarano di avere poche informazioni sul funzionamento effettivo della piattaforma e sollevano interrogativi sulla gestione dei dati personali. Le esperienze disponibili non consentono di rappresentare una posizione unitaria di studenti e famiglie, ma mostrano insieme l’utilità percepita dell’accesso immediato e personalizzato alle informazioni e le preoccupazioni legate alla quantità di dati necessaria per offrirlo.

Per approfondire: Studenti alla prova con Ed · Esperienza di una famiglia con la piattaforma

L’ex responsabile tecnico di AllHere

Chris Whiteley, già responsabile dell’ingegneria software di AllHere, sostiene di avere segnalato al distretto e ad altre autorità problemi nel modo in cui Ed trattava le informazioni personali degli studenti. Secondo le sue dichiarazioni, il sistema inseriva nei prompt informazioni identificative anche quando non erano necessarie alla richiesta e le condivideva con soggetti terzi; alcune elaborazioni sarebbero inoltre avvenute in modalità incompatibili con le regole sulla privacy adottate dal distretto. LAUSD ha successivamente aperto un’indagine sulle sue segnalazioni.

Il suo PDV mette in evidenza anche la relazione tra progettazione tecnica e protezione dei dati: per produrre una risposta apparentemente semplice, il chatbot poteva accedere ed elaborare una quantità di informazioni molto più ampia di quella visibile all’utente. Le affermazioni di Whiteley sono denunce dell’ex dipendente, non un accertamento definitivo di violazioni; il distretto ha dichiarato di non conoscere violazioni dei dati riconducibili ad AllHere.

Per approfondire: Le segnalazioni di Chris Whiteley e l’indagine del distretto

Gli esperti di tecnologia educativa

Alcuni esperti interpellati dopo la sospensione di Ed spostano l’attenzione dal singolo chatbot alle condizioni necessarie per realizzare progetti di questo tipo. Michael Feldstein osserva che integrare in modo affidabile dati provenienti dai numerosi sistemi tecnologici utilizzati da un grande distretto scolastico è un problema complesso e costoso e mette in dubbio che il fornitore disponesse dell’esperienza necessaria per un’integrazione di tale portata. edsurge.com

Stephen Aguilar, dell’USC Center for Generative AI and Society, richiama invece la responsabilità del distretto nella scelta e nel controllo del fornitore: il fatto che LAUSD non fosse a conoscenza delle difficoltà di AllHere prima del loro manifestarsi pubblicamente viene considerato un problema di verifica e supervisione. In questa prospettiva, adottare un sistema di IA nella scuola significa valutare non soltanto ciò che il sistema promette di fare, ma anche l’affidabilità dell’organizzazione e dell’infrastruttura dalle quali il servizio dipende.

Per approfondire: Analisi delle difficoltà tecniche e della gestione dei dati · Il problema della verifica del fornitore