Quando a decidere chi può lavorare è il software: il caso iTutorGroup

Il Caso

Nel 2020 iTutorGroup, società che fornisce servizi di insegnamento online dell’inglese a studenti in Cina, utilizza un sistema informatico per gestire le candidature di tutor residenti negli Stati Uniti. Il software è programmato in modo da respingere automaticamente le candidate di 55 anni o più e i candidati uomini di 60 anni o più. Secondo la Equal Employment Opportunity Commission (EEOC), in poche settimane oltre 200 persone qualificate vengono escluse dalla selezione sulla base dell’età. EEOC

Il funzionamento del sistema emerge in modo particolarmente evidente attraverso l’esperienza di una candidata. Presentando la domanda con la propria data di nascita viene respinta immediatamente; ripresentando sostanzialmente la stessa candidatura con una data di nascita più recente ottiene invece un colloquio. La donna presenta una denuncia alla EEOC. Clearinghouse

Nel maggio 2022 la EEOC cita in giudizio iTutorGroup e due società collegate sostenendo che il sistema abbia prodotto una discriminazione vietata dall’Age Discrimination in Employment Act. La vicenda viene collegata dalla stessa presidente della EEOC all’iniziativa dell’agenzia sull’intelligenza artificiale e l’equità algoritmica. EEOC

Nel 2023 le parti raggiungono un accordo. iTutorGroup accetta di versare 365.000 dollari alle persone coinvolte e, qualora riprenda le assunzioni negli Stati Uniti, di modificare le proprie procedure, adottare politiche antidiscriminatorie, formare il personale e sottoporsi a forme di controllo. L’accordo non costituisce una sentenza che accerta la responsabilità della società: iTutorGroup non ammette illeciti e continua a contestare le accuse. GovDelivery

Un particolare è importante per definire correttamente il Caso. Negli atti giudiziari il sistema è descritto come software automatizzato programmato per applicare determinate soglie di età; non è necessario che si trattasse di un sofisticato modello di machine learning perché sorga il problema dell’automazione della decisione. The Internet Ninja

Documentazione: EEOC – causa contro iTutorGroup · EEOC – accordo del 2023 · Civil Rights Litigation Clearinghouse – documentazione del procedimento

I punti di vista

La candidata

L’esperienza della candidata rende osservabile dall’esterno un criterio che altrimenti rimane incorporato nel funzionamento del sistema. Dopo essere stata respinta indicando la propria vera data di nascita, presenta nuovamente la candidatura utilizzando una data che la fa apparire più giovane e riceve un invito a sostenere un colloquio. La modifica dell’età, a parità sostanziale delle altre informazioni, produce quindi un risultato differente. Clearinghouse

La candidata non deve conoscere il codice del programma né ricostruire tecnicamente il processo automatizzato per mettere in discussione la decisione. Parte dall’esperienza concreta di due trattamenti differenti e si rivolge all’organismo pubblico competente per contestare l’esclusione.

Per approfondire: Ricostruzione del procedimento e dell’esperienza della candidata · Ricostruzione della doppia candidatura

La Equal Employment Opportunity Commission

Per la EEOC l’automazione non modifica la natura della discriminazione né trasferisce altrove la responsabilità. Se un datore di lavoro utilizza una tecnologia per prendere decisioni sulle persone, rimane soggetto alle norme che vietano discriminazioni nell’accesso al lavoro. Nel presentare la causa, la presidente Charlotte Burrows sottolinea esplicitamente che la responsabilità del datore di lavoro permane anche quando la discriminazione viene automatizzata. EEOC

L’intervento della EEOC inserisce inoltre il caso in un problema più ampio. L’agenzia aveva avviato un’iniziativa specifica sull’intelligenza artificiale e sull’equità algoritmica per verificare che l’impiego di nuove tecnologie nelle decisioni occupazionali rispettasse le leggi federali sui diritti civili. Il caso iTutorGroup diventa uno degli esempi attraverso i quali l’agenzia rende concreto questo principio. EEOC

Per approfondire: EEOC – motivazioni della causa · EEOC – esito e misure previste dall’accordo

iTutorGroup

iTutorGroup contesta le accuse e l’accordo del 2023 non contiene un’ammissione di responsabilità. Nel procedimento la società solleva anche una questione preliminare sulla posizione dei tutor: sostiene che fossero lavoratori autonomi e non dipendenti ai quali si applicavano le tutele dell’Age Discrimination in Employment Act. Norton Rose Fulbright

Con l’accordo iTutorGroup accetta comunque vincoli concreti qualora riprenda le assunzioni negli Stati Uniti. Fra questi vi sono il divieto di selezionare i candidati sulla base dell’età o del sesso, limitazioni alla richiesta della data di nascita, formazione sulle norme antidiscriminatorie e procedure di controllo. EEOC

Il suo PDV è meno ricco di quello della EEOC perché la società non ha sviluppato pubblicamente una propria teoria dell’uso dell’automazione nelle assunzioni. È quindi opportuno non attribuirle argomenti sulla neutralità o sull’efficienza degli algoritmi che gli atti disponibili non documentano.

Per approfondire: Analisi dell’accordo e posizione processuale di iTutorGroup · Termini dell’accordo riportati dalla EEOC

Le autorità che regolano le decisioni automatizzate

Il caso viene successivamente utilizzato anche da autorità pubbliche per mostrare che una discriminazione algoritmica non deve necessariamente nascere da correlazioni statistiche impreviste o da dati di addestramento distorti. Un sistema può essere progettato direttamente per applicare un criterio discriminatorio. Una guida ufficiale del New Jersey del 2025 cita proprio iTutorGroup come esempio di uno strumento automatizzato intenzionalmente programmato per escludere candidati in base all’età. NJ.gov

Da questa prospettiva il problema non riguarda soltanto quanto sia sofisticata la tecnologia utilizzata. Una decisione può essere automatizzata mediante regole relativamente semplici e incidere ugualmente sulle opportunità delle persone. La questione diventa allora quali criteri siano incorporati nel sistema, chi li abbia stabiliti, quali effetti producano e chi risponda delle decisioni automatizzate.

Per approfondire: New Jersey Division on Civil Rights – Guidance on Algorithmic Discrimination · EEOC – il caso nella storia recente dell’agenzia