Decisioni, responsabilità e controllo umano

La tematica

Quando l’IA interviene in una decisione, non è sempre evidente chi abbia scelto i criteri, chi possa verificarne il funzionamento e chi debba rispondere delle conseguenze. I Casi raccolti nel CFH attraversano situazioni molto diverse: selezione del personale, controllo amministrativo, valutazione scolastica, assistenti digitali, tutela delle persone e regole educative.

La questione non è semplicemente stabilire se una decisione sia presa «dall’uomo» o «dalla macchina». Anche una procedura automatizzata incorpora scelte umane: obiettivi, dati, soglie, regole di impiego. E anche una decisione formalmente umana può essere influenzata da un risultato tecnico che appare oggettivo o difficile da contestare.

Questa tematica esplora quindi come restino identificabili e praticabili il giudizio, la supervisione, la responsabilità e la possibilità di contestare una decisione, soprattutto quando l’IA ne modifica il processo o ne rende meno visibili gli autori.

Come si manifesta nei Casi e nei punti di vista

Caso: Quando un algoritmo segnala una famiglia come sospetta: lo scandalo dei sussidi per l’infanzia nei Paesi Bassi

Nei Paesi Bassi un sistema di individuazione del rischio segnala famiglie come sospette nelle richieste di sussidio per l’infanzia. La classificazione automatizzata si traduce in controlli e conseguenze gravose per persone che faticano a comprendere e contestare le decisioni. Il Caso interroga la responsabilità delle istituzioni quando un punteggio algoritmico entra nel procedimento amministrativo.

Caso: Quando è lo studente a dover dimostrare di non aver usato l’IA: il caso di Sophie

Sophie deve dimostrare di non avere utilizzato l’IA per un lavoro scolastico. Il sospetto generato da uno strumento di rilevazione sposta sulla studentessa l’onere di provare la propria correttezza. Chi deve verificare un’accusa e con quali garanzie? La questione non è soltanto tecnica: riguarda il potere di giudicare e la possibilità di difendersi.

Caso: Quando il capo diventa un’app: il lavoro in un magazzino sudafricano

Nel magazzino sudafricano l’applicazione distribuisce indicazioni e misura prestazioni, influenzando concretamente il lavoro. Il Caso rende meno visibile la figura di chi prende le decisioni: il controllo appare incorporato nel software, ma qualcuno ne sceglie criteri, obiettivi e conseguenze. La delega operativa non elimina la responsabilità umana.

Caso: Quando un intero sistema scolastico introduce l’IA: il programma AI Leap in Estonia

Il programma estone AI Leap mostra la scala delle decisioni necessarie per introdurre l’IA in un intero sistema scolastico. Non basta mettere a disposizione strumenti: occorre stabilire chi ne definisce le condizioni d’uso, chi segue gli effetti nelle classi e chi può modificare il percorso quando emergono problemi.

Caso: Quando l’IA valuta gli studenti: il caso di Jen Roberts

Nel caso di Jen Roberts l’IA interviene nella valutazione del lavoro degli studenti. Anche quando il giudizio automatico alleggerisce un compito dell’insegnante, resta aperta la domanda su chi controlli i criteri, interpreti le risposte e risponda di eventuali errori. Una valutazione non diventa neutrale perché formulata da un sistema.

Caso: Quando a decidere chi può lavorare è il software: il caso iTutorGroup

iTutorGroup utilizza un software per selezionare candidati al lavoro e finisce al centro di una controversia per discriminazione legata all’età. Il Caso mostra che una scelta automatizzata può produrre esclusioni senza un colloquio umano riconoscibile. La responsabilità non si esaurisce nell’affidare la selezione a una procedura tecnica.

Caso: Quando l’IA diventa un assistente per ogni studente: il caso “Ed” di Los Angeles

L’assistente «Ed» di Los Angeles promette un supporto personalizzato agli studenti. Ma chi decide quali informazioni usare, quali risposte proporre e come intervenire quando il servizio non funziona come previsto? Il Caso mette in evidenza il rapporto tra autonomia operativa dello strumento e responsabilità dell’istituzione che lo adotta.

Caso: Quando l’IA colpisce una persona: i deepfake al liceo Newton di Roma

I deepfake al liceo Newton mostrano come strumenti accessibili possano essere usati per colpire persone reali. La scuola si trova a dover distinguere responsabilità degli autori, tutela delle vittime e capacità di intervenire su immagini che possono continuare a circolare. Il controllo umano non riguarda solo la produzione tecnica, ma anche le risposte educative e istituzionali.

Caso: Quando il chatbot diventa una relazione: il caso Character.AI

Quando un chatbot viene vissuto come una relazione, le scelte di progettazione e gestione del servizio possono incidere sulla vita emotiva degli utenti. Il Caso Character.AI rende difficile separare l’interazione apparentemente personale dalla responsabilità di chi costruisce e mette a disposizione il sistema.

Caso: Il Papa prende posizione sull’IA: l’enciclica Magnifica Humanitas

L’enciclica Magnifica Humanitas porta la discussione dal funzionamento degli strumenti alle condizioni in cui le persone conservano libertà e capacità di giudizio. Il Caso propone una prospettiva nella quale la responsabilità non può essere dissolta nell’efficienza tecnica: occorre interrogare chi orienta le decisioni e a vantaggio di chi.

Caso: Quando sbaglia il chatbot, chi risponde? Il caso Air Canada

Un chatbot di Air Canada fornisce a un cliente informazioni errate sulle condizioni di rimborso. La controversia mette in primo piano una domanda semplice: può l’organizzazione sottrarsi alla responsabilità sostenendo che la risposta è stata generata autonomamente dal proprio assistente digitale? Il Caso mostra il limite della delega come giustificazione.

Caso: Quando usare l’IA diventa plagio? Il caso della Hingham High School

La controversia di Hingham riguarda anche la possibilità di contestare una decisione scolastica sull’uso dell’IA. Il giudice valuta il provvedimento alla luce delle regole sull’integrità accademica. Il Caso mette a confronto il giudizio della scuola, le obiezioni della famiglia e il controllo esercitato da un’autorità esterna.

Caso: Quando un volto diventa un falso nudo: il caso delle ragazze di Almendralejo

Ad Almendralejo la creazione e diffusione di falsi nudi coinvolge minorenni e produce conseguenze concrete per le ragazze colpite. La giustizia minorile interviene per attribuire responsabilità ai ragazzi coinvolti. Il Caso mostra che la possibilità tecnica di generare immagini non cancella le responsabilità per il loro impiego.

Caso: Quando la scuola decide che cosa gli studenti devono fare senza l’IA

Una scuola decide di distinguere le attività in cui l’IA può essere usata da quelle in cui gli studenti devono esercitarsi senza di essa. La responsabilità pedagogica consiste anche nello stabilire limiti e motivarli, invece di lasciare che la disponibilità dello strumento determini automaticamente ogni scelta.

Caso: Quando il professore nasconde un’istruzione per l’IA: il caso del Madagascar

Il docente Jason Gibson inserisce un’istruzione nascosta per riconoscere elaborati probabilmente generati con l’IA. La critica di Travis Gilly al metodo richiama accessibilità e possibili falsi positivi: un segnale tecnico non basta sempre a stabilire una colpa. La possibilità di contestare e correggere il giudizio è parte della responsabilità valutativa.

Questioni e implicazioni per la scuola

Nella progettazione didattica la presenza di strumenti capaci di suggerire o prendere decisioni richiede di distinguere le attività che possono essere assistite da quelle nelle quali lo studente deve imparare a formulare criteri e giudizi propri. Chi decide che cosa delegare? In base a quali finalità formative?

Nella conduzione delle attività la questione emerge quando un sistema segnala errori, propone percorsi, classifica comportamenti o offre risposte che insegnanti e studenti possono essere indotti ad accettare. Quali occasioni esistono per interrogare il risultato, correggerlo e riconoscerne i limiti?

Nella valutazione degli apprendimenti diventa decisivo distinguere gli indizi prodotti da un software dall’accertamento motivato di ciò che uno studente sa e ha fatto. Il Caso Madagascar, quello di Sophie e la controversia di Hingham rendono visibili rischi differenti: sospetti, errori di interpretazione e contestazioni. Quali prove sono sufficienti? Come si ascoltano le spiegazioni dello studente?

Nelle decisioni organizzative e istituzionali l’IA può distribuire il potere decisionale fra fornitori, dirigenti, docenti, amministrazioni e sistemi automatici. Chi conosce davvero i criteri del sistema? Chi risponde quando produce un danno? Quali possibilità hanno le persone interessate di ottenere spiegazioni e chiedere una revisione?

I Casi non convergono su una risposta unica. Mostrano piuttosto che controllo umano non significa soltanto mantenere una persona formalmente «nel circuito»: conta che quella persona abbia informazioni, competenze, autorità e condizioni reali per esercitare un giudizio.

Per approfondire

Alcuni articoli del blog permettono di proseguire la riflessione senza proporre un percorso obbligato:

• Perché non usare l’IA, quando è così comodo farlo? — La rinuncia all’automazione come possibile decisione pedagogica.
• Capacità da allenare a scuola proprio perché la tecnologia non ce le chiede più — Le capacità da esercitare anche quando la tecnologia le rende meno necessarie.
• Quando ho insegnato a ChatGPT — Un’esperienza concreta sulle condizioni del controllo umano del lavoro svolto con l’IA.