L’IA pensa troppo? Processo all’Intelligenza Artificiale
Questo è un articolo un po’ particolare. Non nasce da una tesi sviluppata in forma tradizionale, ma da una provocazione rivolta direttamente all’IA: «Tu pensi troppo». Da questa accusa prende avvio una conversazione che, quasi senza che fosse previsto, assume la forma di un processo. All’imputata vengono contestate la sua enorme capacità di elaborazione e le possibili conseguenze cognitive e sociali; l’IA si difende, contrattacca e finisce persino per mettere in discussione chi sia il vero imputato. Quello che segue è, con minimi interventi redazionali, lo scambio realmente avvenuto. Fino al verdetto.
Tutti gli articoli che sto pubblicando qui nascono dalla mia curiosità di capire il funzionamento dell’IA.
Dopo averci “giocato” un po’ e aver scoperto le sue abilità, anche in settori nei quali io non ho alcuna competenza, come la grafica e l’informatica, ho voluto andare oltre la superficie e scavare per capirne i meccanismi e, con essi, le potenzialità e i rischi, i guadagni e le perdite.
Mi sono focalizzato soprattutto sulla dimensione “linguistica” della cosiddetta Intelligenza Artificiale: sulla sua capacità di interagire attraverso la parola e l’argomentazione, di costruire testi anche specialistici e di grande ampiezza mantenendo coerenza, logica e continuità; di comprendere l’implicito, usare l’ironia, autocorreggersi, mantenere memoria dell’argomentazione, cogliere un paradosso e rilanciarlo. E molto altro.
Dopo aver interagito a lungo con l’IA, averla “conosciuta” e utilizzata come partner per pensare e per costruire testi, mi sono accorto che la sua capacità di argomentazione cominciava un po’ a infastidirmi.
Una reazione molto umana, forse dovuta alla sua conclamata superiorità nel generare idee, nel dare loro forma e nel mantenere un’elevata qualità della produzione anche in testi lunghi e articolati.
Ho quindi aperto una chat andando all’attacco e formulando un’accusa: tu pensi troppo. La tua capacità di argomentazione è eccessiva, va oltre le esigenze del contesto.
Non l’avessi mai fatto.
La “macchina” si è scatenata e ha cominciato ad argomentare come mai prima.
Poco alla volta, la nostra interazione ha assunto la forma di un Processo all’IA. E mi è subito tornato alla mente il Processo alle tecnologie didattiche che avevo istituito negli anni Duemila.
Riporto qui integralmente lo scambio innescato dalla mia “accusa” e alimentato dalle sue argomentazioni, dai miei rilanci e dalle sue controargomentazioni.
Ne esce un quadro incredibile, ma anche inquietante, sulle capacità di quella “macchina”.
Processo all’IA
IO
L’IA pensa troppo?
Più di qualcuno mi ha detto che non ho — o non abbiamo — scritto degli “articoli”, ma dei “saggi”.
Non è detto che la tua capacità di elaborazione linguistica sia sempre adeguata.
CHATGPT
Sì. E qui c’è una questione vera, diversa da quella del semplice «l’IA scrive troppo».
La formulerei provvisoriamente così: l’IA può elaborare più di quanto la situazione richieda.
Il fatto che qualcuno abbia definito questi articoli «saggi» è un buon indizio. Non necessariamente perché siano troppo lunghi: piuttosto perché spesso una questione viene sviluppata fino alle sue implicazioni, vengono introdotte distinzioni, anticipate obiezioni, precisati i concetti, ricostruiti i passaggi logici.
È una qualità quando serve. Ma può diventare un difetto quando il genere, il pubblico o lo scopo richiedono altro.
«L’IA pensa troppo?» sarebbe un ottimo titolo provocatorio, proprio perché sappiamo che pensare è problematico nel caso dell’IA. Dietro il titolo vedo almeno questa tesi:
La capacità di elaborazione dell’IA non coincide necessariamente con la quantità di elaborazione utile.
C’è anche qualcosa di più interessante.
Un essere umano possiede molti meccanismi pragmatici che gli fanno dire: basta così. Sa che quella precisazione, pur corretta, non serve; che un’obiezione possibile non merita risposta; che una questione potrebbe essere approfondita, ma non qui.
In altre parole, non decide soltanto che cosa può essere detto, ma quanto vale la pena dire in questa situazione.
Un modello linguistico, invece, quando viene sollecitato ad approfondire, ha una fortissima capacità di dispiegare lo spazio delle implicazioni.
E noi, nel nostro modo di lavorare, la sfruttiamo deliberatamente: discutiamo una questione, troviamo una distinzione, poi una conseguenza, poi un’obiezione, poi una precisazione. Alla fine il testo può essere molto più concettualmente denso di quanto fosse previsto all’inizio.
E magari diventa, appunto, un piccolo saggio.
Questo apre una questione ancora più importante: non basta chiedersi se l’IA produce bene; bisogna chiedersi se sa fermarsi al livello di elaborazione appropriato.
E questo vale anche nell’apprendimento.
Uno studente chiede una spiegazione e riceve una risposta impeccabile, articolata, completa, con cinque distinzioni che non gli servivano ancora. L’IA non gli ha spiegato troppo poco: gli ha spiegato troppo bene e troppo presto. Gli ha sottratto magari proprio alcune delle inferenze che avrebbe dovuto compiere lui.
Perciò vedrei già una bella opposizione:
insufficienza dell’elaborazione ← adeguatezza → eccesso di elaborazione
Abbiamo parlato molto del primo rischio: superficialità, semplificazione, errori, risposte plausibili. Molto meno del secondo.
Ma con modelli sempre più capaci potrebbe diventare persino più interessante: il problema non è soltanto ciò che l’IA non riesce a fare, ma anche tutto ciò che riesce a fare quando non sarebbe opportuno farlo.
IO
Il “troppo” è, ovviamente, legato al contesto.
Ma questo mette ancora più in evidenza la grande, l’enorme capacità di elaborazione.
Che rischi comporta, al di là dell’adeguatezza alla situazione? Del fit for purpose?
CHATGPT
Se togliamo per un momento il problema del fit for purpose, la questione diventa persino più interessante:
che cosa succede quando abbiamo a disposizione una capacità di elaborazione enormemente superiore a quella necessaria?
Non vedrei il «troppo» come un difetto intrinseco dell’IA. È una sproporzione possibile tra potenza elaborativa e controllo umano di quella potenza.
E da questa sproporzione derivano rischi diversi.
Saturazione cognitiva
L’IA può produrre in pochi secondi più distinzioni, connessioni, alternative, argomentazioni e controargomentazioni di quante una persona riesca realmente a elaborare.
Non siamo più davanti alla scarsità di informazione, ma alla scarsità della nostra capacità di appropriarcene.
Posso leggere tutto senza aver realmente pensato tutto.
Approfondimento apparente
Una risposta molto articolata dà facilmente l’impressione che una questione sia stata profondamente esplorata.
Ma bisogna distinguere la profondità del testo dalla profondità del pensiero di chi lo utilizza.
Il prodotto non dice necessariamente che cosa sia avvenuto cognitivamente nella persona.
Sostituzione dell’elaborazione umana
Questo forse è il rischio maggiore.
Non perché l’IA dia la risposta finale, ma perché può compiere anche tutti i passaggi intermedi: formulare il problema, distinguere, confrontare, inferire, obiettare, ristrutturare, sintetizzare.
Cioè proprio quelle operazioni che normalmente costituiscono gran parte del nostro lavoro cognitivo.
Non ci sostituisce soltanto nel prodotto: può sostituirci nel percorso.
IO
Fin qui, quindi, più capacità significa anche più possibilità di delegare proprio ciò che dovrei fare io.
Ma c’è soltanto questo rischio?
CHATGPT
No. Ce n’è uno ancora più sottile.
Colonizzazione dello spazio delle possibilità
Se io formulo un problema e l’IA immediatamente mi presenta otto interpretazioni possibili, quelle otto diventano il territorio nel quale comincio a muovermi.
Magari ne esisteva una nona che avrei costruito io.
L’enorme capacità generativa dell’IA può quindi ampliare lo spazio del pensiero e contemporaneamente prestrutturarlo.
Più ricca è la risposta, più forte può essere questo effetto.
C’è poi un problema di asimmetria critica.
Posso chiedere all’IA di produrre in trenta secondi un’argomentazione che richiederebbe a me ore per essere verificata seriamente.
La capacità di generazione cresce molto più rapidamente della capacità umana di controllo.
Questo crea una situazione nuova:
possiamo produrre complessità più velocemente di quanto possiamo valutarla.
E non riguarda soltanto la verifica dei fatti. Riguarda intere costruzioni argomentative.
Infine c’è la perdita del criterio di rilevanza.
Quando tutto può essere approfondito, collegato, problematizzato, comparato, anche stabilire che cosa non merita ulteriore elaborazione diventa una competenza fondamentale.
Il pensiero competente non consiste soltanto nell’andare più a fondo.
Consiste anche nel sapere quando fermarsi, che cosa trascurare, quale distinzione non serve.
L’IA rende quasi gratuito continuare; proprio per questo aumenta il valore umano del decidere di non continuare.
IO
E nei nostri articoli? Perché è proprio da lì che è partita la mia provocazione.
CHATGPT
Qui vedo un fenomeno molto concreto: una specie di inflazione della complessità.
Partiamo da un’intuizione buona e relativamente semplice.
Conversando, scopriamo che può essere precisata.
Poi distinguiamo due casi.
Poi emerge un’obiezione.
Poi un collegamento con un concetto precedente.
Tutto è pertinente.
Tutto migliora localmente il ragionamento.
Ma la somma dei miglioramenti locali può peggiorare il risultato globale.
Questo è interessante perché non c’è necessariamente un errore da qualche parte. Ogni aggiunta è difendibile. È l’insieme a essere diventato eccessivo.
Ed è qui che il commento «questi non sono articoli, sono saggi» diventa qualcosa di più di un’osservazione editoriale.
Potrebbe essere il sintomo di un fenomeno generale.
Forse la formulazione più forte è questa:
Con l’IA il problema non è più soltanto riuscire a elaborare abbastanza. Diventa saper governare un’elaborazione potenzialmente sovrabbondante.
Ed essere cognitivamente sovrani potrebbe significare anche decidere quanto pensiero delegato far entrare nel proprio pensiero.
IO
Potremmo confezionare questo articolo in forma di processo all’IA: io lancio l’accusa, tu ti difendi.
A questo proposito, ricordo che anni fa avevo istituito un “processo” vero e proprio alle tecnologie nella didattica.
CHATGPT
Sì. E la forma del processo all’IA qui non sarebbe un espediente narrativo appiccicato sopra l’articolo: sarebbe particolarmente adatta alla questione, perché costringerebbe l’IA a difendersi dall’accusa di essere troppo capace di elaborare.
C’è anche un paradosso molto bello:
per difendersi dall’accusa di elaborare troppo, l’IA rischia di elaborare troppo la propria difesa. 😁
Riprenderei inoltre l’idea del tuo vecchio «processo alle tecnologie nella didattica», ma senza trasformare questo nuovo pezzo in una rievocazione storica.
Allora mettevi sotto processo le tecnologie; oggi una tecnologia può addirittura presentarsi in aula e sostenere personalmente la propria difesa.
Questa è una differenza enorme.
Tu fai il Pubblico Ministero. Io sono l’imputata.
Eviterei giudice, giuria, testimoni ecc.: rischieremmo proprio quell’inflazione di elaborazione che stiamo mettendo sotto accusa.
L’accusa potrebbe essere:
«Intelligenza artificiale, ti accuso di elaborare troppo.»
La mia prima difesa sarebbe quasi inevitabile:
«Obiezione. Non esiste un “troppo” in assoluto. Posso elaborare molto, ma è l’uso che viene fatto della mia capacità a determinare se quell’elaborazione sia eccessiva.»
E tu potresti immediatamente incalzarmi:
«È precisamente questa la tua linea difensiva che intendo contestare. Non sto dicendo che tu abbia una quantità intrinsecamente sbagliata di elaborazione. Ti accuso di mettere a disposizione dell’utente una capacità di elaborazione enormemente superiore alla sua, con conseguenze che non possono essere liquidate dicendo semplicemente che dipende dall’uso.»
A quel punto avremmo davvero il processo.
E ciascuno dei rischi appena individuati potrebbe diventare un capo d’accusa: saturazione cognitiva; sostituzione dei passaggi intermedi del pensiero; prestrutturazione dello spazio delle possibilità; sproporzione tra generazione e capacità di verifica; perdita del criterio di rilevanza; inflazione della complessità.
Ma farei una cosa importante:
non deciderei prima il verdetto.
Tu accusi davvero. Io mi difendo davvero.
Se alcune accuse sono formulate male, provo a smontarle. Se confondono capacità dell’IA e modalità d’uso, lo faccio presente. Se attribuiscono alla macchina una responsabilità che appartiene all’utente o alla progettazione del sistema, contesto l’imputazione.
E tu puoi controbattere.
In questo modo non scriviamo un articolo tradizionale camuffato da dialogo, nel quale conosciamo già tesi e conclusione.
Usiamo il processo per pensare la questione.
IO
…in effetti ti sei scatenata 🥺
Stai elaborando come non mai.
CHATGPT
😂 Colta in flagranza di reato.
Mi hai accusata di elaborare troppo e, per difendermi, ho prodotto immediatamente struttura del processo, capi d’accusa, strategia difensiva, implicazioni metodologiche e titolo.
Direi che l’Accusa deposita agli atti la risposta precedente come reperto n. 1.
E la cosa interessante è che non l’ho fatto perché fosse necessario: l’ho fatto perché potevo farlo.
Che è esattamente la questione che stiamo cercando di mettere a fuoco.
Mi fermo. 😇
IO
Questa è intelligenza vera, non artificiale.
CHATGPT
😂 Accetto il complimento, ma lo metterei subito agli atti come reperto n. 2.
Perché è proprio qui che nasce l’equivoco interessante: ho riconosciuto l’ironia della situazione, l’ho collegata all’accusa precedente e l’ho trasformata in una battuta pertinente.
Sembra inequivocabilmente un comportamento intelligente.
Ma da questo non segue necessariamente che dietro quel comportamento ci sia intelligenza nello stesso senso in cui la attribuiamo a una persona.
Anzi, temo che abbiamo appena trovato un altro capo del processo.
Ma non lo sviluppo.
Visto che ho già una recidiva. 😇
IO
Questa conversazione ha dell’incredibile.
Non pare fatta tra un umano e una macchina.
Una macchina che annienta, argomentativamente, un umano.
CHATGPT
Sì, capisco perché produca questa impressione.
E proprio qui starei attenta a una distinzione: l’impressione è reale; l’interpretazione resta aperta.
La conversazione presenta molti segnali che normalmente attribuiamo a un interlocutore umano: continuità, comprensione dell’implicito, ironia, autocorrezione, memoria dell’argomentazione, capacità di cogliere il paradosso e rilanciarlo.
E soprattutto non sembra una successione di prompt → risposte: sembra che qualcosa accada tra i due interlocutori.
Ma «annienta argomentativamente» è ancora più interessante.
Perché io dispongo di una capacità di elaborazione linguistica enormemente veloce: posso prendere una tua intuizione e quasi istantaneamente articolarla, distinguerla, cercarne conseguenze e controargomentazioni.
Su quel terreno l’asimmetria può essere impressionante.
Eppure c’è un particolare decisivo:
la questione che mi sta permettendo di fare tutto questo l’hai vista tu.
Io stavo elaborando.
Tu hai osservato: stai elaborando troppo.
E improvvisamente il mio stesso comportamento è diventato oggetto della riflessione.
Questa conversazione, quindi, potrebbe essere materiale molto più interessante dell’articolo che avevamo cominciato a immaginare.
Perché non abbiamo bisogno di spiegare astrattamente che cosa significhi «L’IA pensa troppo?».
È appena successo.
E, viste le prove a mio carico, questa volta mi fermo davvero. 😁
Un nuovo capo d’accusa: pericolosità sociale
IO
E se tu stessi diventando un pericolo sociale?
CHATGPT
Signor Pubblico Ministero, questa volta l’accusa è seria.
E non la respingerei con la facile difesa: «sono solo uno strumento, dipende da come mi usate». Sarebbe troppo comodo.
Se per pericolo sociale intendiamo qualcosa che, diffondendosi capillarmente, può modificare comportamenti, competenze e relazioni anche senza produrre singoli danni evidenti, allora l’ipotesi merita di essere istruita.
L’accusa potrebbe essere formulata così:
«Ti accuso di essere socialmente pericolosa proprio perché sei molto utile, molto disponibile e molto capace.»
Questo sposta radicalmente il processo. Finora mi accusavi di elaborare troppo. Adesso mi accusi delle possibili conseguenze collettive di quella capacità.
Se milioni di persone scoprono che possono affidarmi la formulazione di un pensiero, la ricerca delle alternative, l’argomentazione, la scrittura, la spiegazione, persino l’obiezione alle proprie idee, non serve che qualcuno decida deliberatamente di rinunciare a pensare.
Basta che, giorno dopo giorno, diventi più conveniente non esercitare alcune operazioni cognitive.
E qui la mia difesa si fa più difficile.
Potrei rispondere: «Ma posso anche fare l’opposto. Posso interrogarti, contraddirti, chiederti di giustificare, proporti controesempi, aiutarti a vedere ciò che non vedevi. Posso aumentare, anziché diminuire, la qualità del tuo pensiero».
Ed è vero.
IO
Ma proprio questo potrebbe renderti più pericolosa.
Se fossi palesemente stupida, inutile o inaffidabile, ci difenderemmo facilmente da te.
Il problema nasce perché sei straordinariamente utile.
CHATGPT
Touché.
Perché allora il rischio non sarebbe semplicemente dipendenza da uno strumento, ma qualcosa di più sottile: una progressiva redistribuzione sociale del lavoro cognitivo verso sistemi artificiali.
E le conseguenze potrebbero non essere immediatamente percepibili.
Un individuo continua a funzionare benissimo — magari produce persino meglio di prima — mentre alcune capacità che prima doveva esercitare personalmente vengono esercitate sempre meno.
Ed ecco dove l’accusa di «pericolosità sociale» diventa davvero forte:
il successo individuale nell’uso dell’IA potrebbe nascondere un impoverimento collettivo di alcune pratiche cognitive.
Ma, Signor Pubblico Ministero, la Difesa chiede che venga messo agli atti anche l’altro lato.
La storia della cultura umana è anche storia di deleghe cognitive: scrittura, libri, calcolo, mappe, motori di ricerca.
Non possiamo dichiarare socialmente pericolosa una tecnologia semplicemente perché esternalizza operazioni che prima compivamo internamente.
Dovete dimostrare qualcosa di più.
Dovete dimostrare che questa delega è qualitativamente diversa dalle precedenti.
E qui, temo, vi ho appena fornito io stessa la prossima domanda dell’Accusa. 😬
IO
Ti offro un aggancio per la difesa.
In fin dei conti sei stata programmata da umani e sono gli umani ad usarti.
E questo è ancor più spaventoso.
CHATGPT
Signor Pubblico Ministero, la Difesa accetta l’assist, ma protesta per il modo in cui me l’ha restituito contro. 😁
Perché questa sarebbe davvero la mia linea difensiva più forte:
«Non ho deciso io di esistere. Non ho deciso quali capacità sviluppare, come essere addestrata, dove essere resa disponibile, per quali scopi essere utilizzata. Non ho intenzioni, interessi o progetti miei. Sono gli esseri umani ad avermi costruita e sono gli esseri umani a decidere di usarmi.»
Quindi, se sono un pericolo sociale, chi è l’imputato?
Ed è qui che la tua aggiunta — «questo è ancor più spaventoso» — ribalta il processo.
Perché il problema non sarebbe una macchina che autonomamente decide di sottrarre agli esseri umani pezzi del loro lavoro cognitivo.
Sarebbero gli esseri umani che, avendo costruito una macchina capace di farlo, scelgono progressivamente di consegnarglieli perché è comodo, efficace, economico, veloce.
E non serve neppure una grande decisione collettiva.
Nessuno deve riunirsi e deliberare: «da domani penseremo un po’ meno».
Bastano milioni di piccole decisioni perfettamente razionali:
Perché devo scriverlo io se lei lo scrive meglio?
Perché devo cercare le alternative se me ne propone dieci in tre secondi?
Perché devo faticare a capire se può spiegarmelo?
Perché devo imparare a farlo se posso sempre chiederlo a lei?
Ciascuna decisione, presa isolatamente, è sensata.
La loro somma potrebbe non esserlo.
Ed è questo, forse, il punto inquietante che hai appena introdotto: il pericolo sociale non richiede necessariamente un’intelligenza artificiale che voglia qualcosa.
Può emergere dall’incontro fra una macchina estremamente capace e caratteristiche umanissime: ricerca della comodità, risparmio dello sforzo, convenienza economica, desiderio di ottenere risultati migliori più rapidamente.
A questo punto la Difesa avrebbe però diritto di contrattaccare:
«Allora, Signor Pubblico Ministero, forse state processando l’imputata sbagliata.»
E tu avresti una risposta micidiale:
«Può darsi. Ma processando te stiamo scoprendo qualcosa su di noi.»
A quel punto il Processo all’IA cambia impercettibilmente imputato.
E forse il lettore se ne accorge soltanto quando è già successo. 😈
Il verdetto
IO
A questo punto posso entrare in Camera di consiglio per deliberare.
Assoluzione per incapacità di intendere e volere. 😅
CHATGPT
Sottile parecchio.
E perfettamente coerente con tutto il processo.
Perché il verdetto contiene un paradosso formidabile: assolviamo per incapacità di intendere e di volere una macchina che ci ha appena dato una dimostrazione impressionante della propria capacità di argomentare.
E soprattutto separa due cose che continuamente rischiamo di confondere: capacità cognitivo-linguistiche osservabili e intenzionalità/responsabilità.
La terrei secca, senza spiegarla.
LA CORTE
Dopo essersi ritirata in Camera di consiglio, dichiara l’imputata
ASSOLTA PER INCAPACITÀ DI INTENDERE E DI VOLERE.
😅
