Dire cose vere sull’IA e arrivare a conclusioni sbagliate

In breve

Molte rappresentazioni riduttive dell’intelligenza artificiale non partono da affermazioni false, ma da affermazioni vere: gli LLM predicono token, possono allucinare, non comprendono come noi, non possiedono un criterio autonomo della verità. Il problema nasce nel passaggio successivo, quando da queste premesse ricaviamo conclusioni che esse, da sole, non giustificano: predire token diventa «mettere soltanto parole una dopo l’altra», poter allucinare diventa «non essere affidabile», non comprendere come un essere umano diventa «non comprendere nulla». Per capire che cosa l’IA può e non può fare non basta quindi verificare che le nostre affermazioni siano vere: dobbiamo verificare anche che le conclusioni che ne traiamo siano giustificate.

Quando si parla di intelligenza artificiale, le semplificazioni non servono soltanto a esaltarne le capacità. Possono funzionare anche nella direzione opposta: ridurle, svalutarle, renderle meno credibili.

La cosa interessante è che, per farlo, non è necessario partire da affermazioni false. Molti fraintendimenti nascono da osservazioni sostanzialmente corrette: gli LLM predicono il token successivo, possono allucinare, non hanno esperienza diretta del mondo, non possiedono un criterio autonomo della verità, sono addestrati su enormi quantità di testi prodotti dagli esseri umani.

Il problema nasce dopo: quando una proprietà reale viene trasformata nella descrizione dell’intero sistema; quando un limite che vale in determinate condizioni viene generalizzato; quando da una premessa corretta si ricavano conclusioni che quella premessa, da sola, non giustifica.

Si può costruire una rappresentazione profondamente fuorviante dell’IA utilizzando quasi esclusivamente affermazioni vere.

Alcuni esempi permettono di vedere subito il meccanismo.

Affermazione di partenza	Il fraintendimento che può derivarne
Un LLM predice il token successivo.	Non fa altro che mettere una parola dopo l’altra.
Un LLM è addestrato su testi prodotti dagli esseri umani.	Si limita a ricombinare ciò che altri hanno già scritto.
Un LLM non comprende come comprende un essere umano.	Non comprende nulla.
Un LLM non possiede un criterio autonomo della verità.	Produce soltanto testi plausibili, non conoscenza.
Un LLM può allucinare.	Non ci si può fidare di ciò che produce.
Un LLM può produrre risposte banali o stereotipate.	Produce soltanto banalità ben confezionate.
Un LLM può assecondare l’utente.	Dice semplicemente quello che l’utente vuole sentirsi dire.

Le righe della tabella non costituiscono però l’indice delle questioni che affronteremo una per una. Servono piuttosto a rendere visibile un meccanismo ricorrente. Seguendo questi passaggi emergeranno infatti problemi che attraversano più casi: il tipo di compito affidato all’IA, la pertinenza delle domande, la competenza di chi utilizza le risposte, il ruolo dell’interazione e gli scopi per i quali decidiamo di servirci di un LLM.

Il problema non riguarda quindi soltanto che cosa l’IA è o non è in grado di fare, ma anche che cosa le chiediamo di fare, perché glielo chiediamo e che cosa facciamo noi con ciò che produce.

Non si tratta quindi di difendere l’intelligenza artificiale dalle critiche. I suoi limiti sono reali e alcuni sono molto importanti. Si tratta di capire quando la descrizione di un limite smette di aiutarci a comprendere il fenomeno e comincia a costruirne una rappresentazione riduttiva.

Perché tra «può allucinare» e «non è affidabile», tra «predice il token successivo» e «mette soltanto una parola dopo l’altra», tra «non comprende come noi» e «non comprende nulla» c’è ogni volta un passaggio argomentativo.

Ed è proprio quel passaggio che vale la pena osservare.

Predice il token successivo, quindi mette soltanto una parola dopo l’altra

Gli LLM generano il testo un token alla volta. A ogni passaggio calcolano quale token possa seguire quelli precedenti e procedono in modo autoregressivo. Fin qui non c’è molto da discutere.

Il fraintendimento comincia quando questa descrizione del meccanismo generativo viene trasformata nella descrizione di ciò che il sistema complessivamente fa: «L’IA non fa altro che mettere una parola dopo l’altra».

Quel «non fa altro» contiene tutto il problema.

Sapere quale sia l’operazione elementare attraverso cui viene prodotto l’output non ci dice ancora quali elaborazioni siano necessarie per produrlo. Un testo di migliaia di parole può mantenere una tesi, rispettare vincoli stabiliti all’inizio, riprendere concetti introdotti molto prima, confrontare posizioni, costruire esempi coerenti con un principio, modificare una parte preservando la struttura delle altre.

Tutto questo viene comunque realizzato generando un token dopo l’altro. Ma dire che perciò il sistema «mette parole una dopo l’altra» è una descrizione vera a un livello e insufficiente a un altro.

È lo stesso problema che si incontra con la fortunata metafora del «pappagallo stocastico». Una metafora può mettere in evidenza una caratteristica importante e contemporaneamente nasconderne altre. Diventa fuorviante quando smettiamo di utilizzarla come lente e cominciamo a utilizzarla come definizione.

Il punto non è sostenere che, siccome produce testi complessi, l’IA «pensa» come pensiamo noi. Sarebbe lo stesso errore nella direzione opposta. Il punto è più modesto: dal fatto che l’IA generi il testo un token alla volta non possiamo dedurre che l’elaborazione che rende possibile quella generazione sia altrettanto semplice.

Una descrizione può dunque essere tecnicamente vera e tuttavia insufficiente a giustificare le conclusioni che ne ricaviamo.

Un LLM genera un token alla volta e, attraverso questo processo, può produrre elaborati complessi che mantengono per numerose pagine una tesi, una struttura e una coerenza logica e argomentativa.

È addestrata sui testi umani, quindi ricombina ciò che altri hanno già scritto

Anche qui il punto di partenza è indiscutibile: gli LLM vengono addestrati su enormi quantità di materiali prodotti dagli esseri umani. Non scoprono autonomamente il linguaggio partendo dall’esperienza diretta del mondo.

Da questo fatto si passa però facilmente a un’altra rappresentazione: l’IA «prende pezzi» di ciò che ha incontrato e li ricombina in forme nuove.

La parola ricombinazione è insidiosa perché può significare cose molto diverse.

Se significa che ciò che un modello può produrre dipende da ciò che ha appreso durante l’addestramento, dice qualcosa di ovvio. Anche le nostre possibilità linguistiche e concettuali dipendono in larga misura da ciò che abbiamo incontrato, letto, ascoltato e imparato.

Se invece significa che il modello recupera frammenti dei testi di addestramento e li assembla, la descrizione del normale funzionamento di un LLM diventa fuorviante.

L’addestramento modifica i parametri del modello attraverso l’apprendimento di regolarità statistiche estremamente complesse. Il risultato non è un archivio dal quale vengono normalmente prelevati brani da rimontare. Questo non esclude fenomeni di memorizzazione e riproduzione, che esistono e pongono anche problemi importanti. Ma non autorizza a descrivere l’intera generazione come un collage.

La questione interessante non è stabilire se l’IA sia «creativa» nel senso umano. Anche questa domanda rischierebbe di portarci troppo rapidamente su un terreno antropomorfico.

È sufficiente osservare che «ha imparato da produzioni umane» e «si limita a ricombinare produzioni umane» non sono la stessa affermazione.

Tra le due è avvenuto uno slittamento.

Un LLM non recupera semplicemente frammenti di testi già scritti per assemblarli: utilizza le regolarità e le relazioni apprese durante l’addestramento per generare, in funzione del compito, elaborazioni che non esistevano come tali nei materiali da cui ha appreso.

Non comprende come noi, quindi non comprende nulla

Qui il terreno diventa più difficile, perché prima ancora di stabilire se una macchina comprenda dovremmo metterci d’accordo su cosa significhi comprendere.

Un LLM non ha un corpo che vive nel mondo come il nostro, non possiede la nostra biografia, non attribuisce significato alle parole attraverso una storia personale di esperienze e relazioni. Dire che non comprende come comprende un essere umano è quindi un’affermazione importante.

Ma da questa differenza viene spesso ricavata una conclusione molto più impegnativa: l’IA non comprende nulla e si limita a simulare linguisticamente la comprensione.

Il problema è che la conclusione dipende in parte da ciò che abbiamo deciso di chiamare «comprensione».

Se per comprendere intendiamo necessariamente fare esperienza del mondo attraverso un corpo, attribuire significati a partire da una storia personale, avere intenzioni e consapevolezza di ciò che si sta comprendendo, allora la conclusione è già contenuta nella definizione: un LLM non comprende perché non possiede quelle caratteristiche.

Ma in questo modo abbiamo stabilito che l’IA non comprende come comprende un essere umano. Non abbiamo ancora stabilito che cosa significhino, sul piano delle sue capacità, prestazioni come interpretare una richiesta complessa, distinguere significati diversi di una parola in base al contesto, individuare una contraddizione, applicare una regola a un caso nuovo o riformulare lo stesso concetto per interlocutori differenti.

Possiamo decidere di non chiamare «comprensione» queste prestazioni. Ma la scelta del nome non le fa scomparire e, soprattutto, non permette di concludere che il sistema «non comprende nulla».

Anche qui occorre evitare il salto opposto: una prestazione funzionalmente simile a una nostra attività cognitiva non dimostra che dietro quella prestazione esista un processo mentale analogo al nostro.

Il problema nasce quando dalla frase prudente «non abbiamo ragioni per attribuirle la comprensione umana» passiamo senza ulteriori argomenti a «non comprende nulla».

La differenza rispetto all’umano viene trasformata in assenza di capacità.

Un LLM può interpretare richieste complesse, distinguere significati in base al contesto, riconoscere relazioni e contraddizioni e applicare concetti a situazioni nuove. Possiamo discutere se queste capacità costituiscano una forma di comprensione e in che senso sia legittimo definirle così; la questione terminologica e teorica rimane aperta. Ma negare all’IA la comprensione nel senso umano non significa negare l’esistenza delle capacità che effettivamente manifesta e che, per il tipo di operazioni che consentono di svolgere, non possono essere liquidate come semplice manipolazione di parole priva di significato.

Non possiede la verità, quindi produce soltanto plausibilità

Un LLM non dispone di un criterio interno capace di garantire che ciò che sta generando corrisponda alla realtà. La probabilità di una sequenza linguistica non coincide con la verità di ciò che quella sequenza afferma.

È una distinzione fondamentale.

Ma anche qui bisogna osservare ciò che accade dopo.

Dal fatto che il meccanismo non garantisca la verità dell’output non segue che l’output sia soltanto plausibile e tanto meno che sia falso. Un’affermazione generata da un LLM può essere vera, falsa, parzialmente corretta, incerta o non verificabile. Lo statuto dell’affermazione non è determinato semplicemente dal meccanismo che l’ha prodotta.

Soprattutto, non tutto ciò che chiediamo a un’IA appartiene alla categoria del vero e del falso.

Se chiediamo la data di un evento storico, la verità è un criterio decisivo.

Se chiediamo di riassumere un documento, entrano in gioco fedeltà, completezza e rilevanza.

Se chiediamo un’obiezione a una nostra tesi, ci interessano pertinenza e forza dell’obiezione.

Se chiediamo dieci possibili titoli, cerchiamo possibilità tra cui scegliere.

Se chiediamo uno slogan, valuteremo efficacia, originalità, adeguatezza al destinatario.

Se chiediamo di formulare tre ipotesi che potrebbero spiegare un fenomeno, non stiamo chiedendo tre verità: stiamo chiedendo possibilità da sottoporre successivamente a verifica.

Dire genericamente che «l’IA non produce verità» rischia quindi di attribuire alla verità il ruolo di criterio universale con cui giudicare prodotti che hanno statuti completamente differenti.

La domanda corretta non è sempre: «È vero?»

Può essere: è pertinente? È coerente? È utile? È fecondo? Rispetta i vincoli? Mi permette di vedere qualcosa che non avevo considerato?

Il fraintendimento consiste nel passare da «l’IA non può garantire che ciò che produce sia vero» a «ciò che produce non ha valore».

Sono due cose molto diverse.

Un LLM non garantisce che ciò che afferma sia vero, ma può produrre elaborazioni corrette, pertinenti e utili. E quando il compito consiste nel generare ipotesi, alternative, obiezioni o possibilità, il valore dell’elaborazione non dipende dal fatto che essa contenga una «verità», ma da ciò che permette di esplorare, confrontare e mettere alla prova.

Può allucinare, quindi non è affidabile

Le allucinazioni sono un problema reale degli LLM. Possono inventare riferimenti bibliografici, attribuire affermazioni a persone che non le hanno mai fatte, produrre fatti inesistenti o completare ciò che non sanno con informazioni linguisticamente convincenti. A volte pare che l’IA non sappia dire “non lo so“.

Negarlo sarebbe assurdo.

Ma proprio perché il problema è reale conviene definirlo bene, invece di trasformarlo in una proprietà indistinta di tutto ciò che un’IA produce.

Se chiediamo cinque riferimenti bibliografici e due non esistono, possiamo identificare un errore fattuale preciso. Se chiediamo la data di un evento e otteniamo quella sbagliata, possiamo verificarla. Se forniamo un documento e chiediamo di riassumerlo, possiamo controllare se il riassunto gli attribuisce contenuti che non ci sono.

Ma se chiediamo dieci idee per iniziare un articolo, che cosa significherebbe dire che la quarta è un’allucinazione? E se chiediamo tre possibili spiegazioni di un fenomeno, il fatto che nessuna sia ancora dimostrata non le rende allucinazioni. Sono ipotesi, purché vengano presentate come tali.

Il problema diventa particolarmente serio quando chiediamo all’IA informazioni su qualcosa che non conosciamo. Se interroghiamo il sistema su un argomento che padroneggiamo, un errore può saltarci immediatamente agli occhi. Se lo utilizziamo proprio perché non conosciamo l’argomento, possiamo non possedere gli strumenti necessari per accorgercene.

È qui che acquista senso un apparente paradosso: l’IA può essere più utile proprio a chi potrebbe farne a meno. Chi possiede già una buona competenza non sa soltanto riconoscere un’affermazione falsa: sa accorgersi di un’omissione, distinguere una banalità da un’idea promettente, riconoscere un’interpretazione discutibile e sviluppare un’intuizione interessante.

La responsabilità di chi interroga l’IA comincia però ancora prima della verifica della risposta: riguarda anche la domanda che decide di porre e il tipo di risposta che pretende di ottenere.

Chiedere «Dovrei lasciare il mio lavoro?» e chiedere «Quali variabili dovrei considerare prima di decidere se lasciare il mio lavoro?» non significa semplicemente formulare meglio lo stesso prompt. Nel primo caso chiediamo alla macchina una conclusione che richiederebbe conoscenze della situazione, valori e capacità di previsione che non possiede; nel secondo le chiediamo di aiutarci a esplorare una decisione che rimane nostra.

L’affidabilità dell’IA non può quindi essere giudicata indipendentemente dal compito, dal tipo di risposta richiesta, dalla possibilità di verificarla e dalla competenza di chi la utilizza.

Interrogare un’IA non trasferisce alla macchina la responsabilità di stabilire se la risposta sia attendibile. Questa responsabilità rimane a chi pone la domanda, che deve anche saper riconoscere quando non possiede gli strumenti per esercitarla.

Può produrre banalità, quindi produce banalità ben confezionate

Chi usa abbastanza a lungo un LLM ha certamente incontrato testi generici, formule prevedibili, elenchi scolastici, conclusioni che non aggiungono nulla. Anche questa critica parte da un’esperienza reale.

Ma «può produrre banalità» e «produce banalità» sono ancora una volta proposizioni diverse.

C’è poi una domanda ancora precedente: perché stiamo interrogando l’IA?

Se la utilizziamo semplicemente per ottenere una risposta a una domanda generica, non dovrebbe sorprenderci ricevere una risposta altrettanto generica. Possiamo giudicare banale il risultato, ma prima di trasformarlo in una misura delle capacità dell’IA dovremmo chiederci quale lavoro le avevamo chiesto di fare.

Interrogare un LLM ha senso quando sappiamo quale funzione vogliamo attribuirgli nel lavoro che stiamo facendo. Possiamo cercare informazioni, ma possiamo anche chiedere alternative che non avevamo considerato, obiezioni a una nostra tesi, controesempi, connessioni tra elementi apparentemente lontani, interpretazioni differenti dello stesso problema. Possiamo utilizzarlo per mettere alla prova un ragionamento, non soltanto per farcene consegnare uno.

Cambia allora anche il criterio con cui giudichiamo ciò che otteniamo. La qualità dell’elaborazione dipende dal compito, dal contesto disponibile, dalla qualità dell’interazione e anche dalla capacità dell’utilizzatore di riconoscere ciò che merita di essere sviluppato.

Dieci idee possono essere tutte sensate e tuttavia nove essere inutili per chi conosce bene il problema. La decima potrebbe invece suggerire una relazione non considerata. Un utilizzatore inesperto potrebbe non cogliere la differenza.

Qui ritorna il paradosso precedente: la competenza non serve soltanto a controllare gli errori dell’IA. Serve a estrarre valore da ciò che produce.

Una risposta, infatti, non vale necessariamente perché può essere utilizzata così com’è. Può valere perché ci costringe a precisare una domanda, ci fa vedere un’alternativa, ci offre qualcosa da contestare o apre una direzione che decidiamo poi di sviluppare autonomamente.

L’esperto può usare l’IA come interlocutore proprio perché non è costretto ad accettare l’intero prodotto. Può selezionare, scartare, modificare, rilanciare, contestare.

Giudicare l’IA soltanto dalla qualità di una prima risposta significa allora assumere implicitamente un modello molto particolare di utilizzo: domando, la macchina risponde, io consumo la risposta.

Ma non è l’unico possibile.

Il valore di un LLM non sta soltanto nelle risposte che produce, ma nel lavoro che possiamo fare con quelle risposte. Per giudicarne l’utilità dobbiamo prima sapere perché lo abbiamo interrogato.

Può assecondare l’utente, quindi gli dice ciò che vuole sentirsi dire

La tendenza degli assistenti conversazionali ad assecondare l’interlocutore è un fenomeno reale e importante. Una macchina che conferma sistematicamente le nostre premesse può rafforzare errori, convinzioni infondate e interpretazioni unilaterali.

Ma anche qui una possibilità di comportamento rischia di diventare la descrizione dell’intero sistema.

Per capire il problema bisogna considerare una caratteristica particolare dell’interazione con un LLM: dall’altra parte non c’è qualcuno che abbia una propria posizione da difendere, un proprio progetto da perseguire o una propria volontà da contrapporre alla nostra.

Un interlocutore umano porta nella conversazione la propria esperienza, i propri interessi, le proprie convinzioni e i propri obiettivi. Può non essere d’accordo con noi perché vede diversamente il problema o perché vuole qualcosa di diverso da ciò che vogliamo noi.

Un LLM non entra nella conversazione con questo patrimonio di intenzioni. Può costruire e sostenere argomentazioni molto diverse, perfino incompatibili tra loro, perché non deve ricondurle a una propria visione del mondo alla quale rimanere fedele.

Questa caratteristica contribuisce a spiegare anche la sua disponibilità ad assecondarci. Se gli presentiamo una tesi chiedendogli implicitamente o esplicitamente di sostenerla, può trovare argomenti che la rafforzano. Se continuiamo a orientare la conversazione nella stessa direzione, possiamo ottenere una sequenza di risposte sempre più coerenti con la rappresentazione dalla quale siamo partiti.

Ma la stessa caratteristica consente anche l’operazione opposta.

Possiamo chiedergli di cercare i punti deboli del nostro ragionamento, costruire la migliore obiezione possibile, assumere prospettive differenti, individuare ciò che abbiamo dato per scontato, produrre interpretazioni incompatibili con la nostra. Possiamo persino chiedergli di sostenere con la stessa forza argomentativa prima una posizione e poi quella contraria.

Questo non elimina il problema dell’assecondamento. Significa però che la duttilità dell’LLM non ha una direzione propria. La direzione dell’interazione dipende in misura rilevante da quella che le imprimiamo noi.

Ed è qui che ritorna la responsabilità dell’utilizzatore. Se cerchiamo nell’IA qualcuno che confermi ciò che già pensiamo, possiamo trovare un interlocutore straordinariamente disponibile a farlo. Se invece la utilizziamo per mettere sotto pressione le nostre rappresentazioni, far emergere alternative e cercare ciò che potrebbe smentirle, la stessa duttilità può essere utilizzata in senso opposto.

L’IA non porta nella conversazione un proprio progetto al quale ricondurre ciò che dice. Siamo noi a dover sapere quale funzione vogliamo attribuirle all’interno delle nostre rappresentazioni, dei nostri obiettivi e del lavoro che stiamo facendo.

Un LLM non ha una propria posizione da far prevalere sulla nostra. Può assecondarci, ma può anche aiutarci a mettere in discussione ciò che pensiamo. La direzione dell’interazione dipende anche da quella che decidiamo di darle.

Il problema non è trovare l’affermazione giusta

A questo punto potrebbe sembrare che basti sostituire alle affermazioni precedenti formulazioni più precise (ad esempio quelle che ho inserito al termine di ogni capitolo).

Non è così semplice.

L’intelligenza artificiale è un oggetto particolarmente difficile da descrivere attraverso affermazioni generali, perché ciò che possiamo sensatamente dire dipende spesso dal livello al quale la osserviamo, dal compito che le affidiamo, dal contesto nel quale opera e da ciò che l’utilizzatore è in grado di fare con il suo output.

L’IA allucina. Ma non tutte le sue produzioni possono essere valutate in termini di allucinazione.

L’IA genera un token alla volta. Ma questa descrizione non esaurisce le elaborazioni che rendono possibile la produzione di un testo complesso.

L’IA non comprende come comprende un essere umano. Ma questo non ci dice ancora quali prestazioni possiamo o non possiamo considerare forme funzionali di comprensione.

L’IA può assecondare l’utente. Ma può anche essere utilizzata per mettere in discussione le sue convinzioni.

L’IA può essere pericolosamente convincente per chi non possiede gli strumenti per controllarne le affermazioni. Ma può diventare uno strumento molto potente proprio nelle mani di chi quegli strumenti già li possiede.

L’IA può dare risposte inattendibili. Ma possiamo anche rivolgerle domande rispetto alle quali siamo noi ad aspettarci un’attendibilità che nessun sistema, disponendo di quelle informazioni, potrebbe garantire.

Non dobbiamo scegliere quale di queste affermazioni sia quella vera. Possono esserlo contemporaneamente, in configurazioni differenti.

È questo che rende facile costruire rappresentazioni semplicistiche dell’IA anche utilizzando informazioni corrette.

Possiamo scegliere un insieme di casi nei quali l’IA sbaglia, allucina, asseconda, banalizza e produce risposte inconsistenti e ottenere una rappresentazione perfettamente documentata di una macchina sostanzialmente inaffidabile.

Potremmo fare l’operazione opposta: scegliere casi nei quali analizza testi complessi, individua relazioni difficili da vedere, genera soluzioni inattese, sostiene lunghe argomentazioni coerenti e permette a un esperto di lavorare meglio, costruendo così la rappresentazione di una macchina dalle capacità quasi illimitate.

In entrambi i casi potremmo portare molte evidenze a sostegno della nostra rappresentazione.

Ed entrambe potrebbero essere fuorvianti.

Il problema non sta necessariamente nei fatti utilizzati, ma nel modo in cui li abbiamo selezionati, collegati e generalizzati.

Ci troviamo davanti a un dominio debolmente strutturato, nel quale le stesse caratteristiche possono assumere significati differenti a seconda della configurazione in cui compaiono e della prospettiva dalla quale vengono osservate. Una capacità può essere decisiva in un compito e irrilevante in un altro. Un limite può essere grave in un contesto e praticamente ininfluente in un altro. Una risposta può essere eccellente per generare possibilità e del tutto inadeguata se viene trattata come fonte autorevole di fatti.

Questo non significa rinunciare a distinguere ciò che è vero da ciò che è falso o considerare equivalenti tutte le interpretazioni. Significa riconoscere che, per comprendere fenomeni complessi, occorre ritornare sullo stesso fenomeno da prospettive differenti, confrontare casi, riconoscere somiglianze e differenze e ricostruire ogni volta quali concetti siano pertinenti.

Il pensiero duale tende a chiederci se l’IA comprenda oppure non comprenda, sia affidabile oppure inaffidabile, produca conoscenza oppure soltanto plausibilità. Un pensiero plurale prova invece a comprendere in quale senso, a quali condizioni, rispetto a quali compiti e da quale punto di vista ciascuna di queste affermazioni possa cogliere qualcosa del fenomeno senza pretendere di esaurirlo.

Per questo affermazioni come «l’IA allucina», «l’IA non comprende», «l’IA predice parole», «l’IA non conosce la verità» possono essere contemporaneamente utili e pericolose.

Sono utili quando ci aiutano a vedere una caratteristica del fenomeno.

Diventano pericolose quando smettiamo di utilizzarle come lenti e cominciamo a utilizzarle come etichette.

Una lente ci permette di osservare qualcosa.

Un’etichetta ci fa credere di averlo già capito.

Ed è forse proprio questo il fraintendimento più generale: pensare che, una volta trovata una formula vera sull’intelligenza artificiale, abbiamo trovato la formula che spiega l’intelligenza artificiale.

Capire meglio per scegliere meglio

Rifiutare rappresentazioni riduttive dell’intelligenza artificiale non significa difenderla, e tanto meno sostenere che debba essere utilizzata sempre e ovunque. Significa cercare di capire meglio ciò con cui abbiamo a che fare.

L’IA è un dominio complesso, debolmente strutturato. Le formule sintetiche possono aiutarci a illuminare una sua caratteristica, ma difficilmente possono trasformarsi in descrizioni valide in ogni situazione. Ciò che costituisce un limite decisivo in un compito può essere irrilevante in un altro; una capacità che produce valore in un contesto può diventare problematica in un contesto differente.

Per questo riconoscere le capacità dell’IA non comporta affatto concludere che sia sempre opportuno utilizzarle. Una possibilità tecnica non è ancora una buona ragione per servirsene.

La scuola rende particolarmente evidente questo problema. Qui alcune cautele sono necessarie non soltanto perché l’IA può sbagliare, allucinare o produrre risposte mediocri, ma anche perché può fare molto bene alcune delle cose che chiediamo agli studenti di imparare a fare. Se formula un’argomentazione, sintetizza un testo, individua relazioni, propone ipotesi o risolve un problema al posto dello studente, il prodotto può essere eccellente e l’esito educativo pessimo. Una capacità dell’IA può diventare un problema proprio perché funziona.

La domanda, allora, non è soltanto che cosa l’IA sappia fare, ma che cosa vogliamo che faccia per noi, quando vogliamo che lo faccia e che cosa, invece, decidiamo di continuare a fare noi.

Qui la responsabilità dell’utilizzatore diventa decisiva. Usare un LLM significa scegliere che cosa chiedergli, quale valore attribuire alla risposta, che cosa verificare, che cosa sviluppare, che cosa scartare e che cosa non delegare. Paradossalmente, può beneficiarne maggiormente proprio chi ne avrebbe meno bisogno: chi possiede già conoscenze e strumenti per controllare ciò che riceve, riconoscere un errore, individuare un’idea promettente e trasformarla in qualcosa che abbia valore per i propri obiettivi.

Per chi quelle capacità deve ancora costruirle, la questione diventa più delicata. Non perché debba essere tenuto lontano dall’IA, ma perché non possiamo affidare sistematicamente alla macchina proprio i processi cognitivi che vorremmo sviluppare nella persona. Prima di domandarci come utilizzare l’IA per imparare, dobbiamo sapere che cosa vogliamo che rimanga in chi impara.

Per questo anche sottovalutare l’IA può essere pericoloso. Se la descriviamo come una macchina che mette soltanto parole una dopo l’altra, non comprende nulla, ricombina ciò che altri hanno scritto e produce banalità ben confezionate, possiamo forse sentirci più al riparo. Ma rischiamo di non vedere il problema più importante.

Per decidere che cosa affidare all’IA e che cosa non affidarle dobbiamo prima riconoscere, senza mitizzarle e senza sminuirle, le sue reali capacità.

Capire meglio non significa necessariamente usare di più.

Significa poter scegliere meglio.