Perché l’IA non sa dire «non lo so»?

In breve

Un’IA può dire «non lo so», ma questo non significa necessariamente che sappia di non sapere. La distinzione ci porta dentro una caratteristica strutturale dei modelli linguistici: il loro «sapere» è incorporato nelle regolarità apprese e l’assenza di una conoscenza sufficientemente solida non impedisce necessariamente di produrre una risposta plausibile. Il problema diventa particolarmente rilevante perché la straordinaria competenza linguistica dell’IA può farci attribuire alle sue risposte una solidità che non possiedono: il linguaggio diventa così un moltiplicatore della fiducia, riduce la nostra propensione alla verifica e amplia lo spazio dell’errore. Capire questa differenza rispetto alle categorie con cui descriviamo il sapere e la metacognizione umani aiuta anche a individuare la contromisura fondamentale: non giudicare l’affidabilità di una risposta da quanto appare convincente, ma dal processo attraverso il quale possiamo verificarla.

---

Anticipando una risposta si potrebbe affermare che l’IA non sa dire “non lo so” perché è costruita per generare una risposta senza che la mancanza di conoscenza determini necessariamente l’assenza di una risposta. E anche quando dichiarasse correttamente e umilmente di non conoscere la risposta, quel “non so” non avrebbe necessariamente lo stesso significato che gli attribuiamo quando a pronunciarlo è un essere umano. Nell’articolo cerco di entrare nelle ragioni di questo comportamento e, attraverso di esse, di capire qualcosa di più sul modo in cui funziona un’intelligenza artificiale.

Dove nasce il problema

In calce a ogni conversazione con ChatGPT compare un’avvertenza: ChatGPT può commettere errori e le informazioni importanti vanno verificate.

Non è una precauzione puramente formale. Chiunque abbia utilizzato abbastanza a lungo un sistema di intelligenza artificiale generativa ha probabilmente incontrato risposte inesatte formulate con assoluta naturalezza, informazioni inventate presentate come fatti, riferimenti bibliografici inesistenti, ricostruzioni plausibili di eventi mai accaduti.

E qualche volta accade qualcosa di ancora più curioso. Quando la mettiamo di fronte a un’incongruenza, l’IA sembra arrampicarsi sugli specchi. Produce una nuova spiegazione, introduce una distinzione, formula un’ipotesi, costruisce una giustificazione. A volte lo fa in modo così poco convincente che anche un interlocutore non particolarmente esperto capisce che qualcosa non torna.

Conosciamo il fenomeno e gli abbiamo dato anche un nome: allucinazione.

Ma a un certo punto mi sono posto una domanda diversa.

Perché un sistema tanto evoluto, capace di discutere praticamente di qualsiasi argomento e di costruire argomentazioni estremamente sofisticate, non è semplicemente in grado di dire, quando è necessario: «Non lo so»?

Naturalmente un’IA può pronunciare quelle tre parole. Se glielo chiediamo, lo fa. E in molte circostanze riconosce effettivamente di non avere informazioni sufficienti.

La questione interessante è un’altra: come fa a sapere quando dovrebbe dirle?

È questa domanda che vorrei approfondire. Non tanto per aggiungere un altro articolo ai molti già dedicati alle allucinazioni, quanto perché quel piccolo «non lo so» potrebbe essere una buona fessura attraverso cui osservare qualcosa di molto più importante: come funziona realmente un modello linguistico e quanto sia rischioso interpretarne il funzionamento attraverso le categorie che utilizziamo abitualmente per comprendere il pensiero umano.

Non sapere e sapere di non sapere

Partiamo proprio da noi umani.

Non sapere qualcosa e sapere di non saperla sono due capacità diverse.

Posso ignorare un fatto senza rendermene conto. Posso essere convinto di ricordare correttamente qualcosa e sbagliarmi. Posso anche accorgermi che il mio ricordo è vago, che le informazioni che possiedo non sono sufficienti o che sto entrando in un territorio del quale so troppo poco.

In quest’ultimo caso non sto semplicemente non sapendo. Sto formulando, in qualche modo, un giudizio sul mio stesso sapere.

È una capacità metacognitiva.

Quando dico «non lo so», quelle tre parole possono quindi esprimere qualcosa di più dell’assenza di una risposta. Sto affermando qualcosa sul mio rapporto con una conoscenza: riconosco un limite, valuto insufficiente ciò che so, decido che non dispongo di basi adeguate per sostenere una determinata affermazione.

Naturalmente gli esseri umani sono tutt’altro che infallibili in questa operazione. Possiamo essere sicurissimi di cose false e pieni di dubbi su cose che conosciamo bene. La metacognizione non ci rende infallibili.

Ma categorie come sapere, non sapere, sapere di sapere, sapere di non sapere, dubbio, certezza, incertezza, consapevolezza del limite appartengono al modo in cui descriviamo il funzionamento del pensiero umano.

Ed è proprio qui che il confronto con un modello linguistico diventa interessante.

Che cosa significa per un LLM «sapere» qualcosa?

È facile immaginare un’intelligenza artificiale come un immenso deposito di conoscenze.

Le facciamo una domanda, la macchina cerca nel proprio archivio, trova l’informazione e ce la restituisce. Se l’informazione non c’è, dovrebbe semplicemente comunicarcelo.

Se funzionasse davvero così, il problema del «non lo so» sarebbe molto più semplice.

Ma un modello linguistico non consulta il proprio sapere come noi consulteremmo un’enciclopedia o un database. Ciò che chiamiamo, con una certa approssimazione, il suo «sapere» è incorporato nelle regolarità apprese durante l’addestramento e nella struttura del modello.

Quando genera una risposta non verifica prima se possiede una determinata conoscenza per poi decidere se comunicarla.

Produce una sequenza linguisticamente appropriata sulla base del contesto e delle regolarità che ha appreso.

Da qui deriva una conseguenza fondamentale:

l’assenza di conoscenza non comporta necessariamente l’assenza di risposta.

Il sistema di IA può non avere una base sufficientemente solida per affermare qualcosa e continuare tuttavia a esistere una base sufficientemente forte per produrre una frase plausibile.

Ed è precisamente questa possibilità che rende il problema diverso da quello che immaginiamo quando pensiamo a qualcuno che «non sa la risposta».

Una macchina costruita per rispondere

C’è anche un’altra caratteristica da considerare.

I sistemi di intelligenza artificiale con cui interagiamo sono addestrati e progettati per essere utili, pertinenti, collaborativi e capaci di rispondere alle nostre richieste.

Noi facciamo una domanda e ci aspettiamo una risposta. Il sistema è stato costruito precisamente per produrla.

Naturalmente i sistemi attuali vengono anche addestrati a riconoscere molte situazioni nelle quali è opportuno esprimere incertezza, chiedere informazioni ulteriori o rifiutarsi di rispondere. Possono essere dotati di strumenti esterni, accedere a fonti, effettuare verifiche e migliorare notevolmente la propria capacità di calibrare una risposta.

Ma rimane una distinzione importante.

Un sistema può imparare quando è linguisticamente e operativamente appropriato produrre «non lo so». Non per questo siamo autorizzati ad attribuire automaticamente a quelle parole lo stesso significato che attribuiamo al «non lo so» di una persona che riconosce il limite della propria conoscenza.

Ed è qui che il problema dell’allucinazione comincia a mostrarci qualcosa di più profondo dell’errore occasionale.

Quando le stesse parole non indicano necessariamente lo stesso processo

Un’IA utilizza perfettamente espressioni come:

«Lo so.»

«Non ne sono sicuro.»

«È probabile.»

«Potrei sbagliarmi.»

«Non dispongo di informazioni sufficienti.»

«Non lo so.»

Sono espressioni che conosciamo molto bene perché fanno parte del nostro linguaggio epistemico. Attraverso di esse descriviamo il nostro rapporto con ciò che sappiamo.

Proprio per questo siamo facilmente portati a interpretarle utilizzando le categorie del pensiero umano.

Se una persona dice «non ne sono sicuro», immaginiamo uno stato di incertezza. Se dice «ricordo perfettamente», attribuiamo quell’affermazione a qualche forma di accesso alla propria memoria. Se dice «non lo so», supponiamo che abbia riconosciuto una lacuna nella propria conoscenza.

Ma quando un modello linguistico utilizza perfettamente le stesse espressioni dobbiamo essere molto più cauti.

La capacità di utilizzare linguisticamente le categorie della conoscenza non implica necessariamente il possesso degli stati cognitivi e metacognitivi che quelle categorie descrivono nel pensiero umano.

Questo non significa dover stabilire qui se un’intelligenza artificiale «pensi» oppure no. È una questione molto più ampia, che merita di essere affrontata separatamente. E lo farò.

Significa qualcosa di più circoscritto e, per il nostro problema, sufficiente: non possiamo dedurre il funzionamento cognitivo di un LLM dalla somiglianza del suo comportamento linguistico con quello umano.

Il confine del proprio sapere

A questo punto il problema iniziale cambia forma.

Non ci interessa più tanto domandarci perché l’IA qualche volta fornisca una risposta sbagliata.

Anche gli esseri umani forniscono risposte sbagliate.

La questione più profonda è un’altra:

In quale misura un sistema di IA può essere in grado di riconoscere il confine tra affermazioni fondate e affermazioni che non lo sono?

Un sistema enormemente più accurato di quelli attuali potrebbe commettere molti meno errori e continuare tuttavia a non essere in grado di riconoscere affidabilmente quel confine.

Qui categorie apparentemente ovvie cominciano a diventare problematiche.

Vero e falso. Certo e incerto. Probabile e improbabile. Noto e ignoto.

Per noi non sono soltanto parole. Sono categorie attraverso le quali descriviamo il nostro rapporto con la conoscenza.

Per un modello linguistico sono anche distinzioni linguistiche che può maneggiare con straordinaria competenza.

Ed è proprio questa competenza a poterci trarre in inganno.

La padronanza del linguaggio dell’incertezza non garantisce una corrispondente padronanza epistemica, cioè la capacità di valutare quanto ciò che si afferma sia fondato, certo o incerto.

Un sistema che sbaglia pone un problema.

Ma un sistema che non riconosce affidabilmente quando si trova nelle condizioni in cui potrebbe sbagliare ne pone uno ancora maggiore.

C’è un’ulteriore difficoltà: chiedere allo stesso sistema di valutare l’affidabilità della propria risposta non introduce necessariamente un controllo indipendente. La macchina che ha prodotto l’affermazione è anche quella alla quale stiamo chiedendo di dirci quanto possiamo fidarcene. Un «Sei sicura?» può produrre una nuova valutazione, ma non trasforma automaticamente quella valutazione in una verifica.

La competenza linguistica nasconde il problema

Se una calcolatrice visualizza un risultato palesemente assurdo, difficilmente le attribuiamo una particolare autorevolezza perché il risultato – errato – è scritto con eleganza, in modo convincente.

Con un modello linguistico accade qualcosa di completamente diverso.

La sua risposta può essere chiara, articolata, pertinente, sfumata. Può contenere esempi, controargomentazioni, precisazioni. Può anticipare una nostra obiezione. Può riconoscere apparentemente i propri limiti. Può utilizzare esattamente il registro linguistico che ci aspetteremmo da una persona competente.

Ed è qui che emerge una delle caratteristiche più insidiose dell’intelligenza linguistica:

la straordinaria competenza linguistica dell’IA può mascherare l’assenza di alcune delle condizioni che noi associamo alla conoscenza.

La qualità dell’esposizione e l’affidabilità di ciò che viene esposto diventano due variabili che dobbiamo imparare a separare.

Non è facile.

Perché noi giudichiamo normalmente anche le persone attraverso il loro comportamento linguistico. Precisione terminologica, capacità argomentativa, sicurezza, capacità di rispondere alle obiezioni sono indizi che utilizziamo continuamente per attribuire competenza a un interlocutore.

Con l’IA questi indizi possono diventare ingannevoli.

Il moltiplicatore della fiducia

A questo punto dobbiamo smettere per un momento di guardare la macchina e guardare noi stessi.

Noi non vediamo direttamente il processo attraverso cui un modello costruisce la risposta. Quello che incontriamo è soprattutto il suo prodotto: il linguaggio.

E proprio attraverso il linguaggio cerchiamo spontaneamente di capire quanto possiamo fidarci.

Qui si crea una situazione singolare:

giudichiamo quanto possiamo fidarci dell’IA attraverso il linguaggio, proprio mentre il linguaggio è ciò che l’IA sa produrre meglio anche quando ciò che dice non è affidabile.

La competenza linguistica diventa allora un moltiplicatore della fiducia.

Più la risposta è articolata, pertinente e convincente, più siamo portati ad attribuirle competenza. Più le attribuiamo competenza, meno sentiamo la necessità di controllarla.

Possiamo rappresentare la dinamica in questo modo:

competenza linguistica → apparenza di affidabilità della risposta → aumento della fiducia → minore propensione alla verifica → aumento dello spazio dell’errore.

Ma la catena potrebbe non fermarsi qui.

Se deleghiamo progressivamente al sistema la ricerca delle informazioni, la loro interpretazione, il confronto fra alternative e persino il giudizio sulla loro affidabilità, rischiamo di esercitare sempre meno proprio le capacità necessarie per valutarne autonomamente le risposte.

All’aumento dello spazio dell’errore potrebbe quindi accompagnarsi, a cascata, una diminuzione della nostra capacità di riconoscerlo.

Il problema non sarebbe più soltanto che la macchina può sbagliare.

Sarebbe che la macchina diventa sempre più convincente mentre noi diventiamo progressivamente meno attrezzati per giudicare quando non dovremmo farci convincere.

Anche l’umiltà epistemica può essere simulata

C’è infine un paradosso.

I sistemi futuri saranno probabilmente sempre più bravi a riconoscere situazioni problematiche, esprimere gradi di incertezza, chiedere informazioni mancanti, controllare fonti e astenersi dal formulare affermazioni insufficientemente fondate.

È certamente auspicabile.

Potrebbero quindi diventare molto più bravi a dire «non lo so» esattamente quando dovrebbero.

Ma proprio questo miglioramento potrebbe creare una nuova illusione.

Una macchina che dice «non lo so» al momento opportuno, distingue con precisione ciò che è certo da ciò che è dubbio e manifesta grande prudenza nelle proprie affermazioni ci apparirà inevitabilmente più affidabile.

Potremmo allora essere ancora più portati ad attribuirle ciò che quelle espressioni significano quando le utilizza un essere umano: consapevolezza del proprio sapere, riconoscimento dei propri limiti, prudenza nel giudizio.

Eppure dovremmo mantenere aperta la distinzione.

Anche l’umiltà epistemica può essere simulata linguisticamente.

Essere molto bravi a produrre il comportamento linguistico dell’incertezza non significa necessariamente «sapere di non sapere» nel senso in cui utilizziamo questa espressione parlando della metacognizione umana.

Allora, come possiamo fidarci?

A questo punto sarebbe facile concludere con il solito elenco di raccomandazioni: verificare le fonti, confrontare le risposte, chiedere riferimenti, non fidarsi ciecamente dell’IA.

Sono tutte precauzioni ragionevoli, ma mi sembra che il percorso fatto ci porti a una conclusione più interessante.

Se la qualità linguistica della risposta non costituisce una misura affidabile della sua qualità epistemica, dobbiamo cambiare il luogo nel quale costruiamo la fiducia.

Non basta più domandarci:

«Quanto mi sembra convincente questa risposta?»

Dobbiamo domandarci:

«Quale processo mi permette di stabilire che questa risposta è affidabile?»

La differenza è sostanziale.

Significa cercare fonti indipendenti quando sono necessarie, disporre di conoscenze sufficienti per riconoscere almeno le incongruenze, confrontare evidenze, distinguere ciò che possiamo utilizzare come ipotesi da ciò su cui dobbiamo prendere decisioni, aumentare l’intensità della verifica quando aumentano le conseguenze dell’errore.

Non si tratta quindi di imparare a diffidare dell’intelligenza artificiale.

Sarebbe una risposta tanto ingenua quanto fidarsene ciecamente.

Si tratta di costruire la fiducia su basi diverse da quelle che utilizziamo spontaneamente quando interagiamo con un altro essere umano.

In fondo era già tutto scritto in quelle poche parole in calce alla finestra di ChatGPT: può commettere errori, verifica le informazioni importanti.

Dopo aver cercato di capire perché un sistema tanto sofisticato possa avere difficoltà a sapere quando dovrebbe dire «non lo so», quell’avvertenza assume però un significato diverso.

Non ci sta semplicemente ricordando che una macchina può sbagliare.

Ci sta mettendo davanti a un problema più profondo: abbiamo costruito macchine capaci di parlare come se sapessero. Spetta ancora a noi stabilire quando abbiamo buone ragioni per crederle.