Perché l’IA sbaglia anche quando sembra così sicura della risposta?
Sei qui: Ask System → L’Intelligenza Artificiale → Affidabilità
Perché quella che a noi appare come sicurezza non è necessariamente sicurezza per l’IA. È soprattutto una caratteristica del modo in cui la risposta viene formulata.
Quando una persona afferma qualcosa con grande sicurezza, tendiamo a pensare che abbia buone ragioni per esserne convinta. Con un modello linguistico questa inferenza può ingannarci: il tono della risposta non ci dice quanto il sistema sia certo che ciò che sta dicendo sia vero.
L’IA non parla come parla una persona sicura di ciò che sa
Un modello linguistico genera il testo utilizzando le regolarità apprese durante l’addestramento e il contesto della conversazione. Il suo compito è produrre una continuazione linguisticamente appropriata. Non parte necessariamente da una conoscenza che ha prima accertato e che poi decide di comunicarci.
Quando dispone di relazioni molto solide, può produrre una risposta corretta. Ma quando le informazioni sono incomplete, ambigue o insufficienti può comunque continuare a generare una risposta plausibile.
In alcuni casi può così produrre fatti inesistenti, attribuire una frase alla persona sbagliata, inventare un riferimento bibliografico o costruire una spiegazione coerente intorno a una premessa falsa. Questi errori vengono spesso chiamati “allucinazioni”.
Perché non dice semplicemente «non lo so»?
Può farlo, e i sistemi vengono sempre più progettati e addestrati anche per riconoscere situazioni di incertezza. Ma non possiamo dare per scontato che accada sempre.
La difficoltà è che produrre una risposta plausibile e sapere se quella risposta corrisponde alla realtà sono due problemi differenti. Un modello può essere molto efficace nel primo senza essere altrettanto affidabile nel secondo.
Inoltre non tutti gli errori sono uguali. Alcuni dipendono dai limiti o dalle lacune delle informazioni apprese, altri dall’ambiguità della domanda, altri ancora dal fatto che la risposta richiederebbe dati aggiornati o una verifica attraverso fonti esterne.
La sicurezza con cui l’IA formula una risposta non è una misura della verità della risposta. Fluidità linguistica, sicurezza apparente e correttezza sono tre cose diverse.
Il vero rischio è che l’errore sia credibile
Un errore evidente è relativamente facile da individuare. Più insidioso è un errore inserito in una risposta ben scritta, coerente e ricca di dettagli corretti. Proprio la qualità linguistica dell’IA può renderlo difficile da riconoscere.
Per questo non è sufficiente imparare qualche trucco per impedire all’IA di sbagliare. Dobbiamo soprattutto imparare a riconoscere quando la risposta può essere utilizzata come proposta o ipotesi e quando, invece, abbiamo bisogno di verificarla.
L’IA può quindi essere molto utile anche senza essere infallibile. Ma la sua apparente sicurezza non deve diventare la ragione per fidarci di ciò che dice.
