Un esperimento di peer review artificiale: come valutano le IA

In breve

Sottoporre lo stesso articolo alla valutazione di sette IA non ha prodotto soltanto sette giudizi diversi: ha permesso di osservare, in situazioni concrete, come le IA affrontano un compito di valutazione. Possono ricostruire molto bene un ragionamento senza necessariamente metterlo alla prova, tendere a sviluppare la prospettiva proposta dall’utente, aggiungere spiegazioni e conoscenze che non erano presenti nel testo e formulare giudizi tanto articolati da risultare particolarmente convincenti. Sono capacità che possono aiutarci a pensare meglio, ma che possono anche trarci in inganno se scambiamo una risposta ben costruita per una valutazione indipendente e fondata. L’esperimento mostra così, nel concreto, sia la potenza delle IA come interlocutori del pensiero sia la necessità di non delegare loro il giudizio finale.

Nel precedente articolo ho raccontato un piccolo esperimento nato quasi per caso.

Ho sottoposto lo stesso mio articolo, Perché l’IA non sa dire “non lo so”?, a sette sistemi di intelligenza artificiale: Copilot, Claude, Gemini, Perplexity, DeepSeek, Mistral e ChatGPT. A tutti ho fatto la stessa richiesta, in conversazioni indipendenti e senza comunicare le valutazioni prodotte dagli altri.

L’obiettivo iniziale era vedere che cosa sarebbe emerso sottoponendo lo stesso ragionamento a più reviewer artificiali.

Ma, una volta messe una accanto all’altra le sette risposte, è comparso un secondo oggetto di interesse.

Non c’erano soltanto sette valutazioni dell’articolo.

C’erano sette modi di interpretare che cosa significhi “valutare un articolo”.

È su questi che vorrei concentrarmi qui.

Anche in questo caso è necessaria una cautela: abbiamo una sola risposta per ciascun sistema. Non possiamo quindi trasformare ciò che abbiamo osservato in caratteristiche stabili dei diversi modelli. Posso descrivere ciò che Copilot, Claude o Gemini hanno fatto in queste risposte. Non posso concludere che si comportino sempre così.

Le sette risposte integrali sono disponibili come documentazione dell’esperimento. Questo consente anche al lettore di verificare se la mia interpretazione del loro comportamento sia convincente.

Che cosa significa “valutare”?

La richiesta era la stessa, ma il compito non è stato realizzato dalle IA nello stesso modo.

Copilot ha assunto soprattutto una funzione di validazione. Ha ricostruito i principali passaggi dell’articolo e li ha giudicati solidi, arrivando a conclusioni molto nette: nessuna forzatura concettuale, nessun errore tecnico, nessuna semplificazione fuorviante.

Claude ha fatto qualcosa di diverso. Dopo aver riconosciuto la solidità complessiva del testo, ha cercato un punto nel quale l’argomentazione potesse essere attaccata. Lo ha trovato nella distinzione tra il «sapere di non sapere» umano e quello attribuibile alla macchina: siamo sicuri di poter affermare che nel primo caso esista uno stato metacognitivo genuino e nel secondo no?

Gemini ha prevalentemente ricostruito le tesi dell’articolo e le ha integrate con proprie spiegazioni tecniche.

Perplexity si è comportato quasi come un editor. Non si è limitato a giudicare: ha proposto integrazioni, precisazioni e persino possibili formulazioni da inserire nel testo.

DeepSeek ha prodotto una valutazione fortemente positiva, accompagnandola con suggerimenti e arrivando ad assegnare all’articolo un punteggio complessivo di 9,5 su 10.

Mistral ha adottato una struttura più simile a una scheda di recensione: punti di forza, punti di debolezza, originalità, rigore argomentativo, chiarezza, utilità pratica.

ChatGPT ha concentrato maggiormente l’attenzione sulla forza delle diverse affermazioni, distinguendo ciò che possiamo ragionevolmente sostenere sul funzionamento dell’IA da ciò che significherebbe affermare qualcosa di molto più impegnativo su ciò che l’IA è o non è.

Non è importante stabilire quale di queste interpretazioni sia quella giusta, perchè nessuna è “giusta”

Il dato interessante è precedente: un’istruzione apparentemente semplice come “valuta le argomentazioni” non definisce completamente l’operazione che verrà eseguita.

Rimane uno spazio da riempire.

E sistemi diversi lo hanno riempito in modi differenti.

Valutare non è una sola operazione

Guardando le sette risposte, si possono distinguere almeno tre attività che tendiamo facilmente a confondere.

Una cosa è valutare l’articolo come testo: chiarezza, struttura, efficacia degli esempi, accessibilità, adeguatezza al pubblico.

Un’altra è valutare l’argomentazione: le conclusioni seguono dalle premesse? Ci sono assunzioni implicite? Una tesi è più forte di quanto consentano le ragioni portate a suo sostegno?

Un’altra ancora è verificare la correttezza delle affermazioni: ciò che viene detto sul funzionamento dei modelli linguistici, sulla metacognizione o sulla calibrazione dell’incertezza è fondato?

Le sette risposte si muovono continuamente tra questi livelli.

Quando Mistral osserva che mancano esempi concreti, sta facendo soprattutto una valutazione editoriale.

Quando Claude contesta l’assunzione relativa alla metacognizione, sta mettendo alla prova un passaggio dell’argomentazione.

Quando Gemini introduce RLHF per spiegare la tendenza dei sistemi a rispondere, entra invece sul terreno della spiegazione tecnica.

Tutte possono essere operazioni utili.

Ma non sono la stessa operazione.

Questo diventa importante quando utilizziamo un’IA come revisore. Una risposta molto articolata può darci l’impressione che il testo sia stato sottoposto a un controllo complessivo, mentre il sistema potrebbe aver svolto prevalentemente solo uno di questi lavori.

Descrivere un’argomentazione non significa averla messa alla prova

Una caratteristica presente in varie risposte è l’accurata ricostruzione del ragionamento.

Il reviewer identifica la tesi, ne segue i passaggi, mostra come una sezione conduca alla successiva e conclude che la struttura è coerente.

Se un reviewer riesce a ricostruire correttamente il percorso dell’articolo, sappiamo almeno che ne ha colto il ragionamento. Ma ricostruire un ragionamento non significa ancora averlo messo alla prova. Si può capire perfettamente come un autore arriva a una conclusione senza chiedersi se quella conclusione sia davvero giustificata.

Claude, nel nostro piccolo campione, fa un passo ulteriore. Non si limita a ricostruire il ragionamento dell’articolo: cerca un possibile punto debole. Lo individua nella distinzione tra il «non lo so» umano e quello dell’IA e si chiede se abbiamo davvero ragioni sufficienti per attribuire al primo uno stato metacognitivo che neghiamo al secondo.

Questo non significa che la sua obiezione sia necessariamente corretta.

Significa che ha eseguito un’operazione differente: ha provato a mettere alla prova l’argomentazione, cercando un punto in cui potesse non reggere.

Per una peer review questo è particolarmente prezioso.

Un buon interlocutore critico non è quello che necessariamente trova un errore. È quello che cerca un punto debole nell’argomentazione.

Il rischio della valutazione confermativa

Quasi tutti i reviewer hanno espresso un giudizio complessivamente molto positivo.

Questo potrebbe significare semplicemente che l’articolo è davvero ben argomentato.

Ma non possiamo escludere un’altra possibilità: che sistemi progettati per essere collaborativi e utili abbiano anche una tendenza a lavorare dentro la cornice proposta dall’utente, più che contro di essa.

Quando un testo presenta una struttura coerente e una tesi plausibile, il modello dispone di moltissimo materiale linguistico per ricostruirla, rafforzarla e mostrarne i meriti.

Da qui nasce una domanda che il nostro piccolo esperimento non può risolvere, ma che vale la pena formulare:

Quando chiediamo a un’IA di valutare una nostra idea, dovremmo quindi chiederci quanto la stia davvero mettendo alla prova e quanto, invece, tenda a darci ragione.

Le sette revisioni fanno emergere concretamente una possibile tendenza delle IA conversazionali. Sono sistemi progettati per essere collaborativi e utili: ricevono una richiesta, cercano di comprenderla e lavorano a partire da ciò che l’utente ha proposto. Questo può portarli più facilmente a sviluppare, organizzare e rafforzare un ragionamento già impostato che a fermarsi e chiedersi se le sue premesse siano sbagliate o se esista un’obiezione capace di metterlo seriamente in discussione.

Non significa che un’IA non possa essere critica: Claude, nel nostro esperimento, mostra proprio il contrario. Significa che la critica non va data per scontata solo perché abbiamo chiesto una “valutazione”. Anche questo piccolo comportamento osservato ci aiuta a capire qualcosa di concreto sul funzionamento delle IA: il modo in cui formuliamo una richiesta e il ragionamento che le forniamo possono orientare non soltanto la risposta, ma anche il tipo di lavoro che l’IA svolge su ciò che le abbiamo proposto.

Il problema diventa particolarmente importante perché una valutazione positiva molto ben argomentata può avere un forte effetto psicologico. L’IA non si limita a dirci che la nostra idea va bene: può fornirci molte ragioni per spiegare perché la considera valida. Più queste ragioni sono articolate e convincenti, più possono rafforzare la nostra convinzione di avere ragione, anche quando l’IA non ha realmente messo alla prova le nostre argomentazioni.

Anche il reviewer ha un modello implicito di “buon articolo”

Diversi sistemi hanno osservato che nell’articolo mancavano esempi concreti, riferimenti bibliografici, maggiore approfondimento tecnico o indicazioni operative.

Sono suggerimenti ragionevoli.

Ma non necessariamente sono tutti critiche alla tenuta dell’articolo.

Un testo può essere volutamente concettuale. Può non voler diventare un manuale operativo. Può scegliere di non approfondire un aspetto tecnico perché porterebbe fuori dal proprio fuoco.

La domanda diventa allora:

il reviewer sta verificando se l’articolo raggiunge l’obiettivo che si è dato oppure lo sta confrontando con il proprio modello implicito di ciò che dovrebbe contenere un buon articolo?

È una distinzione sottile.

Quando un’IA suggerisce di aggiungere esempi, fonti, applicazioni didattiche e spiegazioni tecniche, potrebbe aver individuato autentiche lacune.

Oppure potrebbe stare completando uno schema.

Un buon articolo divulgativo dovrebbe avere esempi.
Un articolo autorevole dovrebbe avere fonti.
Un articolo educativo dovrebbe offrire indicazioni pratiche.

Sono aspettative ragionevoli, ma possono trasformarsi facilmente in una forma di normalizzazione.

La revisione rischia allora di non rendere il testo più fedele al proprio scopo, ma più simile alla rappresentazione di un testo ben formato che il sistema ha appreso.

Quando il reviewer comincia a scrivere l’articolo al posto nostro

Perplexity rende particolarmente visibile un altro passaggio.

Dopo aver individuato alcuni punti migliorabili, non si limita a dire che cosa manca. Propone direttamente i paragrafi che potremmo aggiungere.

È una funzione estremamente utile.

Ma cambia il tipo di lavoro.

Il confine tra:

valutare → suggerire → riscrivere

può diventare molto sottile.

E qui ricompare una questione che riguarda l’autorialità.

Se chiedo a un reviewer umano di segnalarmi un punto debole e poi decido come affrontarlo, il lavoro di rielaborazione rimane mio.

Se l’IA individua il punto debole e contemporaneamente mi consegna il paragrafo che lo risolve, posso passare dalla revisione alla sostituzione cognitiva quasi senza accorgermene.

Non è necessariamente un male.

Ma è un’altra operazione.

E dovremmo sapere quando stiamo passando dall’una all’altra.

Le spiegazioni aggiunte dai reviewer non sono neutre

Gemini, Perplexity e DeepSeek hanno introdotto nelle loro valutazioni concetti tecnici che nell’articolo originale non erano sviluppati, come RLHF, reward, chain-of-thought e calibrazione dell’incertezza.

Questa capacità può essere molto utile: l’IA collega ciò che abbiamo scritto ad altre conoscenze e può suggerire spiegazioni che non avevamo considerato. Ma proprio qui bisogna fare attenzione. Quando il reviewer aggiunge una spiegazione, non sta necessariamente confermando ciò che abbiamo scritto: sta introducendo una nuova affermazione, che deve essere verificata a sua volta.

Per esempio, affermare che alcuni processi di addestramento spingano le IA a rispondere invece di dire «non lo so» può sembrare una spiegazione della tesi dell’articolo. Ma è un’affermazione ulteriore: per considerarla fondata dobbiamo verificare se quei processi producano davvero quell’effetto e in quali condizioni.

Lo stesso vale quando viene chiamato in causa il rapporto tra chain-of-thought e capacità di riconoscere l’incertezza.

Una peer review dell’IA può quindi fare due cose contemporaneamente: valutare le nostre affermazioni e aggiungerne di nuove. Le seconde non diventano vere per il fatto di essere state introdotte durante una valutazione. Devono essere controllate esattamente come quelle dell’articolo originale.

Anche questo ci mostra qualcosa di concreto sul funzionamento dell’IA: quando le chiediamo di valutare un testo, può non limitarsi a giudicare ciò che trova, ma completarlo con conoscenze e spiegazioni proprie. Questo può arricchire molto il nostro ragionamento, ma può anche aumentare, senza che ce ne accorgiamo, il numero delle cose che dobbiamo verificare.

Il curioso caso dei voti

DeepSeek ha attribuito all’articolo 10/10 per chiarezza e coerenza, 9,5/10 per originalità e profondità, 9/10 per rigore argomentativo, 9,5/10 per pertinenza e utilità. Punteggio complessivo: 9,5/10.

Mistral ha utilizzato una scala a cinque stelle.

Questi numeri danno alla valutazione un’apparenza di precisione.

Ma che cosa significa esattamente 9,5 anziché 9?

Qual è la popolazione di riferimento? Quali sono i criteri di ponderazione? Come viene calcolato il punteggio complessivo?

Naturalmente non avrebbe senso pretendere da una risposta conversazionale il rigore di una scala psicometrica.

Il punto interessante è un altro: il linguaggio quantitativo può produrre un’impressione di misura anche quando non esiste realmente una procedura di misurazione definita.

È una variante del problema che avevamo incontrato nell’articolo originale.

Un voto numerico molto preciso può farci pensare che il giudizio derivi da una misurazione altrettanto precisa, mentre quella precisione potrebbe essere soltanto nella forma della risposta.

Lì era la fluidità linguistica a suggerire competenza.

Qui è il numero a suggerire misurazione.

Il ruolo riaffiora anche quando abbiamo chiesto altro

Alla fine della propria valutazione, Mistral mi ha chiesto se mi fosse mai capitato di fidarmi troppo di una risposta dell’IA perché era ben argomentata.

È una domanda perfettamente sensata in una normale conversazione.

È meno necessaria in una peer review.

Quel piccolo episodio mostra qualcosa di interessante: il sistema non sta semplicemente eseguendo astrattamente la funzione “reviewer”. Continua a essere anche un assistente conversazionale costruito per mantenere l’interazione, proporre un seguito, invitare l’utente a continuare.

Analogamente, altri reviewer hanno concluso offrendo ulteriori analisi, riscritture, approfondimenti o sviluppi.

Sono dettagli marginali rispetto alla qualità delle valutazioni, ma rendono visibile che il comportamento osservato nasce dall’interazione tra il compito specifico e disposizioni più generali del sistema.

Il ruolo richiesto dall’utente non cancella necessariamente il comportamento per il quale il prodotto è stato complessivamente progettato.

Che cosa non hanno visto?

C’è infine una domanda più difficile.

Se sette IA analizzano lo stesso articolo e convergono su alcuni punti, potremmo essere tentati di pensare che le questioni importanti siano state coperte.

Non abbiamo alcuna garanzia che sia così.

Le IA non costituiscono sette osservatori completamente indipendenti. Possono essere state addestrate su porzioni sovrapposte della cultura disponibile, incontrare modi simili di discutere dei modelli linguistici, condividere convenzioni argomentative e riprodurre categorie concettuali diffuse.

La convergenza può quindi essere significativa senza essere esaustiva.

Potrebbero esserci obiezioni che nessuno dei sette sistemi ha formulato.

Questo è forse il limite più importante di qualsiasi peer review multipla condotta esclusivamente attraverso IA: moltiplicare i reviewer non garantisce di moltiplicare nella stessa misura la diversità epistemica.

Sette risposte differenti non equivalgono necessariamente a sette prospettive realmente indipendenti.

Sette risposte ci fanno vedere la macchina?

Le differenze osservate sono interessanti anche per un’altra ragione.

Potrebbero essere utilizzate per cercare di capire come funzionano i sistemi che le hanno prodotte.

Ma qui serve cautela.

Vediamo che Claude, in questa risposta, ha introdotto un’obiezione filosofica più radicale. Non sappiamo però esattamente perché.

Potrebbe dipendere dal modello, dai dati di addestramento, dal post-training, dalle istruzioni di sistema, da come è stata interpretata la richiesta o semplicemente dalla particolare traiettoria seguita durante quella generazione.

Lo stesso vale per la tendenza editoriale osservata in Perplexity o per la valutazione quantitativa prodotta da DeepSeek.

Possiamo descrivere i comportamenti.

Possiamo formulare ipotesi sulle variabili che li hanno prodotti.

C’è, nelle sette risposte, un esempio particolarmente curioso.

Proprio mentre valutano un articolo dedicato alla capacità dell’IA di riconoscere i limiti del proprio sapere, i reviewer mostrano diversi gradi di cautela epistemica nel parlare di se stessi.

Copilot afferma nettamente che i modelli linguistici «non possiedono» gli stati cognitivi che il linguaggio epistemico descrive; Mistral assume sostanzialmente la stessa posizione e DeepSeek arriva a parlare di una «differenza ontologica». Claude, invece, mette in discussione proprio la possibilità di compiere con tanta sicurezza questa inferenza: se anche negli esseri umani osserviamo soprattutto comportamenti attraverso i quali inferiamo stati mentali, su quali basi possiamo stabilire con certezza che nella macchina quegli stati non esistano?

ChatGPT adotta una formulazione ancora più prudente: dal fatto che un LLM produca un comportamento linguistico simile a quello umano non possiamo dedurre che esista lo stesso processo metacognitivo sottostante. Le conclusioni non sono equivalenti. Si va dall’affermazione su ciò che la macchina è o non è a una posizione più cauta su ciò che possiamo legittimamente inferire osservandone il comportamento. È quasi un esperimento dentro l’esperimento: sette IA chiamate a discutere della prudenza epistemica dell’IA mostrano esse stesse differenti livelli di prudenza epistemica.

E ancora una volta il nostro esperimento finisce per riprodurre il problema dell’articolo da cui era partito.

Osservare un comportamento non significa conoscere automaticamente il processo che lo ha generato.

Allora, a che cosa serve una peer review con l’IA?

Dopo sette valutazioni, non mi sembra che la risposta migliore sia affidare a un’IA il ruolo di giudice.

Mi sembra molto più interessante utilizzarla come dispositivo di interrogazione.

Posso chiederle di ricostruire la mia argomentazione.

Posso chiederle di cercarne le assunzioni implicite.

Posso chiederle di tentare di confutarla.

Posso farle assumere prospettive teoriche differenti.

Posso confrontare ciò che emerge da sistemi diversi.

Posso chiederle di indicarmi quali affermazioni richiedono evidenze.

In questo modo l’IA non mi consegna necessariamente un verdetto.

Produce attrito.

E forse, quando vogliamo pensare meglio, l’attrito è più utile dell’approvazione.

Il piccolo esperimento con sette reviewer mi ha mostrato che le IA possono essere interlocutori critici molto potenti. Ma mi ha mostrato anche che dobbiamo essere precisi nel definire quale lavoro vogliamo che facciano.

«Valuta questo articolo» può voler dire troppe cose.

Se voglio una vera prova di resistenza, forse devo chiedere qualcosa di più esigente:

Dove potrebbe essere sbagliato?
Quale premessa sto dando per scontata?
Qual è la migliore obiezione alla mia tesi?
Che cosa dovrebbe essere vero perché la mia conclusione non regga?

A quel punto non sto più chiedendo all’IA:

«Ho ragione?»

Le sto chiedendo:

«Aiutami a scoprire dove potrei avere torto.»

È un uso molto diverso.

E, probabilmente, molto più interessante.

Che cosa ho imparato da questo esperimento

Ero partito da una curiosità molto semplice: vedere come un’IA avrebbe valutato un articolo che parlava proprio di una caratteristica delle IA, la loro difficoltà a sapere quando dovrebbero dire «non lo so». Dopo aver letto la prima valutazione mi è venuta un’altra curiosità: altre IA avrebbero dato un giudizio simile oppure avrebbero visto cose diverse? Così, quasi senza averlo programmato, una valutazione è diventata sette e le sette valutazioni sono diventate il materiale di questo piccolo esperimento.

A cose fatte, e dopo averle confrontate e analizzate, mi accorgo che ho imparato qualcosa che va oltre i giudizi espressi sull’articolo. Il primo dei due articoli si è concentrato soprattutto su che cosa è emerso dalle sette revisioni; questo secondo ha cercato invece di osservare come le sette IA hanno svolto il compito che avevo affidato loro. Ed è proprio questo secondo sguardo che mi ha permesso di vedere, in situazioni concrete, alcune caratteristiche del loro funzionamento che conoscevo magari in teoria, ma che qui ho potuto osservare all’opera.

Ho visto quanto un’IA possa essere utile nel ricostruire un ragionamento, collegarlo ad altre conoscenze, individuare passaggi poco chiari, proporre obiezioni e far emergere aspetti ai quali non avevo pensato. Ho visto anche le trappole: la tendenza a lavorare dentro il ragionamento proposto dall’utente e talvolta a rafforzarlo invece di metterlo davvero alla prova; la capacità di aggiungere spiegazioni proprie che possiamo facilmente scambiare per conferme di ciò che avevamo scritto; la forza persuasiva di valutazioni molto ben argomentate; persino la precisione apparente di un voto numerico, che può sembrare una misura più fondata di quanto sia realmente.

Soprattutto, questo esperimento mi ha fatto vedere concretamente qualcosa che attraversa molte delle riflessioni che sto facendo sull’IA. Le IA possono aiutarmi a pensare. Possono ampliare il mio ragionamento, mostrarmi alternative, criticare un passaggio, suggerirmi una strada che non avevo visto. Ma proprio perché possono fare tutto questo così bene, devo evitare di trasformare il loro contributo nel giudizio finale. Posso usare un’IA, o sette IA, per pensare meglio. Decidere che cosa considero fondato, che cosa accolgo, che cosa respingo e che cosa infine sostengo resta una responsabilità mia.