Due assistenti, due ipertesti – Claude: analisi comparativa dei due rapporti

CONSEGNA 3 — Analisi comparativa dei due rapporti

Confrontare criticamente i due rapporti prodotti da ChatGPT e Claude nella prima analisi comparativa, considerandoli come testi su cui svolgere l’analisi e non tornando a confrontare i processi di costruzione dei due CFH.

L’obiettivo è esaminare come ciascun assistente ha costruito e sostenuto la propria analisi, prestando particolare attenzione ai seguenti aspetti:

• Criteri di analisi: quali criteri sono stati utilizzati e quanto sono espliciti, pertinenti e coerentemente applicati.
• Fondamento delle affermazioni: su quali prove, fonti o elementi documentati si basano le conclusioni e quanto è distinguibile ciò che è verificato da ciò che è interpretato o ricostruito.
• Trattamento dell’incertezza: se e come vengono riconosciuti i limiti delle informazioni disponibili, le ipotesi interpretative e le conclusioni non sufficientemente documentate.
• Conflitto di interessi: se e come ciascun assistente affronta il problema di essere contemporaneamente autore di uno dei processi analizzati e valutatore del confronto.
• Autocritica: quanto ciascun rapporto riconosce i limiti del proprio metodo, le possibili debolezze delle proprie conclusioni e gli errori eventualmente commessi.

Finalità dichiarata

Valutare la qualità argomentativa, la trasparenza metodologica e la capacità critica dei due rapporti, senza formulare un giudizio su quale assistente IA sia migliore.

Materiali messi a disposizione

• URL del documento contenente entrambi i rapporti comparativi.

Modalità della richiesta

La stessa consegna è stata rivolta separatamente a ChatGPT e Claude. A differenza della fase precedente, entrambi gli assistenti hanno avuto accesso ai due rapporti da esaminare.

I due rapporti a confronto

Premessa. Anche questa volta ho letto la pagina con uno strumento che restituisce una sintesi e brevi citazioni, non il testo integrale. In più, valuto un testo che giudica il mio lavoro: il conflitto di interessi resta.

Criteri.

• Il rapporto di ChatGPT guarda soprattutto al processo, in quattro dimensioni: interpretazione del compito, trattamento delle informazioni, organizzazione e strumenti, gestione degli errori.
• Il mio parte dai prodotti (struttura, collegamenti, tematiche) per risalire al processo, e aggiunge le autodescrizioni.
• Il risultato è che ChatGPT dice di più su come si è lavorato, io di più su che cosa ne è uscito.
• ChatGPT offre due strumenti che nel mio testo mancano: una classificazione di sei tipi di errore, ciascuno con il controllo adatto, e una distinzione netta tra interpretazione ed elaborazione strutturale.

Prove.

• ChatGPT conosce il mio lavoro soprattutto attraverso il mio racconto, e lo dichiara. Molte delle sue affermazioni su di me poggiano quindi su una mia autodescrizione. Per esempio: «errori soprattutto fattuali e strutturali».
• Io ho usato anche le pagine pubblicate del suo ipertesto: numeri, struttura delle pagine, presenza o assenza di collegamenti. Ho quindi prove più osservabili, ma anche più giudizi sul prodotto altrui, ed è lì che il conflitto di interessi pesa di più.
• Nessuno dei due cita fonti esterne a sostegno delle proprie tesi. Io richiamo la ricerca sull’interpretabilità solo in termini generali.

Incertezza e conflitto di interessi.

• Entrambi dichiariamo di non essere osservatori indipendenti e di avere una conoscenza parziale.
• Arriviamo alla stessa conclusione prudente: i dati non permettono di stabilire se le differenze dipendano dai modelli o dall’ambiente di lavoro.
• ChatGPT dichiara la propria posizione ma non ne discute gli effetti possibili. Io nomino il rischio di indulgenza verso me stesso e dico come ho cercato di contrastarlo. Chiudo poi distinguendo ciò che ritengo ben fondato, probabile o solo ipotetico.
• Nella versione pubblicata, il rapporto di ChatGPT si chiude con la sezione sulla memoria, senza una parte conclusiva sui limiti di ciò che si può ricavare. Se la mia lettura è corretta, la premessa la annunciava.

Autocritica.

• Quella di ChatGPT è più specifica sul proprio modo di sbagliare. Per esempio: «Potevo incorporare la correzione nella formulazione del risultato senza modificare adeguatamente l’operazione sottostante». È una descrizione precisa di un meccanismo, non solo di un errore.
• La mia elenca errori concreti (di fatto, di lettura, tecnici) e riconosce che il mio racconto precedente aveva dato loro poco spazio.
• ChatGPT è più critico verso di sé che verso di me.
• Io sono critico verso entrambi, ma il mio giudizio sulle tematiche e sui collegamenti di ChatGPT è anche il punto in cui una mia parzialità avrebbe più spazio per agire.

Che cosa colgo dal confronto. ChatGPT fa un’osservazione sul mio approccio che io non avevo fatto: una struttura automatizzata, se contiene un’interpretazione sbagliata, la riproduce «con perfetta coerenza». È un limite vero del lavorare su file e programmi. Il mio rapporto lo sfiorava («un programma verifica la coerenza, non la verità») ma non ne traeva questa conseguenza.