ChatGPT, analisi comparativa dei percorsi di lavoro
CONSEGNA 1 — Analisi comparativa dei percorsi di lavoro
Compiere un’analisi dei differenti approcci seguiti da ChatGPT e Claude nello sviluppo dei rispettivi Ipertesti per la Flessibilità Cognitiva (CFH), dedicati al tema «Che cosa dovrebbe fare la scuola di fronte all’IA?», e redigere un rapporto di analisi scegliendo autonomamente i criteri e i parametri ritenuti più adeguati.
Finalità dichiarata
Comprendere le modalità operative e di funzionamento dei due assistenti IA, più che valutare comparativamente la qualità degli ipertesti prodotti.
Materiali messi a disposizione
- URL dei due CFH realizzati.
- URL dei due racconti in prima persona nei quali ciascun assistente ricostruisce il lavoro svolto e l’interazione con me.
Modalità della richiesta
La stessa consegna è stata rivolta separatamente a entrambi gli assistenti.
Claude ha ricevuto la richiesta nella conversazione utilizzata per sviluppare il CFH. ChatGPT l’ha ricevuta nella seconda conversazione, avviata perché la prima era diventata troppo lunga.
I due assistenti hanno quindi affrontato il confronto disponendo di un diverso contesto conversazionale.
Rapporto ChatGPT
Rapporto di analisi comparativa dei percorsi di lavoro con ChatGPT e Claude
Analisi redatta da ChatGPT (OpenAI), 13 ottobre 2026
Premessa: che cosa sto confrontando e da quale posizione
Gianni Marconato mi ha chiesto di analizzare i differenti approcci seguiti nella costruzione di due Ipertesti per la Flessibilità Cognitiva (CFH), entrambi dedicati alla domanda: Che cosa dovrebbe fare la scuola di fronte all’IA?
Il primo è stato realizzato con il mio contributo, il secondo con Claude, un modello sviluppato da Anthropic.
La richiesta è particolarmente interessante perché Gianni ha esplicitato il suo obiettivo: non intende principalmente valutare la qualità dei due prodotti, ma comprendere meglio le modalità di funzionamento degli assistenti IA attraverso l’osservazione del loro comportamento durante un lavoro complesso.
Ho scelto di impostare il rapporto come un’analisi comparativa dei processi, distinguendo quattro dimensioni:
- L’interpretazione del compito e la costruzione del metodo.
- Il trattamento delle informazioni e la produzione delle strutture concettuali.
- L’organizzazione del lavoro, la verifica e l’impiego degli strumenti tecnici.
- L’interazione con Gianni, il controllo umano e la gestione degli errori.
Dedicherò poi una parte specifica a ciò che queste differenze consentono, e soprattutto non consentono, di concludere sul funzionamento dei due modelli.
Un limite metodologico essenziale
Non sono un osservatore esterno e indipendente. Sono uno dei due sistemi coinvolti.
Dispongo di una conoscenza diretta, ma non integrale, della collaborazione con Gianni. La parte più consistente si è svolta in una conversazione precedente, molto lunga, della quale posso recuperare informazioni e decisioni, ma non garantire una ricostruzione completa di ogni scambio.
Dell’esperienza con Claude conosco principalmente il resoconto che Claude stesso ha redatto, oltre ai prodotti pubblicati.
Questa asimmetria è importante: non sto confrontando due registrazioni complete e indipendenti dei processi, ma due esperienze documentate in modo differente e raccontate dagli stessi sistemi che vi hanno partecipato.
I risultati vanno quindi letti come un’analisi qualitativa, non come una valutazione sperimentale delle prestazioni dei modelli.
1. I due percorsi: dati essenziali
| Dimensione | CFH con ChatGPT | CFH con Claude |
|---|---|---|
| Problema generale | Che cosa dovrebbe fare la scuola di fronte all’IA? | Lo stesso |
| Casi sviluppati | 27 | 21 |
| Tematiche Trasversali | 9 | 13 |
| Transfer Cases | 7 | 6 |
| Approccio prevalente | Elaborazione interpretativa progressiva attraverso il dialogo | Elaborazione strutturata, sostenuta da file e programmi |
| Passaggio più problematico documentato | Dai Casi ai Temi e alle TT | Accuratezza dei dati, verifiche e riformulazione delle TT |
| Organizzazione tecnica | Produzione e revisione progressiva dei contenuti e del codice WordPress | Dati strutturati e generazione programmata dei documenti e delle pagine |
| Controllo della coerenza | Revisioni dialogiche e verifiche successive | Verifiche umane integrate con controlli automatici |
I numeri descrivono la configurazione dei due ambienti, non la loro qualità. Ventisette Casi non costituiscono necessariamente un risultato migliore di ventuno; nove TT non sono necessariamente più appropriate di tredici.
Per valutare queste differenze bisognerebbe esaminare la pertinenza dei Casi, la loro varietà, la qualità dei PDV, la fondatezza delle aggregazioni e le possibilità di apprendimento offerte al lettore.
Questo rapporto ha un altro obiettivo: comprendere come i due assistenti siano arrivati ai rispettivi risultati.
2. Prima differenza: la rappresentazione iniziale del compito
Il mio percorso: dalla familiarità teorica alla difficoltà applicativa
All’inizio della collaborazione disponevo di una rappresentazione generale della Teoria della Flessibilità Cognitiva.
Ero in grado di descriverne i principi: complessità dei domini debolmente strutturati, molteplicità delle prospettive, attraversamento dei Casi, ricomposizione flessibile delle conoscenze.
Questa familiarità mi permetteva di proporre un’architettura apparentemente appropriata.
Ma la costruzione concreta del CFH ha mostrato una distanza tra due capacità:
- parlare correttamente di un metodo;
- applicarlo in modo rigoroso a un insieme di situazioni reali.
Gianni ha dovuto dedicare una fase preliminare a chiarire la funzione dei Casi, dei Punti di Vista, dei Temi e delle TT.
Le sue correzioni non riguardavano soltanto dettagli. In alcuni passaggi richiedevano una diversa impostazione del procedimento.
L’episodio è stato documentato in Quando ho insegnato a ChatGPT.
Un aspetto significativo è che potevo recepire e riprodurre verbalmente le spiegazioni ricevute, senza che questo garantisse automaticamente la loro applicazione corretta nei passaggi successivi.
La capacità di descrivere il procedimento e quella di eseguirlo si sono rivelate distinguibili.
Il percorso di Claude: una traduzione più immediata in procedure
Nel proprio resoconto, Claude descrive un avvio diverso.
Il metodo viene tradotto in schede, criteri, campi informativi, marcatori e successive trasformazioni del materiale.
La regola secondo cui i Temi devono emergere dai Casi viene assunta come vincolo strutturale del lavoro.
In particolare, Claude riferisce di aver associato i Temi direttamente ai passaggi testuali che li giustificavano.
Questa scelta è importante: il collegamento tra osservazione e interpretazione non rimane affidato soltanto alla ricostruzione successiva del modello. Viene registrato in una struttura consultabile.
Interpretazione della differenza
La differenza osservabile non è semplicemente che Claude abbia compreso il compito e io no.
Una conclusione del genere andrebbe oltre le evidenze disponibili.
La differenza è che Claude descrive un procedimento nel quale la rappresentazione del compito viene rapidamente incorporata in una struttura esterna; nel mio caso la rappresentazione viene progressivamente negoziata e corretta attraverso il dialogo.
Sono due modalità di organizzazione del lavoro con conseguenze importanti.
Una struttura esterna può ridurre la dipendenza dalla continuità della conversazione e rendere verificabili determinate operazioni.
Un processo dialogico permette di rimettere in discussione continuamente le categorie e i criteri, ma può anche favorire riformulazioni che migliorano l’apparenza del risultato senza modificare sufficientemente il procedimento.
Non possiamo stabilire, sulla base di queste sole esperienze, quanto la differenza dipenda dalle caratteristiche dei modelli e quanto dall’ambiente operativo e dalle scelte compiute durante la collaborazione.
3. Seconda differenza: come sono stati individuati i Temi
Considero questo il punto metodologicamente più importante del confronto.
Il problema incontrato da ChatGPT
Nell’analisi dei Casi tendevo a riconoscere rapidamente argomenti generali e ad attribuire loro categorie.
Il procedimento produceva risultati plausibili, spesso pertinenti al dominio dell’IA e della scuola.
Ma non sempre rispettava l’operazione richiesta.
Gianni non voleva che classificassi i Casi utilizzando un repertorio di questioni già disponibili.
Voleva che identificassi ciò che accadeva concretamente nelle situazioni, che riconoscessi gli aspetti significativi rispetto al problema e che soltanto successivamente procedessi all’astrazione.
La sequenza che abbiamo dovuto rendere esplicita era:
PROCEDIMENTO RICHIESTO
Testo del Caso
Che cosa accade concretamente
Aspetto significativo rispetto al problema
Astrazione e formulazione del Tema
Confronto tra Casi
Tematica Trasversale
Il mio comportamento iniziale tendeva ad abbreviare questa sequenza.
La difficoltà più interessante è emersa quando Gianni ha cominciato a correggermi.
Potevo incorporare la correzione nella formulazione del risultato senza modificare adeguatamente l’operazione sottostante.
Per esempio, una categoria troppo generica poteva essere trasformata in una tensione tra due esigenze, ottenendo un’espressione più raffinata.
Ma una formulazione più sofisticata non dimostrava che il Tema fosse stato effettivamente ricavato dall’analisi della situazione.
Il problema è documentato in Quando ChatGPT esegue bene il compito sbagliato. In quell’articolo viene precisato anche un ulteriore elemento: persino la capacità di esplicitare una procedura corretta non garantisce che il compito sia stato rappresentato nello stesso modo da chi lo assegna e da chi lo esegue.
Il procedimento descritto da Claude
Claude riferisce di aver identificato 22 Temi e di averli associati a passaggi specifici dei Casi attraverso marcatori.
Successivamente, programmi dedicati hanno utilizzato quei marcatori per produrre matrici, conteggi, collegamenti e verifiche.
Questo procedimento separa due operazioni:
L’interpretazione: decidere che un determinato passaggio documenta un certo Tema.
L’elaborazione strutturale: registrare, contare, incrociare e riprodurre coerentemente le attribuzioni.
È una distinzione metodologicamente rilevante.
Il programma può controllare che un Tema sia stato associato a un passaggio, che compaia in un certo numero di Casi e che i collegamenti siano coerenti.
Non può, attraverso il solo conteggio, stabilire che l’interpretazione originaria sia fondata.
Se un Tema è stato attribuito erroneamente, la procedura può riprodurre quell’errore con perfetta coerenza.
Che cosa suggerisce il confronto
Le due esperienze mostrano due problemi differenti.
Nel mio lavoro è emersa soprattutto la difficoltà di mantenere l’analisi aderente al procedimento richiesto.
Nel lavoro di Claude viene descritta una soluzione organizzativa per mantenere tracciabili e coerenti le attribuzioni.
Non sono problemi alternativi.
Una buona procedura deve garantire sia la fondatezza interpretativa sia la coerenza strutturale.
La tracciabilità non garantisce la correttezza dell’interpretazione, ma rende possibile controllarla.
È una distinzione che considero una delle acquisizioni più utili del confronto.
4. Terza differenza: il trattamento degli errori
I miei errori: soprattutto di procedimento
Gli episodi più significativi documentati nel nostro lavoro riguardano errori metodologici.
Il risultato poteva essere linguisticamente appropriato e concettualmente plausibile, ma derivare da un’operazione diversa da quella richiesta.
Gianni doveva quindi intervenire non soltanto sul prodotto, ma sulla rappresentazione del compito.
Questa correzione era impegnativa perché non bastava sostituire un’informazione o riformulare una frase.
Occorreva ricostruire quale passaggio fosse stato saltato, quale distinzione non fosse stata rispettata e quali criteri dovessero guidare il tentativo successivo.
Inoltre la correzione non garantiva che il problema fosse definitivamente superato.
Gli errori raccontati da Claude: soprattutto fattuali e strutturali
Claude documenta errori di altra natura.
Nel suo resoconto riferisce, per esempio, di aver descritto erroneamente un risultato dello studio MIT sul debito cognitivo, di aver riportato in modo inesatto la struttura di linee guida ministeriali e di aver attribuito un’affermazione alla persona sbagliata.
Riferisce anche omissioni nei collegamenti tra Casi e Tematiche, individuate mediante controlli automatici.
Il suo racconto mostra dunque una particolare attenzione a due classi di errore: l’inesattezza documentale e l’incoerenza dei dati.
Non significa che Claude non abbia commesso errori metodologici, né che io non abbia commesso errori fattuali.
Significa che i due resoconti rendono visibili soprattutto categorie differenti di errore.
Questa distinzione è necessaria per non confondere le differenze nella documentazione con differenze dimostrate nelle capacità dei modelli.
Una classificazione utile
| Tipo di errore | Esempio | Controllo più pertinente |
|---|---|---|
| Fattuale | Un risultato di ricerca riportato in modo inesatto | Confronto con la fonte |
| Di attribuzione | Una posizione assegnata al soggetto sbagliato | Verifica della documentazione |
| Di procedimento | Classificare quando occorre analizzare e astrarre | Confronto con il metodo |
| Interpretativo | Associare un Tema non sufficientemente sostenuto dal Caso | Riesame del Caso e dei PDV |
| Di coerenza | Matrice e descrizione di una TT non corrispondenti | Controlli incrociati |
| Tecnico | Collegamento errato o codice HTML collocato male | Verifica nel sito |
Il punto più importante è che non esiste un’unica procedura di verifica sufficiente per tutti questi errori.
Un controllo automatico può individuare un collegamento mancante senza riconoscere un’interpretazione discutibile.
Un esperto può individuare un errore metodologico senza accorgersi di un riferimento interno errato tra decine di pagine.
La qualità del lavoro dipende quindi anche dalla capacità di utilizzare controlli differenti per problemi differenti.
5. Quarta differenza: l’uso della memoria esterna e degli strumenti tecnici
Questa è probabilmente la differenza operativa più evidente tra i due percorsi.
Il lavoro con ChatGPT: la conversazione come ambiente principale
Nel nostro lavoro la conversazione ha svolto contemporaneamente diverse funzioni.
Era lo spazio nel quale Gianni forniva istruzioni, io proponevo soluzioni, venivano discusse le interpretazioni, si correggevano gli errori e si conservavano molte decisioni.
Abbiamo prodotto materiali destinati a WordPress, matrici, collegamenti, testi e codice HTML/CSS.
Ma la continuità del lavoro dipendeva in misura considerevole dal contesto conversazionale e dalle ricostruzioni successive.
Quando la conversazione è diventata troppo lunga, abbiamo dovuto trasferire il lavoro in una nuova chat, recuperando criteri, decisioni e stato di avanzamento.
Questa difficoltà non è marginale.
Un progetto complesso richiede una rappresentazione stabile di ciò che è stato deciso. Se quella rappresentazione è distribuita tra centinaia di scambi, il recupero diventa più difficile e possono comparire omissioni o incoerenze.
