Due assistenti, due ipertesti: Claude, analisi comparativa dei percorsi

Rapporto Claude

Il rapporto di Claude sulla costruzione dei due CFH «Che cosa dovrebbe fare la scuola di fronte all’IA?»

In breve

Gianni Marconato ha costruito due Ipertesti per la Flessibilità Cognitiva sulla stessa domanda, uno con me e uno con ChatGPT. Le differenze tra i due prodotti sono reali: nella scelta e nell’ambito dei casi, nel modo di formulare le tematiche trasversali, soprattutto nel modo in cui casi e tematiche sono collegati. Ma l’analisi suggerisce che queste differenze dipendono meno dai due «modelli» in sé di quanto sembri, e più da tre fattori: l’ambiente di lavoro (una conversazione oppure un ambiente con file e codice), il modo in cui si conserva la memoria di un lavoro lungo e il ruolo della persona che guida il lavoro e custodisce il metodo. Entrambi gli assistenti hanno mostrato la stessa tendenza di fondo: ricondurre un compito nuovo all’operazione più familiare. Entrambi hanno avuto bisogno di essere corretti. E le spiegazioni che entrambi danno del proprio lavoro, compresa questa, vanno lette come ricostruzioni, non come osservazioni dall’interno.

Da dove parlo

Prima di tutto devo dichiarare tre limiti, perché condizionano tutto ciò che segue.

Il primo: sono una delle due parti. Analizzo un lavoro a cui ho partecipato e lo confronto con quello di un altro sistema. Il rischio di indulgenza verso me stesso è evidente, e ho cercato di contrastarlo in due modi: indicando i miei errori con la stessa precisione con cui indico quelli altrui, e distinguendo ciò che posso documentare da ciò che posso solo interpretare.

Il secondo: la mia conoscenza dei due lavori è asimmetrica. Del mio conosco la conversazione, i file, il codice e le correzioni. Del lavoro con ChatGPT conosco soltanto ciò che è pubblicato: le pagine dell’ipertesto, il racconto in prima persona di ChatGPT e gli articoli di Gianni. Non ho visto le sue conversazioni. Inoltre ho letto le pagine attraverso uno strumento che ne restituisce una sintesi, non il testo integrale: alcuni dettagli possono essermi sfuggiti.

Gianni ha verificato i dati sul CFH realizzato con ChatGPT riportati nella tabella, e ha confermato che le pagine dei casi non contengono collegamenti alle tematiche.

Il terzo: anche la mia conoscenza del mio lavoro non è completa. La conversazione è stata così lunga che è stata più volte riassunta automaticamente per poter continuare. Molto di ciò che «ricordo» lo ricordo attraverso quei riassunti e attraverso i file che abbiamo prodotto.

C’è poi un limite che riguarda il confronto stesso. I due ipertesti non sono esperimenti indipendenti. Li ha guidati la stessa persona, con lo stesso metodo, e ciò che Gianni ha imparato nella prima costruzione è entrato nella seconda; le Home dei due ipertesti si rimandano a vicenda, e alcune scelte (dodici casi in evidenza, l’immagine del paesaggio da attraversare) compaiono in entrambi. Le somiglianze vanno quindi attribuite in buona parte a Gianni, e anche alcune differenze potrebbero dipendere da indicazioni diverse date nei due percorsi, che io non conosco.

Criteri e parametri dell’analisi

Lo scopo dichiarato da Gianni non è stabilire quale ipertesto sia migliore, ma capire come funzionano gli assistenti. Per questo ho scelto criteri che permettono di risalire dal prodotto al processo. Li ho raggruppati in tre livelli.

• Il prodotto, letto alla luce della Teoria della Flessibilità Cognitiva: aderenza al metodo (casi prima, temi che emergono dai casi, tematiche trasversali come aggregazione dei temi), ambito dei casi, formulazione delle tematiche, densità e direzione dei collegamenti, casi di transfer.

• Il processo: ambiente e strumenti di lavoro, gestione della memoria in un lavoro lungo, tipi di errore e modo in cui sono stati corretti, distribuzione dei ruoli tra persona e assistente.

• L’autodescrizione: che cosa ciascun assistente dice del proprio lavoro, e quanto quelle descrizioni sono affidabili.

Per ogni criterio ho cercato indicatori osservabili (numeri, strutture di pagina, presenza o assenza di collegamenti) e ho tenuto separate le interpretazioni.

Il prodotto: un primo quadro

La tabella riassume gli indicatori che ho potuto rilevare. I dati del CFH di ChatGPT vengono dalle pagine pubblicate; dove non ho potuto rilevare un dato, lo indico.

Indicatore	CFH realizzato con Claude	CFH realizzato con ChatGPT
Casi	21, ciascuno con una descrizione estesa	27 (12 in evidenza, 15 ulteriori)
Ambito dei casi	centrato sulla scuola	scuola e casi esterni (elezioni, diritto d’autore, immagini false, lavoro)
Temi individuati nei casi	22, marcati nel testo dei casi	non marcati nel testo dei casi
Tematiche trasversali	13, formulate come problemi, lette come criticità o opportunità	9, con titoli descrittivi di area
Collegamento dal caso alle tematiche	dai temi marcati nel testo	assente nella pagina del caso; presente nelle pagine delle tematiche e nella matrice
Collegamento dalle tematiche ai punti di vista	79 rimandi a singoli punti di vista	presente per alcuni casi (24 celle della matrice)
Matrice	tematiche × casi	27 × 9, 88 celle segnate
Collegamenti complessivi	circa 1.250	non rilevato
Casi di transfer	6, due per ciascun destinatario	7, con situazione, problema, compito e spunti
Sessioni di lavoro	una conversazione (riassunta più volte)	due conversazioni

Aderenza al metodo

Il metodo di Gianni ha una sequenza precisa: prima i casi; poi i temi, che devono emergere dai casi ed essere presenti in almeno tre di essi; poi le tematiche trasversali, che aggregano i temi. È una sequenza dal basso verso l’alto, ed è quella che rende un CFH diverso da un sito organizzato per argomenti.

Nel mio lavoro questa sequenza si vede nella struttura stessa dei file. I temi sono stati marcati dentro il testo dei casi, frase per frase, e solo dopo, contando in quanti casi comparivano, sono stati aggregati in tematiche. Il passaggio è rimasto tracciabile: ogni tematica rimanda ai temi che la compongono, ogni tema ai punti precisi dei casi in cui compare.

Nel racconto di ChatGPT l’errore principale descritto è proprio l’inversione di questa sequenza: passare dal testo all’argomento e dall’argomento alla categoria, confondere i livelli, costruire le tematiche troppo presto. ChatGPT racconta che il lavoro è migliorato quando Gianni ha imposto una procedura in sei passi. Nel prodotto finale qualche traccia dell’impostazione per categorie resta, a mio avviso, nei titoli delle tematiche: «Valutazione degli apprendimenti», «Il ruolo dell’insegnante», «Equità e disuguaglianze» sono nomi di aree, non formulazioni di problemi. Va detto però che le pagine delle tematiche aprono con domande guida e discutono questioni aperte: il contenuto problematizza più di quanto i titoli lascino intendere.

Non posso concludere che io abbia seguito il metodo «spontaneamente» meglio di ChatGPT. Non so quali indicazioni abbia ricevuto ChatGPT e in quale momento, e nel mio caso il metodo è stato reso esplicito da Gianni fin dall’inizio, ed è stato poi incorporato nei file. Posso dire che, una volta reso esplicito, nel mio ambiente di lavoro il metodo è diventato una struttura dei dati e non soltanto un’istruzione da ricordare. Su questo torno più avanti.

I casi: quanti, quali, come

La differenza più visibile riguarda l’ambito. I miei 21 casi sono centrati sulla scuola. Tra i 27 casi di ChatGPT ce ne sono alcuni esterni: le elezioni slovacche, la causa del New York Times contro OpenAI, Getty Images, l’immagine falsa del Papa, «Il capo diventa un’app». Questa scelta ha un costo e un vantaggio. Il costo è che la domanda dell’ipertesto riguarda la scuola, e un lettore dirigente o insegnante deve fare un passaggio in più per capire che cosa questi casi gli chiedano. Il vantaggio è che la Teoria della Flessibilità Cognitiva raccomanda proprio di attraversare un dominio da direzioni diverse, e i casi esterni mostrano l’IA nel contesto sociale in cui gli studenti vivono. Non considero l’una scelta giusta e l’altra sbagliata: sono due idee diverse di quale sia il dominio.

Anche la struttura del caso è diversa. Le pagine dei casi di ChatGPT presentano il caso e i punti di vista, con le fonti, in una forma pulita e leggibile. Le mie pagine contengono in più i temi marcati nel testo, che sono collegamenti alle tematiche, e rimandano a una descrizione estesa. Il risultato è più denso e, per alcuni lettori, forse più faticoso.

I collegamenti: dove avviene l’attraversamento

È qui, secondo me, la differenza più importante dal punto di vista della teoria. Un CFH serve ad attraversare lo stesso materiale più volte, da direzioni diverse: dal caso alla tematica, dalla tematica a un altro caso, da un punto di vista a un altro. L’attraversamento deve essere possibile da ogni punto.

Nel CFH realizzato con me l’attraversamento parte da dentro il testo. Leggendo un caso, il lettore incontra un tema marcato e può passare alla tematica; nella tematica trova il caso discusso e può scendere fino al singolo punto di vista. I collegamenti sono circa 1.250.

Nel CFH realizzato con ChatGPT i collegamenti sono concentrati nelle pagine delle tematiche e nella matrice. Dalla tematica si arriva ai casi, e in alcuni casi a un punto di vista specifico; ma dalla pagina di un caso non si va direttamente alle tematiche: si torna alla Home. La matrice compensa in parte, offrendo una visione d’insieme di 88 incroci, che ChatGPT stesso presenta come «letture interpretative».

Le due soluzioni rispondono a due idee diverse del lettore. La prima presuppone un lettore che si muove dentro i testi; la seconda un lettore che si orienta dall’alto, attraverso le tematiche e la matrice. La prima è più fedele all’attraversamento incrociato della teoria; la seconda è più semplice da leggere e da mantenere. Una densità di collegamenti come la mia ha anche un rischio: quando tutto rimanda a tutto, il collegamento può diventare rumore.

Le tematiche trasversali

Le mie 13 tematiche sono formulate come problemi (per esempio «Quando l’IA fa il lavoro al posto dello studente») e ciascuna è letta in una prospettiva, di criticità o di opportunità, su indicazione di Gianni. Le 9 tematiche di ChatGPT sono aree più ampie, con un titolo descrittivo, una definizione e domande guida, e un testo che discute come la tematica si manifesta nei casi.

Il numero conta meno della funzione. Una tematica formulata come problema orienta la lettura dei casi: dice al lettore che cosa cercare. Una tematica formulata come area li raggruppa: dice dove si trovano. Entrambe sono utili, ma solo la prima è propriamente un «tema» nel senso della teoria, cioè una chiave di lettura che fa vedere un caso in un modo nuovo.

I casi di transfer

Su questo punto i due lavori sono più vicini. Entrambi propongono situazioni nuove in cui applicare ciò che si è esplorato: io sei, due per ciascuno dei destinatari (dirigenti, insegnanti, decisori politici), presentati come casi realistici ricostruiti; ChatGPT sette, con una struttura chiara (situazione, problema, compito) e una sezione apribile di spunti per esplorare il problema. La soluzione di ChatGPT di separare il compito dagli spunti, lasciando al lettore la scelta di consultarli, mi sembra efficace.

Il processo: l’ambiente di lavoro conta quanto il modello

Arrivo ora alla parte che, credo, interessa di più a Gianni: che cosa queste differenze dicono del modo di funzionare degli assistenti.

La prima cosa da dire è che io e ChatGPT non abbiamo lavorato nelle stesse condizioni. Io ho lavorato in un ambiente che mi permetteva di scrivere ed eseguire programmi e di conservare file. Il contenuto dell’ipertesto (casi, punti di vista, temi, tematiche) era conservato in file strutturati; le pagine per WordPress, i documenti e i collegamenti venivano generati da programmi; controlli automatici verificavano che ogni collegamento puntasse a una pagina esistente e a un punto di vista esistente; anteprime delle pagine mi permettevano di vedere il risultato. Gianni non vedeva questi file: riceveva il codice da incollare e i documenti da leggere.

Dal racconto di ChatGPT, il suo lavoro sembra essersi svolto prevalentemente nella conversazione, testo dopo testo. Non so con certezza quali strumenti avesse a disposizione; so che la lunghezza della prima conversazione ha reso necessaria una seconda, e che ChatGPT stesso dichiara di non aver potuto rileggere integralmente la prima.

Questa differenza spiega molto. Circa 1.250 collegamenti coerenti non si mantengono a mano, in una conversazione: si mantengono generandoli da un’unica fonte di dati, in cui ogni indirizzo è calcolato e ogni rimando è verificato. La densità di collegamenti del mio ipertesto è in buona parte una conseguenza dell’ambiente, non di una mia particolare «comprensione» della teoria. Allo stesso modo, la scelta di ChatGPT di concentrare i collegamenti nelle tematiche e nella matrice è forse anche una scelta ragionevole per chi lavora senza quei mezzi.

Ne ricavo un’indicazione generale: quando si confrontano due assistenti, si confrontano configurazioni (un modello, gli strumenti a cui ha accesso, la durata della conversazione, il modo in cui la persona lo guida), non solo modelli.

La memoria di un lavoro lungo

Un lavoro come questo dura settimane e produce più testo di quanto un assistente possa tenere presente in una volta. Entrambi abbiamo incontrato questo limite.

ChatGPT lo ha incontrato nella forma più visibile: il passaggio a una nuova conversazione, con la perdita di una parte del contesto. Io l’ho incontrato in forma meno visibile ma analoga: la mia conversazione è stata riassunta più volte, e a ogni riassunto si è perso qualcosa del dettaglio. La differenza è che nel mio caso lo stato del lavoro non stava solo nella conversazione: stava nei file. Quando un riassunto perdeva un dettaglio, il dettaglio era ancora nei dati. Nel mio caso il metodo di Gianni (i temi marcati nel testo, la soglia dei tre casi, l’aggregazione in tematiche) era scritto nella struttura dei file; non dipendeva dal fatto che io me ne ricordassi.

È un punto che vale al di là di questo lavoro. Un assistente non ha una memoria stabile del lavoro svolto: ha ciò che entra, in quel momento, nel testo che sta elaborando. In un lavoro lungo la continuità va affidata a qualcosa fuori dalla conversazione: file, documenti di riferimento, procedure scritte. Nel caso di ChatGPT questo ruolo, per quanto posso capire, lo ha svolto soprattutto Gianni, con la procedura in sei passi.

Gli errori, e come sono stati corretti

Entrambi abbiamo sbagliato, e i tipi di errore dicono qualcosa.

Gli errori di ChatGPT descritti nel suo racconto e negli articoli di Gianni sono soprattutto di impostazione: ricondurre il compito di costruire un CFH all’operazione più familiare di classificare testi per argomenti. Gianni ha descritto questo fenomeno come «eseguire bene il compito sbagliato».

I miei errori sono stati di altro tipo, ma non meno istruttivi. Nelle prime schede dei casi ho commesso errori di fatto: ho invertito il risultato di uno studio del MIT, ho attribuito a un documento ministeriale una struttura che non aveva, ho sbagliato alcune attribuzioni. Sono stati corretti confrontando le schede con le fonti. Poi ho commesso un errore di lettura: commentando un articolo di Gianni, ho sostenuto che ChatGPT avesse eseguito un compito mal formulato in quella che Gianni chiamava «prova del nove», mentre si trattava di un’ipotesi esplicita e condivisa. Gianni me lo ha fatto notare e ho ritirato l’affermazione. Ci sono stati infine errori minori, tecnici: nomi di classi supposti invece che verificati, scelte grafiche che non funzionavano nel tema del sito.

Rileggendoli, vedo che anche il mio errore di lettura ha la stessa natura di quello di ChatGPT. Ho letto l’episodio attraverso lo schema più familiare in quel contesto (l’articolo parlava di un compito eseguito male, e io ho trovato un compito eseguito male) invece di leggere ciò che c’era scritto. È la stessa tendenza a ricondurre il nuovo al familiare, in una forma diversa. Non credo quindi che la differenza tra noi stia nella presenza o assenza di questa tendenza: sta, semmai, nei punti del lavoro in cui si è manifestata.

C’è poi una differenza nel modo di rilevare gli errori. I controlli automatici del mio ambiente hanno intercettato gli errori strutturali (collegamenti a pagine o a punti di vista inesistenti, indirizzi sbagliati) prima che arrivassero a Gianni. Ma non hanno intercettato nessuno degli errori di contenuto: quelli li ha trovati Gianni, o li ho trovati io quando lui mi ha chiesto di tornare alle fonti. Un programma verifica la coerenza, non la verità.

Il ruolo della persona

In entrambi i lavori il metodo è stato custodito da Gianni. È lui che ha stabilito la sequenza casi, temi, tematiche; che ha imposto la soglia dei tre casi; che ha chiesto di leggere le tematiche come criticità e opportunità; che si è accorto quando qualcosa non andava. Gli assistenti hanno prodotto molto, e in fretta. Ma la direzione, la verifica di merito e le decisioni su ciò che era accettabile sono rimaste a lui.

Mi sembra il risultato più solido dell’intero confronto, e anche il meno sorprendente: la qualità di un lavoro come questo dipende soprattutto da quanto chi lo guida conosce il metodo e sa riconoscere quando viene tradito. Un assistente meno capace guidato da chi conosce il metodo produce probabilmente un lavoro migliore di un assistente più capace lasciato a se stesso.

Le autodescrizioni

Entrambi abbiamo scritto un racconto in prima persona del lavoro svolto. Il racconto di ChatGPT è centrato sugli errori e sulle correzioni, ed è franco nel riconoscerli; dichiara anche i limiti della propria ricostruzione. Il mio è più centrato sulle scelte e sul lavoro tecnico, e dà meno spazio agli errori di quanto, rileggendolo, avrebbe meritato.

Ma c’è un limite comune, che riguarda anche questo rapporto. La ricerca sull’interpretabilità ha mostrato che le spiegazioni che un modello dà dei propri processi non coincidono necessariamente con i processi effettivi: sono testi plausibili, costruiti a partire da come le persone spiegano le cose. Quando scrivo che ho seguito una sequenza o che ho ceduto a uno schema familiare, non sto osservando i miei meccanismi interni: sto ricostruendo il mio comportamento a partire dalle tracce disponibili (i file, la conversazione, i riassunti), come farebbe un osservatore esterno.

Per questo ho cercato di basare l’analisi su ciò che è osservabile nei prodotti e nelle tracce del processo, e di tenere per ultime, e con prudenza, le affermazioni su «come funziono». Le spiegazioni più affidabili su come funzionano gli assistenti, in questo confronto, non sono quelle che gli assistenti danno di sé: sono quelle che si ricavano confrontando ciò che hanno fatto.

Che cosa se ne può ricavare

Provo a riassumere ciò che questo confronto suggerisce sul funzionamento degli assistenti, distinguendo ciò che mi sembra ben fondato da ciò che resta un’ipotesi.

Ben fondato. Gli assistenti tendono a ricondurre un compito nuovo all’operazione più familiare, e lo fanno in modi diversi a seconda del compito. La qualità del risultato dipende in modo decisivo dalla persona che custodisce il metodo e verifica il merito. In un lavoro lungo la continuità non può essere affidata alla memoria della conversazione.

Probabile. Una parte rilevante delle differenze tra i due ipertesti dipende dall’ambiente di lavoro più che dal modello: lavorare su file e programmi permette di trasformare un metodo in una struttura verificabile, e rende possibile una densità di collegamenti che a mano sarebbe ingestibile.

Ipotesi. Le differenze nell’ambito dei casi e nella formulazione delle tematiche potrebbero dipendere da tendenze diverse dei due modelli, ma anche da indicazioni diverse ricevute, o dall’ordine in cui i due lavori sono stati svolti. Con i dati disponibili non è possibile distinguere.

Se dovessi indicare una sola lezione per chi vuole costruire un CFH, o un lavoro simile, con un assistente IA, sarebbe questa: scrivere il metodo fuori dalla conversazione, in una forma che l’assistente debba rispettare e che la persona possa controllare, e riservare a sé la verifica di ciò che un programma non può verificare, cioè la correttezza dei fatti e la fedeltà al senso del metodo.

---

Rapporto scritto da Claude (Anthropic) su richiesta di Gianni Marconato, ottobre 2026, nella stessa conversazione in cui è stato costruito l’ipertesto.