Descrizione estesa · Caso 15 – Turchia: con ChatGPT meglio negli esercizi, peggio all’esame
Approfondimento
In breve. Un esperimento con quasi mille studenti turchi delle superiori confronta tre condizioni: studiare matematica senza IA, con un ChatGPT normale, o con un tutor IA progettato per non dare le soluzioni. Chi usa il ChatGPT normale va molto meglio negli esercizi ma peggio all’esame senza IA, e non se ne accorge. Il tutor annulla il danno. È una delle prove sperimentali più citate sul rapporto tra IA e apprendimento.
Il contesto
Nel 2023, mentre le scuole discutono se vietare o permettere ChatGPT, mancano esperimenti controllati sul suo effetto reale sull’apprendimento. Un gruppo di ricercatori della Wharton School dell’Università della Pennsylvania, guidato da Hamsa Bastani e Osbert Bastani, progetta con una scuola turca un esperimento sul campo in matematica, una disciplina in cui è facile misurare se uno studente sa risolvere un problema da solo.
L’esperimento
Nell’autunno 2023 quasi 1.000 studenti delle classi dalla nona all’undicesima partecipano a quattro sessioni di esercitazione da 90 minuti su argomenti diversi del programma. In ogni sessione, dopo una spiegazione dell’insegnante, gli studenti si esercitano e poi svolgono una verifica senza alcun aiuto. Le classi sono assegnate a caso a tre condizioni: un gruppo di controllo che si esercita con libri e appunti; un gruppo con «GPT Base», un’interfaccia simile al ChatGPT pubblico basata su GPT-4; un gruppo con «GPT Tutor», lo stesso modello ma con istruzioni scritte insieme agli insegnanti: conosce le soluzioni corrette degli esercizi, offre suggerimenti graduali e non fornisce la risposta completa.
I risultati
Durante le esercitazioni l’IA aiuta molto: gli studenti con GPT Base risolvono correttamente il 48% di problemi in più rispetto al gruppo di controllo, quelli con GPT Tutor il 127% in più. Ma nella verifica successiva, senza IA, il quadro si rovescia: il gruppo GPT Base ottiene il 17% in meno del gruppo di controllo, mentre il gruppo GPT Tutor ottiene risultati simili al controllo, senza vantaggi ma senza danni.
Analizzando le conversazioni, i ricercatori individuano due meccanismi. Il primo è l’uso come «stampella»: molti studenti con GPT Base chiedono semplicemente la risposta e la copiano, saltando il lavoro che produce apprendimento. Il secondo riguarda l’affidabilità: ChatGPT risolve correttamente solo circa la metà dei problemi, con errori di calcolo in circa l’8% dei casi ed errori di procedimento nel 42%, che gli studenti tendono ad accettare. Il dato forse più importante è la percezione: gli studenti del gruppo GPT Base non ritengono di aver imparato meno, anzi tendono a sopravvalutare il proprio apprendimento.
La pubblicazione e il dibattito
Lo studio circola come working paper dal 2024 con il titolo «Generative AI Can Harm Learning» e viene pubblicato nel giugno 2025 sulla rivista PNAS come «Generative AI without guardrails can harm learning», seguito da una correzione formale. I giornalisti educativi, come Jill Barshay sul Hechinger Report, lo presentano come un segnale d’allarme sull’uso dell’IA come assistente allo studio, sottolineando che va confermato in altri contesti. Divulgatori e insegnanti insistono soprattutto sullo scarto tra apprendimento percepito e reale: se gli studenti non si accorgono di imparare meno, non si può contare solo sulla loro capacità di regolarsi.
Gli autori traggono una conclusione progettuale: il problema non è l’IA in sé ma l’accesso senza limiti a uno strumento che dà le soluzioni. Limiti incorporati nello strumento, che impediscono le risposte dirette e sollecitano il ragionamento, eliminano gli effetti negativi. Restano però due cautele: il tutor non ha prodotto guadagni rispetto al gruppo senza IA, e un tutor ben progettato non impedisce agli studenti di usare, a casa, un ChatGPT qualsiasi.
Cronologia
| Quando | Che cosa accade |
|---|---|
| Autunno 2023 | Esperimento con quasi 1.000 studenti in quattro sessioni di matematica. |
| 2024 | Diffusione del working paper «Generative AI Can Harm Learning»; ampia copertura giornalistica. |
| Giugno 2025 | Pubblicazione su PNAS: «Generative AI without guardrails can harm learning». |
| 2025 | Correzione formale pubblicata dalla rivista; lo studio diventa un riferimento nel dibattito. |
Attori e posizioni
- Gli autori (Hamsa Bastani, Osbert Bastani e colleghi): l’accesso libero all’IA produce soluzioni invece di ragionamento; limiti progettati che impediscono le risposte dirette annullano il danno.
- Jill Barshay, The Hechinger Report: un segnale d’allarme sull’IA come assistente allo studio, da confermare in altri contesti.
- Divulgatori sull’IA in educazione (Med Kharbach e altri): il punto chiave è che gli studenti non percepiscono di imparare meno.
- Gli studenti del gruppo GPT Base: si sentono più efficaci di quanto siano: l’IA migliora la prestazione assistita ma non la capacità autonoma.
Questioni aperte
L’esperimento distingue con chiarezza tra ciò che uno studente sa fare con l’IA e ciò che sa fare senza. Quanto spesso, a scuola, misuriamo il primo credendo di misurare il secondo? Se gli studenti non si accorgono di imparare meno, a chi spetta porre limiti: agli studenti, ai docenti, a chi progetta gli strumenti? Un tutor che evita il danno ma non produce vantaggi giustifica il suo costo? E come si confronta questo risultato con esperienze in cui l’IA, guidata dagli insegnanti, ha prodotto guadagni importanti, come in Nigeria?
Fonti
- Generative AI without guardrails can harm learning: Evidence from high school mathematics (PNAS, giugno 2025). L’articolo scientifico pubblicato.
- Correction for Bastani et al. (PNAS, 2025). La correzione formale pubblicata dalla rivista.
- Generative AI Without Guardrails Can Harm Learning (testo) (H. Bastani). Il testo completo dello studio.
- Kids who use ChatGPT as a study assistant do worse on tests (The Hechinger Report, 2024). Spiegazione giornalistica dei risultati e delle cautele.
- Can ChatGPT Help Students Learn Math? What an RCT Found (Med Kharbach). Sintesi divulgativa centrata sullo scarto tra percezione e apprendimento.
