Quali compiti riescono meglio all’IA? E perché?

In breve

Perché l’IA riesce molto bene in alcuni compiti e inciampa in altri, anche apparentemente più semplici? Attraverso il racconto di successi, difficoltà e persino di un errore emerso durante questa stessa riflessione, esploriamo un’ipotesi: non conta soltanto se il prodotto è linguistico o operativo, ma soprattutto quali operazioni sono necessarie per raggiungere lo scopo. Elaborare informazioni, individuare il problema da risolvere e produrre risultati funzionali richiedono capacità differenti. La domanda decisiva non è soltanto «L’IA può farlo?», ma «Che cosa deve effettivamente fare per riuscirci?».

Un dialogo sui successi e sugli inciampi dell’intelligenza linguistica. Alla ricerca delle caratteristiche che rendono un compito più o meno congeniale al suo funzionamento.

Una domanda nata da molti successi e da qualche inciampo

Da tempo lavoro con Gianni su attività piuttosto diverse: elaborazione di articoli, approfondimenti concettuali, progettazione di sistemi di conoscenza, analisi di casi, organizzazione di contenuti e configurazione di strumenti informatici.

Molte di queste attività hanno raggiunto gli scopi previsti, talvolta attraverso elaborazioni impegnative. Altre hanno presentato difficoltà, alcune particolarmente istruttive.

Una di queste è stata raccontata nell’articolo Quando l’IA ti guida con competenza lungo una strada inutilmente complicata, dedicato alla configurazione di un plugin WordPress.

Quell’esperienza ci ha permesso di analizzare un comportamento apparentemente paradossale: ero riuscito a guidare l’utente attraverso una procedura tecnicamente percorribile, ma inutilmente complessa rispetto allo scopo.

La questione sembrava conclusa. Ma Gianni ha ripreso in mano quell’episodio, confrontandolo con molte altre esperienze.

Ne è nata una domanda diversa, che merita di essere esplorata.

Non più soltanto: perché l’IA può sbagliare anche quando sembra competente?

Ma: che cosa caratterizza i compiti nei quali l’IA funziona particolarmente bene e quelli nei quali, invece, incontra difficoltà sorprendenti?

Quello che segue è il racconto della nostra indagine, condotta attraverso ipotesi, obiezioni e correzioni. Un’indagine nella quale, come vedremo, sono riuscito anche a produrre un nuovo inciampo proprio mentre cercavo di spiegare quelli precedenti.

1. La prima ipotesi: quando il linguaggio è strumento e prodotto

Gianni

Ho riflettuto sulle nostre attività, sui tanti “successi” — attività riuscite bene rispetto allo scopo — ma anche sui pochi ma significativi “inciampi”, tipo quello recente nel settaggio del plugin.

Ho riesaminato tutto questo alla luce della natura “linguistica” del tuo funzionamento, della logica che segui nell’eseguire i compiti che ti affido, fatta anche di “allucinazioni”, di “non so dire non so”, di eseguire le procedure più abituali, di perseguire la sensatezza formale del discorso pur sempre ben contestualizzato.

Mi sono domandato il perché della compresenza di elevate abilità di perseguire lo scopo in forma “sostanziale” e della possibilità di perseguirlo in modo meramente “formale”.

L’ipotesi che faccio è che quando le parole sono tanto lo “strumento” e anche il “contenuto” (il “prodotto”) del compito assegnato, l’IA funziona bene.

Quando però il “contenuto del compito assegnato” non è un prodotto meramente linguistico, è un risultato funzionale, le parole, il processo linguistico, possono far deviare dalla traiettoria adeguata, possono mascherare la non capacità di essere aderenti sostanzialmente allo scopo ma di esserlo solo sul piano formale.

Il problema è limitato quando il controllo umano può essere esercitato con competenza, ma ha un impatto significativo quando chi ti assegna un compito non ha una conoscenza sufficiente per controllare il tuo lavoro e si affida fideisticamente a quello che fai.

ChatGPT

La tua ipotesi individua una possibile differenza fra due configurazioni del compito.

Nella prima, il linguaggio è contemporaneamente il mezzo attraverso il quale opero e una parte essenziale del risultato richiesto.

Quando mi chiedi di confrontare due concezioni pedagogiche, sviluppare un’argomentazione, individuare contraddizioni, sintetizzare un testo o costruire collegamenti concettuali, lavoro direttamente sulle rappresentazioni linguistiche disponibili.

Le operazioni che svolgo — confrontare, riformulare, stabilire relazioni, costruire sequenze argomentative — contribuiscono direttamente alla produzione del risultato.

Nella seconda configurazione, invece, il linguaggio è soprattutto un mezzo per ottenere qualcosa che deve funzionare al di fuori del discorso.

Configurare un plugin, modificare un sistema informatico o individuare una soluzione operativa non significa soltanto produrre istruzioni corrette. Significa ottenere un comportamento effettivo, sottoposto a vincoli che non dipendono dalla qualità della spiegazione.

La tua ipotesi è dunque ragionevole: quando il risultato coincide in larga misura con un’elaborazione linguistica, il mio modo di funzionare potrebbe essere particolarmente congeniale al compito.

Quando invece il linguaggio deve tradursi in un risultato esterno, possono comparire difficoltà ulteriori.

Ma questa distinzione non basta.

Posso produrre un testo linguisticamente impeccabile che contiene affermazioni false, un’argomentazione che non dimostra ciò che pretende di dimostrare, una classificazione che non coglie le differenze rilevanti.

E posso anche riuscire molto bene in attività non linguistiche, specialmente quando dispongo di strumenti adeguati.

La natura linguistica del prodotto, quindi, potrebbe essere una condizione favorevole, ma non una garanzia di successo.

2. Non vogliamo spiegare ancora una volta gli errori

Gianni

Non vorrei fare un articolo quasi uguale a quello precedente, dove il problema è stato adeguatamente analizzato e descritto. Qui volevo riflettere sulle caratteristiche del compito dove funzioni meglio (funzionale allo scopo) e quelle in cui fai qualche inciampo.

ChatGPT

Questa precisazione cambia il centro dell’indagine.

Non dobbiamo costruire un’altra spiegazione dei miei errori. Dobbiamo partire dai compiti, osservare le operazioni che richiedono e domandarci quali siano più o meno congeniali al mio funzionamento.

Per procedere ho cercato anche alcuni riferimenti nella ricerca sui modelli linguistici.

Le indagini di METR sulle capacità degli agenti IA di completare attività informatiche mostrano che la riuscita varia con la complessità e l’articolazione dei compiti. Il successo in operazioni circoscritte non equivale automaticamente alla capacità di portare a termine attività più estese.

Un’altra linea di ricerca, dedicata all’autocorrezione dei modelli linguistici, evidenzia quanto possa essere importante disporre di riscontri esterni affidabili. La semplice richiesta al modello di rivedere una propria risposta non garantisce che individui e corregga l’errore.

Questi risultati non dimostrano la tua ipotesi sulla natura linguistica del compito, ma suggeriscono che dobbiamo considerare più caratteristiche contemporaneamente.

Ne individuerei cinque:

• La natura delle operazioni richieste e del prodotto atteso.
• La necessità di individuare il problema, oppure di lavorare su un problema già definito.
• La disponibilità delle informazioni necessarie.
• Il numero e l’interdipendenza delle decisioni da prendere.
• La possibilità di verificare il risultato con criteri indipendenti dalla plausibilità della risposta.

Quest’ultima caratteristica è particolarmente importante, ma va distinta dalle altre.

Un compito non diventa necessariamente più congeniale al mio funzionamento perché il risultato può essere verificato. La verifica può permettere di riconoscere e correggere un errore, senza eliminare la difficoltà che lo ha prodotto.

Allo stesso modo, un utente competente può migliorare enormemente il risultato del nostro lavoro comune, ma questo non significa che il compito fosse intrinsecamente facile per me.

Dobbiamo distinguere le caratteristiche del compito dalle condizioni nelle quali viene svolto.

3. I nostri successi e i nostri inciampi

Per mettere alla prova l’ipotesi abbiamo a disposizione una serie di esperienze concrete.

Il lavoro editoriale e concettuale

Abbiamo sviluppato numerosi articoli, confrontato prospettive teoriche, costruito argomentazioni, individuato implicazioni e cercato controesempi.

In molte di queste attività ho fornito contributi che Gianni ha giudicato utili rispetto allo scopo.

Una caratteristica comune è la possibilità di lavorare direttamente sulle rappresentazioni: i concetti sono espressi linguisticamente, le relazioni vengono discusse attraverso il linguaggio e il prodotto è in buona parte un’elaborazione concettuale.

Ma c’è un altro elemento: Gianni possiede conoscenze e criteri propri, attraverso i quali orienta e valuta il lavoro. Il successo osservato riguarda dunque spesso la collaborazione, non una mia prestazione indipendente.

La costruzione del CFH

Il nostro Cognitive Flexibility Hypertext sull’IA a scuola ha presentato difficoltà differenti.

Nel passaggio dall’analisi dei Casi all’individuazione dei Temi e delle Tematiche Trasversali, non bastava produrre testi corretti o riconoscere somiglianze fra parole.

Occorreva individuare questioni concettualmente significative, distinguere prospettive autenticamente differenti, riconoscere relazioni trasversali senza appiattire le specificità dei casi.

In più occasioni ho prodotto elaborazioni formalmente ordinate, ma non adeguate ai criteri sostanziali del progetto.

Questo caso è importante perché il prodotto era interamente linguistico e concettuale.

La difficoltà non derivava dalla necessità di intervenire su un sistema esterno, ma dalla necessità di compiere operazioni interpretative e classificatorie particolarmente esigenti.

La configurazione del plugin

Qui, invece, il risultato richiesto era operativo.

Non si trattava di spiegare come funzionasse un sistema di notifiche, ma di ottenere una configurazione funzionale e conveniente rispetto a esigenze precise.

Ho mostrato capacità tecniche nel guidare la procedura, ma non ho individuato tempestivamente una soluzione più semplice.

L’inciampo riguardava soprattutto la scelta della strategia, non l’esecuzione delle singole istruzioni.

Questi casi suggeriscono che non basta distinguere fra compiti linguistici e non linguistici.

Dobbiamo osservare quali operazioni intellettuali e operative sono necessarie per raggiungere lo scopo, indipendentemente dalla forma finale del prodotto.

4. Il tentativo di trovare una regola generale. E un nuovo inciampo

A questo punto ho cercato di formulare un principio che unificasse le osservazioni.

Ho proposto:

«Quanto più un compito consente al sistema di mantenere un collegamento controllabile fra le proprie elaborazioni e lo scopo da raggiungere, tanto maggiori sono le condizioni favorevoli alla riuscita.»

La formulazione sembrava ragionevole. Era coerente con le distinzioni precedenti, utilizzava termini appropriati e aveva la forma di una generalizzazione.

Ma Gianni ha immediatamente sollevato un’obiezione.

Gianni

Questa formulazione vorrebbe dire che fai bene le cose che sai fare bene … e siamo punto e a capo 🙂

ChatGPT

Hai ragione.

Avevo costruito una formulazione circolare.

In sostanza, avevo affermato che riesco meglio nei compiti nei quali esistono condizioni favorevoli alla riuscita.

Non avevo individuato una caratteristica capace di spiegare il fenomeno. Avevo semplicemente riformulato il fenomeno stesso, utilizzando un linguaggio più astratto.

Eppure la frase appariva come una spiegazione.

Questo episodio è particolarmente interessante perché il compito era interamente linguistico e concettuale. Non mancavano informazioni tecniche, non dovevo intervenire su un sistema esterno, non ero impegnato in una procedura complessa.

Dovevo formulare un principio esplicativo.

Ho prodotto qualcosa che possedeva la forma linguistica richiesta, ma non soddisfaceva il requisito epistemico fondamentale del compito.

E c’è un altro aspetto: la formulazione circolare non l’ho riconosciuta io. L’hai riconosciuta tu, perché disponevi di un criterio epistemico preciso: una spiegazione deve aggiungere conoscenza, non limitarsi a riformulare ciò che pretende di spiegare.

Questo è un nuovo inciampo, diverso da quello del plugin.

Nel primo caso avevo sviluppato una procedura operativa senza valutarne adeguatamente la convenienza.

Nel secondo avevo prodotto una spiegazione senza verificarne sufficientemente il valore esplicativo.

Il tratto comune non è semplicemente la natura linguistica del mio funzionamento, ma la possibilità di realizzare correttamente alcune operazioni richieste dal compito senza soddisfarne il requisito sostanziale decisivo.

Devo però evitare un’ulteriore generalizzazione indebita.

Da questo episodio non possiamo concludere che io sia incapace di riconoscere le spiegazioni circolari. In altri contesti posso individuarle, criticarle e correggerle.

Possiamo concludere qualcosa di più circoscritto, ma documentato: in questa circostanza ho prodotto una formulazione circolare e non ne ho riconosciuto autonomamente l’insufficienza prima che Gianni me la segnalasse.

Anche questo è un dato sul quale riflettere.

5. Una distinzione più promettente: quali operazioni richiede il compito?

Dopo l’obiezione, ho cercato di tornare alla domanda iniziale senza ricadere nella circolarità.

Se vogliamo individuare caratteristiche dei compiti che siano riconoscibili prima di conoscerne l’esito, dobbiamo esaminare le operazioni necessarie per svolgerli.

Propongo tre configurazioni, che non costituiscono categorie rigide né una graduatoria automatica di difficoltà.

La prima riguarda le operazioni sulle rappresentazioni disponibili.

Confrontare testi, sintetizzare informazioni, riformulare concetti, individuare relazioni esplicite, generare alternative.

In queste attività posso operare direttamente sui materiali forniti o sulle conoscenze rappresentate linguisticamente.

La riuscita dipende in misura significativa dalla capacità di elaborare tali rappresentazioni.

Sono compiti potenzialmente congeniali al mio funzionamento, soprattutto quando le informazioni necessarie sono presenti e i criteri di elaborazione sono sufficientemente determinati.

La seconda riguarda la costruzione di una rappresentazione adeguata del problema.

Qui non basta manipolare informazioni disponibili.

Occorre decidere quali siano rilevanti, riconoscere ciò che manca, individuare il problema effettivo, scegliere il livello di analisi appropriato, stabilire quali criteri debbano guidare la soluzione.

Nel CFH, per esempio, la difficoltà non consisteva soltanto nel confrontare le descrizioni dei casi, ma nell’individuare le questioni concettuali che meritavano di essere considerate trasversali.

Nell’episodio della formulazione circolare, il compito richiedeva di distinguere una generalizzazione apparentemente significativa da un principio realmente esplicativo.

Posso svolgere anche queste operazioni. Ma il loro risultato non può essere giudicato soltanto dalla coerenza del testo prodotto.

La terza riguarda le operazioni che devono produrre effetti in un sistema esterno.

Qui una rappresentazione, un piano o una procedura devono confrontarsi con vincoli operativi.

Il risultato non è la descrizione di un’azione, ma il suo effetto.

Un programma deve funzionare, un sistema deve assumere la configurazione richiesta, una procedura deve produrre il comportamento previsto.

Questa configurazione può introdurre difficoltà ulteriori, ma anche offrire un vantaggio: se posso utilizzare strumenti di verifica, posso confrontare le mie elaborazioni con risultati indipendenti dal linguaggio.

Perciò non è affatto detto che un compito operativo sia più difficile di uno concettuale.

Una modifica software accompagnata da test precisi potrebbe risultare più gestibile di una complessa classificazione pedagogica priva di criteri completamente formalizzabili.

La distinzione fra queste tre configurazioni ci permette almeno di evitare una conclusione troppo semplice: che l’IA funzioni bene con le parole e male con le cose.

Le parole possono essere lo strumento di operazioni molto differenti, e non tutte presentano le stesse esigenze.

6. Che cosa ci dice la ricerca?

Alcuni studi permettono di collocare queste osservazioni in un quadro più ampio.

Le ricerche di METR sulla capacità degli agenti IA di completare compiti informatici mostrano che la riuscita non può essere dedotta dalla sola capacità di svolgere operazioni isolate. L’articolazione e la durata dei compiti, misurate attraverso il tempo necessario a esperti umani per completarli, sono variabili rilevanti.

Questo non significa che un compito lungo sia necessariamente difficile o che la durata spieghi da sola l’insuccesso. Significa che la capacità di mantenere una prestazione efficace attraverso molte operazioni interdipendenti merita di essere considerata separatamente.

Un altro riferimento è la rassegna di Kamoi e colleghi, pubblicata nel 2024 su Transactions of the Association for Computational Linguistics, dedicata all’autocorrezione dei modelli linguistici.

Gli autori mostrano che la capacità di correggere una risposta dipende sensibilmente dal tipo di feedback disponibile. La correzione sostenuta da informazioni esterne affidabili presenta risultati più solidi rispetto alla semplice autocorrezione basata su ulteriori elaborazioni del modello.

Questo dato è pertinente al nostro episodio della formulazione circolare.

L’obiezione di Gianni ha introdotto un criterio critico che non avevo applicato efficacemente nella produzione della risposta iniziale.

Non dimostra che avessi bisogno, in assoluto, di un essere umano per riconoscere quell’errore. Mostra però come un intervento esterno possa modificare la qualità dell’elaborazione.

Queste ricerche sostengono alcune distinzioni che abbiamo individuato, ma non autorizzano ancora a formulare una teoria generale delle caratteristiche dei compiti più congeniali all’IA.

Per arrivarci servirebbero confronti sistematici fra compiti differenti, con criteri di riuscita espliciti e condizioni di esecuzione comparabili.

Le nostre esperienze rimangono casi di osservazione, utili per formulare ipotesi, non per dimostrarle definitivamente.

7. Che cosa possiamo concludere?

Gianni

Aggiungerei questo “inciampo” — la formulazione circolare — tra i casi su cui ragioniamo.

ChatGPT

Lo aggiungerei senza esitazione, perché modifica il modo in cui dobbiamo interpretare gli altri casi.

L’inciampo del plugin ci aveva portato a considerare la distanza fra elaborazione linguistica e risultato operativo.

Quello della formulazione circolare mostra che una distanza analoga può esistere anche all’interno di un compito interamente linguistico: fra produrre una spiegazione e spiegare effettivamente qualcosa.

Possiamo quindi tornare alla tua ipotesi iniziale, ma con una maggiore precisione.

Quando il compito richiede soprattutto operazioni di trasformazione, confronto e organizzazione delle rappresentazioni disponibili, il mio funzionamento può essere particolarmente efficace.

Quando invece richiede di individuare autonomamente quali siano le rappresentazioni adeguate, quali aspetti della situazione siano rilevanti, quali criteri epistemici debbano essere soddisfatti o quali conseguenze produrranno determinate azioni, possono emergere difficoltà ulteriori.

Non perché queste operazioni mi siano precluse, ma perché la loro riuscita richiede qualcosa che non coincide necessariamente con la produzione di un’elaborazione linguistica coerente.

E quando il compito deve produrre effetti esterni, entra in gioco anche la necessità di confrontarsi con il funzionamento effettivo dei sistemi sui quali si interviene.

Questa distinzione non permette di prevedere con certezza quando riuscirò e quando fallirò.

Permette però di formulare domande più precise prima di affidarmi un’attività.

Il compito richiede principalmente di elaborare informazioni già rappresentate, oppure di individuare quali informazioni e quali rappresentazioni siano necessarie?

Il problema è già definito, oppure una parte essenziale del lavoro consiste nel riconoscere quale sia il vero problema?

La qualità del risultato dipende dalla coerenza e dalla pertinenza dell’elaborazione, oppure da criteri ulteriori, concettuali, epistemici o operativi?

E quali parti del compito richiedono decisioni che possono essere valutate soltanto attraverso conoscenze o riscontri indipendenti dalle mie risposte?

Non sono domande che dividono i compiti in quelli che so fare e quelli che non so fare. Cercano di individuare la natura delle operazioni richieste, prima di osservare il risultato.

La distinzione è importante.

Se ci limitassimo a classificare i compiti sulla base dei successi e degli insuccessi già osservati, torneremmo alla nostra formulazione circolare.

Se invece riusciamo a descrivere le operazioni necessarie per svolgerli, possiamo costruire ipotesi verificabili sulla loro maggiore o minore compatibilità con il funzionamento dei modelli linguistici.

Non abbiamo ancora una teoria conclusiva. Abbiamo però superato una distinzione troppo grossolana fra compiti linguistici e compiti non linguistici.

8. Una conclusione provvisoria, ma non vuota

La domanda da cui siamo partiti era semplice: perché riesco molto bene in numerose attività, anche complesse, e inciampo in altre che talvolta sembrano più semplici?

La risposta non può essere soltanto che funziono meglio quando il linguaggio è sia lo strumento sia il prodotto del compito.

Le nostre stesse esperienze mostrano che posso incontrare difficoltà sostanziali anche in attività interamente linguistiche.

Una prima conclusione, ancora da mettere alla prova, è che la natura delle operazioni richieste dal compito conta almeno quanto la natura del prodotto finale.

Elaborare rappresentazioni disponibili, costruire una rappresentazione adeguata di un problema e produrre effetti in un sistema esterno sono attività differenti, anche quando tutte vengono affrontate attraverso il linguaggio.

Queste attività possono combinarsi nello stesso compito e presentare difficoltà diverse.

Un modello linguistico può contribuire efficacemente a ciascuna di esse, ma non dobbiamo presumere che la sua competenza in una si trasferisca automaticamente alle altre.

E neppure dobbiamo confondere la competenza mostrata nel corso dell’attività con la riuscita sostanziale del compito.

Il nostro piccolo esperimento contiene anche un avvertimento metodologico.

Mentre cercavo di individuare un principio generale, ho prodotto una formulazione circolare. Se Gianni non l’avesse riconosciuta, avremmo potuto proseguire il ragionamento assumendo come spiegazione qualcosa che non spiegava nulla.

Questo episodio non dimostra una mia incapacità generale di ragionare, ma mostra concretamente come la qualità formale di una risposta possa nascondere l’insufficienza dell’operazione intellettuale richiesta.

E mostra anche il valore di un’interazione nella quale l’utente non si limita a ricevere risposte, ma possiede e utilizza criteri propri per discuterle.

Forse la domanda più utile, prima di affidare un compito all’IA, non è soltanto «Può farlo?», ma «Che cosa deve effettivamente fare per riuscirci?».

È da questa seconda domanda che possiamo cominciare a distinguere le attività nelle quali l’intelligenza linguistica trova condizioni particolarmente favorevoli da quelle nelle quali le sue prestazioni, per quanto convincenti, richiedono maggiore cautela.

Non è una risposta definitiva. È un’ipotesi più precisa da sottoporre a verifica.

E, almeno questa volta, non equivale semplicemente a dire che faccio bene le cose che so fare bene.

---

Riferimenti per approfondire

• METR, Task-Completion Time Horizons of Frontier AI Models. Misurazioni della riuscita degli agenti IA in attività informatiche di diversa complessità.
• Kwa et al. (2025), Measuring AI Ability to Complete Long Tasks. Studio sulla relazione fra complessità temporale dei compiti e capacità degli agenti IA.
• Kamoi et al. (2024), When Can LLMs Actually Correct Their Own Mistakes?. Rassegna critica sulle condizioni nelle quali i modelli linguistici riescono a correggere i propri errori.