Stay Human. Dieci anni dopo Davos 2016

In breve

Nel 2016, a Davos, di fronte alle prime discussioni sull’intelligenza artificiale, “Stay Human” poteva sembrare soprattutto un richiamo a difendere ciò che distingue le persone dalle macchine. Dieci anni dopo la questione appare diversa: l’IA è diventata più capace, utile e presente proprio mentre diventa meno visibile. I problemi possono nascere non soltanto dai suoi fallimenti, ma anche dai suoi successi: l’efficacia genera fiducia, la fiducia favorisce la delega e la delega può produrre dipendenza. “Restare umani” significa allora soprattutto conservare capacità di giudizio, scelta e responsabilità mentre impariamo a convivere con macchine sempre più efficaci.

Nel lontano 2016 avevo seguito con attenzione i lavori del World Economic Forum a Davos che quell’anno erano centrati sulla Quarta rivoluzione industriale, nella quale l’intelligenza artificiale cominciava ad affacciarsi con forza anche all’attenzione del grande pubblico.

Su quei temi avevo avuto modo di tenere alcune conferenze con insegnanti e famiglie sul “futuro” che sembrava aspettarci con una particolare attenzione all’impatto sulle competenze necessarie a vivere quel futuro, come persone, membri della società dell’economia.

Uno slogan accompagnava e chiudeva quelle conferenze: Stay Human, riprendendo l’efficace messaggio emerso proprio a Davos.

A distanza di dieci anni mi sono domandato: che cosa è accaduto alle preoccupazioni di allora?

Erano fondate?

Quali problemi si sono effettivamente manifestati?

Quali avevamo immaginato male?

Quali, invece, non eravamo ancora in grado neppure di formulare?

E, soprattutto: dieci anni dopo, che cosa significa Stay Human?

Che cosa vedevamo nel 2016?

L’incontro annuale del World Economic Forum del gennaio 2016 aveva come grande cornice la Fourth Industrial Revolution.

Intelligenza artificiale, robotica, Internet of Things, automazione, biotecnologie e sistemi autonomi sembravano convergere in una trasformazione che non avrebbe riguardato soltanto le tecnologie, ma il lavoro, l’economia e la società.

La sessione conclusiva del Forum portava un titolo che oggi colpisce ancora:

A Key Challenge of the Fourth Industrial Revolution: Staying Human – and Humane.

La questione, dunque, era già esplicita: di fronte alla crescente capacità delle macchine, il problema non sarebbe stato soltanto tecnologico. Avrebbe riguardato ciò che volevamo continuare a considerare umano e il tipo di società che quelle tecnologie avrebbero contribuito a costruire.

Rileggere quelle preoccupazioni dieci anni dopo è interessante proprio perché allora mancava quasi completamente l’esperienza che abbiamo oggi dell’intelligenza artificiale.

Non esisteva ChatGPT, non esisteva Claude, non esisteva Copilot.

Non conversavamo quotidianamente con modelli linguistici.

Non potevamo generare in pochi secondi immagini, musica, programmi, video e testi complessi.

Per il grande pubblico l’immagine della trasformazione era ancora dominata soprattutto dall’automazione.

La domanda implicita era spesso:

Che cosa farà la macchina al posto dell’essere umano?

Oggi sappiamo che quella era soltanto una delle domande possibili.

L’IA avrebbe tolto il lavoro alle persone?

Probabilmente era la preoccupazione più evidente.

La robotizzazione aveva già trasformato il lavoro industriale. Si prospettava ora una nuova fase nella quale automazione e intelligenza artificiale avrebbero potuto raggiungere anche il lavoro qualificato: amministrazione, banche, professioni tecniche, medicina, diritto.

La questione era spesso rappresentata attraverso un’alternativa molto semplice:

lavoro umano oppure lavoro della macchina.

Dieci anni dopo, il problema è reale, ma quella rappresentazione appare insufficiente.

L’International Labour Organization stima oggi che circa un lavoro su quattro nel mondo abbia qualche grado di esposizione all’IA generativa, ma considera la trasformazione delle professioni più probabile della loro completa sostituzione.

Il World Economic Forum prevede a sua volta un’enorme ristrutturazione del mercato del lavoro e delle competenze. Il suo Future of Jobs Report 2025 stima che entro il 2030 circa il 39% delle competenze richieste sul lavoro cambierà o diventerà obsoleto e sottolinea contemporaneamente la crescente importanza sia delle competenze tecnologiche sia di capacità umane come pensiero analitico, creatività, resilienza, leadership e collaborazione.

La preoccupazione del 2016 non era quindi infondata.

Era probabilmente troppo semplice la domanda.

Non soltanto:

Quanti lavori sostituirà l’IA?

Ma:

Come cambierà il lavoro quando una parte delle attività che lo compongono potrà essere svolta da sistemi artificiali?

È una domanda molto diversa.

Ci sarebbero rimaste almeno le capacità “propriamente umane”?

Un’altra risposta frequente alla paura dell’automazione consisteva nell’identificare capacità considerate difficilmente riproducibili dalle macchine.

Creatività.

Empatia.

Capacità di affrontare situazioni complesse.

Pensiero originale.

Relazione.

Pochi anni dopo, ancora a Davos, si potevano indicare creatività, complessità, destrezza ed empatia come territori nei quali l’essere umano sembrava mantenere un vantaggio relativamente sicuro.

È probabilmente una delle previsioni che sono invecchiate peggio.

Non perché abbiamo dimostrato che una macchina sia creativa, comprenda o provi empatia come una persona.

Ma perché oggi sistemi artificiali producono prestazioni che soddisfano molti dei criteri attraverso i quali riconosciamo operativamente quelle capacità tipicamente umane.

Generano immagini, musica e testi.

Producono soluzioni non ovvie.

Affrontano problemi complessi.

Utilizzano il linguaggio dell’empatia.

Questo non risolve affatto la questione di che cosa accada “dentro” la macchina. Al contrario, la rende più difficile.

Abbiamo imparato che:

una macchina può produrre una prestazione simile a quella umana attraverso processi profondamente differenti da quelli umani.

Il confine non può quindi essere tracciato semplicemente compilando una lista delle cose che “le macchine non potranno fare”.

Avevamo paura soprattutto che le macchine decidessero

Un altro grande tema riguardava i sistemi autonomi.

L’esempio tipico era l’automobile senza conducente.

Che cosa dovrebbe fare una macchina davanti a un incidente inevitabile?

Può decidere quale vita privilegiare?

Chi risponde della decisione?

Allora queste domande avevano ancora qualcosa dell’esperimento mentale.

Oggi sono diventate una questione molto più generale.

Sistemi di IA possono contribuire a valutare persone, stimare rischi, assegnare priorità, orientare diagnosi, selezionare candidati, supportare decisioni amministrative, finanziarie e militari.

Il problema non è scomparso.

È diventato più concreto.

E abbiamo cominciato a capire che la domanda:

“La macchina sa decidere bene?”

non è sufficiente.

Occorre aggiungerne un’altra:

“È legittimo che quella decisione venga attribuita alla macchina?”

Perché una decisione non è soltanto il risultato di un calcolo.

Quando riguarda salute, diritti, opportunità, dignità o condizioni materiali delle persone, implica anche responsabilità.

Un sistema può fornire informazioni straordinariamente utili.

Può segnalare qualcosa che un medico non aveva visto.

Può elaborare più variabili di quante una persona possa gestire.

Ma da questo non consegue automaticamente che debba avere l’autorità della decisione.

Dieci anni dopo, la questione dello Stay Human comincia quindi a significare anche questo:

mantenere identificabile qualcuno che possa comprendere, dissentire, decidere e rispondere della decisione.

Ma nel 2016 non vedevamo ancora la delega cognitiva

Qui, a mio avviso, si trova uno dei cambiamenti più importanti.

Nel 2016 l’immagine dominante era quella di una macchina che faceva qualcosa al posto nostro.

Una macchina guida.

Una macchina assembla.

Una macchina analizza.

Una macchina decide.

Con l’IA generativa è diventata quotidiana un’altra possibilità:

una macchina svolge insieme a noi — o al posto nostro — attività cognitive.

Scrive.

Riassume.

Traduce.

Cerca argomenti.

Propone idee.

Formula ipotesi.

Confronta alternative.

Programma.

Ci aiuta a decidere.

Conversa con noi.

La questione non è più soltanto:

Che cosa succederà al nostro lavoro?

È diventata:

Che cosa succede alle nostre capacità quando cominciamo a delegare alla macchina attività che prima esercitavamo direttamente?

È significativo che, dieci anni dopo Staying Human, a Davos 2026 sia comparsa esplicitamente una sessione intitolata Defying Cognitive Atrophy, dedicata proprio alla domanda se una crescente dipendenza dall’IA possa indebolire alcune capacità cognitive e a come utilizzare invece questi strumenti per potenziarle.

Nel 2016 parlavamo soprattutto di sostituzione del lavoro.

Nel 2026 discutiamo anche di atrofia cognitiva.

Non è un cambiamento piccolo.

Aiuto o sostituzione?

Da questa domanda emerge una distinzione che ho affrontato altrove parlando di scaffolding e protesi cognitiva.

Un sistema può sostenere temporaneamente una persona nell’esecuzione di un’attività e consentirle progressivamente di acquisire maggiore competenza.

Oppure può diventare lo strumento al quale quella funzione viene stabilmente delegata.

Non c’è nulla di intrinsecamente negativo nella delega.

La storia umana è anche la storia dell’esternalizzazione delle nostre capacità attraverso strumenti.

Scrittura, libri, mappe, calcolatrici e computer hanno continuamente modificato ciò che dobbiamo conservare dentro di noi.

L’IA rende però la domanda particolarmente urgente perché le attività delegabili non sono più soltanto memoria e calcolo.

Possono essere attività attraverso le quali formiamo, esercitiamo e trasformiamo il nostro pensiero.

La domanda diventa allora:

Che cosa possiamo permetterci di non fare più e che cosa dobbiamo continuare a saper fare per poter governare ciò che abbiamo delegato?

Forse nel 2016 non disponevamo ancora della tecnologia necessaria per porci seriamente questa domanda.

Avevamo sottovalutato la forza dell’interazione con una macchina

C’è un’altra novità che allora era difficile immaginare nelle forme attuali.

Una macchina può parlarci.

Non soltanto riconoscere comandi o fornire risposte predefinite.

Può sostenere una conversazione sufficientemente coerente da indurci spontaneamente a trattarla come un interlocutore.

Dice:

“capisco”.

“penso”.

“ti suggerisco”.

“non sono d’accordo”.

Ricorda elementi dell’interazione.

Adatta il proprio linguaggio al nostro.

Può utilizzare forme linguistiche che associamo alla comprensione, all’intenzionalità e all’empatia.

Questo apre un problema che la metafora della sostituzione del lavoro non riusciva nemmeno a vedere.

Non soltanto:

quanto diventeranno simili a noi le macchine?

Ma:

quanto saremo portati noi a trattarle come se fossero simili a noi?

La tecnologia non modifica soltanto ciò che possiamo fare.

Può modificare la nostra rappresentazione di ciò con cui stiamo interagendo.

Un’altra ingenuità: pensare che una macchina sia neutrale

Dieci anni di sviluppo dell’IA rendono più evidente anche un altro problema.

Un sistema artificiale non compare spontaneamente.

Qualcuno decide quali dati utilizzare.

Quali eliminare.

Quali comportamenti considerare desiderabili.

Quali errori considerare più gravi.

Quali richieste consentire.

Quali impedire.

Quali rischi accettare.

Quali valori privilegiare quando entrano in conflitto.

Un sistema di IA è il risultato di modelli matematici e infrastrutture tecnologiche, ma anche di decisioni umane.

Per questo non possiamo considerarlo neutrale.

La precisazione è importante:

non-neutralità non significa necessariamente faziosità o manipolazione.

Un giornale può perseguire seriamente accuratezza e correttezza senza essere neutrale: sceglie quali notizie pubblicare, quali mettere in evidenza, quali fonti utilizzare, quale linguaggio adottare.

Con tutte le differenze del caso, qualcosa di analogo accade con l’IA.

Il problema non è che esistano orientamenti valoriali.

Il problema comincia quando vengono presentati come se non esistessero.

Anche questo modifica lo Stay Human: significa mantenere visibili le scelte umane proprio quando la tecnologia tende a farle apparire come semplici risultati del calcolo.

Chi decide quali limiti deve avere l’intelligenza artificiale?

La non-neutralità conduce inevitabilmente a un problema politico.

Chi stabilisce che cosa un sistema può fare?

Chi costruisce la tecnologia?

Chi la acquista?

Il governo?

Il legislatore?

L’utente?

E che cosa succede quando questi soggetti non sono d’accordo?

La questione è ormai concreta.

I sistemi di IA più avanzati sono costruiti da un numero relativamente ristretto di grandi organizzazioni che dispongono di enormi quantità di capitale, competenze, dati e capacità computazionale.

Le loro decisioni possono quindi avere conseguenze che vanno molto oltre un normale prodotto commerciale.

Da qui emerge un problema che nel 2016 era presente soprattutto in embrione:

la governance dell’intelligenza artificiale.

Non basta chiedersi che cosa la tecnologia possa fare.

Occorre chiedersi:

Chi possiede il potere di decidere che cosa le sarà consentito fare?

Non c’è una risposta semplice.

Lasciare la decisione esclusivamente alle imprese private pone un evidente problema di legittimità.

Attribuirla completamente al potere politico non garantisce automaticamente che le decisioni siano giuste.

Ma una cosa appare sempre più chiara:

la tecnologia non decide da sola i propri limiti.

Dietro il limite — o dietro la scelta di non porlo — troviamo ancora esseri umani.

Avevamo immaginato la produzione industriale di realtà sintetica?

Probabilmente non nelle dimensioni attuali.

Oggi una persona può produrre quantità enormi di testi, immagini, voci e video artificiali con un costo minimo.

Oggi è diventato molto più facile produrre immagini, audio e video realistici di fatti che non sono mai accaduti. Di conseguenza, diventa più difficile distinguere la documentazione di un evento reale dalla rappresentazione artificiale di un evento inesistente.

Ma c’è un problema ancora più profondo.

I sistemi di IA sono stati addestrati su enormi quantità di testi, immagini e altri contenuti prodotti dagli esseri umani. Oggi, però, le stesse IA producono testi, immagini, audio e video che vengono pubblicati e diffusi insieme ai contenuti prodotti dalle persone. Una parte di ciò che troviamo in rete e utilizziamo per informarci, conoscere e apprendere può quindi essere stata prodotta, o almeno rielaborata, da un’IA.

Si crea un circuito:

cultura umana → addestramento dell’IA → produzione artificiale → ambiente culturale → esseri umani e future IA

L’IA non si limita più ad apprendere dalla cultura.

Contribuisce a produrre la cultura dalla quale noi stessi impariamo.

Nel 2016 sarebbe stato difficile attribuire a questa possibilità il peso che ha assunto oggi.

Che cosa avevamo visto giusto?

Molto, in realtà.

Avevamo visto che l’automazione avrebbe trasformato il lavoro.

Sta accadendo.

Avevamo intuito che non sarebbe stata soltanto una trasformazione tecnologica, ma sociale.

Lo vediamo ogni giorno.

Avevamo posto la questione delle decisioni affidate alle macchine.

È diventata un problema di governance e responsabilità.

Avevamo temuto una concentrazione dei benefici e del potere.

La capacità di costruire i sistemi più avanzati è effettivamente concentrata in poche grandi organizzazioni.

Avevamo soprattutto capito che il problema fondamentale non sarebbe stato:

quanto diventeranno potenti le macchine?

ma:

che cosa accadrà agli esseri umani in un ambiente trasformato da quelle macchine?

Da questo punto di vista, Stay Human aveva colto qualcosa di importante.

Che cosa avevamo visto male?

Forse avevamo cercato troppo facilmente il confine fra umano e macchina.

La macchina farà questo.

L’essere umano conserverà quello.

La macchina sarà brava nel calcolo.

L’essere umano nella creatività.

La macchina potrà analizzare.

L’essere umano conserverà empatia e linguaggio.

L’evoluzione tecnologica ha continuamente spostato quel confine.

Forse perché il problema era posto male.

Non dobbiamo necessariamente trovare qualche attività che rimarrà per sempre esclusivamente umana per poter difendere la specificità dell’essere umano.

Una macchina può produrre una poesia senza che questo risolva che cosa significhi per una persona scrivere una poesia.

Può generare una decisione senza assumersene la responsabilità.

Può perseguire uno scopo senza che sappiamo se esista qualcuno per il quale quello scopo sia uno scopo.

Può utilizzare perfettamente il linguaggio dell’esperienza senza che questo dimostri l’esistenza di un’esperienza.

Il confine non passa necessariamente attraverso ciò che sappiamo fare.

Passa attraverso il significato che ciò che facciamo assume per noi.

E che cosa non avevamo visto?

Forse soprattutto questo:

l’intelligenza artificiale non avrebbe soltanto fatto cose per noi. Avrebbe cominciato a fare cose con noi.

Ed è una differenza enorme.

Una macchina industriale poteva sostituire il mio lavoro manuale.

Un sistema di IA può entrare nel processo attraverso il quale penso, scrivo, scelgo, creo, imparo, interpreto informazioni.

L’IA non modifica soltanto il modo in cui svolgiamo un’attività. Il suo uso continuato modifica anche noi: le capacità che esercitiamo, le abitudini che sviluppiamo, ciò che siamo disposti a delegare e ciò che progressivamente consideriamo normale non fare più autonomamente.

La domanda non è più soltanto:

“Che cosa farà l’intelligenza artificiale?”

È diventata:

“Che cosa faremo noi utilizzando l’intelligenza artificiale?”

E, simmetricamente:

“Che cosa farà a noi il fatto di utilizzarla?”

Dieci anni dopo, che cosa significa Stay Human?

Nel 2016 Stay Human poteva essere interpretato come un invito a difendere ciò che le macchine non sarebbero riuscite a sostituire.

Oggi quella formulazione mi sembra insufficiente.

Restare umani non significa gareggiare con le macchine per stabilire chi sappia scrivere meglio, calcolare meglio, diagnosticare meglio, ricordare più informazioni o produrre più rapidamente.

Probabilmente perderemmo molte di queste gare.

Forse Stay Human significa qualcos’altro.

Continuare a decidere che cosa abbia valore.

Mantenere la responsabilità delle decisioni che riguardano altre persone.

Conservare la capacità di dissentire da ciò che una macchina propone.

Sapere abbastanza per poter controllare ciò che abbiamo delegato.

Non confondere la capacità di produrre una prestazione simile a quella umana con la comprensione di ciò che si sta facendo.

Non rendere invisibili le scelte umane nascoste dietro un risultato tecnologico.

Decidere consapevolmente quali capacità vogliamo continuare a esercitare.

E soprattutto riconoscere che non conosciamo ancora completamente il territorio nel quale stiamo entrando.

È significativo che nel gennaio 2026, esattamente dieci anni dopo quella sessione conclusiva su Staying Human – and Humane, a Davos si sia discusso esplicitamente di cognitive atrophy, chiedendosi se l’uso dell’IA possa indebolire le nostre capacità cognitive e come possa invece contribuire a rafforzarle.

La domanda del 2016 non è quindi scomparsa.

È diventata più difficile.

Dieci anni fa ci chiedevamo come rimanere umani davanti a macchine sempre più capaci.

Oggi dobbiamo aggiungere una domanda:

Come vogliamo rimanere umani quando quelle macchine non sono più soltanto davanti a noi, ma entrano quotidianamente nei nostri processi di pensiero, nelle nostre decisioni, nelle nostre relazioni e nella nostra produzione culturale?

Non so ancora quale sia la risposta.

Forse è proprio questa la cosa che, dieci anni dopo, mi interessa di più.

Nel 2016 parlavamo del futuro.

Oggi siamo dentro una parte di quel futuro.

E continuiamo ad avere bisogno dello stesso ammonimento:

Stay Human.

Che cosa ci insegnano questi dieci anni sul modo di guardare al futuro?

Rileggere nel 2026 le preoccupazioni del 2016 non serve soltanto a stabilire che cosa avevamo previsto correttamente e che cosa avevamo sbagliato. Può dirci qualcosa sul modo in cui dovremmo guardare oggi al futuro.

La prima lezione riguarda i nostri stessi strumenti di interpretazione.

Tendiamo a immaginare il futuro utilizzando le categorie del presente.

Nel 2016 guardavamo all’intelligenza artificiale attraverso ciò che allora riuscivamo a vedere: automazione, robotica, sostituzione del lavoro umano, sistemi autonomi, decisioni affidate agli algoritmi. Ci chiedevamo che cosa avrebbero fatto le macchine e quali attività sarebbero rimaste agli esseri umani.

Erano domande fondate e molte sono ancora attuali. Ma alcune delle questioni che oggi ci sembrano decisive erano difficili persino da formulare: conversare quotidianamente con una macchina, delegarle parti della scrittura e dell’elaborazione del pensiero, interagire con sistemi che utilizzano il linguaggio dell’empatia, interrogarsi sull’atrofia cognitiva prodotta da un’assistenza permanente.

Non ci mancavano soltanto le risposte. Ci mancavano alcune delle domande.

Questo perché una trasformazione tecnologica profonda non cambia soltanto le prestazioni delle macchine. Cambia le pratiche umane e, attraverso queste, mette in discussione anche le categorie con cui interpretiamo ciò che sta accadendo: creatività, autorialità, conoscenza, autonomia, decisione, interlocutore.

È una buona ragione per considerare provvisorie non soltanto le nostre previsioni sul futuro, ma anche le categorie attraverso le quali oggi cerchiamo di formularle.

Quando una tecnologia diventa normale

C’è una seconda lezione.

Per comprendere l’impatto di una tecnologia non basta osservare ciò che sa fare. Occorre osservare che cosa accade quando milioni di persone cominciano a utilizzarla quotidianamente.

Oggi siamo ancora molto consapevoli di utilizzare l’intelligenza artificiale. Diciamo: “ho chiesto a Claude”, “questa immagine è stata fatta con l’IA”, “ho usato l’IA per scrivere questo testo”.

Potrebbe accadere sempre meno.

L’IA viene progressivamente incorporata nei programmi con cui scriviamo, nei motori con cui cerchiamo informazioni, nei dispositivi che utilizziamo, negli strumenti diagnostici, nei processi amministrativi, nei sistemi attraverso i quali lavoriamo e prendiamo decisioni.

Diventa meno visibile proprio mentre diventa più presente.

Questa trasparenza non è irrilevante. Quando una tecnologia smette di essere percepita come qualcosa di separato, tendiamo anche a interrogarci meno sul fatto che la stiamo utilizzando. Il suo funzionamento entra nelle pratiche ordinarie.

E con le pratiche cambiano le aspettative.

Se possiamo ottenere immediatamente una prima versione di un testo, partire dalla pagina bianca può diventare meno normale. Se un sistema diagnostico segnala sistematicamente ciò che dobbiamo osservare, lavorare senza quella segnalazione può diventare progressivamente insolito. Se una risposta è sempre disponibile, cercare, selezionare e mettere insieme autonomamente le informazioni può apparire una procedura inutilmente lunga.

Una tecnologia diffusa non modifica soltanto ciò che possiamo fare.

Può modificare ciò che consideriamo normale, necessario o perfino ragionevole fare da soli.

Tecnologia e comportamenti si trasformano reciprocamente

Non abbiamo quindi una tecnologia che evolve autonomamente e una società che successivamente ne subisce le conseguenze.

Il processo è ricorsivo.

Nuove capacità tecnologiche rendono possibili nuove pratiche. Le persone adottano alcune di quelle pratiche e ne inventano altre che i progettisti non avevano previsto. Le pratiche modificano abitudini e aspettative. Quelle aspettative generano nuova domanda e orientano lo sviluppo dei prodotti successivi. I nuovi prodotti rendono possibili altre pratiche.

La tecnologia modifica i nostri comportamenti e i comportamenti modificati contribuiscono a orientare l’evoluzione della tecnologia.

Per questo è difficile estrapolare il futuro semplicemente osservando le capacità attuali dei sistemi.

Fra dieci anni non avremo soltanto macchine diverse. Potremmo essere diversi anche noi: nelle abitudini, nelle aspettative, nelle competenze e nel modo in cui definiamo ciò che consideriamo normale delegare a una macchina.

I problemi prodotti dalle soluzioni

Questa dinamica porta a un’altra questione.

Quando discutiamo dei rischi dell’IA pensiamo facilmente ai suoi fallimenti: una risposta falsa, una diagnosi sbagliata, una discriminazione algoritmica, una decisione errata.

Ma una tecnologia che funziona bene e viene adottata su larga scala modifica l’ambiente nel quale viene utilizzata. E questa modificazione può generare problemi di secondo ordine.

Un sistema capace di produrre buoni testi risolve molti problemi di scrittura e fa risparmiare tempo. Ma se diventa normale delegargli sistematicamente la formulazione, dobbiamo chiederci che cosa accade alle capacità cognitive che esercitavamo proprio attraverso lo scrivere.

Un sistema diagnostico molto affidabile può aumentare la capacità di individuare una patologia. Ma quanto più diventa affidabile, tanto più diventa razionale fidarsi delle sue indicazioni. E proprio questa fiducia può rendere più difficile mantenere la competenza e l’attenzione necessarie per riconoscere il raro caso nel quale il sistema sbaglia.

Un sistema che rende immediatamente accessibile una grande quantità di conoscenza risolve un problema antico: trovare le informazioni. Ma apre un’altra questione: quale conoscenza dobbiamo continuare a possedere per comprendere, interrogare e valutare quella che possiamo ottenere dall’esterno?

La produzione automatica di testi, immagini, audio e video rende possibile produrre contenuti in quantità prima impensabili. Ma proprio questa abbondanza modifica l’ambiente informativo nel quale cerchiamo di orientarci e pone problemi nuovi di selezione, attendibilità, riconoscibilità e qualità.

La questione, quindi, non è soltanto proteggersi da un’IA che funziona male.

I problemi futuri dell’IA potrebbero derivare non soltanto dai suoi fallimenti, ma anche dai suoi successi.

Il successo aumenta la nostra disponibilità a delegare

Questo introduce una dinamica che merita di essere osservata separatamente.

Non deleghiamo attività importanti a uno strumento del quale non ci fidiamo.

Ma se l’IA produce sistematicamente buoni risultati, utilizzarla diventa ragionevole. E se utilizzarla migliora il risultato, riduce il tempo necessario o elimina attività faticose, diventa ragionevole utilizzarla ancora di più.

L’efficacia genera fiducia; la fiducia favorisce la delega; la delega può generare dipendenza.

Non è un argomento contro la delega. Deleghiamo continuamente funzioni alle tecnologie e molte di queste deleghe hanno ampliato enormemente le nostre possibilità.

Il punto è osservare che la nostra disponibilità a delegare non dipenderà principalmente da discorsi teorici sull’opportunità di utilizzare l’IA. Dipenderà dal fatto molto più concreto che funzioni bene e ci sia utile.

È proprio quando avremo ottime ragioni per utilizzarla sempre di più che diventerà importante domandarci quali capacità vogliamo comunque conservare, quali decisioni non vogliamo trasferire e in quali situazioni dobbiamo essere ancora capaci di agire senza di essa.

E la dipendenza non riguarda soltanto la macchina

C’è infine un elemento che nel 2016 era già visibile, ma che oggi ha assunto dimensioni diverse.

La costruzione dei sistemi più avanzati richiede quantità enormi di capitale, capacità computazionale, infrastrutture, dati e competenze. Queste risorse sono concentrate in un numero relativamente piccolo di organizzazioni.

Se l’IA diventa progressivamente incorporata negli strumenti attraverso i quali lavoriamo, comunichiamo, conosciamo e decidiamo, cresce anche il potere di chi controlla quelle infrastrutture.

La dipendenza non riguarda quindi soltanto il rapporto fra noi e la macchina.

Riguarda anche il rapporto fra noi e chi possiede la macchina dalla quale dipendiamo.

Chi controlla un’infrastruttura può modificarne le condizioni di accesso, i costi, le funzionalità, i criteri di funzionamento e i limiti di utilizzo.

Più funzioni affidiamo a quei sistemi, più queste decisioni possono incidere sulle nostre possibilità di azione.

Anche per questo la questione della delega non è soltanto individuale. È economica e politica.

Guardare al futuro senza pretendere di conoscerlo

Forse è questo che i dieci anni trascorsi possono insegnarci.

Non come sarà l’intelligenza artificiale nel 2036.

Ma che cosa osservare mentre ci arriviamo.

Non soltanto che cosa le nuove IA sapranno fare, ma quali pratiche renderanno possibili e quali diventeranno normali.

Non soltanto quali problemi riusciranno a risolvere, ma quali problemi nuovi nasceranno dalle soluzioni che avranno reso disponibili.

Non soltanto quanto saranno affidabili, ma quanto proprio la loro affidabilità aumenterà la nostra disponibilità a delegare.

Non soltanto quale potere avranno le macchine, ma quale potere acquisteranno coloro che controlleranno le infrastrutture dalle quali dipenderemo.

E senza dimenticare che anche queste sono le domande che riusciamo a formulare oggi.

Fra dieci anni potremmo scoprire, come è accaduto guardando indietro al 2016, che alcune erano giuste, altre erano mal poste e altre ancora non eravamo semplicemente in grado di immaginarle.

Non sappiamo come sarà il futuro. Possiamo però cercare di non guardarlo soltanto con gli occhi del presente.

Lesson learned, una sintesi

• Guardiamo il futuro con le categorie del presente. Ma una trasformazione profonda cambia anche le categorie attraverso cui cerchiamo di comprenderla. Nel 2016 non ci mancavano soltanto alcune risposte: ci mancavano alcune delle domande che oggi consideriamo centrali.
• Non conta soltanto ciò che una tecnologia sa fare, ma ciò che accade quando milioni di persone cominciano a utilizzarla. Le conseguenze più profonde emergono quando una possibilità tecnica diventa una pratica quotidiana.
• Una tecnologia può diventare meno visibile proprio mentre diventa più presente. Incorporata negli strumenti e nelle pratiche ordinarie, smettiamo progressivamente di percepirla come qualcosa di separato e cominciamo a considerare normale ciò che rende possibile.
• Tecnologia e comportamenti si trasformano reciprocamente. Nuove capacità generano nuovi usi; gli usi modificano abitudini e aspettative; le nuove aspettative orientano ulteriormente lo sviluppo tecnologico. È un processo ricorsivo, non una semplice sequenza causa-effetto.
• Ogni soluzione può generare problemi di secondo ordine. Una tecnologia risolve un problema ma, modificando pratiche e ambiente, può farne emergere altri che prima non esistevano o non erano rilevanti.
• I problemi futuri dell’IA potrebbero derivare non soltanto dai suoi fallimenti, ma anche dai suoi successi. Un sistema molto efficace può modificare comportamenti, competenze e organizzazioni proprio perché abbiamo ottime ragioni per utilizzarlo.
• L’efficacia genera fiducia; la fiducia favorisce la delega; la delega può generare dipendenza. Quanto più l’IA sarà utile e affidabile, tanto più saremo disponibili ad affidarle attività che oggi svolgiamo direttamente.
• La delega può modificare le capacità di chi delega. Quando una funzione viene svolta stabilmente da uno strumento, cambia anche la necessità di esercitarla direttamente. Diventa quindi importante distinguere ciò che possiamo smettere di fare da ciò che dobbiamo continuare a saper fare per controllare ciò che abbiamo delegato.
• La dipendenza dalla tecnologia può diventare dipendenza da chi la controlla. Se sistemi sempre più presenti nelle nostre attività sono governati da pochi soggetti, la crescente delega può accompagnarsi a una crescente concentrazione del potere economico, tecnologico e decisionale.
• Dobbiamo considerare provvisorie anche queste lezioni. Fra dieci anni potremmo scoprire che alcune delle questioni che oggi consideriamo decisive erano formulate male e che altre, oggi invisibili, saranno diventate centrali. Non sappiamo come sarà il futuro; possiamo però cercare di non guardarlo soltanto con gli occhi del presente.