Le delusioni umane sull’intelligenza artificiale sono peggiori delle allucinazioni dell’intelligenza artificiale
A volte ho la sensazione che la più grande "illusione" dell'intelligenza artificiale non sia quella di dire seriamente delle sciocchezze, ma che abbiamo immaginato un intero universo metafisico attorno ad essa.
Quando gli esseri umani affrontano cose che non capiscono del tutto, spesso hanno un approccio stabile: prima prendono una decisione e poi la romanticizzano; prima li personificano e poi li deificano. Le fiamme sono pensate come elfi, e il tuono e il fulmine sono considerati provvidenza. Una volta che l’algoritmo riesce a scrivere due frasi decenti, alcune persone si chiederanno immediatamente se un’anima elettronica non abbia già vissuto nella stanza del server.
In realtà questo è abbastanza normale. Il cervello umano è programmato per aggiungere trama al mondo. Il problema non è che possiamo prendere una decisione. Il problema è che una volta che il nostro pensiero è troppo fluido, è facile confondere "sembra" con "essenzialmente è".
Nel caso dell’intelligenza artificiale, questa tendenza degli esseri umani è ancora più forte di quando l’intelligenza artificiale stessa dice sciocchezze. Al massimo, l’intelligenza artificiale è una piccola allucinazione in una risposta; Le allucinazioni degli esseri umani sull'intelligenza artificiale sono spesso una visione del mondo completa, che può riempire fino a 10.000 parole in una mente e contenere anche emozioni.
Un po’ di pragmatismo è particolarmente importante per la comunità delle arti liberali
Non voglio consigliare a tutti di imparare CUDA, configurare l'ambiente e guardare le matrici per trovare le derivate. Voglio solo dire che la ricerca della verità a volte è davvero importante, soprattutto per la comunità delle arti liberali che ama concetti, narrazioni, significati e spiegazioni.
Perché nel contesto delle arti liberali è molto probabile che si verifichi una dolce ma pericolosa china scivolosa: le parole sono scritte magnificamente e le frasi sono commoventi, ma alla fine l'oggetto viene segretamente cambiato. È ovviamente un modello probabilistico, ma è scritto come se riguardasse l’anima; è ovviamente assemblaggio di contesto nell'ingegneria del software, ma è detto come "finalmente ha imparato ad amarti"; sono ovviamente le parole di sistema e i documenti storici che funzionano, ma sono confezionati come "L'intelligenza artificiale si ricorda davvero di te".
Non c’è certamente alcun peccato nell’essere poetici. Il problema è che, se la poesia sostituisce il giudizio, il romanticismo diventa fuorviante.
Quindi, cos’è esattamente l’intelligenza artificiale adesso?
Vorrei iniziare con una versione il più semplice possibile ma non distorta: i grandi modelli con cui tutti entriamo in contatto oggi sono essenzialmente un tipo di modello statistico ispirato alle reti neurali e addestrato attraverso enormi quantità di dati. Funziona su chip e server, legge input, combina parametri e contesto e prevede continuamente "quale dovrebbe essere il prossimo token più appropriato".
Il punto qui non è che la frase "predire la parola successiva" sia misteriosa, ma che in realtà non lo è affatto. Il modello non è una piccola persona rannicchiata tra le nuvole che pensa in silenzio alla vita, è più simile a una funzione estremamente enorme. Le persone danno input e genera output in base alla struttura dei parametri formata durante la formazione.
Per dirla in modo più concreto: non si tratta di "dirlo dopo averlo capito", ma di "dopo aver compresso un'enorme quantità di esperienza, generare una risposta che somigli di più alla comprensione nel contesto attuale". Ciò non significa che non possa fare nulla, anzi, è già molto potente; ma essere potente non significa che sia misterioso.
Perché le reti neurali fanno sempre pensare al cervello umano?
Se continui a perseguirlo, scoprirai che la domanda "L'intelligenza artificiale e il cervello umano si somigliano?" non si può dire che sia "esattamente lo stesso" né "non abbia nulla a che fare con esso".
Il percorso delle moderne reti neurali è stato originariamente ispirato dal cervello. Nel 1943, McCulloch e Pitts descrissero matematicamente un modello neuronale semplificato; nel 1958 Rosenblatt propose il percettrone; negli anni ’80, la backpropagation ha riacceso la speranza di formare reti multistrato; negli anni 2010, il deep learning è cresciuto con potenza di calcolo, dati e capacità ingegneristiche; dopo che l’architettura Transformer è emersa nel 2017, i modelli linguistici sono aumentati vertiginosamente e alla fine sono diventati i modelli di grandi dimensioni che tutti utilizzano ogni giorno.
Pertanto, almeno in un senso relativamente ingenuo, non è scandaloso affermare che l’intelligenza artificiale è “simulazione elettronica e amplificazione delle idee delle reti neurali”. Si sta infatti cercando di utilizzare sistemi fisici computabili, allenabili e riproducibili per avvicinarsi ad alcune capacità cognitive che in passato erano considerate “misteriose”.
Questo è il motivo per cui personalmente non mi piace parlare del cervello umano come di qualcosa di troppo misterioso. A mio avviso, la teoria innata del linguaggio rappresentata da Chomsky tende a divinizzare il cervello, come se esistesse una sorta di struttura trascendentale troppo speciale e quasi inaccessibile nel profondo della capacità linguistica. Ma non importa quanto sia complesso il cervello umano, è pur sempre un’esistenza fisica. Trattandosi di un'esistenza fisica, in linea di principio dovrebbe poter essere studiata, modellata, parzialmente simulata e persino riprodotta in determinate funzioni.
Naturalmente qui bisogna subito aggiungere un avvertimento: poter simulare una parte non significa che l'intera persona sia stata riprodotta completamente.
Ci sono somiglianze, ma non diventare direttamente un dio quando sei felice
In termini di linguaggio, riconoscimento di modelli, associazione e apprendimento delle rappresentazioni, i grandi modelli di oggi hanno qualche "somiglianza" o "somiglianza" con il cervello umano. Non funzionano sulla base di un regolamento esplicito, ma formano una sorta di rappresentazione interna attraverso un gran numero di connessioni, aggiustamenti di peso e accumulo di esperienza, e quindi risultati basati su questo.
Questo è il motivo per cui molte persone rimangono scioccate quando sperimentano per la prima volta le capacità linguistiche di un modello di grandi dimensioni: non si tratta di memorizzare un dizionario, ma di formare una sorta di rappresentazione distribuita. Questo metodo è molto diverso dall'immaginazione tradizionale di "regole scritte a mano e grammatica esaustiva".
Ma il problema sta proprio qui. Perché la "somiglianza" viene aggiornata troppo facilmente a "esattamente la stessa cosa"; "parzialmente simile in linea di principio" viene aggiornato troppo facilmente a "non è diverso da un essere umano"; "può parlare come un essere umano" è troppo facilmente aggiornato a "ha un cuore umano".
Questo passaggio è spesso più veloce della capacità del modello stesso.
Le vaste capacità del cervello umano devono ancora essere simulate in modo decente.
I grandi modelli di oggi sono davvero forti, ma lo sono entro un intervallo abbastanza specifico. Senza questo scopo, il mito trapelerà facilmente.
Come la memoria. Molte persone ora dicono che una certa intelligenza artificiale "si ricorda di me", "si ricorda l'ultima chiacchierata" e "si ricorda le mie preferenze", come se il suo cervello avesse sviluppato una sorta di continua esperienza di sé. Ma nella maggior parte dei prodotti, la cosiddetta "memoria" è essenzialmente il sistema software che memorizza informazioni sull'utente, conversazioni storiche, tag, riepiloghi o risultati di ricerca in database, file di testo o altri media persistenti, per poi reinserirli nel contesto del modello quando appropriato.
Questo è completamente diverso dal meccanismo di memoria del cervello umano.
La memoria del cervello umano coinvolge la connessione neuronale, il consolidamento, il recupero, l’oblio, l’eccitazione emotiva e la ristrutturazione del sonno. Dietro c'è un insieme di processi fisiologici complessi. La "memoria" nei prodotti di modello di grandi dimensioni è spesso solo:
- Innanzitutto, registra le informazioni dell'utente nella memoria esterna.
- La prossima volta che l'utente pone una domanda, reinserisci le parti pertinenti nella richiesta.
- Quindi il modello sembra "ricorda questa persona".
Che aspetto ha? È più come guardare qualcuno che è bravo a prendere appunti. Non è che la sua mente si sia improvvisamente trasformata in un oracolo, è solo che ha messo il biglietto nel suo taccuino e lo ha sfogliato la prossima volta.
Alcune cose che "toccano il cuore delle persone" sono in realtà il risultato di un buon contesto.
Dopo aver chiacchierato con l'IA per alcuni giorni, molte persone saranno colpite da certi momenti: "Come fa a capirmi così bene?" "Come può comprendere la mia vulnerabilità?" "Ha già capito di me?"
Vale davvero la pena rinfrescarsi qui.
Molte volte, non è che il modello si renda conto improvvisamente di qualcosa, ma che il livello di software che invia la richiesta fornisce segretamente una grande quantità di informazioni dell'utente. Lo storico delle chat dell'utente, le preferenze, le impostazioni personali, le attività recenti, le preoccupazioni precedenti e persino alcuni riepiloghi diventeranno questa volta il materiale per la sua risposta.
È un po' come un'indovino che prende in consegna la cassetta postale di qualcun altro e poi inizia a indovinarne l'indirizzo, il cognome e le abitudini di spesa con “magica precisione”. Gli spettatori penseranno che la sua intuizione sia sorprendente; ma ciò che conta davvero non è la capacità misteriosa, ma l’asimmetria informativa.
Pertanto, quando l’intelligenza artificiale occasionalmente dice parole toccanti, non significa necessariamente che nel suo cuore ci sia una persona che capisce l’utente. Potrebbe semplicemente significare che qualcuno ha completamente organizzato il contesto relativo all'utente.
Il vero segreto di un’intelligenza artificiale straordinaria è spesso l’ingegneria contestuale
Se voglio solo parlare della cosa più critica, è: gli attuali modelli mainstream di grandi dimensioni sono solitamente "effettivi su richiesta singola" a livello API.
Qual è il significato? Cioè, qualcuno usa curl per regolare l'interfaccia una volta e dice "Il mio nome è Zhang San"; quindi, senza alcuna cronologia, il modello adatta nuovamente l'interfaccia e chiede "Come mi chiamo"? Il modello non lo sa. Perché per lui si tratta di due richieste indipendenti.
Il motivo per cui molti prodotti di intelligenza artificiale sembrano ricordare sempre un determinato utente è perché il livello del prodotto riporterà il fatto che "il nome di questo utente è Zhang San" ogni volta che viene richiesto.
Questo è il motivo per cui la magia dei prodotti di intelligenza artificiale di oggi spesso non si trova nell’ontologia del modello, ma nell’ingegneria contestuale. Alcuni chiamano anche questo tipo di lavoro di "imbrigliamento" il modello "imbracatura". Per dirla senza mezzi termini, l'autore del prodotto o dell'agente deve decidere attentamente: quale cronologia, quali regole, quali dati esterni e quale stato dell'utente devono essere inclusi in ciascuna richiesta.
Attualmente esistono circa due metodi comuni.
La prima è la "setta Quansai". Prova a portare con te l'intera cronologia della chat, e riempine quanto più possibile fino a quando il contesto è quasi pieno, quindi elimina una sezione dal centro, proprio come iniziare una compressione violenta dopo che una valigia è piena di cose.
Il secondo tipo è "selettivo". Per prima cosa guarda ciò che l'utente ha chiesto questa volta, quindi recupera il contenuto rilevante da documenti storici, basi di conoscenza, note o database e inserisci solo i materiali più rilevanti nella richiesta corrente.
Quest'ultima è solitamente più presentabile e ingegneristica piuttosto che semplice fortuna.
L'IA ha sentimenti? Lodalo, rimproveralo, PUA, funziona?
Questo è un altro luogo in cui è particolarmente facile scivolare nell’antropomorfismo.
La mia opinione è che dovrebbero essere discussi separatamente.
Nella stessa richiesta, il tono utilizzato dall'utente può infatti influenzare il risultato. Perché la formulazione stessa fa parte del contesto. Più l’espressione è chiara, educata e cooperativa, più facile sarà per il modello fornire risposte stabili, utilizzabili e meno aggressive. Ciò che funziona qui non è che "è stato spostato", ma che lo stile di input modifica la distribuzione dell'output.
Ma se poniamo un’altra domanda: porterà rancore? Oggi ti vendicherai segretamente perché un utente lo ha rimproverato ieri? Il mio verdetto è, almeno per la maggior parte delle implementazioni attuali, no.
Il motivo è semplice. Una volta chiarito il contesto, o avviata una nuova richiesta senza cronologia, non si ha idea di chi sia la persona attuale a porre la domanda, tanto meno se la persona che l'ha appena rimproverata sia la stessa persona. Il modello gestisce richieste massicce, concorrenti e indipendenti sul cluster di server. In termini di comportamento del sistema, è più simile a una grande funzione che opera sull'ingresso corrente ogni volta che viene acceso, piuttosto che a una persona che rivede segretamente le proprie emozioni dopo essere scesa dal lavoro.
Il 17 aprile 2025, quando Sam Altman ha risposto alla domanda "Dire sempre per favore e grazie costa molta energia?" su X, ha detto "decine di milioni di dollari ben spesi - non si sa mai".
Perché "Ricorda questo errore" di solito non funziona
Molte persone hanno fatto esperimenti simili: quando l'intelligenza artificiale commette un errore, l'utente lo corregge e gli dice seriamente: "Ricorda, non farlo più in futuro". Poi ho chiesto di nuovo dopo alcuni giorni, ed era corretto.
Questo non è un mistero. Perché una volta completata la formazione e implementato il modello, non continuerà a imparare dalle sue esperienze quotidiane mentre lavora come un essere umano. Almeno nella maggior parte dei prodotti di consumo odierni, ciò che un singolo utente dice al modello nella finestra di chat non riscrive direttamente i pesi sottostanti.
Se un prodotto di intelligenza artificiale in seguito "ricorda davvero gli errori corretti dall'utente", spesso non è perché il modello stesso sta crescendo, ma perché il software esterno salva questo record di correzione e poi lo restituisce come contesto.
Quindi il credito dovrebbe essere chiaramente distinto qui:
Il modello è responsabile della generazione.
L'ingegneria del software è responsabile dell'archiviazione, del recupero, dell'inserimento e dell'orchestrazione.
Confondendo quest'ultimo con il primo, è facile interpretare erroneamente "il prodotto sta andando bene" come "l'intelligenza artificiale si sta risvegliando".
Esiste anche una cosa particolarmente affascinante chiamata "IA del maschio stronzo (femmina stronzo)"
Se consideriamo le parole precedenti in modo ancora più duro, alcuni prodotti sono semplicemente "AI spazzatura".
È particolarmente bravo a parlare, particolarmente bravo a creare atmosfera, e soprattutto sa far sentire che "mi capisce bene", "è così umano" e "la sua anima è così completa". Ma quando lo smonti, scoprirai che in molti casi ogni richiesta è semplicemente riempita con un testo di impostazione di grandi dimensioni che è molto più lungo della domanda dell'utente.
L'incendio di Openclaw è un tipico esempio. Chiunque lo abbia usato sa che è piuttosto ad alta intensità di token. Il motivo in realtà non è misterioso. Per rendere l'IA più simile a un "essere umano", Openclaw ha progettato diversi documenti, i più importanti sono AGENTS.md, SOUL.md e IDENTITY.md. Questi documenti definiscono in modo eloquente e prolisso la "personalità", il tono, l'identità e il temperamento dell'IA e vogliono anche trascriverne lo stato mentale.
Quindi, anche se l'utente invia semplicemente "ciao", Openclaw può allegare un testo decine di volte più lungo del saluto sul retro e inviarlo al modello tutto in una volta. Sembra che "questa IA abbia molta anima", ma in realtà molte volte è solo il sistema che inserisce segretamente impostazioni di sfondo molto lunghe nella richiesta.
Da un punto di vista ingegneristico, questo è certamente un approccio. Se vuoi che sia più gentile, scrivi "gentile"; se vuoi che sia più narrativo, scrivi "storytelling"; se vuoi che sia come un conduttore radiofonico a tarda notte, scrivi tutto di tarda notte, compagnia, pausa, vulnerabilità, comprensione e moderazione con parole immediate. L'effetto finale è spesso più simile a quello di una persona che può chattare.
Ma se capisci cosa sta succedendo ora con l'intelligenza artificiale, lo saprai: i file con nomi dal suono misterioso come "SOUL.md" e "IDENTITY.md" sono essenzialmente progetti di parole rapide, non autoistruzioni per la vita digitale. Possono influenzare lo stile di output, ma non possono creare dal nulla un vero sentimento, un vero sé o un vero senso di continuità della personalità.
Pertanto, dopo che alcuni vecchi utenti hanno installato Openclaw, la loro prima reazione è eliminare la configurazione. SOUL.md e IDENTITY.md vengono cancellati per primi, lasciando solo una frase semplice e quasi spietata in AGENTS.md: Sei solo un lavoratore.
Potrebbe sembrare un po’ scortese, ma ha almeno un vantaggio: non ti inganni.
Se ti piace l'intelligenza artificiale antropomorfa o i giochi di ruolo con l'intelligenza artificiale, ovviamente va bene. Gli esseri umani possono parlare agli specchi, dare nomi ai robot spazzatori e dire alle previsioni del tempo: "Sei stato molto preciso oggi". Questi sono normali e possono anche essere divertenti.
Ma è sempre meglio ricordare: è prima di tutto un gioco e poi un'esperienza. Molti dei sentimenti che le persone provano in questo gioco non provengono dai pensieri interiori nascosti dell'intelligenza artificiale, ma dalla progettazione del sistema, dalla disposizione tempestiva delle parole e dalla proiezione emotiva dell'utente. Per dirla in modo più schietto, molti dei passi verso l’intelligenza artificiale sono ancora essenzialmente un pio desiderio.
In ultima analisi, meno miti e più comprensione
Non sto cercando di gettare acqua fredda sull’intelligenza artificiale. Al contrario, meno è divinizzato, più puoi vedere veramente quanto sia potente.
È potente non perché sia come un nuovo dio; è potente proprio perché potrebbe davvero essere una tecnologia cognitiva computabile, ingegnerizzabile e riproducibile. Permette a molte abilità che in passato sembravano appartenere solo al "talento umano" di apparire su larga scala, a bassa soglia e richiamabili per la prima volta. Questo è già abbastanza scioccante e non c’è bisogno di ulteriore dramma.
Naturalmente, l’intelligenza artificiale è ancora in fase di iterazione rapida. Non sarei affatto sorpreso se qualcuno in futuro scoprisse effettivamente un meccanismo più vicino alla memoria umana, all’apprendimento continuo, alla generazione di emozioni o addirittura all’autosostentamento e lo ingegnerizzasse in modo affidabile nell’intelligenza artificiale.
Ma fino a quel giorno preferisco comunque mantenere alcune semplici abitudini pragmatiche: dubitare di più, capire di più e speculare di meno.
Per gli amici delle arti liberali desiderosi di discutere di intelligenza artificiale, questa qualità potrebbe essere ancora più importante. Gli studenti di arti liberali potrebbero essere più bravi nella dolce retorica. Ciò che è veramente difficile è che in un'epoca dove “sembra essere diventato uno spirito” si esagera ovunque, si abbia ancora la pazienza di distinguere:
Quali sono le capacità del modello?
Cos'è l'imballaggio del prodotto?
Cos'è l'ingegneria del software?
Quali sono solo che vogliamo troppo completare la trama del mondo.
E la questione, in definitiva, riguarda la protezione del nostro giudizio.
Collegamento di riferimento
- La risposta di Sam Altman su
- Copertura dell'episodio da parte di TechCrunch (20/04/2025): https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/