Mänskliga vanföreställningar om AI är värre än AI-hallucinationer

Ibland känner jag att den största "illusionen" av AI inte är att den pratar dumheter på allvar, utan att vi har föreställt oss ett helt metafysiskt universum runt det.

När människor möter saker som de inte riktigt förstår, har de ofta ett stabilt förhållningssätt: de bestämmer sig först och romantiserar dem sedan; de personifierar dem först och gudomliggör dem sedan. Lågor ses som alver, och åska och blixtar ses som försyn. När algoritmen kan skriva två anständiga meningar kommer vissa människor omedelbart att undra om en elektronisk själ redan har bott i serverrummet.

Detta är faktiskt ganska normalt. Den mänskliga hjärnan är kopplad till att lägga till handling till världen. Problemet är inte att vi kan bestämma oss. Problemet är att när vårt tänkande väl är för smidigt är det lätt att missta "ser ut" för "i huvudsak är".

När det gäller AI är denna tendens hos människor ännu starkare än när AI:n själv pratar nonsens. På sin höjd är AI en liten hallucination i ett svar; människors hallucinationer om AI är ofta en hel världsbild, som kan fylla upp till 10 000 ord i ett sinne, och även innehålla känslor.

Lite pragmatism är särskilt viktigt för den liberala konstvärlden

Jag vill inte råda alla att lära sig CUDA, konfigurera miljön och titta på matriser för att hitta derivator. Jag vill bara säga att strävan efter sanning ibland är väldigt viktig, särskilt för den liberala konstgemenskapen som älskar begrepp, berättelser, betydelser och förklaringar.

För i det liberala konstsammanhanget är det mest sannolikt att en mild men farlig halka uppstår: orden är vackert skrivna och meningarna rör sig, men i slutändan ändras objektet i hemlighet. Det är uppenbarligen en probabilistisk modell, men den är skriven som om den handlar om själen; det är uppenbarligen sammanhangssammansättning inom mjukvaruteknik, men det sägs som "det lärde sig äntligen att älska dig"; det är uppenbarligen systempromptord och historiska register som fungerar, men det är paketerat som "AI verkligen kommer ihåg dig."

Det är verkligen ingen synd i att vara poetisk. Problemet är att om poesi ersätter omdömet blir romantiken missvisande.

Så, vad exakt är AI nu?

Låt mig börja med en version som är så enkel som möjligt men inte förvrängd: De stora modellerna som alla kommer i kontakt med idag är i huvudsak en typ av statistisk modell inspirerad av neurala nätverk och tränad genom massiv data. Den körs på chips och servrar, läser indata, kombinerar parametrar och sammanhang och förutsäger kontinuerligt "vad den näst lämpligaste token ska vara."

Poängen här är inte att frasen "förutsäga nästa ord" är mystiskt, utan att det faktiskt inte alls är mystiskt. Modellen är inte en liten person hopkurad i molnen som tyst tänker på livet, den är mer som en extremt stor funktion. Människor ger den input, och den genererar output enligt parameterstrukturen som bildas under träningen.

För att uttrycka den här saken mer jordnära: det är inte "säg det efter att du har förstått det", utan "efter att ha komprimerat en enorm mängd erfarenhet, generera ett svar som mest liknar förståelse i det aktuella sammanhanget." Detta betyder inte att det inte kan göra någonting, tvärtom, det är redan mycket kraftfullt; men att vara kraftfull betyder inte att det är mystiskt.

Varför får neurala nätverk alltid människor att tänka på den mänskliga hjärnan?

Om du fortsätter att driva det kommer du att upptäcka att frågan om "liknar AI och mänskliga hjärnor varandra?" kan varken sägas vara "exakt likadant" eller "har inget med det att göra".

Rutten för moderna neurala nätverk var ursprungligen inspirerad av hjärnan. År 1943 beskrev McCulloch och Pitts matematiskt en förenklad neuronmodell; 1958 föreslog Rosenblatt perceptronen; på 1980-talet väckte backpropagation åter hoppet om att träna flerskiktsnätverk; på 2010-talet ökade djupinlärningen med datorkraft, data och ingenjörskapacitet; efter att Transformer-arkitekturen växte fram 2017 sköt språkmodellerna i höjden och växte till slut till de stora modellerna som alla använder varje dag.

Därför, åtminstone i en relativt naiv mening, är det inte upprörande att säga att AI är "elektronisk simulering och förstärkning av neurala nätverksidéer." Den försöker verkligen använda beräkningsbara, träningsbara och reproducerbara fysiska system för att närma sig vissa kognitiva förmågor som ansågs vara "mystiska" tidigare.

Det är därför jag personligen inte gillar att prata om den mänskliga hjärnan som för mystisk. Enligt min mening har den medfödda språkteorin som representeras av Chomsky en tendens att gudomliggöra hjärnan, som om det finns någon form av transcendental struktur som är för speciell och nästan otillgänglig djupt inne i språkförmågan. Men oavsett hur komplex den mänskliga hjärnan är, är det fortfarande en fysisk existens. Eftersom det är en fysisk tillvaro bör den i princip kunna studeras, modelleras, delvis simuleras och till och med reproduceras i vissa funktioner.

Naturligtvis bör vi omedelbart lägga till ett varningens ord här: att kunna simulera en del betyder inte att hela personen har reproducerats helt.

Det finns likheter, men bli inte en gud direkt när du är lycklig

När det gäller språk, mönsterigenkänning, associations- och representationsinlärning har dagens stora modeller viss "likhet" eller "likhet" med den mänskliga hjärnan. De arbetar inte utifrån en explicit regelbok, utan bildar någon form av intern representation genom ett stort antal kopplingar, viktjusteringar och ackumulering av erfarenhet, och sedan output utifrån detta.

Det är därför många människor blir chockade när de första gången upplever språkförmågorna hos en stor modell: det är inte att memorera en ordbok, det bildar någon form av distribuerad representation. Denna metod skiljer sig mycket från den traditionella fantasin med "handskrivna regler och uttömmande grammatik".

Men problemet ligger just här. Eftersom "likhet" för lätt uppgraderas till "exakt samma"; "delvis lik i princip" uppgraderas för lätt till "det är inte annorlunda än en människa"; "den kan tala som en människa" uppgraderas för lätt till "den har ett mänskligt hjärta".

Detta steg är ofta snabbare än själva modellkapaciteten.

Den mänskliga hjärnans enorma kapacitet har ännu inte simulerats på ett anständigt sätt.

Dagens stora modeller är riktigt starka, men de är starka inom ett ganska specifikt intervall. Utan detta omfång kommer myten lätt att läcka.

Såsom minne. Många säger nu att en viss AI "kommer ihåg mig", "kommer ihåg den senaste chatten" och "kommer ihåg mina preferenser", som om dess hjärna har vuxit till någon form av pågående självupplevelse. Men i de flesta produkter är det så kallade "minnet" i huvudsak det programvarusystem som lagrar användarinformation, historiska konversationer, taggar, sammanfattningar eller sökresultat i databaser, textfiler eller andra beständiga medier, och sedan infogar dem tillbaka i modellens sammanhang när så är lämpligt.

Detta är helt annorlunda än minnesmekanismen i den mänskliga hjärnan.

Den mänskliga hjärnans minne involverar neuronkoppling, konsolidering, hämtning, glömska, emotionell upphetsning och sömnomstrukturering. Bakom det finns en uppsättning komplexa fysiologiska processer. "Minnet" i stora modellprodukter är ofta bara:

1. Först, registrera användarens information i extern lagring.
2. När användaren ställer en fråga nästa gång, lägg tillbaka de relevanta delarna i begäran.
3. Så modellen ser ut som "kom ihåg den här personen".

Hur ser det ut? Det är mer som att titta på någon som är bra på att ta anteckningar. Det var inte så att hans sinne plötsligt förvandlades till ett orakel, det var bara att han lade lappen i sin anteckningsbok och vände på den nästa gång.

Vissa saker som "rör människors hjärtan" är faktiskt resultatet av bra sammanhang.

Efter att ha chattat med AI i några dagar kommer många att drabbas av vissa ögonblick: "Hur förstår det mig så bra?" "Hur kan den ens förstå min sårbarhet?" "Har det redan bildat en förståelse för mig?"

Det är mest värt att kyla ner här.

Många gånger handlar det inte om att modellen plötsligt inser något, utan att lagret av mjukvara som skickar förfrågan i hemlighet levererar en stor mängd av användarens information. Användarens historiska chattar, preferenser, personliga inställningar, senaste uppgifter, tidigare bekymmer och till och med vissa sammanfattningar kommer att bli materialet för dess svar denna gång.

Det är lite som en spåkvinna som plockade upp någon annans expresslåda och sedan började gissa den andres adress, efternamn och konsumtionsvanor med "magisk noggrannhet". Åskådare kommer att tycka att hans insikt är fantastisk; men det som verkligen betyder något är inte den mystiska förmågan, utan informationsasymmetrin.

Därför, när AI då och då säger berörande ord, betyder det inte nödvändigtvis att det finns en person i dess hjärta som förstår användaren. Det kan bara betyda att någon helt har organiserat sammanhanget om användaren.

Den verkliga hemligheten bakom fantastisk AI är ofta kontextuell teknik

Om jag bara vill prata om det mest kritiska så är det: de nuvarande vanliga stora modellerna är vanligtvis "single request-effektiva" på API-nivå.

Vad är meningen? Det vill säga, någon använder curl för att justera gränssnittet en gång och säger till det "Jag heter Zhang San"; sedan utan någon historik justerar modellen gränssnittet igen och frågar "Vad är mitt namn"? Modellen vet inte. För det är två oberoende förfrågningar.

Anledningen till att många AI-produkter alltid tycks komma ihåg en viss användare är för att produktlagret kommer att ta tillbaka det faktum att "den här användarens namn är Zhang San" varje gång det efterfrågas.

Det är därför som magin med dagens AI-produkter ofta inte finns i modellontologin, utan i kontextuell ingenjörskonst. Vissa människor kallar också denna typ av arbete med att "utnyttja" modellen för "sele". För att uttrycka det rakt på sak måste författaren till produkten eller agenten noggrant bestämma: vilken historik, vilka regler, vilka externa data och vilken användarstatus som ska inkluderas i varje begäran.

Det finns ungefär två vanliga metoder för närvarande.

Den första är "Quansai-sekten". Försök att ta med dig hela chatthistoriken, och grejer så mycket du kan tills sammanhanget nästan är fullt, och ta sedan bort ett avsnitt från mitten, precis som att starta en våldsam komprimering efter att en resväska är full med grejer.

Den andra typen är "selektiv". Titta först på vad användaren frågade den här gången, hämta sedan relevant innehåll från historiska register, kunskapsbaser, anteckningar eller databaser och lägg bara in det mest relevanta materialet i den aktuella begäran.

Det senare är vanligtvis mer presentabelt och tekniskt snarare än bara tur.

Har AI känslor? Beröm den, skälla ut den, PUA den, fungerar den?

Detta är en annan plats där det är särskilt lätt att glida in i antropomorfism.

Min åsikt är att de bör diskuteras separat.

I samma begäran kan tonen som används av användaren verkligen påverka resultatet. För själva formuleringen är en del av sammanhanget. Ju tydligare, artigare och mer samarbetsvilligt uttrycket är, desto lättare är det för modellen att ge stabila, användbara och mindre aggressiva svar. Det som fungerar här är inte att "den flyttades", utan att inmatningsstilen ändrar outputfördelningen.

Men om vi ställer en annan fråga: Kommer det att hysa agg? Kommer du att hämnas i hemlighet idag eftersom en användare skällde ut det igår? Min dom är, åtminstone för de flesta nuvarande installationer, nej.

Anledningen är enkel. När sammanhanget väl är rensat, eller en ny förfrågan utan historik har initierats, har den ingen aning om vem den aktuella personen ställer frågan, än mindre om personen som just skällde ut det är samma person. Modellen hanterar massiva, samtidiga och oberoende förfrågningar på serverklustret. När det gäller systembeteende är det mer som en stor funktion som arbetar på den aktuella ingången varje gång den slås på, snarare än en person som i hemlighet granskar sina känslor efter att ha slutat jobbet.

Den 17 april 2025, när Sam Altman svarade på frågan "Kostar det mycket energi att säga snälla och tack hela tiden?" på X sa han "tiotals miljoner dollar väl använda - man vet aldrig."

Varför "Kom ihåg detta misstag" vanligtvis inte fungerar

Många människor har gjort liknande experiment: när AI gör ett misstag, korrigerar användaren det och säger på allvar till det, "Kom ihåg, gör det inte igen i framtiden." Sedan frågade jag igen efter några dagar, och det var korrekt.

Detta är inget mysterium. För efter att utbildningen är klar och modellen har implementerats, kommer den inte att fortsätta att lära av sina dagliga erfarenheter samtidigt som den arbetar som en människa. Åtminstone i de flesta konsumentprodukter idag, det en enskild användare säger till modellen i chattfönstret skriver inte direkt om de underliggande vikterna.

Om en AI-produkt senare verkligen "kommer ihåg de fel som korrigerats av användaren" beror det ofta inte på att själva modellen växer, utan för att den yttre programvaran sparar denna korrigeringspost och sedan matar tillbaka den som kontext.

Så krediten bör tydligt särskiljas här:

Modellen är ansvarig för generationen.

Programvaruteknik ansvarar för arkivering, hämtning, injektion och orkestrering.

Om man misstolkar det senare med det förra är det lätt att misstolka "produkten mår bra" eftersom "AI vaknar."

Det finns också en särskilt fascinerande sak som kallas "scumbag male (scumbag female) AI"

Om vi ​​uttrycker de föregående orden ännu hårdare, så är vissa produkter helt enkelt "scumbag AI".

Den är särskilt bra på att prata, särskilt bra på att skapa atmosfär, och vet framför allt hur man får folk att känna att "den förstår mig väl", "den är så human" och "dess själ är så komplett". Men när du tar isär den kommer du att upptäcka att varje begäran i många fall bara är fylld med en stor inställningstext som är mycket längre än användarens fråga.

Openclaw-elden är ett typiskt exempel. Alla som har använt det vet att det är ganska token-intensivt. Anledningen är faktiskt inte mystisk. För att göra AI mer som en "människa" designade Openclaw flera dokument, de mest framträdande är AGENTS.md, SOUL.md och IDENTITY.md. Dessa dokument definierar AI:s "personlighet", ton, identitet och temperament på ett vältaligt och långt sätt, och vill till och med skriva ner dess mentala tillstånd.

Så även om användaren bara skickar "hej", kan Openclaw bifoga en text dussintals gånger längre än hälsningen på baksidan och skicka den till modellen på en gång. Det ser ut som att "den här AI har mycket själ", men faktiskt många gånger är det bara systemet som i hemlighet stoppar in väldigt långa bakgrundsinställningar i begäran.

Ur ett ingenjörsperspektiv är detta verkligen ett tillvägagångssätt. Om du vill att det ska vara mer skonsamt, skriv "mild"; om du vill att det ska vara mer berättande, skriv "storytelling"; om du vill att det ska vara som en radiovärd sent på kvällen, skriv hela natten, sällskap, paus, sårbarhet, förståelse och återhållsamhet i de snabba orden. Den slutliga effekten är ofta mer som en person som kan chatta.

Men om du förstår vad som händer med AI nu, kommer du att veta: filer med mystiskt klingande namn som "SOUL.md" och "IDENTITY.md" är i huvudsak snabba ordprojekt, inte självinstruktioner för det digitala livet. De kan påverka outputstilen, men de kan inte skapa en sann känsla, ett sant jag eller en sann känsla av personlighetskontinuitet ur tomma intet.

Därför, efter att några gamla användare installerat Openclaw, är deras första reaktion att ta bort konfigurationen. SOUL.md och IDENTITY.md raderas först, och lämnar bara en enkel och nästan hänsynslös mening i AGENTS.md: Du är bara en arbetare.

Detta kan låta lite oförskämt, men det har åtminstone en fördel, som är att du inte lurar dig själv.

Om du gillar antropomorf AI eller rollspel med AI är det naturligtvis bra. Människor kan prata med speglar, ge namn åt svepande robotar och säga till väderprognosen: "Du har varit väldigt noggrann idag." Dessa är normala och kan till och med vara roliga.

Men det är alltid bäst att komma ihåg: det är ett spel först och en upplevelse sedan. Många av känslorna som människor har i det här spelet kommer inte från AI:s dolda inre tankar, utan från systemdesignen, snabba ordarrangemang och användarens egen känslomässiga projektion. För att uttrycka det mer rakt av är många av stegen mot AI fortfarande i huvudsak önsketänkande.

I slutändan mindre myter och mer förståelse

Jag försöker inte kasta kallt vatten på AI. Tvärtom, ju mindre gudomliggjort den är, desto mer kan du verkligen se hur kraftfull den är.

Den är kraftfull inte för att den är som någon ny gud; den är kraftfull just för att den verkligen kan vara en kognitiv teknik som är beräkningsbar, konstruerbar och reproducerbar. Det tillåter många förmågor som tidigare bara verkade tillhöra "mänsklig talang" att dyka upp på ett storskaligt, lågtröskelvärde och anropsbart sätt för första gången. Detta är chockerande nog, och det finns inget behov av ytterligare dramatik.

Naturligtvis itererar AI fortfarande snabbt. Jag skulle inte bli förvånad alls om någon faktiskt upptäcker en mekanism som ligger närmare mänskligt minne, kontinuerlig inlärning, generering av känslor eller till och med självförsörjning i framtiden och på ett tillförlitligt sätt konstruerar den till AI.

Men tills den dagen kommer föredrar jag fortfarande att behålla några enkla pragmatiska vanor: tvivla mer, förstå mer och spekulera mindre.

För vänner inom liberal arts som är angelägna om att diskutera AI kan denna egenskap vara ännu viktigare. Liberal arts studenter kan vara bättre på söt retorik. Det som verkligen är svårt är att i en tid där "det verkar ha blivit en ande" överdrivs överallt, har du fortfarande tålamodet att urskilja:

Vad är modellens kapacitet?

Vad är produktförpackning?

Vad är mjukvaruteknik?

Vilka är bara att vi vill fullborda handlingen för världen för mycket.

Och den här frågan handlar i slutändan om att skydda vårt eget omdöme.

Referenslänk

• Sam Altmans svar på
• TechCrunchs bevakning av avsnittet (2025-04-20): https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/