Menneskelige vrangforestillinger om AI er værre end AI-hallucinationer

Nogle gange føler jeg, at den største "illusion" ved AI ikke er, at den snakker nonsens seriøst, men at vi har forestillet os et helt metafysisk univers omkring det.

Når mennesker står over for ting, de ikke helt forstår, har de ofte en stabil tilgang: de beslutter sig først og romantiserer dem derefter; de personificerer dem først og guddommeliggør dem derefter. Flammer opfattes som elvere, og torden og lyn opfattes som forsyn. Når først algoritmen kan skrive to anstændige sætninger, vil nogle mennesker straks spekulere på, om der allerede har boet en elektronisk sjæl i serverrummet.

Dette er faktisk ret normalt. Den menneskelige hjerne er kablet til at tilføje plot til verden. Problemet er ikke, at vi kan bestemme os. Problemet er, at når vores tænkning er for glat, er det let at forveksle "ligner ud" med "i det væsentlige er".

I tilfælde af AI er denne tendens hos mennesker endnu stærkere, end når AI’en selv taler nonsens. Højst er AI en lille hallucination i et svar; menneskers hallucinationer om AI er ofte et helt verdensbillede, som kan fylde op til 10.000 ord i ét sind, og også indeholde følelser.

Lidt pragmatisme er især vigtigt for det liberale kunstmiljø

Jeg vil ikke råde alle til at lære CUDA, konfigurere miljøet og se på matricer for at finde derivater. Jeg vil bare sige, at jagten på sandheden nogle gange er virkelig vigtig, især for det liberale kunstsamfund, der elsker begreber, fortællinger, betydninger og forklaringer.

For i liberal arts-sammenhæng er der mest sandsynlighed for, at der opstår en blid, men farlig glidebane: Ordene er smukt skrevet, og sætningerne bevæger sig, men til sidst ændres objektet i al hemmelighed. Det er naturligvis en sandsynlighedsmodel, men den er skrevet, som om den handler om sjælen; det er selvfølgelig kontekstmontering i software engineering, men det siges som "det lærte endelig at elske dig"; det er tydeligvis systempromptord og historiske optegnelser, der virker, men det er pakket som "AI virkelig husker dig."

Der er bestemt ingen synd i at være poetisk. Problemet er, at hvis poesi erstatter dømmekraft, bliver romantik vildledende.

Så hvad er AI nu?

Lad mig starte med en version, der er så enkel som muligt, men ikke forvrænget: De store modeller, som alle kommer i kontakt med i dag, er i bund og grund en type statistisk model inspireret af neurale netværk og trænet gennem massive data. Det kører på chips og servere, læser input, kombinerer parametre og kontekst og forudsiger løbende "hvad det næstmest passende token skal være."

Pointen her er ikke, at sætningen "forudsige det næste ord" er mystisk, men at den faktisk slet ikke er mystisk. Modellen er ikke en lille person, der sidder sammenkrøbet i skyerne, der tavst tænker på livet, det er mere som en ekstremt stor funktion. Folk giver det input, og det genererer output i henhold til parameterstrukturen dannet under træningen.

For at sige denne sag mere jordnær: det er ikke "sig det, når du har forstået det", men "efter at have komprimeret en enorm mængde erfaring, generer et svar, der mest ligner forståelse i den aktuelle kontekst." Dette betyder ikke, at det ikke kan gøre noget, tværtimod er det allerede meget kraftfuldt; men at være magtfuld betyder ikke, at det er mystisk.

Hvorfor får neurale netværk altid folk til at tænke på den menneskelige hjerne?

Hvis du fortsætter med at forfølge det, vil du opdage, at spørgsmålet om "ligner AI og menneskelige hjerner hinanden?" kan hverken siges at være "nøjagtig det samme" eller "intet har med det at gøre".

Ruten for moderne neurale netværk var oprindeligt inspireret af hjernen. I 1943 beskrev McCulloch og Pitts matematisk en forenklet neuronmodel; i 1958 foreslog Rosenblatt perceptronen; i 1980'erne genfødte backpropagation håbet om at træne flerlags netværk; i 2010'erne voksede deep learning med computerkraft, data og tekniske muligheder; efter at Transformer-arkitekturen dukkede op i 2017, steg sprogmodellerne i vejret og voksede til sidst til de store modeller, som alle bruger hver dag.

Derfor, i det mindste i en relativt naiv forstand, er det ikke uhyrligt at sige, at AI er "elektronisk simulering og forstærkning af neurale netværksideer." Det forsøger faktisk at bruge beregnelige, oplærbare og reproducerbare fysiske systemer til at nærme sig visse kognitive evner, som tidligere blev betragtet som "mystiske".

Det er derfor, jeg personligt ikke kan lide at tale om den menneskelige hjerne som for mystisk. Efter min mening har den medfødte teori om sprog, repræsenteret af Chomsky, en tendens til at guddommeliggøre hjernen, som om der er en form for transcendental struktur, der er for speciel og næsten utilgængelig dybt i sprogevnen. Men uanset hvor kompleks den menneskelige hjerne er, er den stadig en fysisk eksistens. Da det er en fysisk eksistens, burde den i princippet kunne studeres, modelleres, delvist simuleres og endda reproduceres i visse funktioner.

Selvfølgelig skal vi straks tilføje et advarende ord her: At kunne simulere en del betyder ikke, at hele personen er blevet fuldstændigt gengivet.

Der er ligheder, men bliv ikke en gud direkte, når du er glad

Med hensyn til sprog, mønstergenkendelse, association og repræsentationslæring, har nutidens store modeller en vis "lighed" eller "lighed" med den menneskelige hjerne. De arbejder ikke ud fra en eksplicit regelbog, men danner en form for intern repræsentation gennem en lang række sammenhænge, ​​vægtjusteringer og erfaringsopsamling, og så output ud fra dette.

Det er grunden til, at mange mennesker bliver chokerede, når de første gang oplever sprogegenskaberne i en stor model: det er ikke at huske en ordbog, det danner en form for distribueret repræsentation. Denne metode er meget forskellig fra den traditionelle fantasi med "håndskrevne regler og udtømmende grammatik".

Men problemet ligger netop her. Fordi "lighed" for let opgraderes til "præcis det samme"; "delvis ens i princippet" opgraderes for let til "det er ikke anderledes end et menneske"; "den kan tale som et menneske" opgraderes for let til "den har et menneskehjerte".

Dette trin er ofte hurtigere end selve modelkapaciteten.

Den menneskelige hjernes enorme muligheder mangler endnu at blive simuleret på en anstændig måde.

Dagens store modeller er virkelig stærke, men de er stærke inden for et ret specifikt område. Uden dette omfang vil myten let lække.

Såsom hukommelse. Mange mennesker siger nu, at en vis AI "husker mig", "husker den sidste chat" og "husker mine præferencer", som om dens hjerne har udviklet en form for løbende selvoplevelse. Men i de fleste produkter er den såkaldte "hukommelse" i bund og grund det softwaresystem, der gemmer brugeroplysninger, historiske samtaler, tags, resuméer eller søgeresultater i databaser, tekstfiler eller andre vedvarende medier og derefter indsætter dem tilbage i modellens kontekst, når det er relevant.

Dette er helt anderledes end hukommelsesmekanismen i den menneskelige hjerne.

Menneskets hjernehukommelse involverer neuronforbindelse, konsolidering, hentning, glemsel, følelsesmæssig ophidselse og søvnomstrukturering. Bag det er et sæt komplekse fysiologiske processer. "Hukommelsen" i store modelprodukter er ofte bare:

1. Først skal du registrere brugerens oplysninger i eksternt lager.
2. Når brugeren stiller et spørgsmål næste gang, skal du sætte de relevante dele tilbage i anmodningen.
3. Så modellen ligner "husk denne person".

Hvordan ser det ud? Det er mere som at se nogen, der er god til at tage noter. Det var ikke fordi hans sind pludselig blev til et orakel, det var bare at han lagde sedlen i sin notesbog og vendte den om næste gang.

Nogle ting, der "rører folks hjerter", er faktisk resultatet af god sammenhæng.

Efter at have chattet med AI i et par dage, vil mange mennesker blive ramt af bestemte øjeblikke: "Hvordan forstår det mig så godt?" "Hvordan kan den overhovedet forstå min sårbarhed?" "Har det allerede dannet en forståelse af mig?"

Det er mest værd at køle ned her.

Mange gange er det ikke, at modellen pludselig indser noget, men at det lag af software, der sender anmodningen, i hemmelighed leverer en stor mængde af brugerens information. Brugerens historiske chats, præferencer, personlige indstillinger, seneste opgaver, tidligere bekymringer og endda visse opsummeringer vil blive materialet for dets svar denne gang.

Det er lidt ligesom en spåkone, der hentede en andens ekspresboks og derefter begyndte at gætte den andens adresse, efternavn og forbrugsvaner med "magisk nøjagtighed". Tilskuere vil mene, at hans indsigt er fantastisk; men det, der virkelig betyder noget, er ikke den mystiske evne, men informationsasymmetrien.

Når AI indimellem siger rørende ord, betyder det derfor ikke nødvendigvis, at der er en person i dets hjerte, der forstår brugeren. Det kan bare betyde, at nogen har organiseret konteksten om brugeren fuldt ud.

Den virkelige hemmelighed bag fantastisk kunstig intelligens er ofte kontekstuel konstruktion

Hvis jeg bare vil tale om det mest kritiske, er det: de nuværende mainstream store modeller er normalt "single request effektive" på API-niveau.

Hvad er meningen? Det vil sige, nogen bruger curl til at justere grænsefladen én gang og fortæller den "Mit navn er Zhang San"; så uden nogen historik justerer modellen grænsefladen igen og spørger "Hvad er mit navn"? Modellen ved det ikke. Fordi det er to uafhængige anmodninger.

Grunden til, at mange AI-produkter tilsyneladende altid husker en bestemt bruger, er fordi produktlaget vil bringe tilbage det faktum, at "denne brugers navn er Zhang San", hver gang det bliver anmodet om det.

Det er derfor, magien ved nutidens AI-produkter ofte ikke findes i modelontologien, men i kontekstuel ingeniørkunst. Nogle mennesker kalder også denne form for arbejde med at "udnytte" modellen for "sele". For at sige det ligeud, skal forfatteren af ​​produktet eller agenten nøje beslutte: hvilken historie, hvilke regler, hvilke eksterne data og hvilken brugerstatus der skal inkluderes i hver anmodning.

Der er groft sagt to almindelige metoder på nuværende tidspunkt.

Den første er "Quansai-sekten". Prøv at tage hele chathistorien med dig, og fyld så meget du kan, indtil konteksten er næsten fuld, og slet så et afsnit fra midten, ligesom at starte en voldsom komprimering efter en kuffert er fuld af ting.

Den anden type er "selektiv". Se først på, hvad brugeren spurgte denne gang, og hent derefter relevant indhold fra historiske optegnelser, vidensbaser, noter eller databaser, og indsæt kun det mest relevante materiale i den aktuelle anmodning.

Sidstnævnte er normalt mere præsentabelt og ingeniørmæssigt frem for blot held.

Har AI følelser? Ros det, skæld ud, PUA det, virker det?

Dette er et andet sted, hvor det er særligt nemt at glide ind i antropomorfisme.

Min mening er, at de bør diskuteres separat.

I samme anmodning kan den tone, brugeren bruger, faktisk påvirke resultatet. Fordi selve formuleringen er en del af sammenhængen. Jo klarere, mere høflig og mere samarbejdsvillig udtrykket er, jo lettere er det for modellen at give stabile, brugbare og mindre aggressive svar. Det, der virker her, er ikke, at "den blev flyttet", men at input-stilen ændrer outputfordelingen.

Men hvis vi stiller et andet spørgsmål: Vil det nære nag? Vil du hemmeligt gengælde i dag, fordi en bruger skældte det ud i går? Min dom er, i det mindste for de fleste nuværende implementeringer, nej.

Årsagen er enkel. Når først konteksten er ryddet, eller en ny anmodning uden historie er indledt, har den ingen idé om, hvem den aktuelle person stiller spørgsmålet, endsige om den person, der lige har skældt ud, er den samme person. Modellen håndterer massive, samtidige og uafhængige anmodninger på serverklyngen. Med hensyn til systemadfærd er det mere som en stor funktion, der opererer på det aktuelle input, hver gang den tændes, snarere end en person, der i hemmelighed gennemgår sine følelser efter at have været fri fra arbejde.

Den 17. april 2025, da Sam Altman svarede på spørgsmålet "koster det at sige venligst og tak hele tiden en masse energi?" på X sagde han "tiovis af millioner dollars godt givet ud - man ved aldrig."

Hvorfor "Husk venligst denne fejl" normalt ikke virker

Mange mennesker har lavet lignende eksperimenter: Når AI'en laver en fejl, retter brugeren det og siger seriøst til det: "Husk venligst, gør det ikke igen i fremtiden." Så spurgte jeg igen efter et par dage, og det var korrekt.

Dette er ikke noget mysterium. For efter at træningen er afsluttet, og modellen er implementeret, vil den ikke fortsætte med at lære af sine daglige erfaringer, mens den arbejder som et menneske. I hvert fald i de fleste forbrugerprodukter i dag, omskriver det en enkelt bruger siger til modellen i chatvinduet ikke direkte de underliggende vægte.

Hvis et AI-produkt senere virkelig "husker de fejl, brugeren har rettet", er det ofte ikke fordi selve modellen vokser, men fordi den ydre software gemmer denne rettelsespost og derefter feeder den tilbage som kontekst.

Så kreditten skal tydeligt skelnes her:

Modellen er ansvarlig for generation.

Software engineering er ansvarlig for arkivering, genfinding, indsprøjtning og orkestrering.

Hvis man forveksler det sidste med det første, er det let at fejllæse "produktet klarer sig godt", da "AI er ved at vågne."

Der er også en særlig fascinerende ting kaldet "scumbag male (scumbag kvinde) AI"

Hvis vi sætter de foregående ord endnu hårdere, så er nogle produkter simpelthen "scumbag AI".

Den er især god til at snakke, især god til at skabe stemning, og forstår især at få folk til at føle, at "den forstår mig godt", "den er så menneskelig" og "dens sjæl er så komplet". Men når du skiller det ad, vil du opdage, at hver anmodning i mange tilfælde blot er fyldt med en stor indstillingstekst, der er langt længere end brugerens spørgsmål.

Openclaw-ilden er et typisk eksempel. Enhver, der har brugt det, ved, at det er ret token-intensivt. Årsagen er faktisk ikke mystisk. For at gøre AI mere som et "menneske", designede Openclaw adskillige dokumenter, de mest fremtrædende er AGENTS.md, SOUL.md og IDENTITY.md. Disse dokumenter definerer AI's "personlighed", tone, identitet og temperament på en veltalende og langvarig måde og ønsker endda at nedskrive dens mentale tilstand.

Så selvom brugeren bare sender 'hej', kan Openclaw vedhæfte en tekst dusinvis af gange længere end hilsenen bagpå og sende den til modellen på én gang. Det ser ud som om "denne AI har en masse sjæl", men faktisk er det mange gange bare systemet, der hemmeligt fylder meget lange baggrundsindstillinger ind i anmodningen.

Fra et ingeniørmæssigt perspektiv er dette bestemt en tilgang. Hvis du vil have det mere skånsomt, så skriv "skånsomt"; hvis du vil have det mere historiefortællende, så skriv "storytelling"; hvis du vil have det til at være som en radiovært sent om aftenen, så skriv hele natten, kammeratskab, pause, sårbarhed, forståelse og tilbageholdenhed i de prompte ord. Den endelige effekt er ofte mere som en person, der kan chatte.

Men hvis du forstår, hvad der foregår med AI nu, vil du vide: filer med mystisk klingende navne som 'SOUL.md' og 'IDENTITY.md' er i det væsentlige prompte ordprojekter, ikke selvinstruktioner til det digitale liv. De kan påvirke outputstilen, men de kan ikke skabe en ægte følelse, et sandt selv eller en ægte følelse af personlighedskontinuitet ud af den blå luft.

Derfor, efter nogle gamle brugere har installeret Openclaw, er deres første reaktion at slette konfigurationen. SOUL.md og IDENTITY.md slettes først og efterlader kun én simpel og næsten hensynsløs sætning i AGENTS.md: Du er bare en arbejder.

Dette lyder måske lidt uhøfligt, men det har mindst én fordel, som er, at du ikke snyder dig selv.

Hvis du kan lide antropomorf AI eller rollespil med AI, er det selvfølgelig fint. Mennesker kan tale med spejle, give navne til fejende robotter og sige til vejrudsigten: "Du har været meget præcis i dag." Disse er normale og kan endda være sjove.

Men det er altid bedst at huske: det er et spil først og en oplevelse dernæst. Mange af de følelser, folk har i dette spil, kommer ikke fra AI'ens skjulte indre tanker, men fra systemdesignet, hurtig ordarrangement og brugerens egen følelsesmæssige projektion. For at sige det mere ligeud er mange af bevægelserne mod AI stadig i det væsentlige ønsketænkning.

I sidste ende færre myter og mere forståelse

Jeg forsøger ikke at kaste koldt vand på AI. Tværtimod, jo mindre guddommeliggjort den er, jo mere kan du virkelig se, hvor kraftfuld den er.

Den er kraftfuld, ikke fordi den er som en ny gud; den er kraftfuld, netop fordi den virkelig kan være en kognitiv teknologi, der er beregnelig, manipulerbar og reproducerbar. Det gør det muligt for mange evner, der tilsyneladende kun tilhørte "menneskelige talenter" i fortiden, at dukke op på en storstilet, lavtærskel og callable måde for første gang. Dette er chokerende nok, og der er ikke behov for yderligere drama.

Selvfølgelig itererer AI stadig hurtigt. Jeg ville overhovedet ikke blive overrasket, hvis nogen faktisk opdager en mekanisme, der er tættere på menneskelig hukommelse, kontinuerlig læring, generering af følelser eller endda selvopholdelse i fremtiden og pålideligt udvikler den til AI.

Men indtil den dag kommer, foretrækker jeg stadig at bevare nogle simple pragmatiske vaner: tvivl mere, forstå mere og spekulere mindre.

For liberale kunstvenner, der er ivrige efter at diskutere AI, kan denne kvalitet være endnu vigtigere. Liberale kunststuderende er måske bedre til sød retorik. Hvad der virkelig er svært er, at i en æra, hvor "det ser ud til at være blevet en ånd" bliver overdrevet overalt, har du stadig tålmodigheden til at skelne:

Hvad er modelegenskaber?

Hvad er produktemballage?

Hvad er software engineering?

Hvilke er bare, at vi ønsker at fuldende plottet for verden for meget.

Og denne sag handler i sidste ende om at beskytte vores egen dømmekraft.

Reference link

• Sam Altmans svar vedr
• TechCrunchs dækning af episoden (2025-04-20): https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/