Menneskelige vrangforestillinger om AI er verre enn AI-hallusinasjoner

Noen ganger føler jeg at den største «illusjonen» av AI ikke er at den snakker tull på alvor, men at vi har sett for oss et helt metafysisk univers rundt det.

Når mennesker møter ting de ikke helt forstår, har de ofte en stabil tilnærming: de bestemmer seg først og romantiserer dem så; de personifiserer dem først og guddommeliggjør dem deretter. Flammer er tenkt som alver, og torden og lyn er tenkt som forsyn. Når algoritmen kan skrive to anstendige setninger, vil noen umiddelbart lure på om det allerede har bodd en elektronisk sjel i serverrommet.

Dette er faktisk ganske normalt. Den menneskelige hjernen er kablet til å legge plot til verden. Problemet er ikke at vi kan bestemme oss. Problemet er at når tenkningen vår er for jevn, er det lett å forveksle "ser ut" med "i hovedsak er".

Når det gjelder AI, er denne tendensen til mennesker enda sterkere enn når AI selv snakker tull. På det meste er AI en liten hallusinasjon i et svar; menneskers hallusinasjoner om AI er ofte et helt verdensbilde, som kan fylle opptil 10 000 ord i ett sinn, og også inneholde følelser.

Litt pragmatisme er spesielt viktig for det liberale kunstmiljøet

Jeg vil ikke råde alle til å lære CUDA, konfigurere miljøet og se på matriser for å finne derivater. Jeg vil bare si at jakten på sannhet noen ganger er veldig viktig, spesielt for det liberale kunstmiljøet som elsker konsepter, fortellinger, betydninger og forklaringer.

For i liberal arts-sammenheng er det mest sannsynlig at det oppstår en mild, men farlig glidebane: ordene er vakkert skrevet og setningene beveger seg, men til slutt endres objektet i all hemmelighet. Det er åpenbart en sannsynlighetsmodell, men den er skrevet som om den handler om sjelen; det er åpenbart kontekstmontering i programvareteknikk, men det sies som "det lærte endelig å elske deg"; det er åpenbart systemmeldinger og historiske poster som fungerer, men det er pakket som "AI husker deg virkelig."

Det er absolutt ingen synd i å være poetisk. Problemet er at hvis poesi erstatter dømmekraft, blir romantikken misvisende.

Så, hva er egentlig AI nå?

La meg starte med en versjon som er så enkel som mulig, men ikke forvrengt: De store modellene som alle kommer i kontakt med i dag er i hovedsak en type statistisk modell inspirert av nevrale nettverk og trent gjennom massive data. Den kjører på brikker og servere, leser inndata, kombinerer parametere og kontekst, og forutsier kontinuerlig "hva det nest mest passende tokenet skal være."

Poenget her er ikke at uttrykket "forutsi neste ord" er mystisk, men at det faktisk ikke er mystisk i det hele tatt. Modellen er ikke en liten person sammenkrøpet i skyene som stille tenker på livet, det er mer som en ekstremt stor funksjon. Folk gir den input, og den genererer output i henhold til parameterstrukturen som dannes under trening.

For å si denne saken mer jordnær: det er ikke "si det etter at du har forstått det", men "etter å ha komprimert en enorm mengde erfaring, generere en respons som ligner mest på forståelse i den nåværende konteksten." Dette betyr ikke at den ikke kan gjøre noe, tvert imot, den er allerede veldig kraftig; men å være mektig betyr ikke at det er mystisk.

Hvorfor får nevrale nettverk alltid folk til å tenke på den menneskelige hjernen?

Hvis du fortsetter å forfølge det, vil du oppdage at spørsmålet om "likner AI og menneskelige hjerner hverandre?" kan verken sies å være «nøyaktig det samme» eller «har ingenting med det å gjøre».

Ruten til moderne nevrale nettverk ble opprinnelig inspirert av hjernen. I 1943 beskrev McCulloch og Pitts matematisk en forenklet nevronmodell; i 1958 foreslo Rosenblatt perceptronen; på 1980-tallet vekket tilbakeforplantning håpet om å trene flerlagsnettverk; på 2010-tallet økte dyp læring med datakraft, data og ingeniørevner; etter at Transformer-arkitekturen dukket opp i 2017, vokste språkmodellene til værs og vokste til slutt til de store modellene som alle bruker hver dag.

Derfor, i det minste i en relativt naiv forstand, er det ikke opprørende å si at AI er «elektronisk simulering og forsterkning av nevrale nettverksideer». Den prøver faktisk å bruke beregnbare, trenbare og reproduserbare fysiske systemer for å nærme seg visse kognitive evner som ble ansett som "mystiske" i fortiden.

Dette er grunnen til at jeg personlig ikke liker å snakke om den menneskelige hjernen som for mystisk. Etter min mening har den medfødte teorien om språk representert av Chomsky en tendens til å guddommeliggjøre hjernen, som om det er en slags transcendental struktur som er for spesiell og nesten utilgjengelig dypt i språkevnen. Men uansett hvor kompleks den menneskelige hjernen er, er den fortsatt en fysisk eksistens. Siden det er en fysisk eksistens, bør den i prinsippet kunne studeres, modelleres, delvis simuleres og til og med reproduseres i visse funksjoner.

Selvfølgelig bør vi umiddelbart legge til et forsiktig ord her: å kunne simulere en del betyr ikke at hele personen er fullstendig gjengitt.

Det er likheter, men ikke bli en gud direkte når du er glad

Når det gjelder språk, mønstergjenkjenning, assosiasjons- og representasjonslæring, har dagens store modeller en viss "likhet" eller "likhet" med den menneskelige hjernen. De jobber ikke ut fra en eksplisitt regelbok, men danner en slags intern representasjon gjennom et stort antall sammenhenger, vektjusteringer og erfaringsansamling, og deretter output basert på dette.

Dette er grunnen til at mange mennesker blir sjokkert når de først opplever språkevnen til en stor modell: det er ikke å huske en ordbok, det danner en slags distribuert representasjon. Denne metoden er veldig forskjellig fra den tradisjonelle fantasien om "håndskrevne regler og uttømmende grammatikk".

Men problemet ligger nettopp her. Fordi «likhet» for lett oppgraderes til «nøyaktig det samme»; «delvis lik i prinsippet» oppgraderes for lett til «det er ikke forskjellig fra et menneske»; «den kan snakke som et menneske» oppgraderes for lett til «den har et menneskehjerte».

Dette trinnet er ofte raskere enn selve modellfunksjonen.

De enorme evnene til den menneskelige hjernen har ennå ikke blitt simulert på en anstendig måte.

Dagens store modeller er veldig sterke, men de er sterke innenfor et ganske spesifikt område. Uten dette omfanget vil myten lett lekke.

Slik som minne. Mange sier nå at en viss AI "husker meg", "husker den siste chatten" og "husker mine preferanser", som om hjernen har vokst til en slags pågående selvopplevelse. Men i de fleste produktene er det såkalte "minnet" i hovedsak programvaresystemet som lagrer brukerinformasjon, historiske samtaler, tagger, sammendrag eller søkeresultater i databaser, tekstfiler eller andre vedvarende medier, for så å sette dem inn i konteksten til modellen igjen når det er hensiktsmessig.

Dette er helt forskjellig fra minnemekanismen til den menneskelige hjernen.

Menneskelig hjernehukommelse involverer nevronforbindelse, konsolidering, gjenfinning, glemsel, emosjonell opphisselse og søvnomstrukturering. Bak det er et sett med komplekse fysiologiske prosesser. "Minnet" i store modellprodukter er ofte bare:

1. Registrer først brukerens informasjon i ekstern lagring.
2. Når brukeren stiller et spørsmål neste gang, legg de relevante delene tilbake i forespørselen.
3. Så modellen ser ut som "husk denne personen".

Hvordan ser det ut? Det er mer som å se på noen som er flinke til å ta notater. Det var ikke det at tankene hans plutselig ble til et orakel, det var bare at han la lappen i notatboken og snudde den neste gang.

Noen ting som «rører folks hjerter» er faktisk et resultat av god kontekst.

Etter å ha chattet med AI i noen dager, vil mange mennesker bli rammet av visse øyeblikk: "Hvordan forstår det meg så godt?" "Hvordan kan den i det hele tatt forstå sårbarheten min?" "Har det allerede dannet en forståelse av meg?"

Det er mest verdt å kjøle seg ned her.

Mange ganger er det ikke det at modellen plutselig innser noe, men at laget med programvare som sender forespørselen i hemmelighet leverer en stor mengde av brukerens informasjon. Brukerens historiske chatter, preferanser, personlige innstillinger, nylige oppgaver, tidligere bekymringer og til og med visse sammendrag vil bli materialet for svaret denne gangen.

Det er litt som en spåkone som plukket opp en annens ekspressboks og deretter begynte å gjette den andres adresse, etternavn og forbruksvaner med «magisk nøyaktighet». Tilskuere vil tro at hans innsikt er fantastisk; men det som virkelig betyr noe er ikke den mystiske evnen, men informasjonsasymmetrien.

Derfor, når AI av og til sier rørende ord, betyr det ikke nødvendigvis at det er en person i hjertet som forstår brukeren. Det kan bare bety at noen har fullstendig organisert konteksten om brukeren.

Den virkelige hemmeligheten bak fantastisk AI er ofte kontekstuell konstruksjon

Hvis jeg bare vil snakke om det mest kritiske, så er det: de nåværende mainstream store modellene er vanligvis "single request effektive" på API-nivå.

Hva er meningen? Det vil si at noen bruker curl for å justere grensesnittet én gang og forteller det "Mitt navn er Zhang San"; så uten noen historikk, justerer modellen grensesnittet igjen og spør "Hva er navnet mitt"? Modellen vet ikke. Fordi dette er to uavhengige forespørsler.

Grunnen til at mange AI-produkter ser ut til å alltid huske en bestemt bruker er fordi produktlaget vil bringe tilbake det faktum at "denne brukerens navn er Zhang San" hver gang det blir forespurt.

Dette er grunnen til at magien til dagens AI-produkter ofte ikke finnes i modellontologien, men i kontekstuell engineering. Noen kaller også denne typen arbeid med å "utnytte" modellen for "sele". For å si det rett ut, må forfatteren av produktet eller agenten nøye bestemme: hvilken historikk, hvilke regler, hvilke eksterne data og hvilken brukerstatus som skal inkluderes i hver forespørsel.

Det er omtrent to vanlige metoder for tiden.

Den første er "Quansai-sekten". Prøv å ta med deg hele chattehistorikken, og sånt så mye du kan til konteksten er nesten full, og slett deretter en del fra midten, akkurat som å starte en voldsom komprimering etter at en koffert er full av ting.

Den andre typen er "selektiv". Se først på hva brukeren spurte om denne gangen, hent deretter relevant innhold fra historiske poster, kunnskapsbaser, notater eller databaser, og legg kun det mest relevante materialet inn i den gjeldende forespørselen.

Sistnevnte er vanligvis mer presentabel og teknisk fremfor bare flaks.

Har AI følelser? Ros det, skjenn ut, PUA det, fungerer det?

Dette er et annet sted hvor det er spesielt lett å gli inn i antropomorfisme.

Min mening er at de bør diskuteres separat.

I samme forespørsel kan tonen brukt av brukeren faktisk påvirke resultatet. Fordi selve formuleringen er en del av konteksten. Jo klarere, høfligere og mer samarbeidende uttrykket er, jo lettere er det for modellen å gi stabile, brukbare og mindre aggressive responser. Det som fungerer her er ikke at «den ble flyttet», men at input-stilen endrer output-fordelingen.

Men hvis vi stiller et annet spørsmål: Vil det bære nag? Vil du i hemmelighet gjøre gjengjeldelse i dag fordi en bruker skjelte ut i går? Min dom er, i det minste for de fleste nåværende distribusjoner, nei.

Grunnen er enkel. Når konteksten er ryddet, eller en ny forespørsel uten historikk er satt i gang, har den ingen anelse om hvem den aktuelle personen stiller spørsmålet, enn si om personen som nettopp skjelte ut er den samme personen. Modellen håndterer massive, samtidige og uavhengige forespørsler på serverklyngen. Når det gjelder systematferd, er det mer som en stor funksjon som opererer på gjeldende inngang hver gang den slås på, i stedet for en person som i hemmelighet vurderer følelsene sine etter å ha sluttet fra jobb.

Den 17. april 2025, da Sam Altman svarte på spørsmålet "Koster det mye energi å si vær så snill og takk hele tiden?" på X sa han "titalls millioner dollar godt brukt - man vet aldri."

Hvorfor "Husk denne feilen" vanligvis ikke fungerer

Mange mennesker har gjort lignende eksperimenter: når AI gjør en feil, retter brukeren den og sier seriøst til den: "Husk, ikke gjør det igjen i fremtiden." Så spurte jeg igjen etter noen dager, og det stemte.

Dette er ikke noe mysterium. For etter at opplæringen er fullført og modellen er utplassert, vil den ikke fortsette å lære av sine daglige erfaringer mens den jobber som et menneske. I hvert fall i de fleste forbrukerprodukter i dag, omskriver ikke det en enkelt bruker sier til modellen i chattevinduet direkte de underliggende vektene.

Hvis et AI-produkt senere virkelig «husker feilene som er rettet av brukeren», er det ofte ikke fordi modellen i seg selv vokser, men fordi den ytre programvaren lagrer denne korreksjonsposten og sender den tilbake som kontekst.

Så æren bør skilles tydelig ut her:

Modellen er ansvarlig for generering.

Programvareingeniør er ansvarlig for arkivering, gjenfinning, injeksjon og orkestrering.

Ved å forveksle sistnevnte med førstnevnte, er det lett å feillese "produktet gjør det bra" som "AI våkner."

Det er også en spesielt fascinerende ting som kalles "scumbag male (scumbag female) AI"

Hvis vi setter de foregående ordene enda strengere, så er noen produkter ganske enkelt "scumbag AI".

Den er spesielt god til å snakke, spesielt god til å skape stemning, og vet spesielt hvordan den skal få folk til å føle at «den forstår meg godt», «den er så human» og «sjelen er så komplett». Men når du tar den fra hverandre, vil du finne at i mange tilfeller er hver forespørsel bare fylt med en stor innstillingstekst som er langt lengre enn brukerens spørsmål.

Openclaw-brannen er et typisk eksempel. Alle som har brukt det vet at det er ganske token-krevende. Årsaken er faktisk ikke mystisk. For å gjøre AI mer som et "menneske", designet Openclaw flere dokumenter, de mest fremtredende er AGENTS.md, SOUL.md og IDENTITY.md. Disse dokumentene definerer AIs "personlighet", tone, identitet og temperament på en veltalende og lang måte, og ønsker til og med å skrive ned dens mentale tilstand.

Så selv om brukeren bare sender "hei", kan Openclaw legge ved en tekst dusinvis av ganger lengre enn hilsenen på baksiden og sende den til modellen på en gang. Det ser ut som "denne AI har mye sjel", men faktisk er det mange ganger bare systemet som i hemmelighet fyller veldig lange bakgrunnsinnstillinger inn i forespørselen.

Fra et ingeniørperspektiv er dette absolutt en tilnærming. Hvis du vil at det skal være mer skånsomt, skriv "skånsomt"; hvis du vil at det skal være mer historiefortelling, skriv "storytelling"; hvis du vil at det skal være som en radiovert sent på kvelden, skriv hele sent på kvelden, vennskap, pause, sårbarhet, forståelse og tilbakeholdenhet i de raske ordene. Den endelige effekten er ofte mer som en person som kan chatte.

Men hvis du forstår hva som skjer med AI nå, vil du vite: filer med mystisk klingende navn som 'SOUL.md' og 'IDENTITY.md' er i hovedsak prompte ordprosjekter, ikke selvinstruksjoner for det digitale livet. De kan påvirke utdatastilen, men de kan ikke skape en sann følelse, et sant selv eller en sann følelse av personlighetskontinuitet ut av løse luften.

Derfor, etter at noen gamle brukere har installert Openclaw, er deres første reaksjon å slette konfigurasjonen. SOUL.md og IDENTITY.md slettes først, og etterlater bare én enkel og nesten hensynsløs setning i AGENTS.md: Du er bare en arbeider.

Dette høres kanskje litt frekt ut, men det har minst én fordel, som er at du ikke lurer deg selv.

Hvis du liker antropomorf AI eller rollespill med AI, er det selvfølgelig greit. Mennesker kan snakke med speil, gi navn til feiende roboter og si til værmeldingen: «Du har vært veldig nøyaktig i dag». Disse er normale og kan til og med være morsomme.

Men det er alltid best å huske: det er et spill først og en opplevelse etter det. Mange av følelsene folk har i dette spillet kommer ikke fra AIs skjulte indre tanker, men fra systemdesignet, rask ordordning og brukerens egen emosjonelle projeksjon. For å si det mer rett ut er mange av bevegelsene mot AI fortsatt i hovedsak ønsketenkning.

Til syvende og sist, mindre myter og mer forståelse

Jeg prøver ikke å kaste kaldt vann på AI. Tvert imot, jo mindre guddommeliggjort den er, jo mer kan du virkelig se hvor kraftig den er.

Den er mektig ikke fordi den er som en ny gud; den er kraftig nettopp fordi den virkelig kan være en kognitiv teknologi som er beregnelig, konstruerbar og reproduserbar. Det lar mange evner som så ut til å bare tilhøre "menneskelige talenter" tidligere vises på en storstilt, lavterskel og callable måte for første gang. Dette er sjokkerende nok, og det er ikke behov for ytterligere dramatikk.

Selvfølgelig itererer AI fortsatt raskt. Jeg ville ikke bli overrasket i det hele tatt hvis noen faktisk oppdager en mekanisme som er nærmere menneskelig hukommelse, kontinuerlig læring, generering av følelser eller til og med selvopprettholding i fremtiden og pålitelig konstruerer den til AI.

Men inntil den dagen kommer, foretrekker jeg fortsatt å beholde noen enkle pragmatiske vaner: tvile mer, forstå mer og spekulere mindre.

For liberale kunstvenner som er opptatt av å diskutere AI, kan denne egenskapen være enda viktigere. Liberale kunststudenter kan være flinkere til søt retorikk. Det som virkelig er vanskelig er at i en tid hvor "det ser ut til å ha blitt en ånd" blir overdrevet overalt, har du fortsatt tålmodighet til å skille:

Hva er modellegenskaper?

Hva er produktemballasje?

Hva er programvareteknikk?

Hvilke er bare at vi ønsker å fullføre plottet for verden for mye.

Og denne saken handler til syvende og sist om å beskytte vår egen dømmekraft.

Referanselenke

• Sam Altmans svar på
• TechCrunchs dekning av episoden (2025-04-20): https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/