Menselijke wanen over AI zijn erger dan AI-hallucinaties

Soms heb ik het gevoel dat de grootste ‘illusie’ van AI niet is dat het serieus onzin praat, maar dat we ons er een heel metafysisch universum omheen hebben voorgesteld.

Wanneer mensen geconfronteerd worden met dingen die ze niet helemaal begrijpen, hebben ze vaak een stabiele aanpak: ze komen eerst tot een besluit en romantiseren die vervolgens; ze personifiëren ze eerst en vergoddelijken ze vervolgens. Vlammen worden gezien als elfen, en donder en bliksem worden gezien als voorzienigheid. Zodra het algoritme twee fatsoenlijke zinnen kan schrijven, zullen sommige mensen zich meteen afvragen of er al een elektronische ziel in de serverruimte heeft gewoond.

Dit is eigenlijk heel normaal. Het menselijk brein is geprogrammeerd om een ​​plot aan de wereld toe te voegen. Het probleem is niet dat we tot een besluit kunnen komen. Het probleem is dat als ons denken eenmaal te soepel is, het gemakkelijk is om ‘het lijkt erop’ te verwarren met ‘in wezen is’.

In het geval van AI is deze neiging van de mens nog sterker dan wanneer de AI zelf onzin uitkraamt. AI is hoogstens een kleine hallucinatie in een antwoord; De hallucinaties van mensen over AI zijn vaak een heel wereldbeeld, dat wel 10.000 woorden in één geest kan vullen, en ook emoties kan bevatten.

Een beetje pragmatisme is vooral belangrijk voor de liberale kunstgemeenschap

Ik wil niet iedereen adviseren om CUDA te leren, de omgeving te configureren en naar matrices te kijken om afgeleiden te vinden. Ik wil alleen maar zeggen dat het nastreven van de waarheid soms heel belangrijk is, vooral voor de liberale kunstgemeenschap die houdt van concepten, verhalen, betekenissen en verklaringen.

Want in de context van de vrije kunsten is de kans groot dat er sprake is van een zacht maar gevaarlijk hellend vlak: de woorden zijn prachtig geschreven en de zinnen ontroeren, maar uiteindelijk wordt het object heimelijk veranderd. Het is duidelijk een probabilistisch model, maar het is geschreven alsof het over de ziel gaat; het is duidelijk contextassemblage in software-engineering, maar er wordt gezegd als "het heeft eindelijk van je leren houden"; het zijn duidelijk systeempromptwoorden en historische gegevens die werken, maar het is verpakt als “AI onthoudt je echt.”

Het is zeker geen zonde om poëtisch te zijn. Het probleem is dat als poëzie het oordeel vervangt, romantiek misleidend wordt.

Wat is AI nu precies?

Laat ik beginnen met een versie die zo eenvoudig mogelijk is, maar niet vervormd: de grote modellen waarmee iedereen tegenwoordig in contact komt, zijn in wezen een soort statistisch model dat is geïnspireerd door neurale netwerken en is getraind door middel van enorme hoeveelheden gegevens. Het draait op chips en servers, leest invoer, combineert parameters en context, en voorspelt voortdurend "wat het volgende meest geschikte token zou moeten zijn."

Het punt hier is niet dat de uitdrukking 'voorspel het volgende woord' mysterieus is, maar dat het eigenlijk helemaal niet mysterieus is. Het model is niet een klein persoon die ineengedoken in de wolken zit en stilletjes nadenkt over het leven, het is meer een extreem grote functie. Mensen geven er input aan, en het genereert output volgens de parameterstructuur die tijdens de training wordt gevormd.

Om het wat nuchterder te zeggen: het is niet 'zeg het nadat je het begrijpt', maar 'na het samenvatten van een enorme hoeveelheid ervaring, een reactie genereren die het meest lijkt op begrip in de huidige context'. Dit betekent niet dat het niets kan doen, integendeel, het is al heel krachtig; maar krachtig zijn betekent niet dat het mysterieus is.

Waarom doen neurale netwerken mensen altijd aan het menselijk brein denken?

Als je dit blijft nastreven, zul je merken dat de vraag "Lijken AI en menselijke hersenen op elkaar?" Er kan niet worden gezegd dat het ‘precies hetzelfde’ is, noch ‘heeft er niets mee te maken’.

De route van moderne neurale netwerken is oorspronkelijk geïnspireerd door de hersenen. In 1943 beschreven McCulloch en Pitts wiskundig een vereenvoudigd neuronmodel; in 1958 stelde Rosenblatt de perceptron voor; in de jaren tachtig deed backpropagation de hoop herleven om meerlaagse netwerken te trainen; in de jaren 2010 groeide deep learning met rekenkracht, data en technische mogelijkheden; Nadat de Transformer-architectuur in 2017 opkwam, namen de taalmodellen een hoge vlucht en groeiden uiteindelijk uit tot de grote modellen die iedereen dagelijks gebruikt.

Daarom is het, althans in relatief naïeve zin, niet schandalig om te zeggen dat AI "elektronische simulatie en versterking van neurale netwerkideeën" is. Het probeert inderdaad berekenbare, trainbare en reproduceerbare fysieke systemen te gebruiken om bepaalde cognitieve vaardigheden te benaderen die in het verleden als ‘mysterieus’ werden beschouwd.

Dit is de reden waarom ik er persoonlijk niet van houd om over het menselijk brein te praten als te mysterieus. Naar mijn mening heeft de aangeboren taaltheorie, vertegenwoordigd door Chomsky, de neiging om de hersenen te vergoddelijken, alsof er een soort transcendentale structuur bestaat die te bijzonder en bijna ontoegankelijk is diep in het taalvermogen. Maar hoe complex het menselijk brein ook is, het is nog steeds een fysiek bestaan. Omdat het een fysiek bestaan ​​is, zou het in principe in bepaalde functies bestudeerd, gemodelleerd, gedeeltelijk gesimuleerd en zelfs gereproduceerd moeten kunnen worden.

Uiteraard moeten we hier meteen een waarschuwing aan toevoegen: het kunnen simuleren van een onderdeel betekent niet dat de hele persoon volledig is gereproduceerd.

Er zijn overeenkomsten, maar word niet direct een god als je gelukkig bent

In termen van taal, patroonherkenning, associatie- en representatie-leren vertonen de grote modellen van vandaag enige ‘overeenkomst’ of ‘overeenkomst’ met het menselijk brein. Ze werken niet vanuit een expliciet regelboek, maar vormen een soort interne representatie via een groot aantal verbindingen, gewichtsaanpassingen en accumulatie van ervaring, en vervolgens op basis daarvan output.

Dit is de reden waarom veel mensen geschokt zijn als ze voor het eerst de taalmogelijkheden van een groot model ervaren: het is niet het memoriseren van een woordenboek, het vormt een soort gedistribueerde representatie. Deze methode verschilt sterk van de traditionele verbeelding van "handgeschreven regels en uitputtende grammatica".

Maar het probleem ligt precies hier. Omdat ‘overeenkomst’ te gemakkelijk wordt opgewaardeerd tot ‘precies hetzelfde’; ‘in principe gedeeltelijk gelijk’ wordt te gemakkelijk opgewaardeerd tot ‘het verschilt niet van een mens’; ‘het kan spreken als een mens’ wordt te gemakkelijk opgewaardeerd tot ‘het heeft een menselijk hart’.

Deze stap is vaak sneller dan de modelmogelijkheid zelf.

De enorme mogelijkheden van het menselijk brein moeten nog op een fatsoenlijke manier worden gesimuleerd.

De grote modellen van vandaag zijn erg sterk, maar ze zijn sterk binnen een vrij specifiek bereik. Zonder deze reikwijdte zal de mythe gemakkelijk lekken.

Zoals geheugen. Veel mensen zeggen nu dat een bepaalde AI "mij onthoudt", "de laatste chat onthoudt" en "mijn voorkeuren onthoudt", alsof zijn brein een soort voortdurende zelfervaring heeft ontwikkeld. Maar bij de meeste producten is het zogenaamde ‘geheugen’ in wezen het softwaresysteem dat gebruikersinformatie, historische gesprekken, tags, samenvattingen of zoekresultaten opslaat in databases, tekstbestanden of andere persistente media, en deze vervolgens indien nodig weer in de context van het model invoegt.

Dit is compleet anders dan het geheugenmechanisme van het menselijk brein.

Het geheugen van het menselijk brein omvat de verbinding van neuronen, consolidatie, ophalen, vergeten, emotionele opwinding en slaapherstructurering. Daarachter schuilt een reeks complexe fysiologische processen. Het "geheugen" in producten van grote modellen is vaak slechts:

1. Leg eerst de gebruikersgegevens vast in de externe opslag.
2. Wanneer de gebruiker de volgende keer een vraag stelt, plaatst u de relevante onderdelen terug in het verzoek.
3. Het model ziet er dus uit als "onthoud deze persoon".

Hoe ziet het eruit? Het is meer alsof je naar iemand kijkt die goed is in het maken van aantekeningen. Het was niet zo dat zijn geest plotseling in een orakel veranderde, maar dat hij het briefje in zijn notitieboekje stopte en het de volgende keer omdraaide.

Sommige dingen die ‘de harten van mensen raken’ zijn feitelijk het resultaat van een goede context.

Na een paar dagen met AI te hebben gechat, zullen veel mensen getroffen worden door bepaalde momenten: "Hoe begrijpt het mij zo goed?" "Hoe kan het zelfs maar mijn kwetsbaarheid begrijpen?" 'Heeft het mij al begrepen?'

Het is de moeite waard om hier af te koelen.

Vaak is het niet zo dat het model plotseling iets beseft, maar dat de softwarelaag die het verzoek verzendt, in het geheim een ​​grote hoeveelheid gebruikersinformatie levert. De historische chats, voorkeuren, persoonlijke instellingen, recente taken, eerdere zorgen en zelfs bepaalde samenvattingen van de gebruiker zullen deze keer het materiaal voor het antwoord worden.

Het lijkt een beetje op een waarzegster die de expresbus van iemand anders oppakte en vervolgens met "magische nauwkeurigheid" het adres, de achternaam en het bestedingspatroon van de ander begon te raden. Toeschouwers zullen denken dat zijn inzicht verbazingwekkend is; maar wat er echt toe doet is niet het mysterieuze vermogen, maar de informatie-asymmetrie.

Wanneer AI af en toe ontroerende woorden zegt, betekent dit dus niet noodzakelijkerwijs dat er een persoon in zijn hart zit die de gebruiker begrijpt. Het kan gewoon betekenen dat iemand de context over de gebruiker volledig heeft georganiseerd.

Het echte geheim van geweldige AI is vaak contextuele engineering

Als ik het alleen maar over het meest cruciale wil hebben, dan is het: de huidige mainstream grote modellen zijn meestal "single request effectief" op API-niveau.

Wat is de betekenis? Dat wil zeggen, iemand gebruikt curl om de interface één keer aan te passen en zegt: "Mijn naam is Zhang San"; vervolgens past het model, zonder enige geschiedenis, de interface opnieuw aan en vraagt: "Wat is mijn naam"? Het model weet het niet. Omdat het voor haar twee onafhankelijke verzoeken zijn.

De reden waarom veel AI-producten een bepaalde gebruiker altijd lijken te onthouden, is omdat de productlaag telkens wanneer daarom wordt gevraagd, het feit terugbrengt dat "de naam van deze gebruiker Zhang San is".

Dit is de reden waarom de magie van de huidige AI-producten vaak niet te vinden is in de modelontologie, maar in contextuele engineering. Sommige mensen noemen dit soort werk van het "benutten" het model ook wel "harnas". Om het bot te zeggen: de auteur van het product of de agent moet zorgvuldig beslissen: welke geschiedenis, welke regels, welke externe gegevens en welke gebruikersstatus in elk verzoek moeten worden opgenomen.

Er zijn momenteel grofweg twee veelgebruikte methoden.

De eerste is de "Quansai-sekte". Probeer de hele chatgeschiedenis mee te nemen, en vul zoveel als je kunt totdat de context bijna vol is, en verwijder dan een gedeelte uit het midden, net zoals het starten van een gewelddadige compressie nadat een koffer vol zit.

Het tweede type is "selectief". Kijk eerst naar wat de gebruiker deze keer heeft gevraagd, haal vervolgens relevante inhoud op uit historische documenten, kennisbanken, notities of databases en plaats alleen de meest relevante materialen in de huidige aanvraag.

Dit laatste is meestal representatiever en technischer dan alleen maar geluk.

Heeft de AI gevoelens? Prijs het, scheld het uit, PUA het, werkt het?

Dit is een andere plek waar het bijzonder gemakkelijk is om in antropomorfisme terecht te komen.

Mijn mening is dat ze afzonderlijk moeten worden besproken.

Bij hetzelfde verzoek kan de door de gebruiker gebruikte toon inderdaad het resultaat beïnvloeden. Omdat de bewoording zelf deel uitmaakt van de context. Hoe duidelijker, beleefder en coöperatiever de uitdrukking is, hoe gemakkelijker het voor het model is om stabiele, bruikbare en minder agressieve antwoorden te geven. Wat hier werkt is niet dat "het is verplaatst", maar dat de invoerstijl de uitvoerverdeling verandert.

Maar als we nog een vraag stellen: zal er wrok koesteren? Ga je vandaag in het geheim wraak nemen omdat een gebruiker hem gisteren uitschold? Mijn oordeel is, althans voor de meeste huidige implementaties, nee.

De reden is simpel. Zodra de context is opgehelderd, of een nieuw verzoek zonder geschiedenis is geïnitieerd, heeft het geen idee wie de huidige persoon de vraag stelt, laat staan ​​of de persoon die zojuist een standje heeft uitgescholden dezelfde persoon is. Het model verwerkt enorme, gelijktijdige en onafhankelijke verzoeken op het servercluster. In termen van systeemgedrag lijkt het meer op een grote functie die elke keer dat deze wordt ingeschakeld op de huidige input werkt, dan op een persoon die in het geheim zijn emoties beoordeelt nadat hij van zijn werk is gekomen.

Op 17 april 2025, toen Sam Altman reageerde op de vraag "Kost het steeds alsjeblieft en bedankt zeggen veel energie?" over X zei hij: "tientallen miljoenen dollars goed besteed - je weet maar nooit."

Waarom "Onthoud deze fout alstublieft" meestal niet werkt

Veel mensen hebben soortgelijke experimenten gedaan: als de AI een fout maakt, corrigeert de gebruiker deze en zegt serieus tegen hem: "Onthoud alsjeblieft, doe het in de toekomst niet nog een keer." Toen ik het na een paar dagen opnieuw vroeg, was het correct.

Dit is geen mysterie. Omdat nadat de training is voltooid en het model is ingezet, het niet zal blijven leren van zijn dagelijkse ervaringen terwijl het als een mens werkt. In ieder geval bij de meeste hedendaagse consumentenproducten herschrijft wat een enkele gebruiker tegen het model in het chatvenster zegt niet direct de onderliggende gewichten.

Als een AI-product later echt ‘de door de gebruiker gecorrigeerde fouten onthoudt’, komt dat vaak niet omdat het model zelf groeit, maar omdat de externe software dit correctierecord opslaat en vervolgens als context terugkoppelt.

Het krediet moet hier dus duidelijk worden onderscheiden:

Het model is verantwoordelijk voor de generatie.

Software-engineering is verantwoordelijk voor archivering, ophalen, injectie en orkestratie.

Als we het laatste met het eerste verwarren, is het gemakkelijk om ‘het product doet het goed’ verkeerd te interpreteren als ‘AI wordt wakker’.

Er is ook iets bijzonder fascinerends dat "scumbag male (scumbag female) AI" wordt genoemd.

Als we de voorgaande woorden nog scherper formuleren, zijn sommige producten simpelweg “klootzak AI”.

Hij kan vooral goed praten, vooral goed sfeer scheppen, en weet vooral mensen het gevoel te geven dat ‘hij mij goed begrijpt’, ‘zo menselijk is’ en ‘zijn ziel zo compleet is’. Maar als je het uit elkaar haalt, zul je merken dat in veel gevallen elk verzoek alleen maar gevuld is met een grote instellingstekst die veel langer is dan de vraag van de gebruiker.

Het Openklauwvuur is een typisch voorbeeld. Iedereen die het heeft gebruikt, weet dat het behoorlijk token-intensief is. De reden is eigenlijk niet mysterieus. Om AI meer op een "mens" te laten lijken, heeft Openclaw verschillende documenten ontworpen, waarvan de meest prominente AGENTS.md, SOUL.md en IDENTITY.md zijn. Deze documenten definiëren AI's "persoonlijkheid", toon, identiteit en temperament op een welsprekende en langdurige manier, en willen zelfs de mentale toestand ervan opschrijven.

Dus zelfs als de gebruiker alleen maar 'hallo' stuurt, kan Openclaw een tekst die tientallen keren langer is dan de begroeting aan de achterkant toevoegen en deze in één keer naar het model sturen. Het lijkt erop dat "deze AI veel ziel heeft", maar in feite is het vaak gewoon het systeem dat in het geheim zeer lange achtergrondinstellingen in het verzoek stopt.

Vanuit technisch perspectief is dit zeker een aanpak. Als je wilt dat het zachtaardiger is, schrijf dan 'zachtaardig'; als je wilt dat het meer verhalen vertelt, schrijf dan 'verhalen vertellen'; als je wilt dat het lijkt op een radiopresentator op de late avond, schrijf dan de hele late avond, kameraadschap, pauze, kwetsbaarheid, begrip en terughoudendheid in de prompte woorden. Het uiteindelijke effect lijkt vaak meer op een persoon die kan chatten.

Maar als je begrijpt wat er nu met AI aan de hand is, weet je het: bestanden met mysterieus klinkende namen als SOUL.md en IDENTITY.md zijn in wezen snelle woordprojecten en geen zelfinstructies voor het digitale leven. Ze kunnen de uitvoerstijl beïnvloeden, maar ze kunnen niet uit het niets een echt gevoel, een echt zelf of een echt gevoel van persoonlijkheidscontinuïteit creëren.

Daarom, nadat sommige oude gebruikers Openclaw hebben geïnstalleerd, is hun eerste reactie het verwijderen van de configuratie. SOUL.md en IDENTITY.md worden eerst verwijderd, waardoor er slechts één simpele en bijna meedogenloze zin overblijft in AGENTS.md: Je bent maar een werker.

Dit klinkt misschien een beetje onbeleefd, maar het heeft in ieder geval één voordeel: je houdt jezelf niet voor de gek.

Als je van antropomorfe AI of rollenspellen met AI houdt, is dat natuurlijk prima. Mensen kunnen tegen spiegels praten, namen geven aan vegende robots en tegen de weersvoorspelling zeggen: "Je bent vandaag heel nauwkeurig geweest." Deze zijn normaal en kunnen zelfs grappig zijn.

Maar het is altijd het beste om te onthouden: het is eerst een spel en pas daarna een ervaring. Veel van de gevoelens die mensen in dit spel hebben, komen niet voort uit de verborgen innerlijke gedachten van de AI, maar uit het systeemontwerp, de snelle woordschikking en de emotionele projectie van de gebruiker zelf. Om het botter te zeggen: veel van de stappen in de richting van AI zijn nog steeds in wezen wensdenken.

Uiteindelijk minder mythen en meer begrip

Ik probeer geen koud water over AI te gooien. Integendeel, hoe minder vergoddelijkt het is, hoe meer je werkelijk kunt zien hoe krachtig het is.

Het is niet krachtig omdat het op een nieuwe god lijkt; het is krachtig, juist omdat het in werkelijkheid een cognitieve technologie kan zijn die berekenbaar, ontwikkelbaar en reproduceerbaar is. Het maakt het mogelijk dat veel vaardigheden die in het verleden alleen tot 'menselijk talent' leken te behoren, voor het eerst op grote schaal, laagdrempelig en oproepbaar verschijnen. Dit is al schokkend genoeg en er is geen behoefte aan extra drama.

Natuurlijk itereert AI nog steeds snel. Het zou me helemaal niet verbazen als iemand daadwerkelijk een mechanisme ontdekt dat dichter bij het menselijk geheugen, continu leren, het genereren van emoties of zelfs zelfbehoud in de toekomst staat, en dit op betrouwbare wijze in AI verwerkt.

Maar tot die dag aanbreekt, geef ik er nog steeds de voorkeur aan enkele eenvoudige, pragmatische gewoonten vast te houden: meer twijfelen, meer begrijpen en minder speculeren.

Voor vrienden uit de vrije kunsten die graag over AI willen praten, is deze kwaliteit wellicht nog belangrijker. Studenten in de liberale kunsten zijn misschien beter in zoete retoriek. Wat echt moeilijk is, is dat je in een tijdperk waarin ‘het een geest lijkt te zijn geworden’ overal wordt overdreven, je nog steeds het geduld hebt om onderscheid te maken:

Wat zijn modelmogelijkheden?

Wat is productverpakking?

Wat is software-engineering?

Welke zijn precies dat we de plot voor de wereld te veel willen voltooien.

En deze kwestie gaat uiteindelijk over het beschermen van ons eigen oordeel.

Referentielink

• Het antwoord van Sam Altman op
• TechCrunch's berichtgeving over de aflevering (20-04-2025): https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/