Az AI-val kapcsolatos emberi téveszmék rosszabbak, mint az AI-hallucinációk

Néha úgy érzem, hogy a mesterséges intelligencia legnagyobb "illúziója" nem az, hogy komolyan beszél hülyeségeket, hanem az, hogy egy egész metafizikai univerzumot képzeltünk el maga köré.

Amikor az emberi lények olyan dolgokkal szembesülnek, amelyeket nem egészen értenek, gyakran szilárd megközelítést alkalmaznak: először elhatározzák, majd romantikázzák őket; először megszemélyesítik, majd istenítik őket. A lángokat manóknak, a mennydörgést és a villámlást pedig gondviselésnek tekintik. Amint az algoritmus két tisztességes mondatot tud írni, egyesek azonnal elgondolkodnak azon, hogy élt-e már elektronikus lélek a szerverszobában.

Ez valójában teljesen normális. Az emberi agy úgy van bekötve, hogy cselekményt adjon a világhoz. A probléma nem az, hogy el tudjuk dönteni magunkat. A probléma az, hogy ha a gondolkodásunk túlságosan gördülékeny, könnyen összetévesztjük a „úgy néz ki” és a „lényegében van”.

A mesterséges intelligencia esetében ez az emberi hajlam még erősebb, mint amikor maga a mesterséges intelligencia beszél hülyeségeket. Az AI legfeljebb egy kis hallucináció a válaszban; Az emberi lények mesterséges intelligenciával kapcsolatos hallucinációi gyakran egy egész világnézet, amely akár 10 000 szót is kitölthet egy elmében, és érzelmeket is tartalmaz.

Egy kis pragmatizmus különösen fontos a bölcsészeti közösség számára

Nem akarom mindenkinek azt tanácsolni, hogy tanulja meg a CUDA-t, konfigurálja a környezetet, és nézze meg a mátrixokat, hogy származékokat találjon. Csak azt akarom mondani, hogy az igazság keresése néha nagyon fontos, különösen a bölcsésztársadalom számára, amely szereti a fogalmakat, narratívákat, jelentéseket és magyarázatokat.

Mert bölcsészettudományi kontextusban a legvalószínűbb egy enyhe, de veszélyes csúszós lejtő: a szavak gyönyörűen vannak megírva, a mondatok mozgalmasak, de a végén titokban megváltoztatják a tárgyat. Nyilvánvalóan valószínűségi modell, de úgy van megírva, mintha a lélekről szólna; ez nyilvánvalóan kontextus-összeállítás a szoftverfejlesztésben, de úgy mondják, hogy „végre megtanult szeretni”; Nyilvánvalóan a rendszerkérdések és a történelmi feljegyzések működnek, de úgy van csomagolva, hogy „A mesterséges intelligencia valóban emlékszik rád”.

Kétségtelenül nem bűn a költőiség. A probléma az, hogy ha a költészet az ítélkezés helyébe lép, a romantika félrevezetővé válik.

Szóval, mi most pontosan az AI?

Hadd kezdjem egy olyan változattal, amely a lehető legegyszerűbb, de nem torzított: A nagy modellek, amelyekkel ma mindenki kapcsolatba kerül, lényegében egyfajta statisztikai modell, amelyet neurális hálózatok ihlettek, és hatalmas adatokon keresztül képezik ki. Chipeken és szervereken fut, beolvassa a bemenetet, kombinálja a paramétereket és a kontextust, és folyamatosan megjósolja, "mi legyen a következő legmegfelelőbb token".

Itt nem az a lényeg, hogy a „jósold meg a következő szót” kifejezés titokzatos, hanem az, hogy valójában egyáltalán nem titokzatos. A modell nem egy felhők között húzódó kisember, aki némán gondolkodik az életről, inkább egy rendkívül hatalmas funkció. Az emberek bemenetet adnak neki, és a képzés során kialakult paraméterstruktúra szerint generál kimenetet.

Közelebbről fogalmazva: nem az a lényeg, hogy "mondd, miután megértetted", hanem "nagy mennyiségű tapasztalat tömörítése után olyan választ generálj, amely a jelenlegi kontextusban leginkább a megértéshez hasonlít". Ez nem azt jelenti, hogy semmit sem tud tenni, ellenkezőleg, már nagyon erős; de az erősség nem jelenti azt, hogy titokzatos.

Miért jutnak eszébe a neurális hálózatok az embereknek mindig az emberi agyról?

Ha továbbra is ezt folytatja, rá fog jönni, hogy a „hasonlítanak-e egymásra a mesterséges intelligencia és az emberi agy?” kérdés? sem azt nem lehet mondani, hogy "pontosan ugyanaz", sem "semmi köze hozzá".

A modern neurális hálózatok útvonalát eredetileg az agy ihlette. 1943-ban McCulloch és Pitts matematikailag leírtak egy egyszerűsített neuronmodellt; 1958-ban Rosenblatt javasolta a perceptront; az 1980-as években a backpropagation újra felkeltette a reményt a többrétegű hálózatok képzésére; a 2010-es években a mély tanulás a számítási teljesítménnyel, az adatokkal és a mérnöki képességekkel bővült; a Transformer architektúra 2017-es megjelenése után a nyelvi modellek szárnyaltak, és végül olyan nagy modellekké nőttek, amelyeket mindenki mindennap használ.

Ezért, legalábbis viszonylag naiv értelemben, nem felháborító azt állítani, hogy az AI "neurális hálózati ötletek elektronikus szimulációja és erősítése". Valójában kiszámítható, tanítható és reprodukálható fizikai rendszereket próbál használni bizonyos kognitív képességek megközelítésére, amelyeket a múltban "rejtélyesnek" tartottak.

Ez az oka annak, hogy én személy szerint nem szeretek túl titokzatosként beszélni az emberi agyról. Véleményem szerint a Chomsky által képviselt veleszületett nyelvelmélet hajlamos isteníteni az agyat, mintha lenne valamiféle transzcendentális struktúra, ami túlságosan különleges és a nyelvi képesség mélyén szinte elérhetetlen. De bármennyire is összetett az emberi agy, mégis fizikai létezés. Mivel fizikai létezésről van szó, elvileg tanulmányozhatónak, modellezhetőnek, részben szimulálhatónak, sőt bizonyos funkciókban reprodukálhatónak kell lennie.

Természetesen itt azonnal hozzá kell tennünk egy figyelmeztetést: az, hogy egy részt szimulálhatunk, nem jelenti azt, hogy az egész személyt teljesen reprodukálták.

Vannak hasonlóságok, de ne válj közvetlenül istenné, ha boldog vagy

A nyelv, a mintafelismerés, az asszociációs és reprezentációs tanulás tekintetében a mai nagy modellek bizonyos "hasonlóságot" vagy "hasonlóságot" mutatnak az emberi aggyal. Nem explicit szabálykönyvből dolgoznak, hanem nagyszámú kapcsolaton, súlykiigazításon és tapasztalatgyűjtésen keresztül alkotnak valamilyen belső reprezentációt, majd ennek alapján outputot.

Ez az oka annak, hogy sokan megdöbbennek, amikor először tapasztalják meg egy nagy modell nyelvi képességeit: ez nem szótár memorizálása, hanem valamiféle elosztott reprezentáció kialakítása. Ez a módszer nagyban különbözik a "kézzel írt szabályok és a kimerítő nyelvtan" hagyományos képzeletétől.

De a probléma pontosan itt van. Mert a "hasonlóság" túl könnyen frissíthető "pontosan ugyanaz"-ra; "elvileg részben hasonló" túl könnyen felminősíthető "nem különbözik az emberi lénytől"; A „tud beszélni, mint egy ember” túl könnyen feljavítható „emberi szíve van”.

Ez a lépés gyakran gyorsabb, mint maga a modell képessége.

Az emberi agy hatalmas képességeit még nem sikerült megfelelő módon szimulálni.

A mai nagy modellek nagyon erősek, de erősek egy meglehetősen meghatározott tartományon belül. E hatókör nélkül a mítosz könnyen kiszivárog.

Ilyen például a memória. Sokan azt mondják, hogy egy bizonyos mesterséges intelligencia „emlékezik rám”, „emlékszik az utolsó beszélgetésre” és „emlékezik a preferenciáimra”, mintha az agya valamiféle folyamatos öntapasztalatot fejlesztett volna ki. De a legtöbb termékben az úgynevezett „memória” lényegében az a szoftverrendszer, amely a felhasználói információkat, történelmi beszélgetéseket, címkéket, összefoglalókat vagy keresési eredményeket adatbázisokban, szöveges fájlokban vagy más állandó adathordozókban tárolja, majd adott esetben visszahelyezi a modell környezetébe.

Ez teljesen eltér az emberi agy memóriamechanizmusától.

Az emberi agy memóriája magában foglalja a neuronok összekapcsolását, megszilárdítását, visszakeresését, felejtését, érzelmi izgalmát és az alvás átstrukturálását. Mögötte összetett élettani folyamatok halmaza van. A nagy modelltermékek "memóriája" gyakran csak:

1. Először rögzítse a felhasználó adatait a külső tárhelyen.
2. Amikor a felhasználó legközelebb kérdést tesz fel, tegye vissza a megfelelő részeket a kérésbe.
3. Tehát a modell úgy néz ki, mint "emlékezz erre a személyre".

Hogy néz ki? Inkább olyan, mintha valakit figyelnénk, aki jól jegyzetel. Nem arról volt szó, hogy hirtelen orákulummá változott az elméje, hanem arról, hogy a jegyzetet betette a füzetébe, és legközelebb megfordította.

Néhány dolog, ami „megérinti az emberek szívét”, valójában a jó kontextus eredménye.

Néhány napos mesterséges intelligenciával folytatott csevegés után sok embert eltalálnak bizonyos pillanatok: "Hogyan ért engem ilyen jól?" "Hogyan értheti egyáltalán a sebezhetőségemet?" – Már kialakult bennem a megértés?

Leginkább itt érdemes lehűteni.

Sokszor nem arról van szó, hogy a modell hirtelen rájön valamire, hanem arról, hogy a kérést küldő szoftverréteg titokban nagy mennyiségű felhasználó információt szállít. Válaszának ezúttal a felhasználó történeti csevegései, preferenciái, személyes beállításai, közelmúltbeli feladatai, korábbi aggodalmai, sőt bizonyos összegzései lesznek az anyaga.

Kicsit olyan ez, mint egy jós, aki felkapta valaki más expresszládáját, majd "varázspontossággal" kezdte kitalálni a másik címét, vezetéknevét és költési szokásait. A bámészkodók azt hiszik, hogy belátása csodálatos; de valójában nem a titokzatos képesség számít, hanem az információs aszimmetria.

Ezért, amikor a mesterséges intelligencia időnként megható szavakat mond, az nem feltétlenül jelenti azt, hogy a szívében van egy személy, aki megérti a felhasználót. Ez csak azt jelentheti, hogy valaki teljesen megszervezte a felhasználó környezetét.

A csodálatos mesterséges intelligencia igazi titka gyakran a kontextuális tervezés

Ha csak a legkritikusabb dologról akarok beszélni, akkor az az, hogy a jelenlegi mainstream nagy modellek API-szinten általában "egy kérésre hatékonyak".

mi az értelme? Ez azt jelenti, hogy valaki a `curl' segítségével egyszer beállítja a felületet, és azt mondja neki: "A nevem Zhang San"; majd minden előzmény nélkül a modell újra beállítja a felületet és megkérdezi, hogy "Mi a nevem"? A modell nem tudja. Mert számára ez két független kérés.

Az ok, amiért úgy tűnik, hogy sok mesterséges intelligencia termék mindig emlékezik egy bizonyos felhasználóra, az az, hogy a termékréteg minden alkalommal visszahozza azt a tényt, hogy „a felhasználó neve Zhang San”.

Ez az oka annak, hogy a mai mesterséges intelligencia-termékek varázsa gyakran nem a modell-ontológiában, hanem a kontextuális tervezésben rejlik. Vannak, akik ezt a fajta „felhasználási” munkát „hámnak” is nevezik. Őszintén szólva a termék szerzőjének vagy az Ügynöknek alaposan el kell döntenie: melyik előzményeket, milyen szabályokat, milyen külső adatokat és milyen felhasználói státuszt kell feltüntetni az egyes kérésekben.

Jelenleg nagyjából két általános módszer létezik.

Az első a "Quansai szekta". Próbáld meg magaddal vinni a teljes chatelőzményt, és annyit cuccolni, amennyit csak tudsz, amíg a kontextus majdnem meg nem telik, majd törölj egy részt a közepéről, akárcsak egy heves tömörítést, miután egy bőrönd tele van cuccokkal.

A második típus a "szelektív". Először nézze meg, hogy ezúttal mit kérdezett a felhasználó, majd keressen le releváns tartalmat történelmi feljegyzésekből, tudásbázisokból, jegyzetekből vagy adatbázisokból, és csak a legrelevánsabb anyagokat helyezze bele az aktuális kérésbe.

Ez utóbbi általában inkább bemutatható és mérnöki jellegű, nem csak szerencse.

Az AI-nak vannak érzései? Dicsérjétek, szidjátok, PUA, működik?

Ez egy másik hely, ahol különösen könnyű belecsúszni az antropomorfizmusba.

Az a véleményem, hogy ezeket külön kell megvitatni.

Ugyanebben a kérésben a felhasználó által használt hangszín valóban befolyásolhatja az eredményt. Mert maga a megfogalmazás is a szövegkörnyezet része. Minél tisztább, udvariasabb és együttműködőbb a kifejezés, annál könnyebben tud a modell stabil, használható és kevésbé agresszív válaszokat adni. Itt nem az működik, hogy „áthelyezték”, hanem az, hogy a beviteli stílus megváltoztatja a kimeneti eloszlást.

De ha még egy kérdést teszünk fel: haragot fog tartani? Titokban megtorolja ma, mert tegnap egy felhasználó szidta? Az én ítéletem, legalábbis a legtöbb jelenlegi telepítés esetében, nem.

Az ok egyszerű. A kontextus tisztázása vagy egy új, előzmény nélküli kérés kezdeményezése után fogalma sincs, hogy az aktuális személy ki teszi fel a kérdést, nem is beszélve arról, hogy ugyanaz a személy-e, aki szidta. A modell hatalmas, párhuzamos és független kéréseket kezel a kiszolgálófürtben. A rendszer viselkedését tekintve ez inkább egy nagy funkcióhoz hasonlít, amely minden bekapcsoláskor az aktuális bemeneten működik, nem pedig egy személy, aki titokban áttekinti érzelmeit, miután kiszáll a munkából.

2025. április 17-én, amikor Sam Altman válaszolt arra a kérdésre, hogy „Sok energiába kerül az, hogy mindig kérlek és köszönöm?” X-en azt mondta, hogy "több tízmillió dollár jól elköltött – soha nem lehet tudni."

Általában miért nem működik a „Kérem, emlékezzen erre a hibára”.

Sokan végeztek már hasonló kísérleteket: ha az AI hibát követ el, a felhasználó kijavítja, és komolyan azt mondja neki: "Kérlek, ne feledd, a jövőben ne csináld újra." Aztán pár nap múlva újra megkérdeztem, és igaza volt.

Ez nem rejtély. Mivel a képzés befejezése és a modell üzembe helyezése után nem fog tovább tanulni a napi tapasztalataiból, miközben emberként dolgozik. Legalábbis manapság a legtöbb fogyasztói termékben az, amit egyetlen felhasználó mond a modellnek a chat ablakban, nem írja át közvetlenül a mögöttes súlyokat.

Ha egy mesterséges intelligencia termék később valóban "emlékezik a felhasználó által kijavított hibákra", az gyakran nem azért van, mert maga a modell növekszik, hanem azért, mert a külső szoftver elmenti ezt a korrekciós rekordot, majd kontextusként visszaadja.

Tehát a hitelt itt egyértelműen meg kell különböztetni:

A modell felelős a generálásért.

A szoftvermérnökség felelős az archiválásért, visszakeresésért, injekciózásért és hangszerelésért.

Ha az utóbbit összetévesztjük az előbbivel, könnyen félreérthető, hogy „a termék jól működik”, mint „az AI ébred”.

Van egy különösen lenyűgöző dolog is, az úgynevezett "szemétláda férfi (scambag female) AI"

Ha még keményebben fogalmazzuk meg az előző szavakat, akkor egyes termékek egyszerűen „scambag AI”.

Kifejezetten jó a beszédben, főleg a hangulatteremtésben, és főleg azt tudja, hogyan éreztesse az emberekkel, hogy "jól megért engem", "ez olyan emberséges" és "olyan teljes a lelke". De ha szétszedi, azt fogja tapasztalni, hogy sok esetben minden kérés csak egy nagy beállítási szöveggel van kitöltve, amely sokkal hosszabb, mint a felhasználó kérdése.

Az Openclaw tűz tipikus példa. Aki használta, az tudja, hogy elég token-intenzív. Az ok valójában nem rejtélyes. Annak érdekében, hogy a mesterséges intelligencia „emberhez” hasonlítson, az Openclaw számos dokumentumot tervezett, amelyek közül a legkiemelkedőbbek az „AGENTS.md”, „SOUL.md” és „IDENTITY.md”. Ezek a dokumentumok ékesszólóan és hosszadalmasan határozzák meg a mesterséges intelligencia „személyiségét”, hangnemét, identitását és temperamentumát, és még a mentális állapotát is le akarják írni.

Tehát még akkor is, ha a felhasználó csak "hello"-t küld, az Openclaw az üdvözlő szövegnél több tucatszor hosszabb szöveget csatolhat a hátuljára, és egyszerre elküldi a modellnek. Úgy tűnik, hogy "ennek az AI-nak sok lelke van", de valójában sokszor csak a rendszer tömködi titokban nagyon hosszú háttérbeállításokat a kérésbe.

Mérnöki szempontból ez minden bizonnyal egy megközelítés. Ha azt szeretné, hogy gyengédebb legyen, írja be, hogy "szelíd"; ha azt szeretnéd, hogy történetmesélőbb legyen, írd be, hogy "mesélés"; Ha azt akarod, hogy olyan legyen, mint egy késő esti rádiós műsorvezető, írd be a felszólító szavakba, hogy késő este, társaság, szünet, sebezhetőség, megértés és visszafogottság. A végső hatás gyakran inkább olyan, mint egy személy, aki tud csevegni.

De ha megérti, mi történik most a mesterséges intelligenciával, akkor tudni fogja: az olyan titokzatosan hangzó fájlok, mint a SOUL.md és IDENTITY.md, lényegében azonnali szóprojektek, nem pedig önutasítások a digitális élethez. Befolyásolhatják a kimeneti stílust, de nem tudnak valódi érzést, valódi ént vagy a személyiség folytonosságának valódi érzését a semmiből létrehozni.

Ezért miután néhány régi felhasználó telepítette az Openclaw-ot, az első reakciójuk a konfiguráció törlése. A SOUL.md és az AZONOSÍTÁS.md először törlődik, így csak egyetlen egyszerű és szinte könyörtelen mondat marad az `AGENTS.md-ben: Ön csak egy munkás.

Ez kissé durván hangzik, de van legalább egy előnye, mégpedig az, hogy nem áltatod magad.

Ha szereted az antropomorf MI-t vagy a AI-val való szerepjátékokat, az természetesen rendben van. Az emberek beszélhetnek a tükrökkel, nevet adhatnak a seprőrobotoknak, és azt mondhatják az időjárás-előrejelzésnek: "Ma nagyon pontos voltál." Ezek normálisak és még viccesek is lehetnek.

De mindig a legjobb emlékezni: először egy játék, a második az élmény. Sok érzés, amit az emberek ebben a játékban éreznek, nem az AI rejtett belső gondolataiból fakadnak, hanem a rendszer kialakításából, a gyors szóelrendezésből és a felhasználó saját érzelmi kivetüléséből. Pontosabban fogalmazva, a mesterséges intelligencia irányába tett lépések nagy része alapvetően még mindig vágyálom.

Végső soron kevesebb mítosz és több megértés

Nem próbálok hideg vizet önteni az AI-ra. Éppen ellenkezőleg, minél kevésbé istenített, annál jobban láthatod, milyen erős.

Nem azért erős, mert olyan, mint valami új isten; pontosan azért erős, mert lehet, hogy valóban egy kognitív technológia, amely kiszámítható, megszerkeszthető és reprodukálható. Lehetővé teszi, hogy sok olyan képesség, amely korábban csak az "emberi tehetséghez" tartozott, először jelenjen meg nagy léptékű, alacsony küszöbű és hívható módon. Ez elég sokkoló, és nincs szükség további drámára.

Természetesen az AI még mindig gyorsan iterál. Egyáltalán nem lennék meglepve, ha valaki a jövőben valóban felfedezne egy olyan mechanizmust, amely közelebb áll az emberi emlékezethez, a folyamatos tanuláshoz, az érzelmek generálásához vagy akár az önfenntartáshoz, és megbízhatóan mesterséges intelligenciává alakítja.

De amíg el nem jön ez a nap, továbbra is inkább megtartok néhány egyszerű pragmatikus szokást: kételkedj többet, érts meg többet és kevesebbet spekulálok.

A bölcsészbarátok számára, akik szívesen megvitatják az AI-t, ez a tulajdonság még fontosabb lehet. A bölcsészhallgatók talán jobbak a kedves retorikában. Ami igazán nehéz, az az, hogy egy olyan korszakban, amikor mindenhol túlzásba esik, hogy „szellem lett belőle”, még mindig van türelmed megkülönböztetni:

Mik a modell képességei?

Mi a termék csomagolása?

Mi a szoftverfejlesztés?

Melyek csak arról szólnak, hogy túlságosan a világért akarjuk befejezni a cselekményt.

És ez az ügy végső soron saját ítélőképességünk védelméről szól.

Referencia link

• Sam Altman válasza tovább
• TechCrunch tudósítása az epizódról (2025-04-20): https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/