Lidské bludy o umělé inteligenci jsou horší než halucinace umělé inteligence

Někdy mám pocit, že největší „iluzí“ AI není to, že mluví vážně nesmysly, ale to, že jsme si kolem ní představili celý metafyzický vesmír.

Když lidské bytosti čelí věcem, kterým zcela nerozumí, mají často stabilní přístup: nejprve se rozhodnou a pak si je romantizují; nejprve je personifikují a poté zbožšťují. Plameny jsou považovány za elfy a hromy a blesky za prozřetelnost. Jakmile algoritmus dokáže napsat dvě slušné věty, některé lidi okamžitě napadne, zda už v serverovně nebydlela elektronická duše.

To je vlastně docela normální. Lidský mozek je napojen na to, aby dodal světu spiknutí. Problém není v tom, že se dokážeme rozhodnout. Problém je v tom, že jakmile je naše myšlení příliš hladké, je snadné zaměnit „vypadá jako“ za „v podstatě je“.

V případě AI je tato tendence lidí ještě silnější, než když AI sama mluví nesmysly. AI je nanejvýš malá halucinace v odpovědi; Halucinace lidských bytostí o AI jsou často celosvětovým pohledem, který může v jedné mysli naplnit až 10 000 slov a také obsahuje emoce.

Trocha pragmatismu je zvláště důležitá pro komunitu svobodných umění

Nechci všem radit, aby se učili CUDA, konfigurovali prostředí a dívali se na matice, aby našli deriváty. Chci jen říct, že hledání pravdy je někdy opravdu důležité, zvláště pro komunitu svobodných umění, která miluje koncepty, vyprávění, významy a vysvětlení.

Protože v kontextu svobodných umění s největší pravděpodobností dojde k mírnému, ale nebezpečnému skluzu: slova jsou krásně napsaná a věty se pohybují, ale nakonec se objekt tajně změní. Je to zjevně pravděpodobnostní model, ale je psán jako o duši; je to zjevně sestavení kontextu v softwarovém inženýrství, ale říká se to jako „konečně se tě naučilo milovat“; očividně fungují systémová slova a historické záznamy, ale je to zabaleno jako „AI si vás opravdu pamatuje“.

Být poetický rozhodně není žádný hřích. Problém je, že pokud poezie nahradí soudnost, romantika se stane zavádějící.

Takže, co přesně je AI nyní?

Dovolte mi začít s verzí, která je co nejjednodušší, ale nezkreslená: Velké modely, se kterými dnes každý přichází do styku, jsou v podstatě typem statistického modelu inspirovaného neuronovými sítěmi a trénovaného prostřednictvím masivních dat. Běží na čipech a serverech, čte vstup, kombinuje parametry a kontext a neustále předpovídá, „jaký by měl být další nejvhodnější token“.

Nejde zde o to, že by fráze „předpovězte další slovo“ byla záhadná, ale že ve skutečnosti záhadná vůbec není. Model není žádný človíček schoulený v oblacích tiše přemýšlející o životě, je to spíše extrémně obrovská funkce. Lidé mu dávají vstup a ono generuje výstup podle struktury parametrů vytvořené během tréninku.

Abychom tuto záležitost uvedli více na zem: není to „řekni to, až to pochopíš“, ale „po stlačení obrovského množství zkušeností vygeneruj odpověď, která se nejvíce podobá porozumění v aktuálním kontextu“. To neznamená, že nic neumí, naopak je již velmi mocný; ale být mocný neznamená, že je tajemný.

Proč neuronové sítě vždy nutí lidi myslet na lidský mozek?

Budete-li v tom pokračovat, zjistíte, že otázka "Podobají se AI a lidské mozky?" nelze říci, že je „úplně stejný“, ani „s tím nemá nic společného“.

Trasa moderních neuronových sítí byla původně inspirována mozkem. V roce 1943 McCulloch a Pitts matematicky popsali zjednodušený model neuronů; v roce 1958 navrhl Rosenblatt perceptron; v 80. letech 20. století backpropagation znovu rozdmýchal naději na trénování vícevrstvých sítí; v roce 2010 se hluboké učení prudce zvýšilo s výpočetním výkonem, daty a inženýrskými schopnostmi; poté, co se v roce 2017 objevila architektura Transformer, jazykové modely prudce vzrostly a nakonec se rozrostly do velkých modelů, které každý používá každý den.

Proto, alespoň v poměrně naivním smyslu, není pobuřující tvrdit, že AI je „elektronická simulace a zesílení nápadů neuronových sítí“. Skutečně se pokouší využít vyčíslitelné, trénovatelné a reprodukovatelné fyzické systémy, aby se přiblížila určitým kognitivním schopnostem, které byly v minulosti považovány za „tajemné“.

To je důvod, proč osobně nerad mluvím o lidském mozku jako o příliš tajemném. Vrozená teorie jazyka reprezentovaná Chomským má podle mého názoru tendenci zbožšťovat mozek, jako by existovala nějaká transcendentální struktura, která je v hloubce jazykových schopností příliš zvláštní a téměř nepřístupná. Ale bez ohledu na to, jak složitý je lidský mozek, stále je to fyzická existence. Jelikož se jedná o fyzickou existenci, v zásadě by mělo být možné ji studovat, modelovat, částečně simulovat a dokonce reprodukovat v určitých funkcích.

Samozřejmě bychom zde měli okamžitě přidat slovo opatrnosti: schopnost simulovat část neznamená, že celá osoba byla zcela reprodukována.

Existují podobnosti, ale nestaňte se bohem přímo, když jste šťastní

Pokud jde o jazyk, rozpoznávání vzorů, asociační a reprezentační učení, dnešní velké modely mají určitou „podobnost“ nebo „podobnost“ s lidským mozkem. Nefungují na základě explicitní knihy pravidel, ale tvoří jakousi vnitřní reprezentaci prostřednictvím velkého počtu spojení, úprav hmotnosti a nahromadění zkušeností a na základě toho pak výstup.

To je důvod, proč je mnoho lidí šokováno, když poprvé zažijí jazykové schopnosti velkého modelu: nepamatuje si slovník, ale tvoří nějaký druh distribuované reprezentace. Tato metoda je velmi odlišná od tradiční představivosti „ručně psaných pravidel a vyčerpávající gramatiky“.

Problém je ale právě zde. Protože „podobnost“ je příliš snadno upgradována na „úplně totéž“; „v principu částečně podobný“ lze příliš snadno povýšit na „neliší se od člověka“; „umí mluvit jako lidská bytost“ je příliš snadno povýšeno na „má lidské srdce“.

Tento krok je často rychlejší než samotná schopnost modelu.

Obrovské schopnosti lidského mozku se ještě musí slušně nasimulovat.

Dnešní velké modely jsou opravdu silné, ale jsou silné v poměrně specifickém rozsahu. Bez tohoto rozsahu by mýtus snadno pronikl.

Jako například paměť. Mnoho lidí nyní říká, že určitá umělá inteligence si „pamatuje mě“, „pamatuje si poslední chat“ a „pamatuje si moje preference“, jako by v jejím mozku vyrostla nějaká průběžná sebezkušenost. Ale ve většině produktů je takzvaná „paměť“ v podstatě softwarový systém ukládající uživatelské informace, historické konverzace, značky, souhrny nebo výsledky vyhledávání v databázích, textových souborech nebo jiných trvalých médiích a poté je v případě potřeby vkládat zpět do kontextu modelu.

To je zcela odlišné od paměťového mechanismu lidského mozku.

Paměť lidského mozku zahrnuje spojení neuronů, konsolidaci, vyhledávání, zapomínání, emoční vzrušení a restrukturalizaci spánku. Je za tím soubor složitých fyziologických procesů. „Paměť“ ve velkých modelových produktech je často jen:

1. Nejprve zaznamenejte informace o uživateli do externího úložiště.
2. Až se uživatel příště zeptá, vložte příslušné části zpět do požadavku.
3. Model tedy vypadá jako „pamatujte si tuto osobu“.

jak to vypadá? Je to spíš jako sledovat někoho, kdo je dobrý v psaní poznámek. Nebylo to tak, že by se jeho mysl náhle proměnila ve věštbu, šlo jen o to, že si poznámku vložil do sešitu a příště ji otočil.

Některé věci, které se „dotknou lidských srdcí“, jsou ve skutečnosti výsledkem dobrého kontextu.

Po pár dnech chatování s umělou inteligencí mnoho lidí zasáhnou určité okamžiky: "Jak mi to tak dobře rozumí?" "Jak může vůbec pochopit mou zranitelnost?" "Už mi to došlo k pochopení?"

Tady se nejvíc vyplatí zchladit.

Mnohokrát nejde o to, že si model náhle něco uvědomí, ale o to, že vrstva softwaru, která požadavek odešle, tajně dodá velké množství informací uživatele. Materiálem pro jeho odpověď se tentokrát stanou uživatelské historické chaty, preference, osobní nastavení, nedávné úkoly, předchozí starosti a dokonce i určitá shrnutí.

Je to trochu jako věštec, který sebral cizí expresní schránku a pak začal s „magickou přesností“ hádat adresu, příjmení a utrácení toho druhého. Přihlížející si budou myslet, že jeho vhled je úžasný; ale to, na čem opravdu záleží, není tajemná schopnost, ale informační asymetrie.

Proto, když AI občas řekne dojemná slova, nemusí to nutně znamenat, že v jejím srdci je člověk, který uživateli rozumí. Může to jen znamenat, že někdo plně uspořádal kontext o uživateli.

Skutečným tajemstvím úžasné umělé inteligence je často kontextové inženýrství

Pokud chci mluvit jen o tom nejkritičtějším, je to: současné mainstreamové velké modely jsou na úrovni API obvykle „efektivní na jeden požadavek“.

jaký to má smysl? To znamená, že někdo použije curl k úpravě rozhraní jednou a řekne mu "Jmenuji se Zhang San"; pak bez jakékoli historie model znovu upraví rozhraní a zeptá se "Jak se jmenuji"? Modelka neví. Protože to jsou dva nezávislé požadavky.

Důvodem, proč se zdá, že mnoho produktů AI si vždy pamatuje určitého uživatele, je ten, že produktová vrstva při každém vyžádání vrátí skutečnost, že „jméno tohoto uživatele je Zhang San“.

To je důvod, proč kouzlo dnešních produktů AI často nenacházíme v modelové ontologii, ale v kontextovém inženýrství. Někteří lidé také nazývají tento druh práce "spřažení" modelu "postroj". Řečeno na rovinu, autor produktu nebo agent se musí pečlivě rozhodnout: která historie, jaká pravidla, která externí data a jaký stav uživatele by měla být zahrnuta do každého požadavku.

V současnosti existují zhruba dvě běžné metody.

První je „sekta Quansai“. Pokuste se vzít s sebou celou historii chatu a věci co nejvíce, dokud nebude kontext téměř plný, a poté smažte část uprostřed, stejně jako spusťte násilnou kompresi poté, co je kufr plný věcí.

Druhý typ je „selektivní“. Nejprve se podívejte na to, na co se uživatel tentokrát zeptal, poté načtěte relevantní obsah z historických záznamů, znalostních bází, poznámek nebo databází a do aktuálního požadavku vložte pouze ty nejrelevantnější materiály.

To druhé je obvykle více reprezentativní a inženýrské než jen štěstí.

Má AI pocity? Chválit to, nadávat, PUA to, funguje to?

Toto je další místo, kde je obzvláště snadné sklouznout k antropomorfismu.

Můj názor je, že by se o nich mělo diskutovat samostatně.

Ve stejném požadavku může tón použitý uživatelem skutečně ovlivnit výsledek. Protože samotná formulace je součástí kontextu. Čím jasnější, zdvořilejší a kooperativnější výraz, tím snazší je pro model poskytovat stabilní, použitelné a méně agresivní reakce. Nefunguje zde to, že „to bylo přesunuto“, ale to, že vstupní styl mění distribuci výstupu.

Ale když si položíme jinou otázku: Bude to mít zášť? Budete se dnes tajně mstít, protože to včera vynadal nějaký uživatel? Můj verdikt je, alespoň pro většinu současných nasazení, ne.

Důvod je prostý. Jakmile je kontext vyčištěn nebo je iniciován nový požadavek bez historie, nemá ponětí, komu se aktuální osoba na otázku ptá, natož zda osoba, která ji právě napomenula, je stejná osoba. Model zpracovává masivní, souběžné a nezávislé požadavky na serverovém clusteru. Pokud jde o chování systému, je to spíše velká funkce, která funguje na aktuálním vstupu při každém zapnutí, spíše než osoba, která po odchodu z práce tajně kontroluje své emoce.

Když 17. dubna 2025 Sam Altman odpověděl na otázku „Stále říkat prosím a poděkovat vám stojí hodně energie?“ na X řekl "desítky milionů dobře vynaložených dolarů - nikdy nevíte."

Proč "Prosím, zapamatujte si tuto chybu" obvykle nefunguje

Mnoho lidí provedlo podobné experimenty: když AI udělá chybu, uživatel ji opraví a vážně jí řekne: "Prosím, pamatujte, už to v budoucnu nedělej." Pak jsem se zeptal znovu po několika dnech a bylo to správné.

To není žádná záhada. Protože po dokončení školení a nasazení modelu se nebude nadále učit ze svých každodenních zkušeností a přitom pracovat jako člověk. Přinejmenším ve většině dnešních spotřebitelských produktů to, co jeden uživatel říká modelu v okně chatu, přímo nepřepisuje základní váhy.

Pokud si produkt umělé inteligence později skutečně „pamatuje chyby opravené uživatelem“, často to není proto, že samotný model roste, ale proto, že vnější software uloží tento záznam o opravě a poté jej poskytne zpět jako kontext.

Zde by tedy měl být kredit jasně rozlišován:

Model je zodpovědný za generaci.

Softwarové inženýrství je zodpovědné za archivaci, vyhledávání, vkládání a orchestraci.

Když si to druhé zaměníme za první, je snadné chybně chápat „produkt si vede dobře“ jako „AI se probouzí“.

Existuje také obzvláště fascinující věc zvaná „zmeškaná umělá inteligence“

Pokud bychom předchozí slova vyjádřili ještě tvrději, pak některé produkty jsou prostě „zmetek AI“.

Je obzvlášť dobrá v mluvení, obzvláště dobrá ve vytváření atmosféry a hlavně ví, jak v lidech vyvolat pocit, že „dobře mi rozumí“, „je tak humánní“ a „její duše je tak úplná“. Když to ale rozeberete, zjistíte, že v mnoha případech je každý požadavek jen vyplněn velkým textem nastavení, který je mnohem delší než dotaz uživatele.

Typickým příkladem je požár Openclaw. Každý, kdo to používal, ví, že je to docela tokenově náročné. Důvod ve skutečnosti není záhadný. Aby se umělá inteligence podobala „lidské bytosti“, Openclaw navrhl několik dokumentů, z nichž nejvýznamnější jsou AGENTS.md, SOUL.md a IDENTITY.md. Tyto dokumenty definují „osobnost“, tón, identitu a temperament umělé inteligence výmluvným a dlouhým způsobem a dokonce chtějí zapsat její duševní stav.

Takže i když uživatel jen pošle „ahoj“, Openclaw může na zadní stranu připojit text desítkykrát delší než pozdrav a poslat ho modelu najednou. Vypadá to, že „tato umělá inteligence má hodně duše“, ale ve skutečnosti je to často jen systém, který do požadavku tajně cpe velmi dlouhá nastavení pozadí.

Z technického hlediska je to jistě přístup. Pokud chcete, aby to bylo šetrnější, napište „jemný“; pokud chcete, aby to bylo více příběhové, napište "vyprávění"; chcete-li, aby to bylo jako rozhlasový moderátor v pozdních nočních hodinách, napište do rychlých slov celou pozdní noc, společnost, pauzu, zranitelnost, porozumění a zdrženlivost. Výsledný efekt často připomíná spíše člověka, který umí chatovat.

Ale pokud rozumíte tomu, co se nyní děje s umělou inteligencí, budete vědět: soubory s tajemně znějícími názvy jako SOUL.md a IDENTITY.md jsou v podstatě rychlé slovní projekty, nikoli vlastní instrukce pro digitální život. Mohou ovlivnit styl výstupu, ale nemohou vytvořit skutečný pocit, skutečné já nebo skutečný pocit kontinuity osobnosti ze vzduchu.

Proto poté, co si někteří staří uživatelé nainstalují Openclaw, jejich první reakcí je smazání konfigurace. SOUL.md a IDENTITY.md jsou vymazány jako první, takže v AGENTS.md zůstává pouze jedna jednoduchá a téměř nemilosrdná věta: Jste jen dělník.

Může to znít trochu neslušně, ale má to alespoň jednu výhodu, a to, že nebudete klamat sami sebe.

Pokud máte rádi antropomorfní AI nebo hraní rolí s AI, je to samozřejmě v pořádku. Lidé mohou mluvit se zrcadly, dávat jména zametacím robotům a říkat předpovědi počasí: "Dnes jsi byl velmi přesný." Ty jsou normální a mohou být i vtipné.

Ale vždy je nejlepší si pamatovat: je to v první řadě hra a až potom zážitek. Mnoho pocitů, které lidé v této hře mají, nepochází ze skrytých vnitřních myšlenek AI, ale z návrhu systému, rychlého uspořádání slov a vlastní emoční projekce uživatele. Abych to řekl otevřeněji, mnoho kroků k umělé inteligenci je stále v podstatě zbožným přáním.

V konečném důsledku méně mýtů a více porozumění

Nesnažím se lít studenou vodu na AI. Naopak, čím méně je zbožštěný, tím více můžete skutečně vidět, jak mocný je.

Je mocný ne proto, že je jako nějaký nový bůh; je mocná právě proto, že může skutečně jít o kognitivní technologii, která je vypočitatelná, inženýrská a reprodukovatelná. Umožňuje, aby se poprvé ve velkém, nízkoprahovém a povolatelném měřítku objevily mnohé schopnosti, které se v minulosti zdály patřit pouze „lidskému talentu“. To je dostatečně šokující a není potřeba další drama.

Umělá inteligence se samozřejmě stále rychle opakuje. Vůbec bych se nedivil, kdyby někdo skutečně objevil mechanismus bližší lidské paměti, neustálému učení, generování emocí nebo dokonce sebeudržování v budoucnosti a spolehlivě jej zabudoval do AI.

Ale dokud ten den nepřijde, stále dávám přednost zachování některých jednoduchých pragmatických návyků: více pochybovat, více rozumět a méně spekulovat.

Pro přátele svobodných umění, kteří chtějí diskutovat o AI, může být tato kvalita ještě důležitější. Studenti svobodných umění jsou možná lepší v sladké rétorice. Opravdu obtížné je, že v době, kdy se „zdá se, že se to stalo duchem“ se všude přehání, stále máte trpělivost rozlišovat:

Jaké jsou schopnosti modelu?

Co je balení produktu?

Co je softwarové inženýrství?

Které jsou jen ty, které chceme světu dotvořit až příliš.

A tato záležitost je v konečném důsledku o ochraně našeho vlastního úsudku.

Referenční odkaz

• Odpověď Sama Altmana na
• Pokrytí epizody TechCrunch (2025-04-20): https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/