Cilvēku maldi par AI ir sliktāki nekā AI halucinācijas

Dažreiz man šķiet, ka AI lielākā "ilūzija" nav tā, ka tas nopietni runā muļķības, bet gan tas, ka mēs esam iztēlojušies visapkārt veselu metafizisku Visumu.

Kad cilvēki saskaras ar lietām, ko viņi nesaprot, viņiem bieži ir stabila pieeja: viņi vispirms pieņem lēmumu un pēc tam tos romantizē; viņi vispirms tos personificē un pēc tam dievina. Liesmas tiek uzskatītas par elfiem, un pērkons un zibens tiek uzskatīti par aizgādību. Kad algoritms spēj uzrakstīt divus pieklājīgus teikumus, daži cilvēki uzreiz prātos, vai servera telpā jau nav dzīvojusi elektroniska dvēsele.

Tas patiesībā ir diezgan normāli. Cilvēka smadzenes ir izveidotas, lai pievienotu pasaulei sižetu. Problēma nav tajā, ka mēs varam pieņemt lēmumu. Problēma ir tā, ka tad, kad mūsu domāšana ir pārāk gluda, ir viegli sajaukt "izskatās" ar "būtībā ir".

AI gadījumā šī cilvēku tendence ir vēl spēcīgāka nekā tad, kad pats AI runā muļķības. Maksimāli AI ir neliela halucinācija atbildē; cilvēku halucinācijas par AI bieži vien ir vesels pasaules uzskats, kas vienā prātā var aizpildīt līdz 10 000 vārdu un satur arī emocijas.

Neliels pragmatisms ir īpaši svarīgs brīvo mākslu kopienai

Es nevēlos ieteikt ikvienam mācīties CUDA, konfigurēt vidi un apskatīt matricas, lai atrastu atvasinājumus. Es tikai gribu teikt, ka tiekšanās pēc patiesības dažkārt ir ļoti svarīga, īpaši brīvo mākslu kopienai, kas mīl jēdzienus, stāstījumus, nozīmes un skaidrojumus.

Jo brīvo mākslu kontekstā, visticamāk, rodas maigs, bet bīstams slidens ceļš: vārdi ir skaisti uzrakstīti un teikumi kustīgi, bet beigās objekts tiek slepus mainīts. Tas acīmredzami ir varbūtības modelis, bet tas ir uzrakstīts tā, it kā tas būtu par dvēseli; tas acīmredzami ir konteksta montāža programmatūras inženierijā, bet tas ir teikts kā "tā beidzot iemācījās tevi mīlēt"; Acīmredzot darbojas sistēmas uzvednes vārdi un vēsturiski ieraksti, taču tas ir iesaiņots šādi: “AI tiešām jūs atceras”.

Noteikti nav grēks būt poētiskam. Problēma ir tā, ka, ja dzeja aizstāj spriedumu, romantika kļūst maldinoša.

Tātad, kas īsti tagad ir AI?

Ļaujiet man sākt ar versiju, kas ir pēc iespējas vienkāršāka, bet neizkropļota: lielie modeļi, ar kuriem ikviens saskaras mūsdienās, būtībā ir statistikas modeļa veids, kuru iedvesmojuši neironu tīkli un apmācīti, izmantojot milzīgus datus. Tas darbojas mikroshēmās un serveros, nolasa ievadi, apvieno parametrus un kontekstu un nepārtraukti prognozē, "kādam vajadzētu būt nākamajam vispiemērotākajam marķierim".

Šeit runa nav par to, ka frāze "paredzēt nākamo vārdu" ir noslēpumaina, bet gan tajā, ka tā patiesībā nemaz nav noslēpumaina. Modele nav mazs cilvēciņš, kas saspiedies mākoņos klusi domā par dzīvi, tā drīzāk ir kā ārkārtīgi milzīga funkcija. Cilvēki dod tam ievadi, un tas ģenerē izvadi atbilstoši treniņa laikā izveidotajai parametru struktūrai.

Lietojot šo jautājumu piezemētāk: tas nav "sakiet to pēc tam, kad esat to sapratis", bet gan "pēc milzīgas pieredzes saspiešanas, ģenerējiet atbildi, kas pašreizējā kontekstā līdzinās izpratnei". Tas nenozīmē, ka tas neko nevar izdarīt, gluži pretēji, tas jau ir ļoti spēcīgs; bet varenība nenozīmē, ka tā ir noslēpumaina.

Kāpēc neironu tīkli vienmēr liek cilvēkiem domāt par cilvēka smadzenēm?

Ja turpināsiet to turpināt, jūs atklāsiet, ka jautājums "Vai AI un cilvēka smadzenes līdzinās viens otram?" nevar ne teikt, ka tas ir "tieši tāds pats", ne arī "nav nekāda sakara ar to".

Mūsdienu neironu tīklu maršrutu sākotnēji iedvesmoja smadzenes. 1943. gadā McCulloch un Pits matemātiski aprakstīja vienkāršotu neironu modeli; 1958. gadā Rozenblats ierosināja perceptronu; 20. gadsimta 80. gados backpropagation atdzīvināja cerību apmācīt daudzslāņu tīklus; 2010. gados dziļās mācīšanās pieauga ar skaitļošanas jaudu, datiem un inženierijas iespējām; pēc Transformer arhitektūras parādīšanās 2017. gadā valodu modeļi pieauga un beidzot kļuva par lieliem modeļiem, kurus visi izmanto katru dienu.

Tāpēc, vismaz salīdzinoši naivā nozīmē, nav pārspīlēti teikt, ka AI ir "neironu tīklu ideju elektroniska simulācija un pastiprināšana". Tas patiešām mēģina izmantot aprēķināmas, apmācāmas un reproducējamas fiziskās sistēmas, lai tuvinātu noteiktām kognitīvām spējām, kuras agrāk tika uzskatītas par "noslēpumainām".

Tāpēc man personīgi nepatīk runāt par cilvēka smadzenēm kā pārāk noslēpumainām. Manuprāt, Čomska pārstāvētajai iedzimtajai valodas teorijai ir tieksme dievišķot smadzenes, it kā tur būtu kaut kāda pārpasaulīga struktūra, kas ir pārāk īpaša un valodas spējā gandrīz nepieejama. Bet neatkarīgi no tā, cik sarežģītas ir cilvēka smadzenes, tās joprojām ir fiziska eksistence. Tā kā tā ir fiziska eksistence, principā to vajadzētu būt iespējai pētīt, modelēt, daļēji simulēt un pat reproducēt noteiktās funkcijās.

Protams, mums šeit nekavējoties jāpievieno piesardzības vārds: spēja simulēt daļu nenozīmē, ka visa persona ir pilnībā reproducēta.

Ir līdzības, taču nekļūsti par dievu tieši tad, kad esi laimīgs

Runājot par valodu, modeļu atpazīšanu, asociāciju un reprezentācijas mācīšanos, mūsdienu lielajiem modeļiem ir zināma "līdzība" vai "līdzība" ar cilvēka smadzenēm. Tie nedarbojas no skaidras noteikumu grāmatas, bet veido sava veida iekšēju attēlojumu, izmantojot lielu skaitu savienojumu, svara pielāgojumus un pieredzes uzkrāšanu, un pēc tam, pamatojoties uz to, izvada.

Tāpēc daudzi cilvēki ir šokēti, kad viņi pirmo reizi piedzīvo liela modeļa valodas iespējas: tā nav vārdnīcas iegaumēšana, bet gan sava veida izkliedēta attēlojuma veidošanās. Šī metode ļoti atšķiras no tradicionālās iztēles par "ar roku rakstītiem noteikumiem un izsmeļošu gramatiku".

Bet problēma ir tieši šeit. Jo "līdzība" ir pārāk viegli jaunināma uz "tieši tādu pašu"; "principā daļēji līdzīgs" ir pārāk viegli jaunināms uz "tas neatšķiras no cilvēka"; "tas var runāt kā cilvēks" ir pārāk viegli jaunināts uz "tam ir cilvēka sirds".

Šis solis bieži ir ātrāks nekā paša modeļa iespējas.

Cilvēka smadzeņu plašās spējas vēl nav pienācīgi simulētas.

Mūsdienu lielie modeļi ir patiešām spēcīgi, taču tie ir spēcīgi diezgan noteiktā diapazonā. Bez šīs jomas mīts viegli noplūdīs.

Piemēram, atmiņa. Daudzi cilvēki tagad saka, ka kāds AI "atceras mani", "atceras pēdējo tērzēšanu" un "atceras manas preferences", it kā tā smadzenes ir attīstījušas kaut kādu pastāvīgu pašpieredzi. Taču lielākajā daļā produktu tā sauktā "atmiņa" būtībā ir programmatūras sistēma, kas glabā lietotāja informāciju, vēsturiskas sarunas, atzīmes, kopsavilkumus vai meklēšanas rezultātus datu bāzēs, teksta failos vai citos pastāvīgos datu nesējos un pēc tam ievieto tos atpakaļ modeļa kontekstā, kad tas ir nepieciešams.

Tas pilnīgi atšķiras no cilvēka smadzeņu atmiņas mehānisma.

Cilvēka smadzeņu atmiņa ietver neironu savienojumu, konsolidāciju, atgūšanu, aizmirstību, emocionālo uzbudinājumu un miega pārstrukturēšanu. Aiz tā slēpjas sarežģītu fizioloģisko procesu kopums. Lielo modeļu izstrādājumu "atmiņa" bieži vien ir tikai:

1. Vispirms ierakstiet lietotāja informāciju ārējā atmiņā.
2. Kad lietotājs nākamreiz uzdod jautājumu, ievietojiet attiecīgās daļas atpakaļ pieprasījumā.
3. Tātad modelis izskatās kā "atceries šo personu".

Kā tas izskatās? Tas ir vairāk kā vērot kādu, kurš labi prot veikt piezīmes. Nebija tā, ka viņa prāts pēkšņi pārvērtās par orākulu, vienkārši viņš ielika zīmīti savā piezīmju grāmatiņā un apgrieza to nākamreiz.

Dažas lietas, kas "pieskaras cilvēku sirdīm", patiesībā ir laba konteksta rezultāts.

Pēc dažām dienām tērzējot ar AI, daudzus cilvēkus piemeklēs noteikti brīži: "Kā tas mani tik labi saprot?" "Kā tas vispār var saprast manu neaizsargātību?" "Vai tas jau ir veidojis izpratni par mani?"

Šeit ir ļoti vērts atdzist.

Daudzas reizes nav tā, ka modelis pēkšņi kaut ko saprot, bet gan tas, ka programmatūras slānis, kas nosūta pieprasījumu, slepeni piegādā lielu daudzumu lietotāja informācijas. Lietotāja vēsturiskās tērzēšanas sarunas, preferences, personiskie iestatījumi, nesenie uzdevumi, iepriekšējās rūpes un pat noteikti kopsavilkumi šoreiz kļūs par materiālu tā atbildei.

Nedaudz līdzinās zīlniekam, kurš paņēma svešu ekspreskastīti un tad ar "maģisku precizitāti" sāka uzminēt otra cilvēka adresi, uzvārdu un tērēšanas paradumus. Skatītāji domās, ka viņa ieskats ir pārsteidzošs; bet patiesībā svarīga ir nevis noslēpumaina spēja, bet gan informācijas asimetrija.

Tāpēc, ja AI laiku pa laikam saka aizkustinošus vārdus, tas ne vienmēr nozīmē, ka tā sirdī ir cilvēks, kas saprot lietotāju. Tas var nozīmēt tikai to, ka kāds ir pilnībā sakārtojis kontekstu par lietotāju.

Apbrīnojamā AI patiesais noslēpums bieži ir kontekstuālā inženierija

Ja es vēlos runāt tikai par vissvarīgāko lietu, tas ir: pašreizējie lielie modeļi parasti ir "viena pieprasījuma efektīva" API līmenī.

Kāda jēga? Tas nozīmē, ka kāds izmanto curl, lai vienu reizi pielāgotu interfeisu, un saka: "Mans vārds ir Džan San"; tad bez vēstures modelis atkal pielāgo interfeisu un jautā "Kāds ir mans vārds"? Modele nezina. Jo tie ir divi neatkarīgi pieprasījumi.

Iemesls, kāpēc šķiet, ka daudzi AI produkti vienmēr atceras noteiktu lietotāju, ir tāpēc, ka produkta slānis katru reizi, kad tas tiek pieprasīts, atgriezīs faktu, ka "šī lietotāja vārds ir Džan Sana".

Tāpēc mūsdienu AI produktu burvība bieži vien nav atrodama modeļa ontoloģijā, bet gan kontekstuālajā inženierijā. Daži cilvēki šādu modeļa "iejūgšanas" darbu sauc arī par "uzkabi". Atklāti sakot, produkta autoram vai aģentam ir rūpīgi jāizlemj: kura vēsture, kādi noteikumi, kādi ārējie dati un kāds lietotāja statuss jāiekļauj katrā pieprasījumā.

Pašlaik ir aptuveni divas izplatītas metodes.

Pirmā ir "Quansai sekta". Mēģiniet paņemt līdzi visu tērzēšanas vēsturi un ievietojiet pēc iespējas vairāk, līdz konteksts ir gandrīz pilns, un pēc tam izdzēsiet sadaļu no vidus, tāpat kā sākot vardarbīgu saspiešanu pēc tam, kad čemodāns ir pilns ar lietām.

Otrais veids ir "selektīvs". Vispirms apskatiet, ko lietotājs jautāja šoreiz, pēc tam izgūstiet attiecīgo saturu no vēsturiskiem ierakstiem, zināšanu bāzēm, piezīmēm vai datu bāzēm un pašreizējā pieprasījumā ievietojiet tikai visatbilstošākos materiālus.

Pēdējais parasti ir reprezentablāks un inženiertehniskāks, nevis tikai veiksme.

Vai AI ir jūtas? Slavējiet to, rājiet to, PUA to, vai tas darbojas?

Šī ir vēl viena vieta, kur ir īpaši viegli ieslīgt antropomorfismā.

Mans viedoklis ir, ka tie ir jāapspriež atsevišķi.

Tajā pašā pieprasījumā lietotāja izmantotais tonis patiešām var ietekmēt rezultātu. Jo pats formulējums ir daļa no konteksta. Jo skaidrāks, pieklājīgāks un uz sadarbību vērstāks izteiciens, jo vieglāk modelim sniegt stabilas, lietojamas un mazāk agresīvas atbildes. Šeit darbojas nevis tas, ka "tas tika pārvietots", bet gan tas, ka ievades stils maina izvades sadalījumu.

Bet, ja mēs uzdodam citu jautājumu: vai tas saturēs ļaunu prātu? Vai jūs šodien slepeni atriebīsit, jo vakar kāds lietotājs to aizrādīja? Mans spriedums ir, vismaz lielākajai daļai pašreizējo izvietojumu, nē.

Iemesls ir vienkāršs. Kad konteksts ir notīrīts vai tiek uzsākts jauns pieprasījums bez vēstures, tam nav ne jausmas, kurš pašreizējais cilvēks uzdod jautājumu, nemaz nerunājot par to, vai persona, kas tikko to aizrādīja, ir tā pati persona. Modelis apstrādā masīvus, vienlaicīgus un neatkarīgus pieprasījumus serveru klasterī. Runājot par sistēmas uzvedību, tā drīzāk atgādina lielu funkciju, kas darbojas ar pašreizējo ievadi katru reizi, kad tā tiek ieslēgta, nevis personai, kas slepeni pārskata savas emocijas pēc aiziešanas no darba.

2025. gada 17. aprīlī, kad Sems Altmens atbildēja uz jautājumu "Vai visu laiku, lūdzu, un paldies, maksā daudz enerģijas?" uz X viņš teica: "desmitiem miljonu dolāru labi iztērēti — jūs nekad zināt."

Kāpēc "Lūdzu, atcerieties šo kļūdu" parasti nedarbojas

Daudzi cilvēki ir veikuši līdzīgus eksperimentus: kad AI pieļauj kļūdu, lietotājs to izlabo un nopietni saka: "Lūdzu, atcerieties, nedariet to turpmāk." Pēc dažām dienām es jautāju vēlreiz, un tas bija pareizi.

Tas nav nekāds noslēpums. Tā kā pēc apmācības pabeigšanas un modeļa ieviešanas tas neturpinās mācīties no ikdienas pieredzes, strādājot kā cilvēks. Vismaz lielākajā daļā mūsdienu patēriņa preču tas, ko viens lietotājs saka modelim tērzēšanas logā, tieši nepārraksta pamatā esošos svarus.

Ja mākslīgā intelekta produkts vēlāk patiešām "atceras lietotāja labotās kļūdas", tas bieži vien nav tāpēc, ka pats modelis aug, bet gan tāpēc, ka ārējā programmatūra saglabā šo labojuma ierakstu un pēc tam ievada to atpakaļ kā kontekstu.

Tātad šeit ir skaidri jānošķir kredīts:

Modelis ir atbildīgs par paaudzi.

Programmatūras inženierija ir atbildīga par arhivēšanu, izguvi, ievadīšanu un orķestrēšanu.

Sajaucot pēdējo ar pirmo, ir viegli nepareizi izlasīt "produktam darbojas labi" kā "AI mostas".

Ir arī īpaši aizraujoša lieta, ko sauc par "scumbag male (scumbag female) AI"

Ja izsakām iepriekšējos vārdus vēl skarbāk, tad daži produkti ir vienkārši “scumbag AI”.

Īpaši labi prot runāt, īpaši prot radīt atmosfēru, un īpaši prot likt cilvēkiem justies, ka "tas mani labi saprot", "tas ir tik cilvēcīgi" un "tā dvēsele ir tik pilnīga". Taču, izjaucot to, jūs atklāsiet, ka daudzos gadījumos katrs pieprasījums ir vienkārši aizpildīts ar lielu iestatījuma tekstu, kas ir daudz garāks par lietotāja jautājumu.

Openclaw uguns ir tipisks piemērs. Ikviens, kurš to ir lietojis, zina, ka tas ir diezgan žetonu ietilpīgs. Iemesls patiesībā nav noslēpumains. Lai mākslīgais intelekts būtu vairāk līdzīgs "cilvēkam", Openclaw izstrādāja vairākus dokumentus, no kuriem visievērojamākie ir AGENTS.md, SOUL.md un IDENTITY.md. Šie dokumenti daiļrunīgi un gari definē mākslīgā intelekta "personību", toni, identitāti un temperamentu, un pat vēlas pierakstīt tā garīgo stāvokli.

Tātad, pat ja lietotājs vienkārši nosūta sveicienu, Openclaw aizmugurē var pievienot tekstu, kas ir desmitiem reižu garāks nekā sveiciens, un nosūtīt to modelim uzreiz. Šķiet, ka "šim mākslīgajam intelektam ir daudz dvēseles", taču patiesībā daudzas reizes tā ir tikai sistēma, kas pieprasījumā slepeni ievieto ļoti garus fona iestatījumus.

No inženierijas viedokļa šī noteikti ir pieeja. Ja vēlaties, lai tas būtu maigāks, rakstiet "maigs"; ja vēlaties, lai tas būtu stāstošāks, rakstiet "storytelling"; ja vēlaties, lai tas būtu kā vēlu vakara radio vadītājs, īsajos vārdos ierakstiet visu vēlu nakti, biedriskums, pauze, neaizsargātība, sapratne un atturība. Galīgais efekts bieži vien vairāk atgādina cilvēku, kurš var tērzēt.

Bet, ja jūs saprotat, kas tagad notiek ar AI, jūs zināt: faili ar noslēpumaini skanošiem nosaukumiem, piemēram, SOUL.md un IDENTITY.md, būtībā ir vārdu projekti, nevis pašnorādījumi digitālajai dzīvei. Tie var ietekmēt iznākuma stilu, taču tie nevar no zila gaisa radīt patiesu sajūtu, patiesu sevi vai patiesu personības nepārtrauktības sajūtu.

Tāpēc pēc tam, kad daži veci lietotāji ir instalējuši Openclaw, viņu pirmā reakcija ir konfigurācijas dzēšana. Vispirms tiek dzēsti SOUL.md un IDENTITY.md, atstājot tikai vienu vienkāršu un gandrīz nežēlīgu teikumu AGENTS.md: Jūs esat tikai strādnieks.

Tas var izklausīties mazliet nepieklājīgi, taču tam ir vismaz viens ieguvums, proti, jūs nemaldat sevi.

Ja jums patīk antropomorfs AI vai lomu spēles ar AI, tas, protams, ir labi. Cilvēki var runāt ar spoguļiem, dot vārdus slaucošajiem robotiem un teikt laika prognozei: "Tu šodien esi bijis ļoti precīzs." Tie ir normāli un var būt pat smieklīgi.

Bet vienmēr vislabāk ir atcerēties: vispirms tā ir spēle un pēc tam pieredze. Daudzas sajūtas, ko cilvēki izjūt šajā spēlē, nerodas no AI slēptām iekšējām domām, bet gan no sistēmas dizaina, tūlītēja vārdu sakārtojuma un paša lietotāja emocionālās projekcijas. Atklātāk sakot, daudzi virzieni uz AI joprojām būtībā ir vēlmju domāšana.

Galu galā mazāk mītu un vairāk izpratnes

Es nemēģinu AI mest aukstu ūdeni. Gluži pretēji, jo mazāk tā ir dievišķota, jo vairāk jūs varat redzēt, cik tas ir spēcīgs.

Tas ir spēcīgs nevis tāpēc, ka tas ir kā kāds jauns dievs; tā ir spēcīga tieši tāpēc, ka tā patiešām var būt kognitīva tehnoloģija, kas ir aprēķināma, konstruējama un reproducējama. Tas ļauj daudzām spējām, kas, šķiet, piederēja tikai "cilvēka talantam" pagātnē, pirmo reizi parādīties plaša mēroga, zema sliekšņa un izsaucamā veidā. Tas ir pietiekami šokējoši, un nav nepieciešama papildu dramaturģija.

Protams, AI joprojām strauji atkārtojas. Es nemaz nebrīnītos, ja kāds patiešām atklātu mehānismu, kas ir tuvāks cilvēka atmiņai, nepārtrauktai mācībai, emociju ģenerēšanai vai pat pašpietiekamībai nākotnē un uzticami konstruētu to AI.

Bet līdz šai dienai es joprojām dodu priekšroku saglabāt dažus vienkāršus pragmatiskus ieradumus: vairāk šaubīties, vairāk saprast un mazāk spekulēt.

Brīvās mākslas draugiem, kuri vēlas apspriest AI, šī kvalitāte var būt vēl svarīgāka. Brīvās mākslas studenti var būt labāki par saldu retoriku. Patiešām grūti ir tas, ka laikmetā, kurā visur tiek pārspīlēts "šķiet, ka tas ir kļuvis par garu", jums joprojām ir pacietība atšķirt:

Kādas ir modeļa iespējas?

Kas ir produkta iepakojums?

Kas ir programmatūras inženierija?

Kuras no tām ir tikai tas, ka mēs pārāk vēlamies pabeigt sižetu pasaulei.

Un šis jautājums galu galā ir par mūsu pašu sprieduma aizsardzību.

Atsauces saite

• Sema Altmana atbilde ieslēgta
• TechCrunch pārraide par sēriju (2025-04-20): https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/