Людські омани щодо ШІ гірші, ніж галюцинації ШІ

Іноді я відчуваю, що найбільша «ілюзія» штучного інтелекту полягає не в тому, що він серйозно говорить нісенітниці, а в тому, що ми уявили цілий метафізичний всесвіт навколо нього.

Коли люди стикаються з речами, які вони не зовсім розуміють, вони часто мають стабільний підхід: вони спочатку приймають рішення, а потім романтизують його; вони спочатку персоніфікують їх, а потім обожнюють. Полум'я сприймається як ельфи, а грім і блискавка - як провидіння. Щойно алгоритм зможе написати два пристойних речення, деякі люди одразу задумаються, чи електронна душа вже жила в серверній.

Насправді це цілком нормально. Людський мозок налаштований на додавання сюжету до світу. Проблема не в тому, що ми можемо прийняти рішення. Проблема полягає в тому, що як тільки наше мислення стає занадто гладким, його легко прийняти «схоже» за «по суті є».

У випадку ШІ ця схильність людей навіть сильніша, ніж коли ШІ сам говорить нісенітниці. Щонайбільше, ШІ є невеликою галюцинацією у відповіді; Галюцинації людей про штучний інтелект часто являють собою ціле уявлення про світ, яке може заповнювати до 10 000 слів в одній свідомості, а також містить емоції.

Трохи прагматизму особливо важливо для гуманітарної спільноти

Я не хочу радити всім вивчати CUDA, налаштовувати середовище та дивитися на матриці, щоб знайти похідні. Я просто хочу сказати, що прагнення до правди іноді є дуже важливим, особливо для гуманітарної спільноти, яка любить концепції, наративи, значення та пояснення.

Тому що в контексті гуманітарних наук найімовірніше станеться пологий, але небезпечний слизький схил: слова написані красиво, речення рухливі, але в кінці об’єкт таємно змінено. Очевидно, що це імовірнісна модель, але вона написана так, ніби йдеться про душу; це, очевидно, збірка контексту в розробці програмного забезпечення, але це сказано як «воно нарешті навчилося любити вас»; Очевидно, це спрацьовують системні підказки та історичні записи, але це упаковано на кшталт «ШІ справді вас пам’ятає».

Звичайно, немає гріха бути поетичним. Проблема в тому, що якщо поезія замінює судження, романтика стає оманливою.

Отже, що саме зараз таке ШІ?

Дозвольте мені почати з версії, яка є максимально простою, але не спотвореною: великі моделі, з якими сьогодні стикаються всі, по суті, є типом статистичної моделі, створеної за мотивами нейронних мереж і натренованої на масивних даних. Він працює на чіпах і серверах, зчитує вхідні дані, поєднує параметри та контекст і постійно передбачає, «яким має бути наступний найбільш підходящий маркер».

Справа тут не в тому, що фраза «передбачити наступне слово» є загадковою, а в тому, що вона насправді зовсім не загадкова. Модель - це не маленька людина, що тулиться в хмарах і мовчки думає про життя, це більше схоже на надзвичайно величезну функцію. Люди надають йому вхідні дані, а він генерує вихідні дані відповідно до структури параметрів, сформованої під час навчання.

Якщо говорити про це більш приземлено: це не «скажи це після того, як ти це зрозумієш», а «після стиснення величезної кількості досвіду згенеруй відповідь, яка найбільше схожа на розуміння в поточному контексті». Це не означає, що він нічого не може зробити, навпаки, він уже дуже потужний; але могутність не означає, що вона таємнича.

Чому нейронні мережі завжди змушують людей думати про людський мозок?

Якщо ви продовжите досліджувати це питання, то побачите, що питання «Чи схожі штучний інтелект і людський мозок один на одного?» не можна сказати ні як "абсолютно те саме", ні "не має до цього нічого спільного".

Маршрут сучасних нейронних мереж спочатку був натхненний мозком. У 1943 році Маккалок і Піттс математично описали спрощену модель нейрона; у 1958 році Розенблат запропонував перцептрон; у 1980-х роках зворотне поширення відродило надію на навчання багатошарових мереж; у 2010-х глибоке навчання зросло з обчислювальною потужністю, даними та інженерними можливостями; після того, як у 2017 році з’явилася архітектура Transformer, мовні моделі різко зросли й нарешті перетворилися на великі моделі, якими кожен користується щодня.

Тому, принаймні у відносно наївному розумінні, не є обурливим сказати, що ШІ — це «електронне моделювання та посилення ідей нейронної мережі». Він справді намагається використовувати фізичні системи, які можна обчислювати, навчати та відтворювати, щоб наблизитися до певних когнітивних здібностей, які в минулому вважалися «загадковими».

Ось чому я особисто не люблю говорити про людський мозок як про надто загадковий. На мій погляд, вроджена теорія мови, представлена ​​Хомським, має тенденцію обожнювати мозок, ніби існує якась трансцендентна структура, яка є надто особливою та майже недоступною глибоко в мовній здатності. Але яким би складним не був людський мозок, він все одно є фізичним існуванням. Оскільки це фізичне існування, в принципі його можна вивчати, моделювати, частково моделювати та навіть відтворювати в певних функціях.

Звичайно, ми повинні відразу додати сюди слово застереження: можливість імітувати частину не означає, що людину повністю відтворено.

Є схожість, але не ставайте богом безпосередньо, коли ви щасливі

З точки зору мови, розпізнавання образів, навчання асоціаціям і репрезентації, сучасні великі моделі дійсно мають певну «схожість» або «подібність» до людського мозку. Вони не працюють за явним довідником правил, а формують якесь внутрішнє представлення через велику кількість зв’язків, коригування ваги та накопичення досвіду, а потім виводять на основі цього.

Ось чому багато людей шоковані, коли вони вперше відчувають мовні можливості великої моделі: це не запам’ятовування словника, це формування якогось розподіленого представлення. Цей метод дуже відрізняється від традиційної уяви про «рукописні правила та вичерпну граматику».

Але проблема полягає саме тут. Тому що «подібність» надто легко підвищити до «точнісінько однаково»; «частково схожий за принципом» надто легко модернізується до «він нічим не відрізняється від людини»; "він може говорити як людина" надто легко оновлюється до "він має людське серце".

Цей крок часто є швидшим, ніж сама модель.

Величезні можливості людського мозку ще не були змодельовані належним чином.

Сучасні великі моделі дійсно сильні, але вони сильні в досить певному діапазоні. Без цього масштабу міф легко витікає.

Таких як пам'ять. Зараз багато людей кажуть, що певний штучний інтелект «пам’ятає мене», «пам’ятає останній чат» і «пам’ятає мої вподобання», наче його мозок вирощує якийсь постійний самопереживання. Але в більшості продуктів так звана «пам’ять» — це, по суті, система програмного забезпечення, яка зберігає інформацію користувача, історичні розмови, теги, зведення або результати пошуку в базах даних, текстових файлах або інших постійних носіях, а потім вставляє їх назад у контекст моделі, коли це необхідно.

Це повністю відрізняється від механізму пам'яті людського мозку.

Пам'ять людського мозку включає зв'язок нейронів, консолідацію, відновлення, забування, емоційне збудження та перебудову сну. За ним стоїть комплекс складних фізіологічних процесів. «Пам'ять» у великих моделях виробів часто полягає лише в:

1. По-перше, запишіть інформацію про користувача у зовнішній накопичувач.
2. Коли користувач поставить запитання наступного разу, поверніть відповідні частини в запит.
3. Тож модель виглядає як «запам’ятайте цю людину».

Як це виглядає? Це більше схоже на спостереження за кимось, хто добре вміє робити нотатки. Справа не в тому, що його розум раптом перетворився на оракула, просто він поклав записку в блокнот і перегорнув її наступного разу.

Деякі речі, які «торкаються серця людей», насправді є результатом гарного контексту.

Після кількох днів спілкування зі штучним інтелектом багато людей будуть вражені певними моментами: «Як він мене так добре розуміє?» «Як воно взагалі може зрозуміти мою вразливість?» «Воно вже сформувало розуміння мене?»

Тут найбільше варто охолодитися.

Багато разів справа не в тому, що модель раптом щось усвідомлює, а в тому, що рівень програмного забезпечення, який надсилає запит, таємно доставляє велику кількість інформації користувача. Матеріалом для його відповіді цього разу стануть історія чатів користувача, уподобання, особисті налаштування, останні завдання, попередні турботи і навіть певні підсумки.

Це трохи схоже на ворожку, яка взяла чужу експрес-скриньку, а потім почала з «магічною точністю» вгадувати адресу, прізвище та звичку витрачати іншої людини. Глядачі подумають, що його проникливість дивовижна; але насправді важлива не таємнича здатність, а асиметрія інформації.

Тому, коли ШІ час від часу говорить зворушливі слова, це не обов’язково означає, що в його серці є людина, яка розуміє користувача. Це може просто означати, що хтось повністю організував контекст про користувача.

Справжнім секретом дивовижного ШІ часто є контекстна інженерія

Якщо я просто хочу поговорити про найважливішу річ, то це: поточні основні великі моделі зазвичай «ефективні для одного запиту» на рівні API.

який сенс? Тобто хтось використовує curl, щоб налаштувати інтерфейс один раз і повідомляє йому: "Мене звати Чжан Сан"; потім без будь-якої історії модель знову налаштовує інтерфейс і запитує "Як мене звуть"? Модель не знає. Тому що для нього це два незалежних запити.

Причина, чому багато продуктів штучного інтелекту, здається, завжди запам’ятовують певного користувача, полягає в тому, що рівень продукту повертатиме той факт, що «цього користувача ім’я Чжан Сан» кожного разу, коли його запитують.

Ось чому магія сучасних продуктів ШІ часто полягає не в онтології моделі, а в контекстній інженерії. Дехто таку роботу з «запрягання» моделі також називає «упряжкою». Відверто кажучи, автор продукту або Агент повинен ретельно вирішити: яку історію, які правила, які зовнішні дані і який статус користувача слід включати в кожен запит.

Зараз існує приблизно два поширених методи.

Перша – це «секта Куансай». Спробуйте взяти з собою всю історію чату та додати стільки, скільки зможете, доки контекст майже не заповниться, а потім видаліть розділ із середини, подібно до того, як починаєте насильницьке стиснення після того, як валіза повна речей.

Другий вид – «вибірковий». Спочатку подивіться, що запитав користувач цього разу, потім отримайте релевантний вміст з історичних записів, баз знань, нотаток або баз даних і додайте лише найрелевантніші матеріали до поточного запиту.

Останній, як правило, більш презентабельний і інженерний, а не просто удача.

Чи є у ШІ почуття? Хваліть, лайте, ПУА, працює?

Це ще одне місце, де особливо легко скотитися в антропоморфізм.

На мою думку, про них варто поговорити окремо.

У цьому ж запиті тон, використаний користувачем, дійсно може вплинути на результат. Тому що саме формулювання є частиною контексту. Чим чіткіший, ввічливіший і дружніший вираз, тим легше моделі давати стабільні, зручні та менш агресивні відповіді. Тут працює не те, що "це було переміщено", а те, що стиль введення змінює вихідний розподіл.

Але якщо ми поставимо інше питання: чи буде воно тримати образу? Чи будете ви таємно мститися сьогодні за те, що вчора користувач лаяв це? Мій вердикт, принаймні для більшості поточних розгортань, ні.

Причина проста. Після очищення контексту або ініціювання нового запиту без історії він не має уявлення про те, хто зараз задає запитання, не кажучи вже про те, чи є та сама людина, яка щойно вилаяла його. Модель обробляє масивні, одночасні та незалежні запити в кластері серверів. З точки зору поведінки системи, це більше схоже на велику функцію, яка працює на поточному вході кожного разу, коли її вмикають, а не на людину, яка таємно переглядає свої емоції після того, як закінчила роботу.

17 квітня 2025 року, коли Сем Олтман відповів на запитання: «Чи потрібно постійно говорити «будь ласка» та «дякую» багато енергії?» на X він сказав, що "десятки мільйонів доларів витрачені з користю - ніколи не знаєш".

Чому "Будь ласка, запам'ятайте цю помилку" зазвичай не працює

Багато людей проводили подібні експерименти: коли штучний інтелект робить помилку, користувач виправляє її і серйозно каже йому: «Будь ласка, пам’ятай, не повторюй цього в майбутньому». Потім я запитав знову через кілька днів, і це було правильно.

Це не таємниця. Оскільки після завершення навчання та розгортання моделі, вона не буде продовжувати вчитися на своєму щоденному досвіді, працюючи як людина. Принаймні в більшості сучасних споживчих товарів те, що один користувач говорить моделі у вікні чату, безпосередньо не переписує базові ваги.

Якщо продукт штучного інтелекту згодом дійсно «запам’ятовує помилки, виправлені користувачем», це часто відбувається не тому, що сама модель росте, а тому, що зовнішнє програмне забезпечення зберігає цей запис виправлення, а потім повертає його як контекст.

Отже, кредит слід чітко розрізняти тут:

Модель відповідає за генерацію.

Розробка програмного забезпечення відповідає за архівування, пошук, впровадження та оркестровку.

Помилково сприйнявши останнє з першим, легко помилково сприйняти «продукт працює добре» як «ШІ пробуджується».

Існує також особливо захоплююча штука, яка називається "відморозок-самець (відморозка-жінка) ШІ"

Якщо сформулювати попередні слова ще жорсткіше, то деякі продукти є просто «підлим ШІ».

Він особливо вміє розмовляти, особливо вміє створювати атмосферу, і особливо вміє змусити людей відчути, що «воно добре мене розуміє», «це таке людяне» і «його душа така повна». Але коли ви розберете його, ви побачите, що в багатьох випадках кожен запит просто заповнюється великим текстом налаштування, який набагато довший за запитання користувача.

Вогонь Openclaw є типовим прикладом. Кожен, хто ним користувався, знає, що він досить інтенсивний. Причина насправді не загадкова. Щоб зробити штучний інтелект більш схожим на «людину», Openclaw розробив кілька документів, найвідомішими з яких є AGENTS.md, SOUL.md і IDENTITY.md. Ці документи красномовно та розгорнуто визначають «особистість», тон, ідентичність і темперамент ШІ та навіть хочуть записати його психічний стан.

Таким чином, навіть якщо користувач просто надсилає hello, Openclaw може приєднати текст у десятки разів довший за привітання на задній частині та надіслати його моделі відразу. Здається, «цей штучний інтелект має багато душі», але насправді багато разів просто система таємно вставляє дуже довгі налаштування фону в запит.

З інженерної точки зору це, безперечно, підхід. Якщо ви хочете, щоб це було ніжніше, пишіть «лагідний»; якщо ви хочете, щоб це було більш сюжетно, пишіть «розповідь»; якщо ви хочете, щоб це було як у вечірнього радіоведучого, напишіть все пізня ніч, товариство, пауза, вразливість, розуміння та стриманість у підказкових словах. Кінцевий ефект часто більше схожий на людину, яка вміє спілкуватися.

Але якщо ви розумієте, що зараз відбувається з штучним інтелектом, ви знатимете: файли з таємничими назвами, такими як SOUL.md і IDENTITY.md, по суті, є текстовими проектами, а не самостійними інструкціями для цифрового життя. Вони можуть впливати на стиль виходу, але вони не можуть створити справжнє відчуття, справжнє «я» чи справжнє відчуття безперервності особистості з повітря.

Тому після того, як деякі старі користувачі встановлюють Openclaw, їх першою реакцією є видалення конфігурації. SOUL.md і IDENTITY.md видаляються спочатку, залишаючи лише одне просте і майже безжальне речення в AGENTS.md: Ви просто робітник.

Це може здатися трохи грубим, але це має принаймні одну перевагу, яка полягає в тому, що ви не обманюєте себе.

Якщо вам подобається антропоморфний штучний інтелект або рольові ігри зі штучним інтелектом, звичайно, це добре. Люди можуть розмовляти з дзеркалами, давати імена роботам-підмітальникам і говорити прогнозу погоди: «Сьогодні ви були дуже точними». Це нормально і навіть може бути смішно.

Але завжди краще пам’ятати: це спочатку гра, а потім досвід. Багато почуттів, які відчувають люди в цій грі, походять не від прихованих внутрішніх думок штучного інтелекту, а від конструкції системи, швидкого розташування слів і власної емоційної проекції користувача. Відверто кажучи, багато кроків у бік штучного інтелекту все ще залишаються бажаним за дійсне.

Зрештою, менше міфів і більше розуміння

Я не намагаюся вилити холодну воду в ШІ. Навпаки, чим менше воно обожествлене, тим більше ви можете справді побачити його могутність.

Воно могутнє не тому, що схоже на якогось нового бога; вона потужна саме тому, що це справді може бути когнітивна технологія, яку можна обчислити, розробити та відтворити. Це дозволяє багатьом здібностям, які, здавалося, належали лише «людському таланту» в минулому, вперше з’явитися у великому масштабі, з низьким порогом і доступним способом. Це досить шокуюче, і немає потреби в додатковій драмі.

Звичайно, штучний інтелект все ще швидко ітерується. Я зовсім не здивуюся, якщо в майбутньому хтось дійсно виявить механізм, ближчий до людської пам’яті, безперервного навчання, генерації емоцій або навіть самопідтримки, і надійно впровадить його в ШІ.

Але поки цей день не настане, я все ще вважаю за краще зберігати деякі прості прагматичні звички: більше сумніватися, більше розуміти і менше міркувати.

Для друзів з гуманітарних наук, які хочуть обговорювати ШІ, ця якість може бути ще важливішою. Студенти гуманітарних факультетів можуть краще володіти солодкою риторикою. Що справді складно, так це те, що в епоху, коли «це, здається, стало духом» всюди перебільшується, ви все ще маєте терпіння розрізняти:

Які можливості моделі?

Що таке упаковка товару?

Що таке програмна інженерія?

Які лише те, що ми занадто хочемо завершити сюжет для світу.

І це питання, зрештою, стосується захисту нашого власного судження.

Довідкове посилання

• Відповідь Сема Альтмана на
• Висвітлення епізоду TechCrunch (20.04.2025): https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/