Khayalan Manusia Mengenai AI Lebih Buruk Daripada Halusinasi AI

Kadang-kadang saya merasakan bahawa "ilusi" terbesar AI bukanlah kerana ia bercakap karut dengan serius, tetapi kita telah membayangkan seluruh alam semesta metafizik di sekelilingnya.

Apabila manusia menghadapi perkara yang mereka tidak begitu faham, mereka selalunya mempunyai pendekatan yang stabil: mereka mula-mula membuat keputusan dan kemudian meromantikkannya; mereka mula-mula memperibadikan mereka dan kemudian mentuhankan mereka. Api dianggap sebagai bunian, dan guruh dan kilat dianggap sebagai takdir. Sebaik sahaja algoritma boleh menulis dua ayat yang baik, sesetengah orang akan segera tertanya-tanya sama ada jiwa elektronik telah pun tinggal di bilik pelayan.

Ini sebenarnya agak normal. Otak manusia berwayar untuk menambah plot kepada dunia. Masalahnya bukanlah kita boleh membuat keputusan. Masalahnya ialah apabila pemikiran kita terlalu lancar, mudah untuk disalah anggap "kelihatan" untuk "pada asasnya".

Dalam kes AI, kecenderungan manusia ini lebih kuat daripada apabila AI itu sendiri bercakap bukan-bukan. Paling banyak, AI adalah sedikit halusinasi dalam jawapan; halusinasi manusia tentang AI selalunya merupakan pandangan seluruh dunia, yang boleh mengisi sehingga 10,000 perkataan dalam satu fikiran, dan juga mengandungi emosi.

Sedikit pragmatisme amat penting untuk komuniti seni liberal

Saya tidak mahu menasihati semua orang untuk mempelajari CUDA, mengkonfigurasi persekitaran dan melihat matriks untuk mencari derivatif. Saya hanya ingin mengatakan bahawa mengejar kebenaran kadang-kadang sangat penting, terutamanya bagi komuniti seni liberal yang sukakan konsep, naratif, makna dan penjelasan.

Kerana dalam konteks seni liberal, cerun licin yang lembut tetapi berbahaya berkemungkinan besar berlaku: perkataan-perkataan ditulis dengan indah dan ayat-ayatnya bergerak, tetapi pada akhirnya objek itu diubah secara rahsia. Ia jelas merupakan model kebarangkalian, tetapi ia ditulis seperti mengenai jiwa; ia jelas merupakan pemasangan konteks dalam kejuruteraan perisian, tetapi ia dikatakan seperti "ia akhirnya belajar untuk mencintai anda"; jelas sekali ia adalah kata-kata gesaan sistem dan rekod sejarah yang berfungsi, tetapi ia dibungkus seperti "AI benar-benar mengingati anda."

Sudah tentu tiada dosa untuk berpuisi. Masalahnya, jika puisi menggantikan pertimbangan, percintaan menjadi mengelirukan.

Jadi, apakah sebenarnya AI sekarang?

Izinkan saya mulakan dengan versi yang semudah mungkin tetapi tidak diherotkan: Model besar yang digunakan oleh semua orang hari ini pada dasarnya adalah sejenis model statistik yang diilhamkan oleh rangkaian saraf dan dilatih melalui data besar-besaran. Ia berjalan pada cip dan pelayan, membaca input, menggabungkan parameter dan konteks, dan terus meramalkan "apa yang sepatutnya menjadi token yang paling sesuai."

Maksudnya di sini bukanlah bahawa frasa "ramalkan perkataan seterusnya" adalah misteri, tetapi ia sebenarnya tidak misteri sama sekali. Model itu bukan orang kecil yang berkurung di awan senyap memikirkan kehidupan, ia lebih seperti fungsi yang sangat besar. Orang memberi input, dan ia menjana output mengikut struktur parameter yang dibentuk semasa latihan.

Untuk meletakkan perkara ini lebih sederhana: ia bukanlah "katakan selepas anda memahaminya", tetapi "selepas memampatkan sejumlah besar pengalaman, hasilkan respons yang hampir sama dengan pemahaman dalam konteks semasa." Ini tidak bermakna ia tidak boleh berbuat apa-apa, sebaliknya, ia sudah sangat berkuasa; tetapi berkuasa tidak bermakna ia adalah misteri.

Mengapa rangkaian saraf sentiasa membuat orang berfikir tentang otak manusia?

Jika anda terus mengejarnya, anda akan mendapati bahawa soalan "Adakah AI dan otak manusia menyerupai antara satu sama lain?" tidak boleh dikatakan "betul-betul sama" atau "tiada kaitan dengannya."

Laluan rangkaian saraf moden pada asalnya diilhamkan oleh otak. Pada tahun 1943, McCulloch dan Pitts secara matematik menerangkan model neuron yang dipermudahkan; pada tahun 1958, Rosenblatt mencadangkan perceptron; pada 1980-an, backpropagation menghidupkan semula harapan untuk melatih rangkaian berbilang lapisan; pada 2010-an, pembelajaran mendalam melonjak dengan kuasa pengkomputeran, data dan keupayaan kejuruteraan; selepas seni bina Transformer muncul pada 2017, model bahasa melonjak dan akhirnya berkembang menjadi model besar yang digunakan oleh semua orang setiap hari.

Oleh itu, sekurang-kurangnya dalam erti kata yang agak naif, adalah tidak keterlaluan untuk mengatakan bahawa AI ialah "simulasi elektronik dan penguatan idea rangkaian saraf." Ia sememangnya cuba menggunakan sistem fizikal yang boleh dikira, boleh dilatih, dan boleh dihasilkan semula untuk mendekati kebolehan kognitif tertentu yang dianggap "misteri" pada masa lalu.

Inilah sebabnya saya secara peribadi tidak suka bercakap tentang otak manusia sebagai terlalu misteri. Pada pendapat saya, teori bahasa semula jadi yang diwakili oleh Chomsky mempunyai kecenderungan untuk mendewakan otak, seolah-olah terdapat beberapa jenis struktur transendental yang terlalu istimewa dan hampir tidak dapat diakses jauh dalam keupayaan bahasa. Tetapi tidak kira betapa kompleksnya otak manusia, ia tetap wujud fizikal. Memandangkan ia adalah kewujudan fizikal, pada dasarnya ia sepatutnya boleh dikaji, dimodelkan, disimulasikan sebahagiannya, dan juga dihasilkan semula dalam fungsi tertentu.

Sudah tentu, kita harus segera menambah perkataan berhati-hati di sini: dapat mensimulasikan sebahagian tidak bermakna bahawa keseluruhan orang telah dihasilkan semula sepenuhnya.

Terdapat persamaan, tetapi jangan menjadi tuhan langsung apabila anda gembira

Dari segi bahasa, pengecaman corak, perkaitan dan pembelajaran perwakilan, model besar hari ini memang mempunyai beberapa "persamaan" atau "persamaan" dengan otak manusia. Ia tidak berfungsi daripada buku peraturan yang jelas, tetapi membentuk beberapa jenis perwakilan dalaman melalui sejumlah besar sambungan, pelarasan berat dan pengumpulan pengalaman, dan kemudian keluaran berdasarkan ini.

Inilah sebabnya mengapa ramai orang terkejut apabila mereka mula-mula mengalami keupayaan bahasa model besar: ia bukan menghafal kamus, ia membentuk beberapa jenis perwakilan yang diedarkan. Kaedah ini sangat berbeza daripada imaginasi tradisional "peraturan tulisan tangan dan tatabahasa yang lengkap".

Tetapi masalahnya terletak tepat di sini. Kerana "persamaan" terlalu mudah dinaik taraf kepada "betul-betul sama"; "sebahagiannya serupa pada prinsipnya" terlalu mudah dinaik taraf kepada "ia tidak berbeza dengan manusia"; "ia boleh bercakap seperti manusia" terlalu mudah dinaik taraf kepada "ia mempunyai hati manusia".

Langkah ini selalunya lebih pantas daripada keupayaan model itu sendiri.

Keupayaan besar otak manusia masih belum disimulasikan dengan cara yang baik.

Model besar hari ini benar-benar kuat, tetapi ia kuat dalam julat yang agak khusus. Tanpa skop ini, mitos akan mudah bocor.

Seperti ingatan. Ramai orang kini mengatakan bahawa AI tertentu "mengingat saya", "mengingat sembang terakhir" dan "mengingat pilihan saya", seolah-olah otaknya telah mengembangkan beberapa jenis pengalaman diri yang berterusan. Tetapi dalam kebanyakan produk, apa yang dipanggil "memori" pada asasnya ialah sistem perisian yang menyimpan maklumat pengguna, perbualan sejarah, tag, ringkasan atau hasil carian dalam pangkalan data, fail teks atau media berterusan lain, dan kemudian memasukkannya kembali ke dalam konteks model apabila sesuai.

Ini berbeza sama sekali daripada mekanisme ingatan otak manusia.

Ingatan otak manusia melibatkan sambungan neuron, penyatuan, pengambilan semula, lupa, rangsangan emosi, dan penstrukturan semula tidur. Di belakangnya adalah satu set proses fisiologi yang kompleks. "Memori" dalam produk model besar selalunya hanya:

1. Pertama, rekodkan maklumat pengguna dalam storan luaran.
2. Apabila pengguna bertanya soalan lain kali, letakkan kembali bahagian yang berkaitan ke dalam permintaan.
3. Jadi model itu kelihatan seperti "ingat orang ini".

Macam mana rupanya? Ia lebih kepada melihat seseorang yang pandai mencatat nota. Bukannya fikirannya tiba-tiba bertukar menjadi oracle, cuma dia meletakkan nota itu dalam buku notanya dan membeleknya lain kali.

Beberapa perkara yang "menyentuh hati orang" sebenarnya adalah hasil daripada konteks yang baik.

Selepas berbual dengan AI selama beberapa hari, ramai orang akan dilanda detik-detik tertentu: "Bagaimana ia memahami saya dengan baik?" "Bagaimana ia boleh memahami kelemahan saya?" "Adakah ia sudah membentuk pemahaman tentang saya?"

Ia paling berbaloi untuk menyejukkan diri di sini.

Banyak kali, model itu bukan kerana tiba-tiba menyedari sesuatu, tetapi lapisan perisian yang menghantar permintaan secara rahsia menyampaikan sejumlah besar maklumat pengguna. Sembang sejarah pengguna, pilihan, tetapan peribadi, tugas terkini, kebimbangan sebelumnya, dan juga ringkasan tertentu akan menjadi bahan untuk jawapannya kali ini.

Ia agak seperti tukang tilik yang mengambil kotak ekspres orang lain dan kemudian mula meneka alamat, nama keluarga dan tabiat berbelanja orang lain dengan "ketepatan ajaib". Penonton akan berfikir bahawa wawasannya menakjubkan; tetapi apa yang benar-benar penting bukanlah keupayaan misteri, tetapi asimetri maklumat.

Oleh itu, apabila AI sekali-sekala menuturkan kata-kata yang menyentuh hati, ia tidak semestinya bermakna ada seseorang di dalam hatinya yang memahami pengguna. Ini mungkin hanya bermakna seseorang telah menyusun sepenuhnya konteks tentang pengguna.

Rahsia sebenar AI yang menakjubkan selalunya adalah kejuruteraan kontekstual

Jika saya hanya mahu bercakap tentang perkara yang paling kritikal, ia adalah: model besar arus perdana biasanya "permintaan tunggal berkesan" pada peringkat API.

Apa maksudnya? Iaitu, seseorang menggunakan curl untuk melaraskan antara muka sekali dan memberitahunya "Nama saya Zhang San"; kemudian tanpa sebarang sejarah, model melaraskan antara muka sekali lagi dan bertanya "Siapa nama saya"? Model tidak tahu. Kerana itu, ini adalah dua permintaan bebas.

Sebab mengapa banyak produk AI nampaknya sentiasa mengingati pengguna tertentu adalah kerana lapisan produk akan mengembalikan fakta bahawa "nama pengguna ini ialah Zhang San" setiap kali ia diminta.

Inilah sebabnya mengapa keajaiban produk AI hari ini sering tidak ditemui dalam ontologi model, tetapi dalam kejuruteraan kontekstual. Sesetengah orang juga memanggil kerja "memanfaatkan" model ini sebagai harness. Secara terang-terangan, pengarang produk atau Ejen perlu membuat keputusan dengan teliti: sejarah mana, peraturan mana, data luaran mana dan status pengguna mana yang harus disertakan dalam setiap permintaan.

Terdapat kira-kira dua kaedah biasa pada masa ini.

Yang pertama ialah "Mazhab Quansai". Cuba bawa keseluruhan sejarah sembang bersama anda, dan isi sebanyak mungkin sehingga konteks hampir penuh, kemudian padamkan bahagian dari tengah, sama seperti memulakan pemampatan yang ganas selepas beg pakaian penuh dengan barangan.

Jenis kedua ialah "selektif". Mula-mula lihat perkara yang ditanya oleh pengguna kali ini, kemudian dapatkan semula kandungan yang berkaitan daripada rekod sejarah, pangkalan pengetahuan, nota atau pangkalan data dan hanya masukkan bahan yang paling berkaitan ke dalam permintaan semasa.

Yang terakhir biasanya lebih rapi dan kejuruteraan daripada hanya nasib.

Adakah AI mempunyai perasaan? Puji, maki, PUA, berkesan ke?

Ini adalah satu lagi tempat yang sangat mudah untuk tergelincir ke dalam antropomorfisme.

Pendapat saya ialah mereka perlu dibincangkan secara berasingan.

Dalam permintaan yang sama, nada yang digunakan oleh pengguna sememangnya boleh menjejaskan keputusan. Kerana kata-kata itu sendiri adalah sebahagian daripada konteks. Lebih jelas, lebih sopan dan lebih kooperatif ungkapan itu, lebih mudah untuk model memberikan respons yang stabil, boleh digunakan dan kurang agresif. Apa yang berfungsi di sini bukanlah "ia telah dipindahkan", tetapi gaya input mengubah pengedaran output.

Tetapi jika kita bertanya soalan lain: Adakah ia akan menyimpan dendam? Adakah anda akan membalas secara rahsia hari ini kerana seorang pengguna memarahinya semalam? Keputusan saya, sekurang-kurangnya untuk kebanyakan penggunaan semasa, tidak.

Sebabnya mudah sahaja. Sebaik sahaja konteksnya dikosongkan, atau permintaan baharu tanpa sejarah dimulakan, ia tidak tahu siapa orang semasa yang bertanyakan soalan itu, apatah lagi sama ada orang yang baru memarahinya adalah orang yang sama. Model ini mengendalikan permintaan besar-besaran, serentak dan bebas pada kelompok pelayan. Dari segi tingkah laku sistem, ia lebih seperti fungsi besar yang beroperasi pada input semasa setiap kali ia dihidupkan, dan bukannya seseorang yang secara rahsia meninjau emosinya selepas keluar dari kerja.

Pada 17 April 2025, apabila Sam Altman menjawab soalan "Adakah mengucapkan tolong dan terima kasih sepanjang masa memerlukan banyak tenaga?" pada X, dia berkata "berpuluh juta dolar dibelanjakan dengan baik -- anda tidak pernah tahu."

Mengapa "Sila ingat kesilapan ini" biasanya tidak berfungsi

Ramai orang telah melakukan eksperimen serupa: apabila AI membuat kesilapan, pengguna membetulkannya dan dengan serius berkata kepadanya, "Sila ingat, jangan lakukannya lagi pada masa hadapan." Kemudian saya bertanya lagi selepas beberapa hari, dan ia adalah betul.

Ini bukan misteri. Kerana selepas latihan selesai dan model itu digunakan, ia tidak akan terus belajar daripada pengalaman hariannya semasa bekerja seperti manusia. Sekurang-kurangnya dalam kebanyakan produk pengguna hari ini, apa yang dikatakan oleh pengguna tunggal kepada model dalam tetingkap sembang tidak secara langsung menulis semula berat asas.

Jika produk AI kemudiannya benar-benar "mengingati ralat yang diperbetulkan oleh pengguna," ia selalunya bukan kerana model itu sendiri berkembang, tetapi kerana perisian luar menyimpan rekod pembetulan ini dan kemudian menyalurkannya kembali sebagai konteks.

Jadi kredit harus dibezakan dengan jelas di sini:

Model bertanggungjawab untuk penjanaan.

Kejuruteraan perisian bertanggungjawab untuk mengarkib, mendapatkan semula, suntikan dan orkestrasi.

Tersilap yang kedua sebagai yang pertama, adalah mudah untuk salah membaca "produk berfungsi dengan baik" kerana "AI sedang bangkit."

Terdapat juga perkara yang sangat menarik yang dipanggil "jantan bajingan (wanita busuk) AI"

Jika kita meletakkan perkataan sebelumnya dengan lebih kasar, maka sesetengah produk hanyalah "AI sampah".

Ia sangat baik dalam bercakap, terutamanya pandai mencipta suasana, dan terutamanya tahu bagaimana untuk membuat orang merasakan bahawa "ia memahami saya dengan baik", "ia sangat berperikemanusiaan" dan "jiwanya sangat lengkap". Tetapi apabila anda membahagikannya, anda akan mendapati bahawa dalam banyak kes, setiap permintaan hanya diisi dengan teks tetapan besar yang jauh lebih panjang daripada soalan pengguna.

Api Openclaw adalah contoh biasa. Sesiapa yang telah menggunakannya tahu bahawa ia agak intensif token. Sebabnya sebenarnya tidak misteri. Untuk menjadikan AI lebih seperti "manusia", Openclaw telah mereka beberapa dokumen, yang paling menonjol ialah AGEN.md, SOUL.md dan IDENTITY.md. Dokumen-dokumen ini mentakrifkan "personaliti", nada, identiti dan perangai AI dengan cara yang fasih dan panjang, malah mahu menuliskan keadaan mentalnya.

Jadi walaupun pengguna hanya menghantar hello, Openclaw boleh melampirkan teks berpuluh-puluh kali lebih lama daripada ucapan di belakang dan menghantarnya kepada model sekaligus. Nampaknya "AI ini mempunyai banyak jiwa", tetapi sebenarnya banyak kali ia hanya sistem secara rahsia memasukkan tetapan latar belakang yang sangat panjang ke dalam permintaan.

Dari perspektif kejuruteraan, ini sememangnya satu pendekatan. Jika anda mahu ia lebih lembut, tulis "lembut"; jika anda mahu ia lebih bercerita, tulis "bercerita"; jika anda mahu ia menjadi seperti hos radio lewat malam, tulis sepanjang larut malam, persahabatan, jeda, kelemahan, pemahaman dan kekangan dalam kata-kata yang cepat. Kesan akhir selalunya lebih seperti orang yang boleh bersembang.

Tetapi jika anda memahami perkara yang sedang berlaku dengan AI sekarang, anda akan tahu: fail dengan nama yang terdengar misteri seperti SOUL.md dan IDENTITY.md pada dasarnya adalah projek perkataan yang pantas, bukan arahan diri untuk kehidupan digital. Mereka boleh mempengaruhi gaya keluaran, tetapi mereka tidak boleh mencipta perasaan yang sebenar, diri yang sebenar, atau rasa kesinambungan personaliti sebenar daripada udara yang tipis.

Oleh itu, selepas beberapa pengguna lama memasang Openclaw, reaksi pertama mereka ialah memadam konfigurasi. SOUL.md dan IDENTITY.md dipadamkan dahulu, meninggalkan hanya satu ayat mudah dan hampir kejam dalam AGENTS.md: Anda hanya seorang pekerja.

Ini mungkin terdengar agak kasar, tetapi ia mempunyai sekurang-kurangnya satu faedah, iaitu anda tidak menipu diri sendiri.

Jika anda suka AI antropomorfik atau main peranan dengan AI, sudah tentu tidak mengapa. Manusia boleh bercakap dengan cermin, memberi nama kepada robot penyapu, dan berkata kepada ramalan cuaca, "Anda sangat tepat hari ini." Ini adalah perkara biasa dan juga boleh menjadi lucu.

Tetapi ia sentiasa terbaik untuk diingat: ia adalah permainan pertama dan pengalaman kedua. Banyak perasaan orang dalam permainan ini bukan datang dari pemikiran dalaman AI yang tersembunyi, tetapi dari reka bentuk sistem, susunan kata yang cepat, dan unjuran emosi pengguna sendiri. Secara lebih terang-terangan, kebanyakan langkah ke arah AI masih pada dasarnya angan-angan.

Dalam analisis akhir, kurang mitos dan lebih banyak pemahaman

Saya tidak cuba membuang air sejuk pada AI. Sebaliknya, semakin kurang dewa itu, semakin anda benar-benar dapat melihat betapa kuatnya ia.

Ia berkuasa bukan kerana ia seperti tuhan baru; ia sangat berkuasa kerana ia mungkin benar-benar teknologi kognitif yang boleh dikira, boleh kejuruteraan dan boleh dihasilkan semula. Ia membolehkan banyak kebolehan yang seolah-olah hanya dimiliki oleh "bakat manusia" pada masa lalu untuk muncul secara berskala besar, ambang rendah dan boleh dipanggil buat kali pertama. Ini cukup mengejutkan, dan tidak ada keperluan untuk drama tambahan.

Sudah tentu, AI masih bergerak dengan pantas. Saya tidak akan terkejut sama sekali jika seseorang benar-benar menemui mekanisme yang lebih dekat dengan ingatan manusia, pembelajaran berterusan, penjanaan emosi, atau bahkan pemantapan diri pada masa hadapan dan dengan pasti merekayasanya menjadi AI.

Tetapi sehingga hari itu tiba, saya masih lebih suka mengekalkan beberapa tabiat pragmatik yang mudah: lebih meragui, lebih memahami, dan kurang membuat spekulasi.

Bagi rakan seni liberal yang berminat untuk membincangkan AI, kualiti ini mungkin lebih penting. Pelajar seni liberal mungkin lebih baik dalam retorik manis. Apa yang benar-benar sukar ialah dalam era di mana "ia seolah-olah telah menjadi semangat" dibesar-besarkan di mana-mana, anda masih mempunyai kesabaran untuk membezakan:

Apakah keupayaan model?

Apakah pembungkusan produk?

Apakah kejuruteraan perisian?

Yang mana cuma kita terlalu mahu melengkapkan plot untuk dunia.

Dan perkara ini, akhirnya, adalah mengenai melindungi pertimbangan kita sendiri.

Pautan rujukan

• Jawapan Sam Altman pada
• Liputan TechCrunch mengenai episod (2025-04-20): https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/