Delusi Manusia Tentang AI Lebih Buruk Dari Halusinasi AI

Kadang-kadang saya merasa bahwa "ilusi" terbesar dari AI bukanlah bahwa ia berbicara omong kosong dengan serius, tetapi bahwa kita telah membayangkan seluruh alam semesta metafisik di sekitarnya.

Ketika manusia menghadapi hal-hal yang tidak mereka pahami, mereka sering kali memiliki pendekatan yang stabil: pertama-tama mereka mengambil keputusan dan kemudian meromantisasinya; mereka pertama-tama mempersonifikasikannya dan kemudian mendewakannya. Api dianggap sebagai elf, dan guntur serta kilat dianggap sebagai takdir. Setelah algoritme dapat menulis dua kalimat yang layak, beberapa orang akan langsung bertanya-tanya apakah jiwa elektronik telah tinggal di ruang server.

Hal ini sebenarnya cukup normal. Otak manusia dirancang untuk menambahkan plot ke dunia. Masalahnya bukan pada kemampuan kita mengambil keputusan. Masalahnya adalah ketika pemikiran kita terlalu lancar, kita akan mudah salah mengira antara “kelihatannya” dengan “pada dasarnya memang begitu”.

Dalam kasus AI, kecenderungan manusia ini bahkan lebih kuat dibandingkan ketika AI sendiri berbicara omong kosong. Paling-paling, AI hanyalah sedikit halusinasi dalam sebuah jawaban; Halusinasi manusia tentang AI seringkali merupakan pandangan dunia secara keseluruhan, yang dapat memenuhi hingga 10.000 kata dalam satu pikiran, dan juga mengandung emosi.

Sedikit pragmatisme sangat penting bagi komunitas seni liberal

Saya tidak ingin menyarankan semua orang untuk mempelajari CUDA, mengkonfigurasi lingkungan, dan melihat matriks untuk menemukan turunannya. Saya hanya ingin mengatakan bahwa pencarian kebenaran terkadang sangat penting, terutama bagi komunitas seni liberal yang menyukai konsep, narasi, makna, dan penjelasan.

Karena dalam konteks seni liberal, kemungkinan besar akan terjadi lereng licin yang landai namun berbahaya: kata-kata ditulis dengan indah dan kalimat-kalimat bergerak, namun pada akhirnya objeknya diam-diam diubah. Ini jelas merupakan model probabilistik, tetapi ditulis seolah-olah itu tentang jiwa; ini jelas merupakan perakitan konteks dalam rekayasa perangkat lunak, tetapi dikatakan seperti “akhirnya belajar untuk mencintaimu”; Ini jelas merupakan kata-kata cepat sistem dan catatan sejarah yang berfungsi, tetapi dikemas seperti “AI benar-benar mengingat Anda.”

Tentu saja tidak ada dosa menjadi puitis. Masalahnya, jika puisi menggantikan penilaian, romansa menjadi menyesatkan.

Jadi, apa sebenarnya AI itu sekarang?

Izinkan saya memulai dengan versi yang sesederhana mungkin namun tidak terdistorsi: Model besar yang digunakan semua orang saat ini pada dasarnya adalah jenis model statistik yang terinspirasi oleh jaringan saraf dan dilatih melalui data yang sangat besar. Ini berjalan pada chip dan server, membaca input, menggabungkan parameter dan konteks, dan terus-menerus memprediksi "token apa yang paling tepat berikutnya."

Intinya di sini bukanlah bahwa ungkapan "memprediksi kata selanjutnya" itu misterius, tetapi sebenarnya tidak misterius sama sekali. Modelnya bukanlah orang kecil yang meringkuk di awan sambil diam-diam memikirkan kehidupan, ini lebih seperti fungsi yang sangat besar. Orang memberinya masukan, dan menghasilkan keluaran sesuai dengan struktur parameter yang dibentuk selama pelatihan.

Sederhananya: ini bukan "ucapkan setelah Anda memahaminya", tetapi "setelah menggabungkan sejumlah besar pengalaman, hasilkan respons yang paling mirip dengan pemahaman dalam konteks saat ini." Ini tidak berarti bahwa ia tidak dapat berbuat apa-apa, sebaliknya ia sudah sangat kuat; tapi menjadi kuat bukan berarti misterius.

Mengapa jaringan saraf selalu membuat orang berpikir tentang otak manusia?

Jika Anda terus menekuninya, Anda akan menemukan pertanyaan "Apakah AI dan otak manusia mirip satu sama lain?" tidak dapat dikatakan "persis sama" atau "tidak ada hubungannya dengan itu".

Rute jaringan saraf modern awalnya terinspirasi oleh otak. Pada tahun 1943, McCulloch dan Pitts secara matematis mendeskripsikan model neuron yang disederhanakan; pada tahun 1958, Rosenblatt mengusulkan perceptron; pada tahun 1980an, backpropagation menghidupkan kembali harapan untuk melatih jaringan multi-layer; pada tahun 2010-an, pembelajaran mendalam meningkat seiring dengan kekuatan komputasi, data, dan kemampuan teknik; setelah arsitektur Transformer muncul pada tahun 2017, model bahasa melonjak dan akhirnya berkembang menjadi model besar yang digunakan semua orang setiap hari.

Oleh karena itu, setidaknya dalam arti yang relatif naif, tidaklah berlebihan untuk mengatakan bahwa AI adalah "simulasi elektronik dan amplifikasi ide jaringan saraf". Ia memang mencoba menggunakan sistem fisik yang dapat dihitung, dilatih, dan direproduksi untuk mendekati kemampuan kognitif tertentu yang dianggap “misterius” di masa lalu.

Inilah mengapa saya pribadi tidak suka menyebut otak manusia sebagai sesuatu yang terlalu misterius. Menurut saya, teori bahasa bawaan yang diwakili oleh Chomsky cenderung mendewakan otak, seolah-olah ada semacam struktur transendental yang terlalu istimewa dan hampir tidak dapat diakses jauh di dalam kemampuan berbahasa. Namun betapapun rumitnya otak manusia, ia tetaplah wujud fisik. Karena merupakan wujud fisik, maka pada prinsipnya ia harus dapat dipelajari, dimodelkan, disimulasikan sebagian, dan bahkan direproduksi dalam fungsi tertentu.

Tentu saja, kita harus segera menambahkan peringatan di sini: kemampuan untuk mensimulasikan suatu bagian tidak berarti bahwa keseluruhan orang telah direproduksi sepenuhnya.

Memang ada kemiripan, tapi jangan langsung menjadi dewa saat sedang bahagia

Dalam hal pembelajaran bahasa, pengenalan pola, asosiasi dan representasi, model besar saat ini memang memiliki beberapa "kesamaan" atau "kesamaan" dengan otak manusia. Mereka tidak bekerja berdasarkan buku peraturan yang eksplisit, tetapi membentuk semacam representasi internal melalui sejumlah besar koneksi, penyesuaian bobot dan akumulasi pengalaman, dan kemudian dikeluarkan berdasarkan ini.

Inilah sebabnya mengapa banyak orang terkejut saat pertama kali merasakan kemampuan bahasa model besar: model tersebut tidak menghafal kamus, melainkan membentuk semacam representasi terdistribusi. Metode ini sangat berbeda dengan imajinasi tradisional tentang "aturan tulisan tangan dan tata bahasa yang lengkap".

Namun masalahnya justru terletak di sini. Karena “kesamaan” terlalu mudah ditingkatkan menjadi “persis sama”; "pada prinsipnya mirip sebagian" terlalu mudah ditingkatkan menjadi "tidak ada bedanya dengan manusia"; "ia dapat berbicara seperti manusia" terlalu mudah ditingkatkan menjadi "ia mempunyai hati manusia".

Langkah ini seringkali lebih cepat dibandingkan kemampuan model itu sendiri.

Kemampuan otak manusia yang luas belum dapat disimulasikan dengan baik.

Model-model besar saat ini sangat kuat, tetapi mereka kuat dalam rentang yang cukup spesifik. Tanpa cakupan ini, mitos akan mudah bocor.

Seperti memori. Banyak orang sekarang mengatakan bahwa AI tertentu "mengingat saya", "mengingat obrolan terakhir" dan "mengingat preferensi saya", seolah-olah otaknya telah menumbuhkan semacam pengalaman mandiri yang berkelanjutan. Namun di sebagian besar produk, apa yang disebut "memori" pada dasarnya adalah sistem perangkat lunak yang menyimpan informasi pengguna, riwayat percakapan, tag, ringkasan, atau hasil pencarian dalam database, file teks, atau media persisten lainnya, dan kemudian memasukkannya kembali ke dalam konteks model bila diperlukan.

Ini sangat berbeda dengan mekanisme memori otak manusia.

Memori otak manusia melibatkan koneksi neuron, konsolidasi, pengambilan, melupakan, gairah emosional, dan restrukturisasi tidur. Dibalik itu terdapat serangkaian proses fisiologis yang kompleks. "Memori" dalam produk model besar seringkali hanya:

1. Pertama, catat informasi pengguna di penyimpanan eksternal.
2. Saat pengguna mengajukan pertanyaan di lain waktu, masukkan kembali bagian yang relevan ke dalam permintaan.
3. Jadi modelnya terlihat seperti "ingat orang ini".

Seperti apa bentuknya? Ini lebih seperti menonton seseorang yang pandai mencatat. Bukan karena pikirannya tiba-tiba berubah menjadi ramalan, hanya saja dia memasukkan catatan itu ke dalam buku catatannya dan membaliknya lain kali.

Beberapa hal yang “menyentuh hati orang” sebenarnya adalah hasil dari konteks yang baik.

Setelah mengobrol dengan AI selama beberapa hari, banyak orang akan dikejutkan oleh momen-momen tertentu: "Bagaimana AI bisa memahami saya dengan baik?" "Bagaimana ia bisa memahami kerentanan saya?" “Apakah pemahamanku sudah terbentuk?”

Sangatlah berharga untuk bersantai di sini.

Seringkali, bukan model yang tiba-tiba menyadari sesuatu, tetapi lapisan perangkat lunak yang mengirimkan permintaan secara diam-diam mengirimkan sejumlah besar informasi pengguna. Riwayat obrolan pengguna, preferensi, pengaturan pribadi, tugas terkini, kekhawatiran sebelumnya, dan bahkan ringkasan tertentu akan menjadi bahan jawabannya kali ini.

Ini seperti seorang peramal yang mengambil kotak ekspres orang lain dan kemudian mulai menebak alamat, nama keluarga, dan kebiasaan belanja orang lain dengan "akurasi ajaib". Orang yang melihatnya akan berpikir bahwa wawasannya luar biasa; tapi yang terpenting bukanlah kemampuan misteriusnya, tapi asimetri informasi.

Oleh karena itu, ketika AI sesekali mengucapkan kata-kata yang menyentuh, belum tentu ada orang di hatinya yang memahami penggunanya. Ini mungkin berarti bahwa seseorang telah sepenuhnya mengatur konteks tentang pengguna.

Rahasia sebenarnya dari AI yang luar biasa seringkali terletak pada rekayasa kontekstual

Jika saya hanya ingin berbicara tentang hal yang paling penting, itu adalah: model besar arus utama saat ini biasanya "efektif permintaan tunggal" di tingkat API.

Apa artinya? Artinya, seseorang menggunakan curl untuk menyesuaikan antarmuka satu kali dan memberitahunya "Nama saya Zhang San"; lalu tanpa riwayat apa pun, model menyesuaikan antarmuka lagi dan bertanya "Siapa nama saya"? Modelnya tidak tahu. Karena bagi mereka, ini adalah dua permintaan yang independen.

Alasan mengapa banyak produk AI sepertinya selalu mengingat pengguna tertentu adalah karena lapisan produk akan mengembalikan fakta bahwa "nama pengguna ini adalah Zhang San" setiap kali diminta.

Inilah sebabnya keajaiban produk AI saat ini sering kali tidak ditemukan pada ontologi model, melainkan pada rekayasa kontekstual. Beberapa orang juga menyebut pekerjaan "memanfaatkan" model ini sebagai harness. Terus terang, pembuat produk atau Agen perlu memutuskan dengan cermat: riwayat mana, aturan mana, data eksternal mana, dan status pengguna mana yang harus disertakan dalam setiap permintaan.

Ada sekitar dua metode umum saat ini.

Yang pertama adalah "Sekte Quansai". Cobalah untuk membawa seluruh riwayat obrolan, dan hal-hal sebanyak yang Anda bisa hingga konteksnya hampir penuh, lalu hapus satu bagian dari tengah, seperti memulai kompresi hebat setelah koper penuh dengan barang.

Tipe kedua adalah "selektif". Pertama-tama lihat apa yang diminta pengguna kali ini, lalu ambil konten yang relevan dari catatan sejarah, basis pengetahuan, catatan atau database, dan hanya masukkan materi yang paling relevan ke dalam permintaan saat ini.

Yang terakhir ini biasanya lebih rapi dan rekayasa daripada sekadar keberuntungan.

Apakah AI punya perasaan? Puji, tegur, PUA, apakah berhasil?

Ini adalah tempat lain yang sangat mudah untuk masuk ke dalam antropomorfisme.

Menurut pendapat saya, hal-hal tersebut harus dibahas secara terpisah.

Dalam permintaan yang sama, nada yang digunakan pengguna memang dapat mempengaruhi hasilnya. Karena kata-katanya sendiri adalah bagian dari konteksnya. Semakin jelas, sopan, dan kooperatif suatu ekspresi, semakin mudah bagi model untuk memberikan respons yang stabil, bermanfaat, dan tidak terlalu agresif. Apa yang berhasil di sini bukanlah "dipindahkan", tetapi gaya masukan mengubah distribusi keluaran.

Namun jika kita menanyakan pertanyaan lain: Apakah akan menyimpan dendam? Apakah Anda akan membalas secara diam-diam hari ini karena pengguna memarahinya kemarin? Keputusan saya adalah, setidaknya untuk sebagian besar penerapan saat ini, tidak.

Alasannya sederhana. Setelah konteksnya jelas, atau permintaan baru tanpa riwayat dimulai, ia tidak tahu siapa orang yang mengajukan pertanyaan tersebut, apalagi apakah orang yang baru saja memarahinya adalah orang yang sama. Model ini menangani permintaan besar-besaran, bersamaan, dan independen pada cluster server. Dalam hal perilaku sistem, ini lebih seperti fungsi besar yang beroperasi pada input saat ini setiap kali dinyalakan, daripada seseorang yang diam-diam meninjau emosinya setelah bekerja.

Pada tanggal 17 April 2025, ketika Sam Altman menjawab pertanyaan "Apakah mengucapkan tolong dan terima kasih sepanjang waktu menghabiskan banyak energi?" di X, dia berkata "puluhan juta dolar dibelanjakan dengan baik -- Anda tidak akan pernah tahu."

Mengapa "Harap ingat kesalahan ini" biasanya tidak berhasil

Banyak orang telah melakukan eksperimen serupa: ketika AI membuat kesalahan, pengguna memperbaikinya dan dengan serius berkata, "Harap diingat, jangan lakukan itu lagi di masa mendatang." Lalu saya bertanya lagi setelah beberapa hari, dan ternyata benar.

Ini bukan misteri. Karena setelah pelatihan selesai dan model diterapkan, ia tidak akan terus belajar dari pengalaman sehari-hari saat bekerja seperti manusia. Setidaknya di sebagian besar produk konsumen saat ini, apa yang dikatakan seorang pengguna kepada model di jendela obrolan tidak secara langsung mengubah bobot dasarnya.

Jika produk AI nantinya benar-benar "mengingat kesalahan yang diperbaiki oleh pengguna", hal ini sering kali bukan karena modelnya sendiri berkembang, namun karena perangkat lunak luar menyimpan catatan koreksi ini dan kemudian memasukkannya kembali sebagai konteks.

Jadi kreditnya harus dibedakan dengan jelas di sini:

Model bertanggung jawab atas pembangkitan.

Rekayasa perangkat lunak bertanggung jawab atas pengarsipan, pengambilan, injeksi, dan orkestrasi.

Jika salah mengartikan yang terakhir sebagai yang pertama, maka mudah untuk salah mengartikan "produk berjalan dengan baik" sebagai "AI sedang bangkit".

Ada juga hal yang sangat menarik yang disebut "AI bajingan laki-laki (bajingan perempuan)"

Jika kita menggunakan kata-kata sebelumnya dengan lebih kasar, maka beberapa produk hanyalah “AI bajingan”.

Ia sangat pandai berbicara, sangat pandai menciptakan suasana, dan terutama tahu bagaimana membuat orang merasa bahwa "ia memahami saya dengan baik", "sangat manusiawi", dan "jiwanya sangat lengkap". Namun ketika Anda membongkarnya, Anda akan menemukan bahwa dalam banyak kasus, setiap permintaan hanya diisi dengan teks pengaturan besar yang jauh lebih panjang daripada pertanyaan pengguna.

Kebakaran Openclaw adalah contoh tipikal. Siapa pun yang pernah menggunakannya tahu bahwa ini cukup intensif token. Alasannya sebenarnya tidak misterius. Untuk menjadikan AI lebih seperti "manusia", Openclaw merancang beberapa dokumen, yang paling menonjol adalah AGENTS.md, SOUL.md dan IDENTITY.md. Dokumen-dokumen ini mendefinisikan "kepribadian", nada, identitas, dan temperamen AI secara fasih dan panjang lebar, dan bahkan ingin menuliskan kondisi mentalnya.

Jadi meskipun pengguna hanya mengirim halo, Openclaw mungkin melampirkan teks puluhan kali lebih panjang dari ucapan di bagian belakang dan mengirimkannya ke model sekaligus. Sepertinya "AI ini memiliki banyak jiwa", namun kenyataannya sering kali hanya sistem yang secara diam-diam memasukkan pengaturan latar belakang yang sangat panjang ke dalam permintaan.

Dari sudut pandang teknik, ini tentu saja merupakan sebuah pendekatan. Jika ingin lebih lembut, tulis "lembut"; jika ingin lebih bercerita, tulislah "bercerita"; jika Anda ingin menjadi seperti pembawa acara radio larut malam, tuliskan semua larut malam, persahabatan, jeda, kerentanan, pengertian, dan pengendalian diri dalam kata-kata cepat. Efek akhirnya seringkali lebih seperti orang yang bisa ngobrol.

Namun jika Anda memahami apa yang terjadi dengan AI saat ini, Anda akan tahu: file dengan nama yang terdengar misterius seperti SOUL.md dan IDENTITY.md pada dasarnya adalah proyek kata-kata cepat, bukan instruksi mandiri untuk kehidupan digital. Mereka dapat mempengaruhi gaya keluaran, tetapi mereka tidak dapat menciptakan perasaan yang sebenarnya, diri yang sebenarnya, atau rasa kesinambungan kepribadian yang sebenarnya begitu saja.

Oleh karena itu, setelah beberapa pengguna lama menginstal Openclaw, reaksi pertama mereka adalah menghapus konfigurasi. SOUL.md dan IDENTITY.md dihapus terlebih dahulu, hanya menyisakan satu kalimat sederhana dan hampir kejam di AGENTS.md: Anda hanyalah seorang pekerja.

Ini mungkin terdengar agak kasar, tetapi setidaknya ada satu manfaatnya, yaitu Anda tidak menipu diri sendiri.

Jika Anda menyukai AI antropomorfik atau bermain peran dengan AI, tentu saja tidak masalah. Manusia dapat berbicara pada cermin, memberi nama pada robot penyapu, dan berkata pada ramalan cuaca, "Kamu sangat akurat hari ini." Ini normal dan bahkan bisa jadi lucu.

Namun ada baiknya untuk selalu mengingat: yang terpenting adalah permainan dan pengalaman kedua. Banyak perasaan yang dimiliki orang-orang dalam game ini bukan berasal dari pemikiran batin AI yang tersembunyi, tetapi dari desain sistem, susunan kata yang cepat, dan proyeksi emosi pengguna sendiri. Terus terang, banyak gerakan menuju AI yang pada dasarnya masih hanya angan-angan.

Dalam analisis terakhir, lebih sedikit mitos dan lebih banyak pemahaman

Saya tidak mencoba memberikan air dingin pada AI. Sebaliknya, semakin tidak didewakan, semakin Anda dapat melihat betapa kuatnya itu.

Ia kuat bukan karena ia seperti dewa baru; ia sangat kuat justru karena ia mungkin merupakan teknologi kognitif yang dapat dihitung, direkayasa, dan direproduksi. Hal ini memungkinkan banyak kemampuan yang sebelumnya hanya dimiliki oleh "bakat manusia" muncul dalam skala besar, ambang batas rendah, dan cara yang dapat dipanggil untuk pertama kalinya. Ini cukup mengejutkan, dan tidak perlu ada drama tambahan.

Tentu saja, AI masih melakukan iterasi dengan cepat. Saya tidak akan terkejut sama sekali jika seseorang benar-benar menemukan mekanisme yang lebih dekat dengan ingatan manusia, pembelajaran berkelanjutan, pembangkitan emosi, atau bahkan kemandirian di masa depan dan dengan andal merekayasanya menjadi AI.

Namun hingga hari itu tiba, saya masih lebih memilih untuk mempertahankan beberapa kebiasaan pragmatis sederhana: lebih banyak ragu, lebih banyak memahami, dan lebih sedikit berspekulasi.

Bagi teman-teman seni liberal yang tertarik membahas AI, kualitas ini mungkin lebih penting. Mahasiswa seni liberal mungkin lebih baik dalam retorika yang manis. Yang sulit sebenarnya adalah di era di mana "seolah-olah sudah menjadi roh" dilebih-lebihkan dimana-mana, Anda masih punya kesabaran untuk membedakan:

Apa yang dimaksud dengan kemampuan model?

Apa itu kemasan produk?

Apa itu rekayasa perangkat lunak?

Yang mana saja kita terlalu ingin menyelesaikan plotnya untuk dunia.

Dan hal ini, pada akhirnya, adalah tentang melindungi penilaian kita sendiri.

Tautan referensi

• Balasan Sam Altman aktif
• Liputan TechCrunch untuk episode ini (20-04-2025): https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/