توهمات انسانی در مورد هوش مصنوعی بدتر از توهمات هوش مصنوعی است
گاهی اوقات من احساس می کنم که بزرگترین "توهم" هوش مصنوعی این نیست که به طور جدی حرف های بیهوده می زند، بلکه این است که ما یک جهان متافیزیکی کامل را در اطراف آن تصور کرده ایم.
وقتی انسانها با چیزهایی روبرو میشوند که کاملاً درک نمیکنند، اغلب رویکردی پایدار دارند: ابتدا تصمیم خود را میگیرند و سپس آنها را عاشقانه میکنند. آنها ابتدا آنها را شخصیت می بخشند و سپس آنها را خدایی می کنند. شعله ها را جن و رعد و برق و رعد و برق را مشیت می پندارند. هنگامی که الگوریتم بتواند دو جمله مناسب بنویسد، برخی از مردم بلافاصله تعجب خواهند کرد که آیا روح الکترونیکی قبلاً در اتاق سرور زندگی کرده است یا خیر.
این در واقع کاملا طبیعی است. مغز انسان برای اضافه کردن نقشه به جهان سیم کشی شده است. مشکل این نیست که ما بتوانیم تصمیم خود را بگیریم. مشکل این است که وقتی تفکر ما خیلی صاف باشد، به راحتی میتوان «به نظر میرسد» را با «در اصل هست» اشتباه گرفت.
در مورد هوش مصنوعی، این گرایش انسانها حتی قویتر از زمانی است که خود هوش مصنوعی حرفهای مزخرف میزند. حداکثر، هوش مصنوعی یک توهم کوچک در پاسخ است. توهمات انسان در مورد هوش مصنوعی اغلب یک جهان بینی است که می تواند تا 10000 کلمه را در یک ذهن پر کند و همچنین حاوی احساسات است.
کمی عمل گرایی به ویژه برای جامعه هنرهای لیبرال مهم است
من نمی خواهم به همه توصیه کنم که CUDA را یاد بگیرند، محیط را پیکربندی کنند و برای یافتن مشتقات به ماتریس ها نگاه کنند. من فقط می خواهم بگویم که جستجوی حقیقت گاهی اوقات واقعاً مهم است، به ویژه برای جامعه هنرهای آزاد که عاشق مفاهیم، روایت ها، معانی و توضیحات هستند.
زیرا در زمینه هنرهای لیبرال، یک شیب لغزنده ملایم اما خطرناک به احتمال زیاد رخ می دهد: کلمات به زیبایی نوشته شده اند و جملات متحرک هستند، اما در نهایت شیء مخفیانه تغییر می کند. بدیهی است که این یک مدل احتمالی است، اما طوری نوشته شده است که در مورد روح است. بدیهی است که مونتاژ زمینه در مهندسی نرم افزار است، اما گفته می شود "بالاخره یاد گرفت که شما را دوست داشته باشد". بدیهی است که کلمات سریع سیستمی و سوابق تاریخی کار می کنند، اما بسته بندی آن مانند "هوش مصنوعی واقعا شما را به یاد می آورد."
شاعر بودن قطعا گناهی ندارد. مشکل این است که اگر شعر جایگزین قضاوت شود، عاشقانه گمراه کننده می شود.
بنابراین، اکنون هوش مصنوعی چیست؟
اجازه دهید با نسخهای شروع کنم که تا حد امکان ساده است، اما تحریف نشده است: مدلهای بزرگی که امروزه همه با آنها در تماس هستند، اساساً نوعی مدل آماری هستند که از شبکههای عصبی الهام گرفته و از طریق دادههای عظیم آموزش داده شدهاند. روی تراشهها و سرورها اجرا میشود، ورودیها را میخواند، پارامترها و زمینه را با هم ترکیب میکند و بهطور پیوسته پیشبینی میکند که «مناسبترین توکن بعدی چیست».
نکته اینجا این نیست که عبارت "کلمه بعدی را پیش بینی کن" مرموز است، بلکه در واقع اصلاً مرموز نیست. این مدل آدم کوچکی نیست که در میان ابرها جمع شده و بی سر و صدا به زندگی فکر می کند، بیشتر شبیه یک عملکرد بسیار بزرگ است. افراد به آن ورودی می دهند و بر اساس ساختار پارامتری که در طول آموزش شکل می گیرد، خروجی تولید می کند.
برای سادهتر کردن این موضوع: «بعد از اینکه آن را فهمیدی بگو» نیست، بلکه «بعد از فشردهسازی حجم عظیمی از تجربه، پاسخی ایجاد میکند که بیشتر شبیه درک در شرایط فعلی است». این بدان معنا نیست که هیچ کاری نمی تواند انجام دهد، برعکس، در حال حاضر بسیار قدرتمند است. اما قدرتمند بودن به این معنی نیست که مرموز است.
چرا شبکه های عصبی همیشه مردم را به فکر مغز انسان می اندازند؟
اگر به دنبال آن ادامه دهید، متوجه خواهید شد که این سوال که "آیا هوش مصنوعی و مغز انسان به یکدیگر شباهت دارند؟" نه می توان گفت «دقیقاً یکسان است» و نه «ربطی به آن ندارد».
مسیر شبکه های عصبی مدرن در اصل از مغز الهام گرفته شده است. در سال 1943، مک کالوخ و پیتس به طور ریاضی یک مدل نورون ساده شده را توصیف کردند. در سال 1958، روزنبلات پرسپترون را پیشنهاد کرد. در دهه 1980، انتشار پس زمینه امید به آموزش شبکه های چند لایه را دوباره زنده کرد. در دهه 2010، یادگیری عمیق با قدرت محاسباتی، داده ها و قابلیت های مهندسی افزایش یافت. پس از ظهور معماری Transformer در سال 2017، مدلهای زبان افزایش یافت و در نهایت به مدلهای بزرگی تبدیل شدند که همه هر روز از آن استفاده میکنند.
بنابراین، حداقل در یک مفهوم نسبتا سادهلوحانه، ظالمانه نیست که بگوییم هوش مصنوعی «شبیهسازی الکترونیکی و تقویت ایدههای شبکههای عصبی» است. در واقع تلاش میکند از سیستمهای فیزیکی قابل محاسبه، آموزشپذیر و تکرارپذیر برای نزدیک شدن به برخی تواناییهای شناختی که در گذشته «اسرارآمیز» تلقی میشدند استفاده کند.
به همین دلیل است که من شخصاً دوست ندارم در مورد مغز انسان خیلی مرموز صحبت کنم. به نظر من، نظریه ذاتی زبان که چامسکی ارائه می کند، تمایل به خدایی کردن مغز دارد، گویی نوعی ساختار ماورایی وجود دارد که در عمق توانایی زبانی بسیار خاص و تقریبا غیرقابل دسترس است. اما مهم نیست که مغز انسان چقدر پیچیده است، هنوز یک وجود فیزیکی است. از آنجایی که یک وجود فیزیکی است، در اصل باید بتوان آن را مطالعه، مدلسازی، تا حدی شبیهسازی و حتی در عملکردهای خاص بازتولید کرد.
البته، ما باید بلافاصله یک کلمه احتیاط را در اینجا اضافه کنیم: توانایی شبیه سازی یک قسمت به این معنی نیست که کل فرد به طور کامل بازتولید شده است.
شباهت هایی وجود دارد، اما وقتی خوشحال هستید مستقیماً خدا نشوید
از نظر زبان، تشخیص الگو، تداعی و یادگیری بازنمایی، مدلهای بزرگ امروزی «شباهت» یا «شباهت» با مغز انسان دارند. آنها از یک کتاب قانون صریح کار نمی کنند، بلکه نوعی بازنمایی داخلی را از طریق تعداد زیادی اتصالات، تنظیم وزن و انباشت تجربه و سپس خروجی بر اساس آن تشکیل می دهند.
به همین دلیل است که بسیاری از مردم وقتی برای اولین بار توانایی های زبانی یک مدل بزرگ را تجربه می کنند، شوکه می شوند: این به خاطر سپردن یک فرهنگ لغت نیست، بلکه نوعی نمایش توزیع شده را تشکیل می دهد. این روش با تصور سنتی «قوانین دست نویس و دستور زبان جامع» بسیار متفاوت است.
اما مشکل دقیقاً در اینجا نهفته است. زیرا "شباهت" به راحتی به "دقیقاً یکسان" ارتقا داده می شود. "در اصل تا حدی مشابه" به راحتی به "آن هیچ تفاوتی با یک انسان ندارد" ارتقا داده می شود. "می تواند مانند یک انسان صحبت کند" به راحتی به "قلب انسانی دارد" ارتقا داده می شود.
این مرحله اغلب سریعتر از خود قابلیت مدل است.
توانایی های گسترده مغز انسان هنوز به روشی مناسب شبیه سازی نشده است.
مدل های بزرگ امروزی واقعا قوی هستند، اما در محدوده نسبتاً خاصی قوی هستند. بدون این محدوده، اسطوره به راحتی درز می کند.
مانند حافظه. اکنون بسیاری از مردم می گویند که یک هوش مصنوعی خاص "من را به یاد می آورد"، "آخرین چت را به خاطر می آورد" و "ترجیحات من را به خاطر می آورد"، گویی مغز آن نوعی تجربه شخصی مداوم رشد کرده است. اما در بیشتر محصولات، به اصطلاح "حافظه" اساساً سیستم نرم افزاری است که اطلاعات کاربر، مکالمات تاریخی، برچسب ها، خلاصه ها یا نتایج جستجو را در پایگاه های داده، فایل های متنی یا سایر رسانه های پایدار ذخیره می کند و سپس در صورت لزوم آنها را در متن مدل قرار می دهد.
این با مکانیسم حافظه مغز انسان کاملا متفاوت است.
حافظه مغز انسان شامل اتصال نورون، تثبیت، بازیابی، فراموشی، برانگیختگی عاطفی و بازسازی خواب است. پشت آن مجموعه ای از فرآیندهای فیزیولوژیکی پیچیده است. "حافظه" در محصولات مدل بزرگ اغلب فقط به شرح زیر است:
- ابتدا اطلاعات کاربر را در حافظه خارجی ثبت کنید.
- وقتی کاربر دفعه بعد سوالی می پرسد، قسمت های مربوطه را دوباره در درخواست قرار دهید.
- بنابراین مدل به نظر می رسد "این شخص را به خاطر بسپار".
چه شکلی است؟ بیشتر شبیه تماشای کسی است که در یادداشت برداری مهارت دارد. این نبود که ناگهان ذهنش تبدیل به یک فحشه شود، فقط یادداشت را در دفترش گذاشت و دفعه بعد آن را برگرداند.
برخی از چیزهایی که "قلب مردم را لمس می کند" در واقع نتیجه زمینه خوب است.
پس از چند روز چت با هوش مصنوعی، بسیاری از افراد با لحظات خاصی مواجه می شوند: "چطور اینقدر مرا درک می کند؟" چگونه می تواند آسیب پذیری من را درک کند؟ "آیا قبلاً درک درستی از من ایجاد کرده است؟"
اینجا بیش از همه ارزش خنک شدن را دارد.
بسیاری از مواقع اینطور نیست که مدل به طور ناگهانی متوجه چیزی می شود، بلکه لایه نرم افزاری که درخواست را ارسال می کند، حجم زیادی از اطلاعات کاربر را مخفیانه تحویل می دهد. چتهای تاریخی کاربر، ترجیحات، تنظیمات شخصی، کارهای اخیر، نگرانیهای قبلی و حتی خلاصههای خاص، این بار مادهای برای پاسخگویی او خواهند بود.
کمی شبیه یک فالگیر است که جعبه اکسپرس شخص دیگری را برداشته و سپس با "دقت جادویی" شروع به حدس زدن آدرس، نام خانوادگی و عادات خرج کردن طرف مقابل کرده است. بینندگان فکر خواهند کرد که بینش او شگفت انگیز است. اما آنچه واقعاً اهمیت دارد، توانایی مرموز نیست، بلکه عدم تقارن اطلاعاتی است.
بنابراین، وقتی هوش مصنوعی گهگاه کلمات لمس کننده ای را بیان می کند، لزوماً به این معنی نیست که فردی در قلب آن وجود دارد که کاربر را درک می کند. ممکن است فقط به این معنا باشد که شخصی به طور کامل زمینه کاربر را سازماندهی کرده است.
راز واقعی هوش مصنوعی شگفت انگیز اغلب مهندسی زمینه است
اگر فقط بخواهم در مورد مهم ترین چیز صحبت کنم، این است: مدل های بزرگ جریان اصلی فعلی معمولاً در سطح API "یک درخواست موثر" هستند.
معنی چیست؟ یعنی شخصی از «curl» برای تنظیم رابط استفاده میکند و به آن میگوید «نام من ژانگ سان است». سپس بدون هیچ سابقه ای، مدل دوباره اینترفیس را تنظیم می کند و می پرسد "نام من چیست"؟ مدل بلد نیست. زیرا به آن، این دو درخواست مستقل هستند.
دلیل اینکه به نظر میرسد بسیاری از محصولات هوش مصنوعی همیشه یک کاربر خاص را به یاد میآورند این است که لایه محصول هر بار که درخواست میشود این واقعیت را به شما بازمیگرداند که "نام این کاربر Zhang San است".
به همین دلیل است که جادوی محصولات هوش مصنوعی امروزی اغلب در هستی شناسی مدل نیست، بلکه در مهندسی زمینه یافت می شود. برخی از افراد به این نوع کار «هنجرهگیری» مدل «تسمه» نیز میگویند. به بیان صریح، نویسنده محصول یا نماینده باید به دقت تصمیم بگیرد: کدام تاریخچه، کدام قوانین، کدام داده های خارجی و کدام وضعیت کاربر باید در هر درخواست گنجانده شود.
در حال حاضر تقریباً دو روش رایج وجود دارد.
اولی «فرقه کوانسای» است. سعی کنید کل تاریخچه چت را با خود بیاورید و تا جایی که می توانید آن را تا جایی که زمینه تقریباً کامل شود، انجام دهید و سپس بخشی را از وسط حذف کنید، درست مانند شروع فشرده سازی خشونت آمیز پس از پر شدن چمدان.
نوع دوم «انتخابی» است. ابتدا به آنچه کاربر این بار پرسیده است نگاه کنید، سپس محتوای مرتبط را از سوابق تاریخی، پایگاه های دانش، یادداشت ها یا پایگاه های داده بازیابی کنید و فقط مرتبط ترین مطالب را در درخواست فعلی قرار دهید.
دومی معمولاً به جای شانس بیشتر قابل ارائه و مهندسی است.
آیا هوش مصنوعی احساساتی دارد؟ آن را تحسین کنید، سرزنش کنید، آن را PUA کنید، آیا کار می کند؟
این مکان دیگری است که در آن لغزش به سمت انسانسازی بسیار آسان است.
نظر من این است که آنها باید جداگانه مورد بحث قرار گیرند.
در همان درخواست، لحن استفاده شده توسط کاربر ممکن است واقعاً بر نتیجه تأثیر بگذارد. زیرا خود عبارت بخشی از زمینه است. هرچه بیان واضح تر، مودبانه تر و مشارکتی تر باشد، برای مدل آسان تر است که پاسخ های پایدار، قابل استفاده و کمتر تهاجمی ارائه دهد. آنچه در اینجا کار می کند این نیست که "انتقال شد"، بلکه این است که سبک ورودی توزیع خروجی را تغییر می دهد.
اما اگر سوال دیگری بپرسیم: آیا کینه توزی خواهد داشت؟ آیا امروز مخفیانه انتقام خواهید گرفت زیرا یک کاربر دیروز آن را سرزنش کرده است؟ حکم من، حداقل برای اکثر استقرارهای فعلی، خیر است.
دلیلش هم ساده است. هنگامی که زمینه پاک می شود، یا درخواست جدیدی بدون سابقه شروع می شود، نمی داند که شخص فعلی این سؤال را چه کسی می پرسد، چه رسد به اینکه آیا فردی که به تازگی آن را سرزنش کرده همان شخص است یا خیر. این مدل درخواست های عظیم، همزمان و مستقل را در خوشه سرور مدیریت می کند. از نظر رفتار سیستم، بیشتر شبیه یک تابع بزرگ است که هر بار که روشن میشود، روی ورودی فعلی کار میکند، نه شخصی که به طور مخفیانه احساسات خود را پس از ترک کار بررسی میکند.
در 17 آوریل 2025، زمانی که سم آلتمن به این سوال پاسخ داد که "آیا گفتن لطفا و تشکر از شما همیشه انرژی زیادی دارد؟" در X، او گفت: "ده ها میلیون دلار به خوبی خرج شده است - هرگز نمی دانید."
چرا «لطفا این اشتباه را به خاطر بسپارید» معمولاً کار نمی کند
بسیاری از افراد آزمایشهای مشابهی انجام دادهاند: وقتی هوش مصنوعی اشتباه میکند، کاربر آن را تصحیح میکند و به طور جدی به آن میگوید: "لطفاً به خاطر داشته باشید، در آینده این کار را تکرار نکنید." بعد از چند روز دوباره پرسیدم درست بود.
این هیچ رازی نیست. زیرا پس از تکمیل آموزش و استقرار مدل، در حین کار مانند یک انسان، از تجربیات روزانه خود درس نمی گیرد. حداقل در اکثر محصولات مصرفی امروزی، آنچه یک کاربر به مدل در پنجره چت می گوید مستقیماً وزن های اساسی را بازنویسی نمی کند.
اگر یک محصول هوش مصنوعی بعداً واقعاً "خطاهای اصلاح شده توسط کاربر را به خاطر می آورد"، اغلب به این دلیل نیست که خود مدل در حال رشد است، بلکه به این دلیل است که نرم افزار بیرونی این رکورد تصحیح را ذخیره می کند و سپس آن را به عنوان زمینه بازخورد می دهد.
بنابراین اعتبار باید به وضوح در اینجا متمایز شود:
مدل مسئول تولید است.
مهندسی نرم افزار مسئول بایگانی، بازیابی، تزریق و ارکستراسیون است.
با اشتباه گرفتن دومی با اولی، به راحتی می توان به اشتباه «محصول به خوبی کار می کند» به عنوان «هوش مصنوعی در حال بیدار شدن است» اشتباه خواند.
همچنین یک چیز به خصوص جذاب وجود دارد به نام "هوش مصنوعی مرد شرور (زن شرور)"
اگر کلمات قبلی را حتی تندتر بیان کنیم، برخی از محصولات صرفاً "هوش مصنوعی بی ارزش" هستند.
به ویژه در صحبت کردن خوب است، به ویژه در ایجاد فضا خوب است، و به ویژه می داند چگونه به مردم این احساس را بدهد که "من را خوب می فهمد"، "خیلی انسانی است" و "روحش آنقدر کامل است". اما وقتی آن را جدا میکنید، متوجه میشوید که در بسیاری از موارد، هر درخواست فقط با یک متن تنظیم بزرگ پر میشود که بسیار طولانیتر از سؤال کاربر است.
آتش Openclaw یک مثال معمولی است. هر کسی که از آن استفاده کرده باشد می داند که کاملاً توکن فشرده است. دلیل در واقع مرموز نیست. برای اینکه هوش مصنوعی بیشتر شبیه یک «انسان» شود، Openclaw چندین سند طراحی کرد که برجسته ترین آنها عبارتند از «AGENTS.md»، «SOUL.md» و «IDENTITY.md». این اسناد "شخصیت"، لحن، هویت و خلق و خوی هوش مصنوعی را به شیوه ای شیوا و طولانی تعریف می کنند و حتی می خواهند وضعیت ذهنی آن را بنویسند.
بنابراین حتی اگر کاربر فقط «سلام» بفرستد، Openclaw ممکن است متنی را دهها بار طولانیتر از تبریک به پشت متصل کند و آن را به یکباره برای مدل ارسال کند. به نظر می رسد "این هوش مصنوعی روح زیادی دارد"، اما در واقع بسیاری از اوقات فقط سیستم به طور مخفیانه تنظیمات پس زمینه بسیار طولانی را در درخواست قرار می دهد.
از منظر مهندسی، این قطعا یک رویکرد است. اگر میخواهید ملایمتر باشد، بنویسید «لطیف». اگر می خواهید بیشتر داستان سرا باشد، «داستان سرایی» را بنویسید. اگر میخواهید مانند یک مجری رادیویی آخر شب باشد، تمام آخر شب، همراهی، مکث، آسیبپذیری، درک و محدودیت را در کلمات سریع بنویسید. اثر نهایی اغلب بیشتر شبیه فردی است که می تواند چت کند.
اما اگر متوجه شوید که اکنون با هوش مصنوعی چه اتفاقی میافتد، میدانید: فایلهایی با نامهای مرموز مانند «SOUL.md» و «IDENTITY.md» اساساً پروژههای کلمه فوری هستند، نه خودآموزشی برای زندگی دیجیتال. آنها میتوانند بر سبک خروجی تأثیر بگذارند، اما نمیتوانند یک احساس واقعی، یک خود واقعی یا یک حس واقعی تداوم شخصیتی از هوا ایجاد کنند.
بنابراین، پس از نصب Openclaw توسط برخی از کاربران قدیمی، اولین واکنش آنها حذف پیکربندی است. «SOUL.md» و «IDENTITY.md» ابتدا حذف می شوند و تنها یک جمله ساده و تقریباً بی رحمانه در «AGENTS.md» باقی می ماند: شما فقط یک کارگر هستید.
این ممکن است کمی گستاخانه به نظر برسد، اما حداقل یک مزیت دارد و آن این است که شما خود را فریب نمی دهید.
اگر به هوش مصنوعی انسانی یا نقش آفرینی با هوش مصنوعی علاقه دارید، البته که خوب است. انسان ها می توانند با آینه ها صحبت کنند، نام ربات های جارو را بگذارند و به پیش بینی هواشناسی بگویند: "امروز خیلی دقیق بودی." اینها طبیعی هستند و حتی می توانند خنده دار باشند.
اما همیشه بهتر است به خاطر بسپارید: اول یک بازی است و بعد یک تجربه. بسیاری از احساسات مردم در این بازی ناشی از افکار پنهان هوش مصنوعی نیست، بلکه از طراحی سیستم، چینش سریع کلمات و فرافکنی احساسی خود کاربر ناشی می شود. به بیان صریحتر، بسیاری از حرکتها به سمت هوش مصنوعی هنوز اساساً آرزویی هستند.
در تحلیل نهایی، اسطوره های کمتر و درک بیشتر
من سعی نمی کنم آب سرد را روی هوش مصنوعی بیاندازم. برعکس، هرچه کمتر خدایی شده باشد، بیشتر میتوانید ببینید که چقدر قدرتمند است.
قدرتمند است نه به این دلیل که شبیه خدای جدیدی است. این دقیقاً به این دلیل قدرتمند است که ممکن است واقعاً یک فناوری شناختی باشد که قابل محاسبه، مهندسی و قابل تکرار باشد. این اجازه می دهد تا بسیاری از توانایی هایی که در گذشته به نظر می رسید فقط متعلق به "استعداد انسانی" بودند، برای اولین بار در مقیاس بزرگ، کم آستانه و قابل فراخوانی ظاهر شوند. این به اندازه کافی تکان دهنده است و نیازی به درام اضافی نیست.
البته هوش مصنوعی همچنان به سرعت در حال تکرار است. اصلاً تعجب نمیکنم اگر کسی واقعاً مکانیزمی نزدیکتر به حافظه انسان، یادگیری مداوم، تولید احساسات یا حتی خودپایداری در آینده کشف کند و آن را بهطور قابل اعتمادی در هوش مصنوعی مهندسی کند.
اما تا آن روز، من همچنان ترجیح میدهم برخی از عادتهای عملگرایانه ساده را حفظ کنم: بیشتر شک کنم، بیشتر بفهمم و کمتر حدس بزنم.
برای دوستان هنرهای لیبرال که مشتاق بحث در مورد هوش مصنوعی هستند، این کیفیت ممکن است مهمتر باشد. دانشجویان هنرهای لیبرال ممکن است در لفاظی شیرین بهتر عمل کنند. آنچه واقعاً دشوار است این است که در عصری که "به نظر می رسد روح تبدیل شده است" همه جا اغراق می شود، شما هنوز حوصله دارید تشخیص دهید:
قابلیت های مدل چیست؟
بسته بندی محصول چیست؟
مهندسی نرم افزار چیست؟
کدامها فقط میخواهیم طرح را برای دنیا کامل کنیم.
و این موضوع، در نهایت، در مورد محافظت از قضاوت خودمان است.
لینک مرجع
- پاسخ سام آلتمن به
- پوشش TechCrunch از قسمت (2025-04-20): https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/