AIに対する人間の妄想はAIの幻覚よりも悪い
AI の最大の「幻想」は、AI がナンセンスを真剣に話すことではなく、私たちが AI の周囲に形而上学的宇宙全体を想像しているのではないかと時々感じることがあります。
人間は、よく理解できないことに直面したとき、多くの場合、安定したアプローチをとることがあります。最初に決意し、それからそれをロマンチックなものにします。彼らは最初にそれらを擬人化し、次に神格化します。炎はエルフ、雷鳴は摂理と考えられています。アルゴリズムがまともな文章を 2 つ書けるようになると、すぐに電子魂がすでにサーバー ルームに住んでいるのではないかと疑問に思う人もいるでしょう。
これは実際にはごく普通のことです。人間の脳は、世界に陰謀を加えるように配線されています。問題は、私たちが決断できるかということではありません。問題は、私たちの思考があまりに滑らかすぎると、「のように見える」ことと「本質的にはそうである」を取り違えやすいことです。
AIの場合、人間のこの傾向はAI自身が意味不明なことを話す場合よりもさらに強いです。 AI はせいぜい、答えとしてはちょっとした幻覚に過ぎません。 AI に関する人間の幻覚は、多くの場合、ひとつの頭の中で最大 10,000 語を埋めることができる全体的な世界観であり、感情も含まれています。
少しの実用主義はリベラルアーツコミュニティにとって特に重要です
私はすべての人に、CUDA を学び、環境を構成し、行列を調べて導関数を見つけるようにアドバイスしたいわけではありません。私が言いたいのは、特に概念、物語、意味、説明を愛するリベラルアーツのコミュニティにとって、真実の追求は時には非常に重要であるということです。
なぜなら、リベラルアーツの文脈では、緩やかだが危険な滑りやすい坂が最も起こりやすいからです。言葉は美しく書かれ、文章は動きますが、最終的にオブジェクトは密かに変更されます。これは明らかに確率モデルですが、まるで魂について書かれているかのように書かれています。それは明らかにソフトウェアエンジニアリングにおけるコンテキストの組み立てですが、「ついにあなたを愛することを学んだ」のように言われます。明らかにシステムのプロンプトワードや履歴記録が機能しますが、それは「AI があなたを本当に覚えている」ようにパッケージ化されています。
確かに詩的であることに罪はありません。問題は、詩が判断の代わりになると、ロマンスが誤解を招くことになるということです。
では、今のAIとは一体何なのでしょうか？
できるだけシンプルでありながら歪みのないバージョンから始めましょう。今日誰もが触れる大規模なモデルは、本質的にはニューラル ネットワークからインスピレーションを受け、大量のデータを通じてトレーニングされた一種の統計モデルです。チップとサーバー上で実行され、入力を読み取り、パラメーターとコンテキストを組み合わせて、「次に最適なトークンが何であるべきか」を継続的に予測します。
ここで重要なのは、「次の単語を予測する」というフレーズが神秘的であるということではなく、実際にはまったく神秘的ではないということです。このモデルは、雲の中に身を寄せて静かに人生について考えている小さな人間ではなく、むしろ非常に巨大な機能のようなものです。人が入力を与えると、トレーニング中に形成されたパラメータ構造に従って出力が生成されます。
もっと現実的な言い方をすると、「理解してから言う」のではなく、「膨大な経験を圧縮した上で、今の文脈で最も理解に近い応答を生み出す」ということです。これは、何もできないという意味ではなく、むしろ、すでに非常に強力です。しかし、強力であるということは、それが神秘的であるという意味ではありません。
なぜニューラルネットワークはいつも人間の脳を思い浮かべさせるのでしょうか?
さらに追求していくと、「AIと人間の脳は似ているのか？」という疑問にたどり着きます。 「全く同じ」とも「全く関係ない」とも言えません。
現代のニューラル ネットワークのルートは、もともと脳からインスピレーションを得たものです。 1943 年、マカロックとピッツは簡略化されたニューロン モデルを数学的に記述しました。 1958 年にローゼンブラットはパーセプトロンを提案しました。 1980 年代には、バックプロパゲーションによって多層ネットワークをトレーニングする希望が再燃しました。 2010 年代には、コンピューティング能力、データ、エンジニアリング能力を備えたディープラーニングが急増しました。 2017 年に Transformer アーキテクチャが登場してから、言語モデルは急増し、最終的には誰もが毎日使用する大規模なモデルに成長しました。
したがって、少なくとも比較的素朴な意味では、AI は「ニューラル ネットワークのアイデアの電子シミュレーションと増幅」であると言うのはとんでもないことではありません。実際、計算可能、訓練可能、再現可能な物理システムを使用して、過去に「神秘的」と考えられていた特定の認知能力にアプローチしようとしています。
これが、私が個人的に人間の脳についてあまりにも謎めいたものとして話すのが好きではない理由です。私の意見では、チョムスキーに代表される言語生得理論は、あたかも言語能力の奥深くに、あまりにも特殊でほとんどアクセスできないある種の超越的な構造があるかのように、脳を神格化する傾向があると思います。しかし、人間の脳がどれほど複雑であっても、それは依然として物理的な存在です。それは物理的な存在であるため、原則として、研究、モデル化、部分的にシミュレートでき、さらには特定の機能で再現できる必要があります。
もちろん、ここですぐに注意の言葉を付け加えておく必要があります。一部をシミュレートできるからといって、その人物全体が完全に再現されたことを意味するわけではありません。
似ているところはあるけど、幸せなときに直接神になるなよ
言語、パターン認識、連想学習、表現学習の観点から見ると、今日の大規模モデルには人間の脳とある程度の「類似性」または「類似性」があります。それらは明示的なルールブックに基づいて動作するものではなく、多数のつながりや重みの調整、経験の蓄積によって何らかの内部表現を形成し、それに基づいて出力される。
これが、大規模なモデルの言語機能を初めて体験したときに多くの人がショックを受ける理由です。モデルは辞書を記憶しているのではなく、ある種の分散表現を形成しているのです。この方法は、「手書きのルールと徹底的な文法」という従来の想像力とは大きく異なります。
しかし、問題はまさにここにあります。なぜなら、「類似性」はあまりにも簡単に「まったく同じ」に格上げされるからです。 「原理的に部分的に似ている」を「人間と変わらない」に格上げするのはあまりにも簡単だ。 「人間のように話せる」を「人間の心を持っている」に格上げするのはあまりにも簡単だ。
多くの場合、このステップはモデル機能自体よりも高速です。
人間の脳の膨大な能力はまだ適切な方法でシミュレートされていません。
今の大型機種は本当に強いですが、かなり特定の範囲で強いです。この範囲がなければ、神話は簡単に漏れてしまいます。
記憶など。現在、多くの人は、ある AI が「私のことを覚えている」「最後のチャットを覚えている」「私の好みを覚えている」と言い、あたかもその脳がある種の継続的な自己体験を成長させたかのように言います。しかし、ほとんどの製品では、いわゆる「メモリ」は基本的に、ユーザー情報、履歴会話、タグ、概要、検索結果をデータベース、テキスト ファイル、またはその他の永続メディアに保存し、必要に応じてモデルのコンテキストに挿入し直すソフトウェア システムです。
これは人間の脳の記憶メカニズムとは全く異なります。
人間の脳の記憶には、ニューロンの接続、固定、回復、忘却、感情的興奮、睡眠の再構成が含まれます。その背後には一連の複雑な生理学的プロセスがあります。大型モデル製品の「メモリ」は、多くの場合、次のとおりです。
- まず、ユーザーの情報を外部ストレージに記録します。
- 次回ユーザーが質問するときは、関連する部分をリクエストに戻します。
- つまり、モデルは「この人を覚えている」ように見えます。
それはどのように見えますか？むしろメモを取るのが上手な人を見ているような感じです。それは彼の心が突然神託に変わったわけではなく、ただそのメモをノートに貼り付けて、今度はそれをめくっただけだった。
「人の心を動かす」ものの中には、実際には良い文脈から生まれるものもあります。
AI と数日間チャットすると、多くの人は「どうして AI は私のことをそんなによく理解してくれるのだろう?」という特定の瞬間に遭遇するでしょう。 「どうして私の弱さを理解できるのでしょうか？」もう私のことは理解できたでしょうか？
ここでクールダウンするのが最も価値があります。
多くの場合、モデルが突然何かに気づくのではなく、リクエストを送信するソフトウェア層が大量のユーザー情報を秘密裏に配信していることが原因です。今回は、ユーザーの過去のチャット、好み、個人設定、最近のタスク、以前の悩み、さらには特定の概要さえも答えの材料になります。
これは、占い師が他人の宅配ボックスを受け取り、その人の住所、姓、浪費癖を「魔法の正確さ」で推測し始めるのに似ています。傍観者は彼の洞察力が素晴らしいと思うだろう。しかし、本当に重要なのは神秘的な能力ではなく、情報の非対称性です。
したがって、AIが時折感動的な言葉を発するからといって、必ずしも心の中にユーザーの理解者がいるとは限りません。それは、誰かがユーザーに関するコンテキストを完全に整理したことを意味しているだけかもしれません。
驚くべき AI の本当の秘密は、多くの場合、コンテキスト エンジニアリングにあります
最も重要なことについてお話ししたいと思います。それは、現在の主流の大規模モデルは、通常、API レベルで「単一リクエストが有効」であるということです。
どういう意味ですか？つまり、誰かが「curl」を使用してインターフェースを一度調整し、「私の名前はZhang Sanです」と伝えます。その後、履歴は何もなく、モデルは再びインターフェイスを調整し、「私の名前は何ですか?」と尋ねます。モデルは知りません。なぜなら、これらは 2 つの独立した要求だからです。
多くの AI 製品が常に特定のユーザーを覚えているように見える理由は、製品レイヤーがリクエストのたびに「このユーザーの名前は Zhang San である」という事実を思い出させるためです。
これが、今日の AI 製品の魔法がモデル オントロジーではなく、コンテキスト エンジニアリングに見られることが多い理由です。このようにモデルを「利用する」作業を「ハーネス」と呼ぶ人もいます。率直に言うと、製品の作成者またはエージェントは、どの履歴、どのルール、どの外部データ、どのユーザー ステータスを各リクエストに含めるかを慎重に決定する必要があります。
現在一般的な方法は大きく分けて2つあります。
一つ目は「クァンサイ宗」。チャット履歴全体を持ち歩き、コンテキストがほぼいっぱいになるまでできるだけ多く詰め込んでから、スーツケースが詰め込まれた後で激しい圧縮を開始するのと同じように、途中のセクションを削除してください。
2 番目のタイプは「選択型」です。まずユーザーが今回質問した内容を確認し、次に過去の記録、知識ベース、メモ、またはデータベースから関連するコンテンツを取得し、最も関連性の高い資料のみを現在のリクエストに組み込みます。
後者は通常、単なる幸運ではなく、より見栄えが良く、エンジニアリングによるものです。
AIに感情はあるのか？褒めて、叱って、PUAして、うまくいきますか？
ここも特に擬人化されやすい場所です。
私の意見は、それらは分けて議論されるべきであるということです。
同じリクエストにおいて、ユーザーが使用したトーンが実際に結果に影響を与える可能性があります。なぜなら、言葉遣い自体が文脈の一部だからです。表現がより明確で、より丁寧で、より協力的であればあるほど、モデルは安定した、使いやすく、攻撃的ではない応答を与えることが容易になります。ここで機能するのは、「移動された」ということではなく、入力スタイルによって出力分布が変更されるということです。
しかし、別の質問をすると、それは恨みを抱くでしょうか？昨日ユーザーに叱られたから今日こっそり仕返しするつもりですか？私の判断は、少なくとも現在のほとんどの展開では「ノー」です。
理由は簡単です。コンテキストがクリアされるか、履歴のない新しいリクエストが開始されると、現在の質問者が誰であるか、ましてや今それを叱った人が同一人物であるかどうかはまったくわかりません。このモデルは、サーバー クラスター上で大量の同時の独立したリクエストを処理します。システムの動作という点では、仕事を終えてこっそり自分の感情を振り返る人というよりは、電源を入れるたびに現在の入力に基づいて動作する大きな機能に似ています。
2025 年 4 月 17 日、サム アルトマンは「いつもお願いします、ありがとうと言うのは多大なエネルギーを消費しますか?」という質問に答えました。 Xについて、彼は「何千万ドルもうまく使った。誰にも分からない」と語った。
「この間違いを覚えておいてください」が通常機能しない理由
多くの人が同様の実験を行っています。AIが間違いを犯したとき、ユーザーはそれを修正し、「覚えておいてください、今後は同じことをしないでください」と真剣にAIに言います。数日後にもう一度聞いてみたら、その通りでした。
これは謎ではありません。なぜなら、トレーニングが完了してモデルがデプロイされた後、人間のように働きながら日々の経験から学習し続けることはないからです。少なくとも今日のほとんどの消費者向け製品では、1 人のユーザーがチャット ウィンドウでモデルに発言した内容が、基礎となる重みを直接書き換えることはありません。
AI 製品が後で実際に「ユーザーが修正したエラーを記憶している」場合、それは多くの場合、モデル自体が成長しているためではなく、外部のソフトウェアがこの修正記録を保存し、それをコンテキストとしてフィードバックしているためです。
したがって、ここではクレジットを明確に区別する必要があります。
モデルは生成を担当します。
ソフトウェア エンジニアリングは、アーカイブ、取得、挿入、オーケストレーションを担当します。
後者を前者と取り違えると、「プロダクトがうまくいっている」を「AIが覚醒しつつある」と読み間違えてしまいがちです。
特に魅力的なのが「クズ男（クズ女）AI」というものです
先ほどの言葉をさらに厳しく言えば、製品によっては単なる「クソAI」に過ぎないこともあります。
特に話が上手で、特に雰囲気作りが上手で、特に人に「自分のことをよく理解してくれている」「人間味がある」「魂が充実している」と感じさせる術を知っています。しかし、分解してみると、多くの場合、各リクエストには、ユーザーの質問よりもはるかに長い大きな設定テキストが埋め込まれているだけであることがわかります。
オープンクロー火災はその典型的な例です。これを使用したことがある人なら誰でも、これが非常にトークンを大量に消費することを知っています。実はその理由は不思議ではありません。 AI をより「人間」に近づけるために、Openclaw はいくつかのドキュメントを設計しました。最も有名なものは「AGENTS.md」、「SOUL.md」、「IDENTITY.md」です。これらの文書は、AI の「性格」、口調、アイデンティティ、気質を雄弁かつ長々と定義しており、AI の精神状態さえも書き留めようとしています。
そのため、ユーザーが「こんにちは」と送信しただけでも、Openclaw はその挨拶の数十倍の長さのテキストを後ろに添付してモデルに一度に送信することがあります。 「この AI には魂が宿っている」ように見えますが、実際にはシステムが非常に長い背景設定を密かにリクエストに詰め込んでいるだけであることがよくあります。
エンジニアリングの観点から見ると、これは確かにアプローチです。もっと穏やかにしたい場合は「優しい」と書きます。もっとストーリーテリングにしたい場合は、「ストーリーテリング」と書きます。深夜ラジオの司会者のようにしたい場合は、深夜、交友、休止、弱さ、理解、自制をすべてプロンプトの言葉で書きましょう。最終的な効果は、多くの場合、チャットできる人のようになります。
しかし、AI で今何が起こっているのかを理解すれば、「SOUL.md」や「IDENTITY.md」のような不思議な響きの名前を持つファイルは、本質的にはプロンプト ワード プロジェクトであり、デジタル ライフのための自己啓発書ではないことがわかるでしょう。それらは出力スタイルに影響を与えることはできますが、真の感情、真の自己、真の人格の連続性を何もないところから作り出すことはできません。
したがって、一部の古いユーザーが Openclaw をインストールした後の最初の反応は、構成を削除することです。最初に「SOUL.md」と「IDENTITY.md」が削除され、「AGENTS.md」には「あなたはただの労働者です」という単純かつほぼ無慈悲な一文だけが残されます。
これは少し失礼に聞こえるかもしれませんが、少なくとも 1 つの利点があります。それは、自分自身を欺かなくなるということです。
擬人化された AI や AI を使ったロールプレイングが好きなら、もちろんそれは問題ありません。人間は鏡に話しかけたり、掃除ロボットに名前を付けたり、天気予報に「今日はとても正確でしたね」と言うことができます。これらは正常なことであり、面白い場合もあります。
しかし、常に覚えておくことが最善です。それは最初にゲームであり、次に経験であるということです。このゲームで人々が抱く感情の多くは、AI の隠された内面から来るものではなく、システム設計、即時の言葉の配置、ユーザー自身の感情の投影から来ています。もっと率直に言うと、AI への動きの多くは依然として基本的に希望的観測にすぎません。
最終的には、神話が減り、理解が深まりました
AIに冷や水を浴びせようとしているわけではありません。逆に神格化が低いほど、その威力が実感できる。
それが強力なのは、それが新しい神のようなものだからではありません。それが強力なのは、まさにそれが実際に計算可能、工学的、再現可能な認知技術である可能性があるためです。これまでは「人間の才能」にしか属していないと思われていた数々の能力が、初めて大規模かつ敷居が低く、呼び出せる形で現れるようになりました。これだけでも十分に衝撃的であり、これ以上のドラマは必要ありません。
もちろん、AI は依然として高速で反復を行っています。誰かが人間の記憶、継続的な学習、感情の生成、さらには将来の自己維持に近いメカニズムを実際に発見し、それを確実に AI に組み込んだとしても、私はまったく驚きません。
しかし、その日が来るまで、私はまだ、もっと疑い、もっと理解し、推測を減らすという単純で実用的な習慣を維持したいと思っています。
AI について熱心に議論する文系の友人にとって、この特質はさらに重要になる可能性があります。文系の学生は甘いレトリックが得意かもしれません。本当に難しいのは、「霊になったようだ」ということがどこでも誇張されている時代にあっても、次のことを区別する忍耐力がまだあるということです。
モデルの機能とは何ですか?
商品の包装とは何ですか？
ソフトウェアエンジニアリングとは何ですか?
どれも、世界のプロットを完成させたいだけなのです。
そしてこの問題は、結局のところ、私たち自身の判断を守ることに関わるのです。
参考リンク
- サム・アルトマンの返答
- TechCrunch によるこのエピソードの報道 (2025-04-20): https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/