Menschliche Wahnvorstellungen über KI sind schlimmer als KI-Halluzinationen

Manchmal habe ich das Gefühl, dass die größte „Illusion“ der KI nicht darin besteht, dass sie ernsthaft Unsinn redet, sondern dass wir uns ein ganzes metaphysisches Universum um sie herum vorgestellt haben.

Wenn Menschen mit Dingen konfrontiert werden, die sie nicht ganz verstehen, verfolgen sie oft eine stabile Haltung: Sie entscheiden sich zunächst und romantisieren sie dann; sie personifizieren sie zunächst und vergöttern sie dann. Flammen gelten als Elfen und Donner und Blitz gelten als Vorsehung. Sobald der Algorithmus zwei anständige Sätze schreiben kann, wird sich mancher sofort fragen, ob im Serverraum bereits eine elektronische Seele gelebt hat.

Das ist eigentlich ganz normal. Das menschliche Gehirn ist darauf ausgelegt, der Welt eine Handlung hinzuzufügen. Das Problem ist nicht, dass wir uns entscheiden können. Das Problem besteht darin, dass es leicht ist, „sieht aus wie“ mit „im Wesentlichen ist“ zu verwechseln, wenn unser Denken zu glatt ist.

Bei KI ist diese Neigung des Menschen sogar noch stärker ausgeprägt, als wenn die KI selbst Unsinn redet. KI ist höchstens eine kleine Halluzination in einer Antwort; Die Halluzinationen der Menschen über KI sind oft eine ganze Weltanschauung, die bis zu 10.000 Wörter in einem Kopf füllen kann und auch Emotionen enthält.

Ein wenig Pragmatismus ist besonders wichtig für die Geisteswissenschaften

Ich möchte nicht jedem raten, CUDA zu lernen, die Umgebung zu konfigurieren und sich Matrizen anzusehen, um Ableitungen zu finden. Ich möchte nur sagen, dass die Suche nach der Wahrheit manchmal wirklich wichtig ist, insbesondere für die Gemeinschaft der freien Künste, die Konzepte, Erzählungen, Bedeutungen und Erklärungen liebt.

Denn im Kontext der freien Künste ist es am wahrscheinlichsten, dass es zu einem sanften, aber gefährlichen Abrutschen kommt: Die Wörter sind schön geschrieben und die Sätze bewegen sich, aber am Ende wird der Gegenstand heimlich verändert. Es handelt sich offensichtlich um ein probabilistisches Modell, aber es ist so geschrieben, als ginge es um die Seele; Es handelt sich offensichtlich um Kontextassemblierung in der Softwareentwicklung, aber es heißt so: „Es hat endlich gelernt, dich zu lieben“; Offensichtlich sind es die Eingabeaufforderungen des Systems und historische Aufzeichnungen, die funktionieren, aber die Aussage lautet: „KI erinnert sich wirklich an Sie.“

Es ist sicherlich keine Sünde, poetisch zu sein. Das Problem ist, dass Romantik irreführend wird, wenn Poesie das Urteil ersetzt.

Was genau ist nun KI?

Lassen Sie mich mit einer möglichst einfachen, aber nicht verzerrten Version beginnen: Die großen Modelle, mit denen heute jeder in Kontakt kommt, sind im Wesentlichen eine Art statistisches Modell, das von neuronalen Netzen inspiriert und durch massive Daten trainiert wird. Es läuft auf Chips und Servern, liest Eingaben, kombiniert Parameter und Kontext und sagt kontinuierlich voraus, „welches das nächstbeste Token sein sollte“.

Der Punkt hier ist nicht, dass der Ausdruck „das nächste Wort vorhersagen“ mysteriös ist, sondern dass er eigentlich überhaupt nicht mysteriös ist. Das Modell ist kein kleiner Mensch, der schweigend in den Wolken über das Leben nachdenkt, sondern eher eine extrem große Funktion. Die Leute geben ihm Eingaben und es generiert eine Ausgabe entsprechend der während des Trainings gebildeten Parameterstruktur.

Um es auf den Boden der Tatsachen zu bringen: Es geht nicht darum, „es zu sagen, nachdem man es verstanden hat“, sondern „nach der Komprimierung einer großen Menge Erfahrung eine Antwort zu erzeugen, die dem Verstehen im aktuellen Kontext am ähnlichsten ist.“ Das bedeutet nicht, dass es nichts kann, im Gegenteil, es ist bereits sehr mächtig; aber mächtig zu sein bedeutet nicht, dass es mysteriös ist.

Warum denken Menschen bei neuronalen Netzen immer an das menschliche Gehirn?

Wenn Sie dem weiter nachgehen, werden Sie feststellen, dass sich die Frage „Ähneln sich KI und menschliche Gehirne?“ nicht stellt. Man kann weder sagen, dass es „exakt dasselbe“ ist, noch „hat es nichts damit zu tun“.

Der Weg moderner neuronaler Netze wurde ursprünglich vom Gehirn inspiriert. Im Jahr 1943 beschrieben McCulloch und Pitts mathematisch ein vereinfachtes Neuronenmodell; 1958 schlug Rosenblatt das Perzeptron vor; in den 1980er Jahren entfachte die Backpropagation die Hoffnung, mehrschichtige Netzwerke zu trainieren; In den 2010er Jahren erlebte Deep Learning einen Aufschwung mit Rechenleistung, Daten und technischen Fähigkeiten. Nach dem Erscheinen der Transformer-Architektur im Jahr 2017 erlebten die Sprachmodelle einen rasanten Aufschwung und entwickelten sich schließlich zu großen Modellen, die jeder täglich nutzt.

Daher ist es, zumindest in einem relativ naiven Sinne, nicht unverschämt zu sagen, dass KI „elektronische Simulation und Verstärkung neuronaler Netzwerkideen“ ist. Es wird tatsächlich versucht, berechenbare, trainierbare und reproduzierbare physikalische Systeme zu nutzen, um bestimmte kognitive Fähigkeiten zu erreichen, die in der Vergangenheit als „mysteriös“ galten.

Aus diesem Grund möchte ich persönlich nicht davon sprechen, dass das menschliche Gehirn zu mysteriös ist. Meiner Meinung nach hat die von Chomsky vertretene angeborene Sprachtheorie die Tendenz, das Gehirn zu vergöttern, als ob es eine Art transzendentale Struktur gäbe, die zu speziell und tief in der Sprachfähigkeit fast unzugänglich ist. Aber egal wie komplex das menschliche Gehirn ist, es ist immer noch eine physische Existenz. Da es sich um eine physische Existenz handelt, sollte es im Prinzip untersucht, modelliert, teilweise simuliert und in bestimmten Funktionen sogar reproduziert werden können.

Natürlich müssen wir hier gleich eine Warnung anbringen: Die Möglichkeit, einen Teil zu simulieren, bedeutet nicht, dass die gesamte Person vollständig reproduziert wurde.

Es gibt Ähnlichkeiten, aber werde nicht direkt ein Gott, wenn du glücklich bist

In Bezug auf Sprache, Mustererkennung, Assoziations- und Repräsentationslernen weisen die heutigen großen Modelle tatsächlich eine gewisse „Ähnlichkeit“ oder „Ähnlichkeit“ mit dem menschlichen Gehirn auf. Sie arbeiten nicht nach einem expliziten Regelwerk, sondern bilden durch eine Vielzahl von Verbindungen, Gewichtsanpassungen und Erfahrungsakkumulation eine Art interne Darstellung und geben diese dann auf dieser Grundlage aus.

Aus diesem Grund sind viele Menschen schockiert, wenn sie zum ersten Mal die Sprachfähigkeiten eines großen Modells erleben: Es geht nicht darum, sich ein Wörterbuch zu merken, sondern um die Bildung einer Art verteilter Darstellung. Diese Methode unterscheidet sich stark von der traditionellen Vorstellung von „handschriftlichen Regeln und umfassender Grammatik“.

Aber genau hier liegt das Problem. Weil „Ähnlichkeit“ zu leicht zu „genau gleich“ hochgestuft wird; „im Prinzip teilweise ähnlich“ wird zu leicht zu „es unterscheidet sich nicht von einem Menschen“ hochgestuft; „Es kann wie ein Mensch sprechen“ wird zu leicht zu „Es hat ein menschliches Herz“ aufgewertet.

Dieser Schritt ist oft schneller als die Modellfähigkeit selbst.

Die enormen Fähigkeiten des menschlichen Gehirns müssen noch auf anständige Weise simuliert werden.

Die heutigen großen Modelle sind wirklich stark, aber sie sind innerhalb eines ganz bestimmten Bereichs stark. Ohne diesen Rahmen wird der Mythos leicht durchsickern.

Wie zum Beispiel die Erinnerung. Viele Leute sagen jetzt, dass eine bestimmte KI „sich an mich erinnert“, „sich an den letzten Chat erinnert“ und „sich an meine Vorlieben erinnert“, als ob in ihrem Gehirn eine Art fortlaufende Selbsterfahrung gewachsen wäre. Bei den meisten Produkten ist der sogenannte „Speicher“ jedoch im Wesentlichen das Softwaresystem, das Benutzerinformationen, historische Konversationen, Tags, Zusammenfassungen oder Suchergebnisse in Datenbanken, Textdateien oder anderen dauerhaften Medien speichert und sie dann bei Bedarf wieder in den Kontext des Modells einfügt.

Dies unterscheidet sich völlig vom Gedächtnismechanismus des menschlichen Gehirns.

Das menschliche Gehirngedächtnis umfasst die Verbindung, Konsolidierung, den Abruf, das Vergessen, die emotionale Erregung und die Umstrukturierung des Schlafes von Neuronen. Dahinter verbirgt sich eine Reihe komplexer physiologischer Prozesse. Der „Speicher“ in großen Modellprodukten ist oft nur:

1. Zeichnen Sie zunächst die Benutzerinformationen im externen Speicher auf.
2. Wenn der Benutzer das nächste Mal eine Frage stellt, fügen Sie die relevanten Teile wieder in die Anfrage ein.
3. Das Modell sieht also so aus: „Erinnere dich an diese Person“.

Wie sieht es aus? Es ist eher so, als würde man jemanden beobachten, der gut darin ist, sich Notizen zu machen. Es war nicht so, dass sich sein Geist plötzlich in ein Orakel verwandelte, es lag nur daran, dass er die Notiz in sein Notizbuch steckte und es beim nächsten Mal umdrehte.

Manche Dinge, die „die Herzen der Menschen berühren“, sind tatsächlich das Ergebnis eines guten Kontexts.

Nachdem sie ein paar Tage mit der KI gechattet haben, werden viele von bestimmten Momenten getroffen: „Wie versteht sie mich so gut?“ „Wie kann es meine Verletzlichkeit überhaupt verstehen?“ „Hat es schon ein Verständnis für mich gebildet?“

Hier lohnt es sich am meisten, sich abzukühlen.

Oft ist es nicht so, dass das Modell plötzlich etwas erkennt, sondern dass die Softwareschicht, die die Anfrage sendet, heimlich große Mengen an Benutzerinformationen übermittelt. Die historischen Chats, Vorlieben, persönlichen Einstellungen, letzten Aufgaben, früheren Sorgen und sogar bestimmte Zusammenfassungen des Benutzers werden dieses Mal zum Material für seine Antwort.

Es ist ein bisschen wie bei einer Wahrsagerin, die das Express-Postfach einer anderen Person in die Hand nimmt und dann beginnt, die Adresse, den Nachnamen und die Ausgabegewohnheiten der anderen Person mit „magischer Genauigkeit“ zu erraten. Die Zuschauer werden denken, dass seine Einsicht erstaunlich ist; Aber was wirklich zählt, ist nicht die mysteriöse Fähigkeit, sondern die Informationsasymmetrie.

Wenn die KI gelegentlich berührende Worte sagt, bedeutet dies daher nicht unbedingt, dass sich in ihrem Herzen eine Person befindet, die den Benutzer versteht. Es kann einfach bedeuten, dass jemand den Kontext über den Benutzer vollständig geordnet hat.

Das wahre Geheimnis erstaunlicher KI ist oft kontextbezogenes Engineering

Wenn ich nur über das Wichtigste sprechen möchte, dann ist es: Die aktuellen großen Mainstream-Modelle sind auf API-Ebene normalerweise „auf eine einzelne Anfrage hin wirksam“.

Was ist die Bedeutung? Das heißt, jemand verwendet „curl“, um die Schnittstelle einmal anzupassen und ihr zu sagen: „Mein Name ist Zhang San“; Dann passt das Modell ohne Verlauf die Benutzeroberfläche erneut an und fragt: „Wie ist mein Name?“ Das Modell weiß es nicht. Denn es handelt sich hierbei um zwei unabhängige Anfragen.

Der Grund, warum sich viele KI-Produkte immer an einen bestimmten Benutzer erinnern, liegt darin, dass die Produktschicht bei jeder Anforderung die Tatsache zurückgibt, dass „der Name dieses Benutzers Zhang San ist“.

Aus diesem Grund liegt die Magie heutiger KI-Produkte oft nicht in der Modellontologie, sondern im kontextuellen Engineering. Manche Leute nennen diese Art der „Einspannarbeit“ des Modells auch „Geschirr“. Um es ganz klar auszudrücken: Der Autor des Produkts oder Agent muss sorgfältig entscheiden, welcher Verlauf, welche Regeln, welche externen Daten und welcher Benutzerstatus in jede Anfrage einbezogen werden sollen.

Derzeit gibt es grob zwei gängige Methoden.

Die erste ist die „Quansai-Sekte“. Versuchen Sie, den gesamten Chat-Verlauf mitzunehmen und so viel wie möglich einzupacken, bis der Kontext fast voll ist, und löschen Sie dann einen Abschnitt aus der Mitte, so als würden Sie eine heftige Komprimierung starten, nachdem ein Koffer voller Sachen ist.

Der zweite Typ ist „selektiv“. Schauen Sie sich dieses Mal zunächst an, was der Benutzer gefragt hat, rufen Sie dann relevante Inhalte aus historischen Aufzeichnungen, Wissensdatenbanken, Notizen oder Datenbanken ab und fügen Sie nur die relevantesten Materialien in die aktuelle Anfrage ein.

Letzteres ist in der Regel vorzeigbarer und technischer als nur Glück.

Hat die KI Gefühle? Loben Sie es, schimpfen Sie es, PUA es, funktioniert es?

Auch hier ist es besonders leicht, in den Anthropomorphismus zu verfallen.

Meiner Meinung nach sollten sie gesondert besprochen werden.

Bei derselben Anfrage kann der vom Benutzer verwendete Ton tatsächlich das Ergebnis beeinflussen. Denn der Wortlaut selbst ist Teil des Kontextes. Je klarer, höflicher und kooperativer der Ausdruck, desto einfacher ist es für das Modell, stabile, brauchbare und weniger aggressive Antworten zu geben. Was hier funktioniert, ist nicht, dass „es verschoben wurde“, sondern dass der Eingabestil die Ausgabeverteilung ändert.

Aber wenn wir eine andere Frage stellen: Wird es einen Groll hegen? Werden Sie sich heute heimlich rächen, weil gestern ein Benutzer geschimpft hat? Mein Urteil ist, zumindest für die meisten aktuellen Bereitstellungen, nein.

Der Grund ist einfach. Sobald der Kontext geklärt ist oder eine neue Anfrage ohne Verlauf initiiert wird, hat es keine Ahnung, wer die aktuelle Person ist, die die Frage stellt, geschweige denn, ob die Person, die sie gerade beschimpft hat, dieselbe Person ist. Das Modell verarbeitet massive, gleichzeitige und unabhängige Anfragen an den Servercluster. In Bezug auf das Systemverhalten ähnelt es eher einer großen Funktion, die bei jedem Einschalten den aktuellen Eingang verarbeitet, als einer Person, die nach der Arbeit heimlich ihre Gefühle überprüft.

Als Sam Altman am 17. April 2025 auf die Frage antwortete: „Kostet es viel Energie, ständig „Bitte“ und „Danke“ zu sagen? Auf X sagte er: „Dutzende Millionen Dollar sind gut angelegt – man weiß nie.“

Warum „Bitte merken Sie sich diesen Fehler“ normalerweise nicht funktioniert

Viele Menschen haben ähnliche Experimente durchgeführt: Wenn die KI einen Fehler macht, korrigiert der Benutzer ihn und sagt ernst: „Bitte denken Sie daran, machen Sie es in Zukunft nicht noch einmal.“ Dann habe ich nach ein paar Tagen noch einmal nachgefragt und es war richtig.

Das ist kein Geheimnis. Denn nach Abschluss des Trainings und der Bereitstellung des Modells wird es nicht mehr aus seinen täglichen Erfahrungen lernen und gleichzeitig wie ein Mensch arbeiten. Zumindest bei den meisten Konsumgütern heutzutage ändert das, was ein einzelner Benutzer dem Modell im Chatfenster sagt, nicht direkt die zugrunde liegenden Gewichtungen.

Wenn sich ein KI-Produkt später wirklich „die vom Benutzer korrigierten Fehler merkt“, liegt das oft nicht daran, dass das Modell selbst wächst, sondern daran, dass die äußere Software diesen Korrekturdatensatz speichert und ihn dann als Kontext zurückmeldet.

Der Kredit sollte hier also klar unterschieden werden:

Das Modell ist für die Generierung verantwortlich.

Die Softwareentwicklung ist für die Archivierung, den Abruf, die Injektion und die Orchestrierung verantwortlich.

Wenn man Letzteres mit Ersterem verwechselt, kann man „das Produkt läuft gut“ leicht mit „KI erwacht“ missverstehen.

Es gibt auch eine besonders faszinierende Sache namens „Drecksack-männliche (Drecksack-weibliche) KI“.

Wenn wir die vorherigen Worte noch härter formulieren, dann sind einige Produkte einfach „Drecks-KI“.

Es ist besonders gut im Reden, besonders gut darin, Atmosphäre zu schaffen, und vor allem versteht es es, den Menschen das Gefühl zu geben, dass „es mich gut versteht“, „es so menschlich ist“ und „seine Seele so vollständig ist“. Wenn Sie es jedoch auseinander nehmen, werden Sie feststellen, dass in vielen Fällen jede Anfrage nur mit einem großen Einstellungstext gefüllt ist, der viel länger ist als die Frage des Benutzers.

Der Openclaw-Brand ist ein typisches Beispiel. Jeder, der es verwendet hat, weiß, dass es ziemlich Token-intensiv ist. Der Grund ist eigentlich nicht rätselhaft. Um die KI einem „Menschen“ ähnlicher zu machen, hat Openclaw mehrere Dokumente entworfen, die bekanntesten sind „AGENTS.md“, „SOUL.md“ und „IDENTITY.md“. Diese Dokumente definieren auf beredte und ausführliche Weise die „Persönlichkeit“, den Ton, die Identität und das Temperament der KI und wollen sogar ihren mentalen Zustand niederschreiben.

Selbst wenn der Benutzer also nur „Hallo“ sendet, hängt Openclaw möglicherweise einen Text an, der Dutzende Male länger als die Begrüßung ist, und sendet ihn auf einmal an das Modell. Es sieht so aus, als ob „diese KI viel Seele hat“, aber tatsächlich ist es oft nur das System, das heimlich sehr lange Hintergrundeinstellungen in die Anfrage stopft.

Aus ingenieurtechnischer Sicht ist das durchaus ein Ansatz. Wenn Sie es sanfter wünschen, schreiben Sie „sanft“; Wenn Sie möchten, dass mehr Geschichten erzählt werden, schreiben Sie „Storytelling“; Wenn Sie möchten, dass es wie ein Late-Night-Radiomoderator ist, schreiben Sie in den prompten Worten alles über „Late Night“, „Kameradschaft“, „Innehalten“, „Verletzlichkeit“, „Verständnis“ und „Zurückhaltung“. Der Endeffekt ähnelt oft eher einer Person, die chatten kann.

Aber wenn Sie verstehen, was jetzt mit KI los ist, wissen Sie: Dateien mit geheimnisvoll klingenden Namen wie „SOUL.md“ und „IDENTITY.md“ sind im Wesentlichen prompte Wortprojekte, keine Selbstanweisungen für das digitale Leben. Sie können den Ausgabestil beeinflussen, aber sie können kein wahres Gefühl, ein wahres Selbst oder ein wahres Gefühl der Kontinuität der Persönlichkeit aus dem Nichts erschaffen.

Daher besteht die erste Reaktion einiger alter Benutzer nach der Installation von Openclaw darin, die Konfiguration zu löschen. „SOUL.md“ und „IDENTITY.md“ werden zuerst gelöscht, so dass nur ein einfacher und fast schonungsloser Satz in „AGENTS.md“ übrig bleibt: Du bist nur ein Arbeiter.

Das klingt vielleicht etwas unhöflich, hat aber zumindest einen Vorteil: Sie machen sich nichts vor.

Wenn Sie anthropomorphe KI oder Rollenspiele mit KI mögen, ist das natürlich in Ordnung. Menschen können mit Spiegeln sprechen, kehrenden Robotern Namen geben und zur Wettervorhersage sagen: „Sie haben heute sehr genau geschätzt.“ Das ist normal und kann sogar lustig sein.

Aber es ist immer das Beste, sich daran zu erinnern: Es ist zuerst ein Spiel und dann ein Erlebnis. Viele der Gefühle, die Menschen in diesem Spiel haben, entstehen nicht durch die verborgenen inneren Gedanken der KI, sondern durch das Systemdesign, die schnelle Wortanordnung und die eigene emotionale Projektion des Benutzers. Um es deutlicher auszudrücken: Viele Fortschritte in Richtung KI sind im Wesentlichen immer noch Wunschdenken.

Im Endeffekt weniger Mythen und mehr Verständnis

Ich versuche nicht, die KI mit kaltem Wasser zu überschütten. Im Gegenteil: Je weniger vergöttlicht es ist, desto mehr kann man wirklich erkennen, wie mächtig es ist.

Es ist nicht deshalb mächtig, weil es wie ein neuer Gott ist; Es ist gerade deshalb leistungsstark, weil es sich möglicherweise tatsächlich um eine kognitive Technologie handelt, die berechenbar, konstruierbar und reproduzierbar ist. Es lässt viele Fähigkeiten, die früher nur zur „menschlichen Begabung“ zu gehören schienen, erstmals großflächig, niederschwellig und abrufbar erscheinen. Das ist schockierend genug und es besteht kein Bedarf für zusätzliches Drama.

Natürlich iteriert die KI immer noch schnell. Es würde mich überhaupt nicht überraschen, wenn jemand tatsächlich einen Mechanismus entdecken würde, der dem menschlichen Gedächtnis, dem kontinuierlichen Lernen, der Erzeugung von Emotionen oder sogar der Selbsterhaltung in der Zukunft näher kommt, und ihn zuverlässig in KI umwandeln würde.

Aber bis dieser Tag kommt, halte ich lieber an einigen einfachen pragmatischen Gewohnheiten fest: mehr zweifeln, mehr verstehen und weniger spekulieren.

Für Freunde der freien Künste, die gerne über KI diskutieren, ist diese Eigenschaft möglicherweise noch wichtiger. Studenten der Geisteswissenschaften sind möglicherweise besser in süßer Rhetorik. Was wirklich schwierig ist, ist, dass man in einer Zeit, in der „es scheint ein Geist geworden zu sein“ überall übertrieben wird, immer noch die Geduld hat, zu unterscheiden:

Was sind Modellfähigkeiten?

Was ist eine Produktverpackung?

Was ist Software-Engineering?

Welche davon sind nur, dass wir die Handlung für die Welt zu sehr vervollständigen wollen.

Und in dieser Angelegenheit geht es letztlich darum, unser eigenes Urteilsvermögen zu schützen.

Referenzlink

• Sam Altmans Antwort auf
• TechCrunchs Berichterstattung über die Episode (20.04.2025): https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/