Les illusions humaines sur l’IA sont pires que les hallucinations de l’IA

Parfois, j’ai l’impression que la plus grande « illusion » de l’IA n’est pas qu’elle raconte des bêtises sérieusement, mais que nous avons imaginé tout un univers métaphysique autour d’elle.

Lorsque les êtres humains sont confrontés à des choses qu'ils ne comprennent pas très bien, ils ont souvent une approche stable : ils se font d'abord une idée, puis les romantisent ; ils les personnifient d’abord, puis les déifient. Les flammes sont considérées comme des elfes, et le tonnerre et les éclairs comme la providence. Une fois que l’algorithme parvient à écrire deux phrases décentes, certaines personnes se demanderont immédiatement si une âme électronique a déjà vécu dans la salle des serveurs.

C'est en fait tout à fait normal. Le cerveau humain est programmé pour ajouter une intrigue au monde. Le problème n’est pas que nous puissions nous décider. Le problème est qu’une fois que notre pensée est trop fluide, il est facile de confondre « ressemble » avec « est essentiellement ».

Dans le cas de l’IA, cette tendance des humains est encore plus forte que lorsque l’IA elle-même dit des bêtises. Tout au plus, l’IA est une petite hallucination dans une réponse ; Les hallucinations des êtres humains à propos de l'IA sont souvent une vision du monde globale, qui peut contenir jusqu'à 10 000 mots dans un seul esprit, et qui contient également des émotions.

Un peu de pragmatisme est particulièrement important pour la communauté des arts libéraux

Je ne veux pas conseiller à tout le monde d'apprendre CUDA, de configurer l'environnement et de regarder les matrices pour trouver des dérivées. Je veux juste dire que la recherche de la vérité est parfois très importante, en particulier pour la communauté des arts libéraux qui aime les concepts, les récits, les significations et les explications.

Car dans le contexte des arts libéraux, une pente glissante douce mais dangereuse risque fort de se produire : les mots sont magnifiquement écrits et les phrases sont émouvantes, mais au final l’objet est secrètement modifié. C’est évidemment un modèle probabiliste, mais il est écrit comme s’il s’agissait de l’âme ; c'est évidemment de l'assemblage de contexte en génie logiciel, mais ça se dit comme « il a enfin appris à t'aimer » ; ce sont évidemment les mots d’invite du système et les enregistrements historiques qui fonctionnent, mais c’est présenté comme « L’IA se souvient vraiment de vous ».

Il n’y a certainement aucun péché à être poétique. Le problème est que si la poésie remplace le jugement, la romance devient trompeuse.

Alors, qu’est-ce que l’IA exactement maintenant ?

Permettez-moi de commencer par une version aussi simple que possible mais non déformée : les grands modèles avec lesquels tout le monde entre en contact aujourd'hui sont essentiellement un type de modèle statistique inspiré des réseaux de neurones et entraîné à partir de données massives. Il fonctionne sur des puces et des serveurs, lit les entrées, combine les paramètres et le contexte et prédit en permanence « quel devrait être le prochain jeton le plus approprié ».

Le point ici n’est pas que l’expression « prédire le mot suivant » soit mystérieuse, mais qu’elle ne l’est en réalité pas du tout. Le modèle n'est pas une petite personne blottie dans les nuages ​​​​pensant silencieusement à la vie, il s'agit plutôt d'une fonction extrêmement énorme. Les gens lui donnent leur contribution et il génère une sortie en fonction de la structure des paramètres formée lors de la formation.

Pour dire les choses de manière plus terre-à-terre : il ne s'agit pas de « dire après l'avoir compris », mais de « après avoir compressé une énorme quantité d'expérience, générez une réponse qui ressemble le plus à une compréhension dans le contexte actuel ». Cela ne veut pas dire qu’il ne peut rien faire, au contraire, il est déjà très puissant ; mais être puissant ne veut pas dire qu’il soit mystérieux.

Pourquoi les réseaux de neurones font-ils toujours penser au cerveau humain ?

Si vous continuez à chercher, vous constaterez que la question « L’IA et le cerveau humain se ressemblent-ils ? » ne peut ni être considéré comme « exactement le même » ni « n’a rien à voir avec cela ».

Le tracé des réseaux neuronaux modernes s’inspire à l’origine du cerveau. En 1943, McCulloch et Pitts ont décrit mathématiquement un modèle neuronal simplifié ; en 1958, Rosenblatt propose le perceptron ; dans les années 1980, la rétropropagation a ravivé l’espoir de former des réseaux multicouches ; dans les années 2010, l’apprentissage profond a explosé grâce à la puissance de calcul, aux données et aux capacités d’ingénierie ; Après l'émergence de l'architecture Transformer en 2017, les modèles de langage ont explosé et sont finalement devenus les grands modèles que tout le monde utilise quotidiennement.

Par conséquent, au moins dans un sens relativement naïf, il n’est pas scandaleux de dire que l’IA est « une simulation électronique et une amplification d’idées de réseaux neuronaux ». Il s’agit en effet d’utiliser des systèmes physiques calculables, entraînables et reproductibles pour approcher certaines capacités cognitives autrefois considérées comme « mystérieuses ».

C’est pourquoi personnellement, je n’aime pas parler du cerveau humain comme étant trop mystérieux. À mon avis, la théorie innée du langage représentée par Chomsky a tendance à déifier le cerveau, comme s’il existait une sorte de structure transcendantale trop spéciale et presque inaccessible au plus profond de la capacité linguistique. Mais quelle que soit la complexité du cerveau humain, il reste une existence physique. Puisqu’il s’agit d’une existence physique, elle devrait en principe pouvoir être étudiée, modélisée, partiellement simulée, voire reproduite dans certaines fonctions.

Bien entendu, il convient d’emblée d’ajouter ici une mise en garde : pouvoir simuler une partie ne signifie pas que la personne dans son intégralité a été entièrement reproduite.

Il y a des similitudes, mais ne deviens pas directement un dieu quand tu es heureux

En termes de langage, de reconnaissance de formes, d'apprentissage d'association et de représentation, les grands modèles actuels présentent effectivement une certaine « similarité » ou « similarité » avec le cerveau humain. Ils ne fonctionnent pas à partir d'un livre de règles explicites, mais forment une sorte de représentation interne à travers un grand nombre de connexions, d'ajustements de poids et d'accumulation d'expérience, puis produisent un résultat basé sur cela.

C'est pourquoi de nombreuses personnes sont choquées lorsqu'elles découvrent pour la première fois les capacités linguistiques d'un grand modèle : il ne s'agit pas de mémoriser un dictionnaire, il s'agit de former une sorte de représentation distribuée. Cette méthode est très différente de l'imaginaire traditionnel des « règles manuscrites et grammaire exhaustive ».

Mais le problème est précisément là. Parce que la « similarité » est trop facilement transformée en « exactement la même » ; « partiellement similaire en principe » est trop facilement transformé en « il n'est pas différent d'un être humain » ; « il peut parler comme un être humain » est trop facilement transformé en « il a un cœur humain ».

Cette étape est souvent plus rapide que la capacité du modèle elle-même.

Les vastes capacités du cerveau humain doivent encore être simulées de manière décente.

Les gros modèles d'aujourd'hui sont vraiment solides, mais ils le sont dans une gamme assez précise. Sans cette portée, le mythe risque de couler facilement.

Comme la mémoire. Beaucoup de gens disent maintenant qu'une certaine IA « se souvient de moi », « se souvient de la dernière conversation » et « se souvient de mes préférences », comme si son cerveau avait développé une sorte d'expérience personnelle continue. Mais dans la plupart des produits, ce que l'on appelle la « mémoire » est essentiellement le système logiciel stockant les informations utilisateur, les conversations historiques, les balises, les résumés ou les résultats de recherche dans des bases de données, des fichiers texte ou d'autres supports persistants, puis les réinsérant dans le contexte du modèle, le cas échéant.

Ceci est complètement différent du mécanisme de mémoire du cerveau humain.

La mémoire du cerveau humain implique la connexion neuronale, la consolidation, la récupération, l’oubli, l’excitation émotionnelle et la restructuration du sommeil. Derrière cela se cache un ensemble de processus physiologiques complexes. La « mémoire » des produits grand modèle est souvent simplement :

1. Tout d’abord, enregistrez les informations de l’utilisateur dans un stockage externe.
2. Lorsque l'utilisateur posera une question la prochaine fois, remettez les parties pertinentes dans la demande.
3. Le modèle ressemble donc à « souviens-toi de cette personne ».

A quoi ça ressemble ? C'est plutôt comme regarder quelqu'un qui sait bien prendre des notes. Ce n'est pas que son esprit se soit soudainement transformé en oracle, c'est juste qu'il a mis la note dans son cahier et l'a retournée la prochaine fois.

Certaines choses qui « touchent le cœur des gens » sont en réalité le résultat d’un bon contexte.

Après avoir discuté avec AI pendant quelques jours, de nombreuses personnes seront frappées par certains moments : « Comment me comprend-elle si bien ? "Comment peut-il comprendre ma vulnérabilité ?" "Est-ce que cela a déjà permis de me comprendre?"

Cela vaut vraiment la peine de se rafraîchir ici.

Souvent, ce n'est pas que le modèle réalise soudainement quelque chose, mais que la couche logicielle qui envoie la requête fournit secrètement une grande quantité d'informations à l'utilisateur. Les discussions historiques de l'utilisateur, ses préférences, ses paramètres personnels, ses tâches récentes, ses soucis antérieurs et même certains résumés deviendront cette fois le matériau de sa réponse.

C'est un peu comme une diseuse de bonne aventure qui prenait la boîte express de quelqu'un d'autre et commençait ensuite à deviner l'adresse, le nom de famille et les habitudes de consommation de l'autre personne avec une « précision magique ». Les spectateurs penseront que sa perspicacité est étonnante ; mais ce qui compte vraiment, ce n’est pas la capacité mystérieuse, mais l’asymétrie de l’information.

Par conséquent, lorsque l’IA prononce occasionnellement des mots touchants, cela ne signifie pas nécessairement qu’il y a dans son cœur une personne qui comprend l’utilisateur. Cela peut simplement signifier que quelqu'un a entièrement organisé le contexte concernant l'utilisateur.

Le véritable secret d’une IA étonnante réside souvent dans l’ingénierie contextuelle

Si je veux juste parler de la chose la plus critique, c'est la suivante : les grands modèles courants actuels sont généralement "efficaces sur une seule requête" au niveau de l'API.

Quelle est la signification ? Autrement dit, quelqu'un utilise « curl » pour ajuster l'interface une fois et lui dit « Je m'appelle Zhang San » ; puis sans historique, le modèle ajuste à nouveau l'interface et demande « Quel est mon nom » ? Le modèle ne le sait pas. Car pour lui, ce sont deux demandes indépendantes.

La raison pour laquelle de nombreux produits d'IA semblent toujours se souvenir d'un certain utilisateur est que la couche produit ramènera le fait que « le nom de cet utilisateur est Zhang San » à chaque fois qu'il est demandé.

C’est pourquoi la magie des produits d’IA d’aujourd’hui ne réside souvent pas dans l’ontologie du modèle, mais dans l’ingénierie contextuelle. Certaines personnes appellent également ce type de travail de « mise à profit » du modèle « harnais ». Pour parler franchement, l'auteur du produit ou de l'agent doit décider soigneusement : quel historique, quelles règles, quelles données externes et quel statut d'utilisateur doivent être inclus dans chaque demande.

Il existe actuellement environ deux méthodes courantes.

La première est la « Secte Quansai ». Essayez d'emporter l'intégralité de l'historique des discussions avec vous et autant de choses que possible jusqu'à ce que le contexte soit presque plein, puis supprimez une section du milieu, tout comme démarrer une compression violente après qu'une valise soit pleine de choses.

Le deuxième type est « sélectif ». Regardez d'abord ce que l'utilisateur a demandé cette fois-ci, puis récupérez le contenu pertinent à partir des enregistrements historiques, des bases de connaissances, des notes ou des bases de données, et insérez uniquement les éléments les plus pertinents dans la demande actuelle.

Ce dernier est généralement plus présentable et technique que juste de la chance.

L'IA a-t-elle des sentiments ? Louez-le, grondez-le, PUA, est-ce que ça marche ?

C’est un autre endroit où il est particulièrement facile de sombrer dans l’anthropomorphisme.

Mon avis est qu'ils devraient être discutés séparément.

Dans une même requête, le ton utilisé par l'utilisateur peut en effet affecter le résultat. Parce que la formulation elle-même fait partie du contexte. Plus l’expression est claire, polie et coopérative, plus il est facile pour le modèle de donner des réponses stables, utilisables et moins agressives. Ce qui fonctionne ici n'est pas que "il a été déplacé", mais que le style d'entrée modifie la distribution de sortie.

Mais si l’on se pose une autre question : est-ce qu’il gardera rancune ? Allez-vous secrètement riposter aujourd'hui parce qu'un utilisateur l'a réprimandé hier ? Mon verdict est non, du moins pour la plupart des déploiements actuels.

La raison est simple. Une fois le contexte effacé ou une nouvelle requête sans historique lancée, il n'a aucune idée de qui est la personne actuelle qui pose la question, et encore moins si la personne qui vient de la gronder est la même personne. Le modèle gère des requêtes massives, simultanées et indépendantes sur le cluster de serveurs. En termes de comportement du système, il s'agit plus d'une grande fonction qui fonctionne sur l'entrée actuelle à chaque fois qu'il est allumé, plutôt que d'une personne qui examine secrètement ses émotions après avoir quitté le travail.

Le 17 avril 2025, lorsque Sam Altman a répondu à la question « Est-ce que dire s'il vous plaît et merci tout le temps coûte beaucoup d'énergie ? sur X, il a dit « des dizaines de millions de dollars bien dépensés – on ne sait jamais ».

Pourquoi "Veuillez vous souvenir de cette erreur" ne fonctionne généralement pas

De nombreuses personnes ont fait des expériences similaires : lorsque l'IA fait une erreur, l'utilisateur la corrige et lui dit sérieusement : « S'il vous plaît, rappelez-vous, ne recommencez plus à l'avenir ». Puis j'ai demandé à nouveau après quelques jours, et c'était correct.

Ce n’est pas un mystère. Car une fois la formation terminée et le modèle déployé, il ne continuera pas à apprendre de ses expériences quotidiennes tout en travaillant comme un humain. Au moins dans la plupart des produits de consommation actuels, ce qu'un seul utilisateur dit au modèle dans la fenêtre de discussion ne réécrit pas directement les pondérations sous-jacentes.

Si un produit d'IA « se souvient réellement des erreurs corrigées par l'utilisateur », ce n'est souvent pas parce que le modèle lui-même se développe, mais parce que le logiciel externe enregistre cet enregistrement de correction et le renvoie ensuite comme contexte.

Le crédit doit donc être clairement distingué ici :

Le modèle est responsable de la génération.

Le génie logiciel est responsable de l’archivage, de la récupération, de l’injection et de l’orchestration.

En confondant ce dernier avec le premier, il est facile de confondre « le produit se porte bien » avec « l’IA s’éveille ».

Il y a aussi une chose particulièrement fascinante appelée "Scumbag male (scumbag female) AI"

Si nous exprimons les mots précédents encore plus durement, alors certains produits sont simplement des « IA salauds ».

Il est particulièrement doué pour parler, particulièrement doué pour créer une atmosphère, et sait surtout faire sentir aux gens qu'« il me comprend bien », « qu'il est si humain » et « son âme est si complète ». Mais lorsque vous le démontez, vous constaterez que dans de nombreux cas, chaque requête est simplement remplie d'un texte de paramétrage volumineux, bien plus long que la question de l'utilisateur.

L’incendie d’Openclaw en est un exemple typique. Quiconque l’a utilisé sait qu’il nécessite beaucoup de jetons. La raison n’est en réalité pas mystérieuse. Afin de faire de l'IA un « être humain », Openclaw a conçu plusieurs documents, les plus importants étant « AGENTS.md », « SOUL.md » et « IDENTITY.md ». Ces documents définissent la « personnalité », le ton, l'identité et le tempérament de l'IA de manière éloquente et longue, et veulent même écrire son état mental.

Ainsi, même si l'utilisateur envoie simplement « bonjour », Openclaw peut joindre un texte des dizaines de fois plus long que le message d'accueil au dos et l'envoyer au modèle en une seule fois. On dirait que "cette IA a beaucoup d'âme", mais en fait, il s'agit souvent simplement du système qui insère secrètement de très longs paramètres d'arrière-plan dans la requête.

D'un point de vue technique, il s'agit certainement d'une approche. Si vous voulez que ce soit plus doux, écrivez « doux » ; si vous voulez que ce soit plus narratif, écrivez « storytelling » ; si vous voulez que ce soit comme un animateur de radio de fin de soirée, écrivez toute la fin de la nuit, la camaraderie, la pause, la vulnérabilité, la compréhension et la retenue dans les mots d'invite. L’effet final ressemble souvent davantage à une personne capable de discuter.

Mais si vous comprenez ce qui se passe maintenant avec l'IA, vous le saurez : les fichiers aux noms mystérieux comme « SOUL.md » et « IDENTITY.md » sont essentiellement des projets de mots rapides, et non des auto-instructions pour la vie numérique. Ils peuvent influencer le style de sortie, mais ils ne peuvent pas créer à partir de rien un vrai sentiment, un vrai soi ou un véritable sentiment de continuité de la personnalité.

Par conséquent, après que certains anciens utilisateurs ont installé Openclaw, leur première réaction est de supprimer la configuration. SOUL.md et IDENTITY.md sont supprimés en premier, ne laissant qu'une seule phrase simple et presque impitoyable dans AGENTS.md : Vous n'êtes qu'un travailleur.

Cela peut paraître un peu grossier, mais cela présente au moins un avantage, c’est qu’on ne se trompe pas.

Si vous aimez l’IA anthropomorphique ou les jeux de rôle avec l’IA, bien sûr, ça va. Les humains peuvent parler à des miroirs, donner des noms à des robots balayeurs et dire aux prévisions météorologiques : « Vous avez été très précis aujourd'hui. » C’est normal et peut même être drôle.

Mais il est toujours préférable de se rappeler : c'est d'abord un jeu et ensuite une expérience. La plupart des sentiments que les gens ressentent dans ce jeu ne proviennent pas des pensées intérieures cachées de l'IA, mais de la conception du système, de la disposition des mots rapides et de la propre projection émotionnelle de l'utilisateur. Pour le dire plus crûment, bon nombre des avancées en faveur de l’IA restent essentiellement des vœux pieux.

En dernière analyse, moins de mythes et plus de compréhension

Je n’essaie pas de jeter de l’eau froide sur l’IA. Au contraire, moins il est déifié, plus on peut vraiment voir à quel point il est puissant.

Il est puissant, non pas parce qu’il ressemble à un nouveau dieu ; elle est puissante précisément parce qu’il s’agit peut-être en réalité d’une technologie cognitive calculable, concevable et reproductible. Il permet à de nombreuses capacités qui semblaient n'appartenir qu'au « talent humain » dans le passé d'apparaître pour la première fois à grande échelle, à faible seuil et appelables. C’est déjà assez choquant et il n’est pas nécessaire de dramatiser davantage.

Bien entendu, l’IA continue d’évoluer rapidement. Je ne serais pas du tout surpris si quelqu’un découvrait un mécanisme plus proche de la mémoire humaine, de l’apprentissage continu, de la génération d’émotions ou même de l’autosuffisance dans le futur et l’intégrait de manière fiable dans l’IA.

Mais en attendant ce jour, je préfère conserver quelques habitudes pragmatiques simples : douter davantage, comprendre davantage et spéculer moins.

Pour les amis des arts libéraux désireux de discuter de l’IA, cette qualité peut être encore plus importante. Les étudiants en arts libéraux sont peut-être meilleurs en rhétorique douce. Ce qui est vraiment difficile, c'est qu'à une époque où « ça semble être devenu un esprit » est exagéré partout, on a encore la patience de distinguer :

Quelles sont les capacités du modèle ?

Qu’est-ce que l’emballage d’un produit ?

Qu’est-ce que le génie logiciel ?

Lesquelles sont simplement que nous voulons trop compléter l'intrigue pour le monde.

Et cette question, en fin de compte, concerne la protection de notre propre jugement.

Lien de référence

• Réponse de Sam Altman sur
• Couverture de l'épisode par TechCrunch (20/04/2025) : https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/