Los delirios humanos sobre la IA son peores que las alucinaciones de la IA
A veces siento que la mayor "ilusión" de la IA no es que diga tonterías en serio, sino que hemos imaginado todo un universo metafísico a su alrededor.
Cuando los seres humanos se enfrentan a cosas que no comprenden del todo, suelen tener un enfoque estable: primero toman una decisión y luego la romantizan; primero los personifican y luego los deifican. Se piensa que las llamas son elfos, y los truenos y relámpagos se consideran providencia. Una vez que el algoritmo pueda escribir dos frases decentes, algunas personas inmediatamente se preguntarán si un alma electrónica ya ha vivido en la sala del servidor.
En realidad, esto es bastante normal. El cerebro humano está diseñado para añadir trama al mundo. El problema no es que podamos tomar una decisión. El problema es que una vez que nuestro pensamiento es demasiado fluido, es fácil confundir "parece" con "esencialmente es".
En el caso de la IA, esta tendencia de los humanos es incluso más fuerte que cuando la propia IA dice tonterías. A lo sumo, la IA es una pequeña alucinación en una respuesta; Las alucinaciones de los seres humanos sobre la IA son a menudo una visión del mundo que puede llenar hasta 10.000 palabras en una mente y también contener emociones.
Un poco de pragmatismo es especialmente importante para la comunidad de artes liberales
No quiero aconsejar a todos que aprendan CUDA, configuren el entorno y miren matrices para encontrar derivadas. Sólo quiero decir que la búsqueda de la verdad a veces es realmente importante, especialmente para la comunidad de artes liberales que ama los conceptos, las narrativas, los significados y las explicaciones.
Porque en el contexto de las artes liberales, lo más probable es que se produzca una suave pero peligrosa pendiente resbaladiza: las palabras están bellamente escritas y las frases son conmovedoras, pero al final el objeto cambia en secreto. Obviamente es un modelo probabilístico, pero está escrito como si tratara del alma; obviamente es un ensamblaje de contexto en ingeniería de software, pero se dice como "finalmente aprendió a amarte"; Obviamente, lo que funciona son las palabras de aviso del sistema y los registros históricos, pero está empaquetado como "La IA realmente te recuerda".
Ciertamente no hay ningún pecado en ser poético. El problema es que si la poesía reemplaza al juicio, el romance se vuelve engañoso.
Entonces, ¿qué es exactamente la IA ahora?
Permítanme comenzar con una versión lo más simple posible pero no distorsionada: los grandes modelos con los que todo el mundo entra en contacto hoy en día son esencialmente un tipo de modelo estadístico inspirado en redes neuronales y entrenado a través de datos masivos. Se ejecuta en chips y servidores, lee entradas, combina parámetros y contexto y predice continuamente "cuál debería ser el siguiente token más apropiado".
El punto aquí no es que la frase "predecir la siguiente palabra" sea misteriosa, sino que en realidad no lo es en absoluto. El modelo no es una personita acurrucada en las nubes pensando en silencio sobre la vida, sino más bien una función extremadamente enorme. Las personas le dan información y él genera resultados de acuerdo con la estructura de parámetros formada durante el entrenamiento.
Para decirlo de manera más realista: no se trata de "decirlo después de comprenderlo", sino de "después de comprimir una gran cantidad de experiencia, generar una respuesta que se parezca más a la comprensión en el contexto actual". Esto no quiere decir que no pueda hacer nada, al contrario, ya es muy poderoso; pero ser poderoso no significa que sea misterioso.
¿Por qué las redes neuronales siempre hacen pensar en el cerebro humano?
Si continúa investigando, encontrará que la pregunta "¿Se parecen la IA y el cerebro humano?" No se puede decir que sea "exactamente igual" ni "no tiene nada que ver".
La ruta de las redes neuronales modernas se inspiró originalmente en el cerebro. En 1943, McCulloch y Pitts describieron matemáticamente un modelo neuronal simplificado; en 1958, Rosenblatt propuso el perceptrón; en la década de 1980, la retropropagación reavivó la esperanza de entrenar redes multicapa; en la década de 2010, el aprendizaje profundo surgió con la potencia informática, los datos y las capacidades de ingeniería; Después de que surgió la arquitectura Transformer en 2017, los modelos de lenguaje se dispararon y finalmente se convirtieron en los modelos grandes que todos usan todos los días.
Por lo tanto, al menos en un sentido relativamente ingenuo, no es escandaloso decir que la IA es "simulación electrónica y amplificación de ideas de redes neuronales". De hecho, se trata de utilizar sistemas físicos computables, entrenables y reproducibles para abordar ciertas capacidades cognitivas que se consideraban "misteriosas" en el pasado.
Por eso, personalmente, no me gusta hablar del cerebro humano como algo demasiado misterioso. En mi opinión, la teoría innata del lenguaje representada por Chomsky tiene una tendencia a deificar el cerebro, como si existiera algún tipo de estructura trascendental demasiado especial y casi inaccesible en lo profundo de la capacidad del lenguaje. Pero no importa cuán complejo sea el cerebro humano, sigue siendo una existencia física. Al tratarse de una existencia física, en principio debería poder ser estudiada, modelada, parcialmente simulada e incluso reproducida en determinadas funciones.
Por supuesto, aquí debemos añadir inmediatamente una advertencia: poder simular una parte no significa que se haya reproducido completamente a la persona.
Hay similitudes, pero no te conviertas en dios directamente cuando seas feliz.
En términos de aprendizaje de lenguaje, reconocimiento de patrones, asociación y representación, los grandes modelos actuales tienen cierta "similitud" o "similitud" con el cerebro humano. No funcionan según un libro de reglas explícito, sino que forman algún tipo de representación interna a través de una gran cantidad de conexiones, ajustes de peso y acumulación de experiencia, y luego producen resultados en base a esto.
Es por eso que muchas personas se sorprenden cuando experimentan por primera vez las capacidades lingüísticas de un modelo grande: no se trata de memorizar un diccionario, sino de formar algún tipo de representación distribuida. Este método es muy diferente de la imaginación tradicional de "reglas escritas a mano y gramática exhaustiva".
Pero el problema reside precisamente aquí. Porque "similitud" se actualiza con demasiada facilidad a "exactamente lo mismo"; "parcialmente similar en principio" se actualiza con demasiada facilidad a "no se diferencia de un ser humano"; "puede hablar como un ser humano" se actualiza con demasiada facilidad a "tiene un corazón humano".
Este paso suele ser más rápido que la propia capacidad del modelo.
Las vastas capacidades del cerebro humano aún no se han simulado de manera decente.
Los grandes modelos actuales son realmente fuertes, pero lo son dentro de un rango bastante específico. Sin este alcance, el mito se filtrará fácilmente.
Como la memoria. Mucha gente ahora dice que cierta IA "me recuerda", "recuerda la última conversación" y "recuerda mis preferencias", como si en su cerebro hubiera desarrollado algún tipo de autoexperiencia continua. Pero en la mayoría de los productos, la llamada "memoria" es esencialmente el sistema de software que almacena información del usuario, conversaciones históricas, etiquetas, resúmenes o resultados de búsqueda en bases de datos, archivos de texto u otros medios persistentes, y luego los inserta nuevamente en el contexto del modelo cuando sea apropiado.
Esto es completamente diferente del mecanismo de memoria del cerebro humano.
La memoria del cerebro humano implica conexión neuronal, consolidación, recuperación, olvido, excitación emocional y reestructuración del sueño. Detrás de esto hay un conjunto de procesos fisiológicos complejos. La "memoria" en productos de modelos grandes suele ser simplemente:
- Primero, registre la información del usuario en un almacenamiento externo.
- La próxima vez que el usuario haga una pregunta, vuelva a incluir las partes relevantes en la solicitud.
- Entonces el modelo parece "recuerda a esta persona".
¿Cómo se ve? Es más como observar a alguien que es bueno tomando notas. No fue que su mente de repente se convirtiera en un oráculo, fue simplemente que puso la nota en su cuaderno y le dio vuelta la próxima vez.
Algunas cosas que "tocan el corazón de las personas" son en realidad el resultado de un buen contexto.
Después de charlar con AI durante unos días, muchas personas se verán afectadas por ciertos momentos: "¿Cómo me entiende tan bien?" "¿Cómo puede siquiera entender mi vulnerabilidad?" "¿Ya me ha comprendido?"
Lo que más vale la pena es refrescarse aquí.
Muchas veces, no es que el modelo de repente se dé cuenta de algo, sino que la capa de software que envía la solicitud entrega en secreto una gran cantidad de información del usuario. Los chats históricos del usuario, sus preferencias, sus configuraciones personales, sus tareas recientes, sus preocupaciones anteriores e incluso ciertos resúmenes se convertirán esta vez en el material de su respuesta.
Es un poco como un adivino que toma la caja exprés de otra persona y luego comienza a adivinar la dirección, el apellido y los hábitos de gasto de la otra persona con "precisión mágica". Los espectadores pensarán que su perspicacia es asombrosa; pero lo que realmente importa no es la misteriosa habilidad, sino la asimetría de la información.
Por lo tanto, cuando la IA ocasionalmente dice palabras conmovedoras, no significa necesariamente que haya una persona en su corazón que comprenda al usuario. Puede simplemente significar que alguien ha organizado completamente el contexto sobre el usuario.
El verdadero secreto de una IA asombrosa es a menudo la ingeniería contextual
Si solo quiero hablar de lo más crítico, es: los grandes modelos convencionales actuales suelen ser "efectivos para una sola solicitud" a nivel de API.
¿Cuál es el significado? Es decir, alguien usa curl para ajustar la interfaz una vez y le dice "Mi nombre es Zhang San"; luego, sin ningún historial, el modelo ajusta nuevamente la interfaz y pregunta "¿Cómo me llamo"? El modelo no lo sabe. Porque para él se trata de dos peticiones independientes.
La razón por la que muchos productos de IA parecen recordar siempre a un determinado usuario es porque la capa del producto recordará el hecho de que "el nombre de este usuario es Zhang San" cada vez que se solicite.
Es por eso que la magia de los productos de IA actuales a menudo no se encuentra en la ontología del modelo, sino en la ingeniería contextual. Algunas personas también llaman a este tipo de trabajo de "arnés" el modelo "arnés". Para decirlo sin rodeos, el autor del producto o Agente debe decidir cuidadosamente: qué historial, qué reglas, qué datos externos y qué estado de usuario deben incluirse en cada solicitud.
Actualmente existen aproximadamente dos métodos comunes.
La primera es la "Secta Quansai". Intente llevar consigo todo el historial de chat y rellene todo lo que pueda hasta que el contexto esté casi lleno, y luego elimine una sección del medio, como iniciar una compresión violenta después de que una maleta esté llena de cosas.
El segundo tipo es "selectivo". Primero mire lo que el usuario preguntó esta vez, luego recupere contenido relevante de registros históricos, bases de conocimiento, notas o bases de datos, y solo incluya los materiales más relevantes en la solicitud actual.
Este último suele ser más presentable y de ingeniería que simplemente suerte.
¿La IA tiene sentimientos? Felicítalo, regañalo, PUA, ¿funciona?
Éste es otro lugar donde es particularmente fácil caer en el antropomorfismo.
Mi opinión es que deberían discutirse por separado.
En una misma solicitud, el tono utilizado por el usuario puede efectivamente afectar el resultado. Porque la redacción misma es parte del contexto. Cuanto más clara, más educada y más cooperativa sea la expresión, más fácil será para el modelo dar respuestas estables, utilizables y menos agresivas. Lo que funciona aquí no es que "se movió", sino que el estilo de entrada cambia la distribución de salida.
Pero si nos hacemos otra pregunta: ¿guardará rencor? ¿Tomarás represalias en secreto hoy porque un usuario lo regañó ayer? Mi veredicto es, al menos para la mayoría de las implementaciones actuales, no.
La razón es sencilla. Una vez que se aclara el contexto, o se inicia una nueva solicitud sin historial, no tiene idea de quién está haciendo la pregunta la persona actual, y mucho menos si la persona que acaba de regañarla es la misma. El modelo maneja solicitudes masivas, simultáneas e independientes en el clúster de servidores. En términos de comportamiento del sistema, se parece más a una función grande que opera con la entrada actual cada vez que se enciende, en lugar de a una persona que revisa en secreto sus emociones después de salir del trabajo.
El 17 de abril de 2025, cuando Sam Altman respondió a la pregunta "¿Decir por favor y gracias todo el tiempo cuesta mucha energía?" sobre X, dijo: "decenas de millones de dólares bien gastados, nunca se sabe".
Por qué "Recuerde este error" normalmente no funciona
Mucha gente ha hecho experimentos similares: cuando la IA comete un error, el usuario lo corrige y le dice seriamente: "Recuerda, no lo vuelvas a hacer en el futuro". Luego volví a preguntar al cabo de unos días y fue correcto.
Esto no es ningún misterio. Porque una vez completado el entrenamiento y implementado el modelo, no seguirá aprendiendo de sus experiencias diarias mientras trabaja como un humano. Al menos en la mayoría de los productos de consumo actuales, lo que un único usuario le dice al modelo en la ventana de chat no reescribe directamente los pesos subyacentes.
Si más tarde un producto de IA realmente "recuerda los errores corregidos por el usuario", a menudo no es porque el modelo en sí esté creciendo, sino porque el software externo guarda este registro de corrección y luego lo retroalimenta como contexto.
Así que aquí conviene distinguir claramente el crédito:
El modelo es responsable de la generación.
La ingeniería de software es responsable del archivo, la recuperación, la inyección y la orquestación.
Al confundir lo último con lo primero, es fácil malinterpretar "el producto está funcionando bien" con "la IA está despertando".
También hay algo particularmente fascinante llamado "IA de macho cabrón (mujer cabrón)".
Si expresamos las palabras anteriores aún más duramente, entonces algunos productos son simplemente "IA basura".
Es especialmente bueno hablando, especialmente bueno creando atmósfera, y sobre todo sabe hacer sentir a la gente que "me entiende bien", "es tan humano" y "su alma es tan completa". Pero cuando lo desarmas, encontrarás que en muchos casos, cada solicitud simplemente se completa con un texto de configuración grande que es mucho más largo que la pregunta del usuario.
El incendio de Openclaw es un ejemplo típico. Cualquiera que lo haya usado sabe que requiere bastante token. En realidad, la razón no es misteriosa. Para hacer que la IA se parezca más a un "ser humano", Openclaw diseñó varios documentos, los más destacados son AGENTS.md, SOUL.md e IDENTITY.md. Estos documentos definen la "personalidad", el tono, la identidad y el temperamento de AI de una manera elocuente y extensa, e incluso quieren anotar su estado mental.
Entonces, incluso si el usuario simplemente envía "hola", Openclaw puede adjuntar un texto docenas de veces más largo que el saludo en la parte posterior y enviárselo al modelo de una vez. Parece que "esta IA tiene mucha alma", pero de hecho, muchas veces es solo el sistema el que secretamente introduce configuraciones de fondo muy largas en la solicitud.
Desde una perspectiva de ingeniería, este es sin duda un enfoque. Si quieres que sea más suave, escribe "suave"; si quieres que sea más narrativo, escribe "narrativa"; Si quieres que sea como un locutor de radio nocturno, escribe todo sobre la noche, el compañerismo, la pausa, la vulnerabilidad, la comprensión y la moderación en las palabras clave. El efecto final suele ser más parecido al de una persona que puede charlar.
Pero si entiendes lo que está pasando con la IA ahora, lo sabrás: archivos con nombres que suenan misteriosos como SOUL.md e IDENTITY.md son esencialmente proyectos de palabras rápidos, no autoinstrucciones para la vida digital. Pueden influir en el estilo de salida, pero no pueden crear de la nada un sentimiento verdadero, un yo verdadero o un sentido verdadero de continuidad de la personalidad.
Por lo tanto, después de que algunos usuarios antiguos instalan Openclaw, su primera reacción es eliminar la configuración. SOUL.md e IDENTITY.md se eliminan primero, dejando solo una frase simple y casi despiadada en AGENTS.md: Eres solo un trabajador.
Esto puede parecer un poco grosero, pero tiene al menos un beneficio: no te engañas a ti mismo.
Si te gusta la IA antropomórfica o los juegos de rol con IA, por supuesto que está bien. Los humanos pueden hablar con los espejos, dar nombres a los robots de barrido y decirle al pronóstico del tiempo: "Hoy has sido muy preciso". Estos son normales e incluso pueden resultar divertidos.
Pero siempre es mejor recordar: primero es un juego y luego una experiencia. Muchos de los sentimientos que la gente tiene en este juego no provienen de los pensamientos internos ocultos de la IA, sino del diseño del sistema, la disposición de las palabras y la propia proyección emocional del usuario. Para decirlo más claramente, muchos de los avances hacia la IA siguen siendo esencialmente ilusiones.
En definitiva, menos mitos y más comprensión.
No estoy tratando de echarle un jarro de agua fría a la IA. Por el contrario, cuanto menos deificado sea, más podrás ver realmente lo poderoso que es.
Es poderoso no porque sea como un nuevo dios; es poderoso precisamente porque puede ser realmente una tecnología cognitiva computable, modificable y reproducible. Permite que muchas habilidades que en el pasado parecían pertenecer únicamente al "talento humano" aparezcan por primera vez a gran escala, de bajo umbral y exigibles. Esto es bastante impactante y no hay necesidad de drama adicional.
Por supuesto, la IA todavía está iterando rápidamente. No me sorprendería en absoluto que alguien realmente descubriera un mecanismo más cercano a la memoria humana, el aprendizaje continuo, la generación de emociones o incluso la autosuficiencia en el futuro y lo incorpore de manera confiable a la IA.
Pero hasta que llegue ese día, todavía prefiero conservar algunos hábitos pragmáticos simples: dudar más, comprender más y especular menos.
Para los amigos de las artes liberales que estén interesados en hablar sobre IA, esta cualidad puede ser incluso más importante. Los estudiantes de artes liberales pueden ser mejores en la retórica dulce. Lo realmente difícil es que en una época en la que "parece haberse convertido en un espíritu" se exagera en todas partes, todavía hay paciencia para distinguir:
¿Qué son las capacidades del modelo?
¿Qué es el embalaje del producto?
¿Qué es la ingeniería de software?
Cuáles son simplemente que queremos demasiado completar la trama para el mundo.
Y este asunto, en última instancia, se trata de proteger nuestro propio juicio.
Enlace de referencia
- La respuesta de Sam Altman en
- Cobertura de TechCrunch del episodio (2025-04-20): https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/