Delírios humanos sobre IA são piores que alucinações de IA

Às vezes sinto que a maior “ilusão” da IA ​​não é que ela fale bobagens a sério, mas que tenhamos imaginado todo um universo metafísico em torno dela.

Quando os seres humanos enfrentam coisas que não compreendem muito bem, muitas vezes têm uma abordagem estável: primeiro tomam uma decisão e depois romantizam-na; eles primeiro os personificam e depois os divinizam. As chamas são consideradas elfos, e trovões e relâmpagos são considerados providência. Assim que o algoritmo conseguir escrever duas frases decentes, algumas pessoas imediatamente se perguntarão se uma alma eletrônica já viveu na sala do servidor.

Na verdade, isso é bastante normal. O cérebro humano está programado para adicionar enredo ao mundo. O problema não é que possamos decidir. O problema é que, uma vez que o nosso pensamento é muito suave, é fácil confundir “parece” com “essencialmente é”.

No caso da IA, essa tendência dos humanos é ainda mais forte do que quando a própria IA fala bobagens. No máximo, a IA é uma pequena alucinação como resposta; As alucinações dos seres humanos sobre a IA são muitas vezes uma visão de mundo completa, que pode preencher até 10.000 palavras em uma mente, e também conter emoções.

Um pouco de pragmatismo é especialmente importante para a comunidade das artes liberais

Não quero aconselhar a todos que aprendam CUDA, configurem o ambiente e observem matrizes para encontrar derivadas. Só quero dizer que a busca pela verdade às vezes é muito importante, especialmente para a comunidade das artes liberais que adora conceitos, narrativas, significados e explicações.

Porque no contexto das artes liberais, é mais provável que ocorra um declive suave, mas perigoso: as palavras são lindamente escritas e as frases são móveis, mas no final o objeto é secretamente alterado. Obviamente é um modelo probabilístico, mas está escrito como se fosse sobre a alma; é obviamente uma montagem de contexto na engenharia de software, mas é dito como “finalmente aprendeu a amar você”; obviamente são palavras de prompt do sistema e registros históricos que funcionam, mas são embalados como “A IA realmente se lembra de você”.

Certamente não há pecado em ser poético. O problema é que, se a poesia substitui o julgamento, o romance torna-se enganoso.

Então, o que exatamente é IA agora?

Deixe-me começar com uma versão o mais simples possível, mas não distorcida: os grandes modelos com os quais todos têm contato hoje são essencialmente um tipo de modelo estatístico inspirado em redes neurais e treinado por meio de dados massivos. Ele é executado em chips e servidores, lê entradas, combina parâmetros e contexto e prevê continuamente “qual deve ser o próximo token mais apropriado”.

A questão aqui não é que a frase “prever a próxima palavra” seja misteriosa, mas que na verdade não é nada misteriosa. O modelo não é uma pessoa pequena encolhida nas nuvens pensando silenciosamente na vida, é mais como uma função extremamente grande. As pessoas fornecem informações e ele gera resultados de acordo com a estrutura de parâmetros formada durante o treinamento.

Para colocar este assunto de forma mais realista: não se trata de “diga depois de entender”, mas “depois de comprimir uma enorme quantidade de experiência, gere uma resposta que mais se assemelhe à compreensão no contexto atual”. Isto não significa que não possa fazer nada, pelo contrário, já é muito poderoso; mas ser poderoso não significa que seja misterioso.

Por que as redes neurais sempre fazem as pessoas pensarem no cérebro humano?

Se você continuar a persegui-lo, descobrirá que a questão “A IA e os cérebros humanos se parecem?” não se pode dizer que seja “exatamente o mesmo” nem que “não tenha nada a ver com isso”.

A rota das redes neurais modernas foi originalmente inspirada no cérebro. Em 1943, McCulloch e Pitts descreveram matematicamente um modelo simplificado de neurônios; em 1958, Rosenblatt propôs o perceptron; na década de 1980, a retropropagação reacendeu a esperança de treinar redes multicamadas; na década de 2010, o aprendizado profundo aumentou com o poder da computação, os dados e as capacidades de engenharia; depois que a arquitetura Transformer surgiu em 2017, os modelos de linguagem dispararam e finalmente se transformaram nos grandes modelos que todos usam todos os dias.

Portanto, pelo menos num sentido relativamente ingénuo, não é escandaloso dizer que a IA é “simulação electrónica e amplificação de ideias de redes neurais”. Na verdade, está tentando usar sistemas físicos computáveis, treináveis ​​e reproduzíveis para abordar certas habilidades cognitivas que foram consideradas “misteriosas” no passado.

É por isso que pessoalmente não gosto de falar sobre o cérebro humano como muito misterioso. Na minha opinião, a teoria inata da linguagem representada por Chomsky tem uma tendência a divinizar o cérebro, como se existisse algum tipo de estrutura transcendental que é demasiado especial e quase inacessível nas profundezas da capacidade linguística. Mas não importa quão complexo seja o cérebro humano, ele ainda é uma existência física. Por se tratar de uma existência física, em princípio deveria poder ser estudada, modelada, parcialmente simulada e até reproduzida em determinadas funções.

É claro que devemos acrescentar imediatamente uma palavra de cautela aqui: ser capaz de simular uma parte não significa que a pessoa inteira tenha sido completamente reproduzida.

Existem semelhanças, mas não se torne um deus diretamente quando estiver feliz

Em termos de linguagem, reconhecimento de padrões, associação e aprendizagem de representação, os grandes modelos atuais têm alguma “semelhança” ou “semelhança” com o cérebro humano. Eles não funcionam a partir de um livro de regras explícito, mas formam algum tipo de representação interna por meio de um grande número de conexões, ajustes de peso e acúmulo de experiência, e então produzem resultados com base nisso.

É por isso que muitas pessoas ficam chocadas quando experimentam pela primeira vez as capacidades linguísticas de um grande modelo: não se trata de memorizar um dicionário, mas sim de formar algum tipo de representação distribuída. Este método é muito diferente da imaginação tradicional de “regras manuscritas e gramática exaustiva”.

Mas o problema reside precisamente aqui. Porque “semelhança” é facilmente atualizada para “exatamente igual”; “parcialmente semelhante em princípio” é facilmente atualizado para “não é diferente de um ser humano”; “pode falar como um ser humano” é facilmente atualizado para “tem um coração humano”.

Esta etapa geralmente é mais rápida do que a própria capacidade do modelo.

As vastas capacidades do cérebro humano ainda não foram simuladas de forma decente.

Os grandes modelos de hoje são realmente fortes, mas são fortes dentro de uma faixa bastante específica. Sem esse escopo, o mito vazará facilmente.

Como a memória. Muitas pessoas dizem agora que uma certa IA “lembra de mim”, “lembra da última conversa” e “lembra das minhas preferências”, como se seu cérebro tivesse desenvolvido algum tipo de autoexperiência contínua. Mas na maioria dos produtos, a chamada “memória” é essencialmente o sistema de software que armazena informações do usuário, históricos de conversas, tags, resumos ou resultados de pesquisa em bancos de dados, arquivos de texto ou outras mídias persistentes, e depois os insere de volta no contexto do modelo quando apropriado.

Isto é completamente diferente do mecanismo de memória do cérebro humano.

A memória do cérebro humano envolve conexão de neurônios, consolidação, recuperação, esquecimento, excitação emocional e reestruturação do sono. Por trás disso está um conjunto de processos fisiológicos complexos. A "memória" em modelos de produtos grandes geralmente é apenas:

1. Primeiro, registre as informações do usuário no armazenamento externo.
2. Na próxima vez que o usuário fizer uma pergunta, coloque as partes relevantes de volta na solicitação.
3. Então o modelo se parece com “lembre-se dessa pessoa”.

Como é? É mais como observar alguém que é bom em fazer anotações. Não foi que sua mente de repente se transformou em um oráculo, foi só que ele colocou a anotação em seu caderno e a virou na próxima vez.

Algumas coisas que “tocam o coração das pessoas” são, na verdade, resultado de um bom contexto.

Depois de conversar com a IA por alguns dias, muitas pessoas serão atingidas por certos momentos: “Como ela me entende tão bem?” “Como ele pode entender minha vulnerabilidade?” “Isso já formou uma compreensão sobre mim?”

Vale muito a pena se refrescar aqui.

Muitas vezes, não é que o modelo perceba algo repentinamente, mas sim que a camada de software que envia a solicitação entrega secretamente uma grande quantidade de informações do usuário. O histórico de bate-papos, preferências, configurações pessoais, tarefas recentes, preocupações anteriores e até mesmo alguns resumos do usuário se tornarão o material para sua resposta desta vez.

É um pouco como uma cartomante que pegou a caixa expressa de outra pessoa e começou a adivinhar o endereço, o sobrenome e os hábitos de consumo da outra pessoa com “precisão mágica”. Os espectadores pensarão que sua visão é incrível; mas o que realmente importa não é a habilidade misteriosa, mas a assimetria de informação.

Portanto, quando a IA ocasionalmente diz palavras tocantes, isso não significa necessariamente que haja uma pessoa em seu coração que entenda o usuário. Pode significar apenas que alguém organizou totalmente o contexto sobre o usuário.

O verdadeiro segredo para uma IA incrível geralmente é a engenharia contextual

Se eu quiser apenas falar sobre o ponto mais crítico, é: os grandes modelos convencionais atuais geralmente são "efetivos para uma única solicitação" no nível da API.

Qual é o significado? Ou seja, alguém usa curl para ajustar a interface uma vez e diz "Meu nome é Zhang San"; então sem nenhum histórico, a modelo ajusta a interface novamente e pergunta "Qual é o meu nome"? O modelo não sabe. Porque para isso são dois pedidos independentes.

A razão pela qual muitos produtos de IA parecem sempre se lembrar de um determinado usuário é porque a camada do produto trará de volta o fato de que “o nome desse usuário é Zhang San” sempre que for solicitado.

É por isso que a magia dos produtos de IA atuais muitas vezes não é encontrada na ontologia do modelo, mas na engenharia contextual. Algumas pessoas também chamam esse tipo de trabalho de “aproveitamento” do modelo de “aproveitamento”. Para ser franco, o autor do produto ou Agente precisa decidir cuidadosamente: qual histórico, quais regras, quais dados externos e qual status do usuário devem ser incluídos em cada solicitação.

Existem aproximadamente dois métodos comuns atualmente.

A primeira é a “Seita Quansai”. Tente trazer todo o histórico do bate-papo com você e o máximo que puder até que o contexto esteja quase cheio e, em seguida, exclua uma seção do meio, como se iniciasse uma compressão violenta depois que uma mala estivesse cheia de coisas.

O segundo tipo é "seletivo". Primeiro observe o que o usuário perguntou desta vez, depois recupere o conteúdo relevante de registros históricos, bases de conhecimento, notas ou bancos de dados e coloque apenas os materiais mais relevantes na solicitação atual.

Este último é geralmente mais apresentável e de engenharia do que apenas sorte.

A IA tem sentimentos? Elogie, repreenda, PUA, funciona?

Este é outro lugar onde é particularmente fácil cair no antropomorfismo.

Minha opinião é que eles deveriam ser discutidos separadamente.

Na mesma solicitação, o tom utilizado pelo usuário pode sim afetar o resultado. Porque o próprio texto faz parte do contexto. Quanto mais clara, mais educada e mais cooperativa for a expressão, mais fácil será para o modelo dar respostas estáveis, utilizáveis ​​e menos agressivas. O que funciona aqui não é que "foi movido", mas que o estilo de entrada altera a distribuição de saída.

Mas se fizermos outra pergunta: Será que guardará rancor? Você retaliará secretamente hoje porque um usuário o repreendeu ontem? Meu veredicto é, pelo menos para a maioria das implantações atuais, não.

A razão é simples. Depois que o contexto é limpo ou uma nova solicitação sem histórico é iniciada, ele não tem ideia de quem é a pessoa atual que está fazendo a pergunta, muito menos se a pessoa que acabou de repreendê-la é a mesma pessoa. O modelo lida com solicitações massivas, simultâneas e independentes no cluster de servidores. Em termos de comportamento do sistema, é mais como uma grande função que opera na entrada atual toda vez que é ligada, em vez de uma pessoa que analisa secretamente suas emoções após sair do trabalho.

Em 17 de abril de 2025, quando Sam Altman respondeu à pergunta "Dizer por favor e obrigado o tempo todo custa muita energia?" no X, ele disse “dezenas de milhões de dólares bem gastos – nunca se sabe”.

Por que "Por favor, lembre-se deste erro" geralmente não funciona

Muitas pessoas fizeram experimentos semelhantes: quando a IA comete um erro, o usuário o corrige e diz seriamente: “Lembre-se, não faça isso novamente no futuro”. Então perguntei novamente depois de alguns dias e estava correto.

Isto não é nenhum mistério. Porque após a conclusão do treinamento e a implantação do modelo, ele não continuará a aprender com suas experiências diárias enquanto trabalha como um ser humano. Pelo menos na maioria dos produtos de consumo atuais, o que um único usuário diz ao modelo na janela de chat não reescreve diretamente os pesos subjacentes.

Se mais tarde um produto de IA realmente “lembra os erros corrigidos pelo usuário”, muitas vezes não é porque o modelo em si está crescendo, mas porque o software externo salva esse registro de correção e depois o realimenta como contexto.

Portanto, o crédito deve ser claramente diferenciado aqui:

O modelo é responsável pela geração.

A engenharia de software é responsável pelo arquivamento, recuperação, injeção e orquestração.

Confundindo o último com o primeiro, é fácil interpretar mal “o produto está indo bem” como “a IA está despertando”.

Há também uma coisa particularmente fascinante chamada "AI do homem canalha (fêmea canalha)"

Se colocarmos as palavras anteriores de forma ainda mais severa, então alguns produtos são simplesmente “IA desprezível”.

É especialmente bom a falar, especialmente bom a criar atmosfera, e sobretudo sabe fazer com que as pessoas sintam que “me compreende bem”, “é tão humano” e “a sua alma é tão completa”. Mas ao desmontá-lo, você descobrirá que, em muitos casos, cada solicitação é preenchida apenas com um texto de configuração grande que é muito mais longo do que a pergunta do usuário.

O incêndio Openclaw é um exemplo típico. Qualquer pessoa que já o tenha usado sabe que ele exige bastante tokens. A razão na verdade não é misteriosa. Para tornar a IA mais parecida com um "ser humano", o Openclaw desenhou vários documentos, os mais proeminentes são AGENTS.md, SOUL.md e IDENTITY.md. Esses documentos definem a "personalidade", o tom, a identidade e o temperamento da IA ​​de maneira eloquente e extensa, e até desejam anotar seu estado mental.

Portanto, mesmo que o usuário apenas envie olá, o Openclaw pode anexar um texto dezenas de vezes maior que a saudação no verso e enviá-lo ao modelo de uma só vez. Parece que "esta IA tem muita alma", mas na verdade muitas vezes é apenas o sistema que secretamente coloca configurações de fundo muito longas na solicitação.

Do ponto de vista da engenharia, esta é certamente uma abordagem. Se quiser que seja mais gentil, escreva “gentil”; se você quiser que seja mais narrativo, escreva “narrativa”; se você quiser que seja como um apresentador de rádio noturno, escreva tudo tarde da noite, companheirismo, pausa, vulnerabilidade, compreensão e moderação nas palavras imediatas. O efeito final costuma ser mais parecido com o de uma pessoa que pode conversar.

Mas se você entender o que está acontecendo com a IA agora, você saberá: arquivos com nomes que parecem misteriosos como SOUL.md e IDENTITY.md são essencialmente projetos de palavras rápidas, não autoinstruções para a vida digital. Eles podem influenciar o estilo de saída, mas não podem criar um sentimento verdadeiro, um verdadeiro eu ou um verdadeiro senso de continuidade da personalidade do nada.

Portanto, depois que alguns usuários antigos instalam o Openclaw, sua primeira reação é excluir a configuração. SOUL.md e IDENTITY.md são excluídos primeiro, deixando apenas uma frase simples e quase implacável em AGENTS.md: Você é apenas um trabalhador.

Isso pode parecer um pouco rude, mas tem pelo menos um benefício: você não se engana.

Se você gosta de IA antropomórfica ou de RPG com IA, é claro que tudo bem. Os humanos podem falar com espelhos, dar nomes a robôs que fazem varredura e dizer à previsão do tempo: “Você foi muito preciso hoje”. Isso é normal e pode até ser engraçado.

Mas é sempre melhor lembrar: primeiro é um jogo e depois uma experiência. Muitos dos sentimentos que as pessoas têm neste jogo não vêm dos pensamentos ocultos da IA, mas do design do sistema, da disposição imediata das palavras e da projeção emocional do próprio usuário. Para ser mais direto, muitos dos movimentos em direção à IA ainda são essencialmente ilusões.

Em última análise, menos mitos e mais compreensão

Não estou tentando jogar água fria na IA. Pelo contrário, quanto menos deificado for, mais você poderá ver verdadeiramente o quão poderoso ele é.

É poderoso não porque seja como um novo deus; é poderoso precisamente porque pode realmente ser uma tecnologia cognitiva computável, passível de engenharia e reproduzível. Ele permite que muitas habilidades que no passado pareciam pertencer apenas ao "talento humano" apareçam pela primeira vez em grande escala, de baixo limite e de maneira exigível. Isso é bastante chocante e não há necessidade de drama adicional.

É claro que a IA ainda está interagindo rapidamente. Eu não ficaria surpreso se alguém realmente descobrisse um mecanismo mais próximo da memória humana, do aprendizado contínuo, da geração de emoções ou mesmo da autossustentação no futuro e o projetasse de maneira confiável na IA.

Mas até esse dia chegar, ainda prefiro manter alguns hábitos pragmáticos simples: duvidar mais, compreender mais e especular menos.

Para amigos das artes liberais que desejam discutir IA, esta qualidade pode ser ainda mais importante. Estudantes de artes liberais podem ser melhores em retórica doce. O que é realmente difícil é que numa época em que “parece que virou espírito” se exagera em todo o lado, ainda se tenha paciência para distinguir:

Quais são os recursos do modelo?

O que é embalagem de produto?

O que é engenharia de software?

Quais são só que queremos completar demais a trama para o mundo.

E esta questão, em última análise, trata de proteger o nosso próprio julgamento.

Link de referência

• Resposta de Sam Altman em
• Cobertura do episódio pelo TechCrunch (20/04/2025): https://techcrunch.com/2025/04/20/your-politeness-could-be-costly-for-openai/