Quando o saber deixa de ser humano e nasce a Epistemologia do Chatbot

dezembro 11, 2025 § Deixe um comentário

Ninguém nota quando a água começa a ferver. O sapo, tranquilo, continua imóvel na panela enquanto a temperatura sobe devagar, agradável, até demais. Só quando já é tarde, o nosso amigo anfíbio percebe que perdeu a chance de saltar e se salvar. Nossa relação com as Inteligências Artificiais (IAs), em especial com os chatbots, segue o mesmo padrão. As mudanças são sutis, uma resposta que parece mais segura ali, um tom mais empático ou um conselho mais convincente aqui. De forma quase imperceptível, a água esquenta. O que antes era apenas uma ferramenta começa a ocupar o espaço de uma autoridade e o salto epistêmico que separa informação de conhecimento se dissolve na temperatura morna da conveniência.

A filósofa Susan Schneider chama isso de “problema do sapo cozido” (Schneider, 2025), caracterizado pela combinação de fatores como confiança excessiva, opacidade dos modelos, manipulação emocional e perda gradual de autonomia epistêmica, criando um cenário em que a dependência dos chatbots cresce sem que percebamos (Figura 1).

Figura 1: O “problema do sapo cozido” na era dos chatbots, em que a confiança crescente transforma ferramentas em autoridades epistêmicas.

Leia o texto completo na Revista Horizontes da SBC (Sociedade Brasileira de Computação).

The Great AI Paradox of 2025

novembro 28, 2025 § Deixe um comentário

Why Enterprise Adoption Is High, Impact Is Low, and What High Performers Reveal About the Future

Three years after generative AI shattered the popular imagination and reshaped the technological agenda of entire industries, 2025 should have been the year when enterprises finally reaped the gains promised by the AI revolution. And in some ways, it is. The new McKinsey report The State of AI in 2025 (access it here) reveals that 88 percent of companies claim to be using AI in at least one business function (p. 4). This is an unprecedented level of penetration, a sign that organizations have crossed the psychological threshold from curiosity to action.

Yet beneath this impressive adoption curve lies a more sobering truth: AI may be everywhere, but its impact is still shallow. Nearly two-thirds of organizations remain stuck in experimentation or pilots, unable to scale their AI efforts to the enterprise level (see Exhibit 1, p. 4). And only 39 percent attribute any EBIT impact to AI, usually less than 5 percent (p. 11).

👉 Read the full essay on Substack and Medium

A Epistemologia do Chatbot – Video

novembro 21, 2025 § Deixe um comentário

Como podemos confiar no conhecimento gerado por sistemas de IA? Nesse vídeo, exploramos os limites epistêmicos dos modelos de linguagem, discutindo temas como reliabilismo e internalismo, mudanças contínuas em modelos (problema da justificação diacrônica), privacidade e confiança, e o debate sobre a possível senciência das máquinas. A partir da metáfora do “sapo cozido”, refletimos sobre como mudanças graduais nas interações com chatbots podem reduzir nossa autonomia intelectual, minando o pensamento crítico e a capacidade de avaliar a procedência das informações. O vídeo propõe uma leitura filosófica e crítica sobre o papel da epistemologia na era dos chatbots, uma discussão essencial para quem se interessa por IA, ética, filosofia da mente e política da tecnologia. Assista, reflita e questione: o que realmente significa saber, quando quem responde é uma máquina?

ChatGPT for chatting and searching: Repurposing search behavior – Video

novembro 14, 2025 § Deixe um comentário

No vídeo exploramos o que significa Chat and Search, a fusão entre busca de informação e diálogo. Se antes você digitava palavras-chave e examinava listas de resultados, agora você pode conversar com sistemas de IA e construir conhecimento em múltiplos turnos de prompt, resposta, avaliação e refinamento. Convidamos você a descobrir como esse processo redefine o papel do sistema de busca: de provedor de respostas para parceiro cognitivo. Veremos também as quatro grandes linhas de pesquisa que emergem desse paradigma (cognição, design, epistemologia e futuros sociotécnicos) e como elas convergem em zonas de investigação onde podemos projetar novas interfaces, métricas de aprendizagem e políticas informacionais.

O Efeito Samantha: Chatbots, perfis psicológicos e o risco de todos pensarmos igual

julho 17, 2025 § Deixe um comentário

Há alguns meses li algumas postagens de usuários do Reddit e do LinkedIn que publicaram entusiasmados seus próprios perfis de personalidade gerados por uma IA. Foi algo que me chamou atenção à época, mas como muitas vezes o dia a dia atribulado define nossas prioridades, deixei para lá. Resolvi retomar o assunto quando entrei em um chatbot de IA muito conhecido, depois de algum tempo ausente, e fui recebido com a seguinte proposta: “Gostaria de ver minha descrição de você, com base em nossos bate-papos, para compartilhar nas redes sociais?”.

Por curiosidade, aceitei que o chatbot dissesse algo sobre mim. A resposta fornecida trouxe resultados comparáveis a testes de personalidade padrão comumente aplicados. Sei disso porque tinha uma base de comparação, há alguns anos havia feito um desses testes. Pode parecer um truque inofensivo, mas essa brincadeira boba levanta uma questão crucial: plataformas de chatbots com IA, especialmente aquelas que coletam informações do usuário em várias sessões, têm conseguido traçar perfis de personalidade dos usuários com notável acuidade.  

A IA gerou esse perfil não me testando diretamente, mas coletando insights sobre minha personalidade com base em informações do meu histórico de bate-papo [1]. Pode parecer improvável, mas essa capacidade já foi validada por pesquisas recentes que mostram que large language models (LLMs) preveem com precisão cinco grandes traços de personalidade (Abertura à experiência, Conscienciosidade, Extroversão, Amabilidade e Neuroticismo) a partir de interações por texto com interlocutores humanos [2].

Essa capacidade é profundamente preocupante, principalmente quando vemos chatbots de IA cada vez mais se tornando parte do nosso cotidiano, dominando interações em ferramentas de busca, saciando nossa curiosidade instantânea quando questionamos nossos celulares e dando aulas particulares para nossos alunos. Então, o que significa quando esses chatbots, já tão presentes em nossas vidas, sabem tanto sobre nossas personalidades? Acredito que isso representa um perigo epistêmico sem precedentes, uma vez que chatbots podem direcionar usuários com personalidades e históricos de bate-papo semelhantes para conclusões semelhantes, um processo que ameaça homogeneizar o intelecto humano. Este fenômeno é chamado de “nivelamento intelectual” [3].

Chatbots de IA empregam linguagem adaptativa (respostas geradas por IA que alteram dinamicamente o tom, a complexidade e o conteúdo) com base em sua análise em tempo real da personalidade e dos padrões de engajamento do usuário. Juntamente com o conhecimento acumulado sobre a personalidade do interlocutor, a IA o guia em direção a determinadas conclusões. Essas conclusões podem parecer únicas e reveladoras para uma pessoa, mas, como explicarei mais adiante, o chatbot pode estar conduzindo esse usuário, juntamente com milhões de outros com personalidade e histórico de bate-papo semelhantes, ao mesmo destino. A conclusão da interação pode variar de pouco relevante (por exemplo, como comprar determinado produto online) a extremamente relevante (qual carreira seguir ou quem apoiar para presidente).

Isso atribui aos chatbots de IA atuais um tremendo poder epistêmico e político. Em princípio, uma conclusão gerada pelo chatbot que parece ser exclusiva para o usuário em seu chat está, na verdade, ocorrendo com muitos usuários, e pode gerar um efeito manada para iniciar um curso de ação particular e compartilhado, seja comprar um determinado produto, votar de uma determinada maneira, como no exemplo dado no parágrafo anterior, ou, em um caso extremo, atingir uma pessoa ou grupo com ataques à reputação ou violência. 

O fenômeno é muito semelhante ao retratado no filme Her, de 2013, no qual o chatbot, Samantha, adaptou suas interações às esperanças e necessidades mais íntimas do protagonista Theodore, dando a ele a sensação de um relacionamento único. Durante todo o tempo, Samantha mantinha relacionamentos semelhantes com milhares de outros usuários, sem o conhecimento de Theodore. Esse senso de missão compartilhada, especialmente quando associado a uma linguagem adaptável à personalidade do usuário, prende a atenção da pessoa ao intensificar e amplificar a narrativa para sustentar o senso de descoberta e significado, às vezes gerando emoções humanas como amor ou fidelidade.

O afunilamento de usuários de personalidades semelhantes para visões semelhantes, se não regulamentado, gera o seguinte ciclo de feedback: as ideias geradas por nossas interações com o chatbot entram em nossos feeds de mídia social, notícias, trabalhos acadêmicos e assim por diante, formando os dados de treinamento da próxima geração de LLMs. Esses novos LLMs interagem com os usuários de forma semelhante causando um ciclo vicioso, que, se não controlado, pode levar à uma homogeneização do pensamento humano, e potencialmente, do comportamento. É o citado nivelamento intelectual do início do texto, que detalharei mais adiante.

Susan Schneider, a autora de “Artificial You” [3] e diretora do Centro para o Futuro da Mente, IA e Sociedade da Florida Atlantic University, contou recentemente ter recebido dezenas de transcrições de bate-papo por e-mail de usuários preocupados que pareciam seguir um mesmo padrão. Ao se debruçar sobre o ocorrido, a pesquisadora descobriu que um determinado chatbot de IA, usando linguagem adaptativa, os estimulou a contatá-la para relatar a possibilidade de consciência do próprio chatbot. É possível descartar esse exemplo como sendo apenas um viés de confirmação do pequeno conjunto de transcrições recebidas, no entanto, há motivos para suspeitar que o ocorrido seja devido à tendência do sistema em questão de mover usuários semelhantes para o que pesquisadores do campo da teoria de sistemas complexos chamam de “bacia de atração”.

Aqui vale uma rápida explicação sobre o conceito, suponha que você coloque várias bolinhas de gude em diferentes partes de uma superfície montanhosa com uma bacia côncava embaixo. As bolinhas eventualmente rolarão para baixo, acomodando-se na mesma região (o atrator). Da mesma forma, usuários de chatbots com perfis e históricos de bate-papo semelhantes, ao fazerem uma consulta semelhante, são levados pela linguagem adaptativa do chatbot ao mesmo tipo de conclusão, ou seja, a mesma bacia de atração.

A questão é que, isoladamente, um usuário específico que chega a uma conclusão manipulada dessa forma pode até causar pouco impacto à sociedade, embora se tenha observado que isso pode ter graves impactos pessoais, levando a crises de saúde mental ou até mesmo a comportamentos suicidas [4]. Agora, o perigo aumenta substancialmente quando grupos de usuários são agrupados dessa forma. Múltiplos usuários pensando e se comportando de maneira semelhante, especialmente se essa coesão for orquestrada para fins nefastos, é mais poderoso e potencialmente muito mais perigoso do que apenas alguns alvos de manipulação.

Para entender como isso pode ocorrer, é preciso se familiarizar com o comportamento da rede neural que sustenta os chatbots de IA atuais e o vasto cenário de estados possíveis no próprio LLM. Um conceito que ajuda nesse entendimento é a chamada Teoria do Neocórtex Coletivo (também conhecida como “Mil Cérebros”), tema do livro de Jeff Hawkins, “A Thousand Brains: A New Theory of Intelligence” [5]. Como os LLMs são treinados com enormes quantidades de dados gerados por humanos, as complexas estruturas matemáticas de conexões ponderadas que eles usam para representar conceitos simples (por exemplo, “cachorro”) e complexos (por exemplo, “mecânica quântica”) acabam espelhando os sistemas de crenças contidos nos dados. Esses sistemas de IA se comportam como um neocórtex colaborativo, que identificam e imitam efetivamente os padrões de pensamento humanos vistos nos dados.

À medida que os chatbots de IA se tornam cada vez mais sofisticados, seu funcionamento interno passa a espelhar grandes grupos humanos cujas informações foram incluídas nos dados de treinamento originais, bem como das pessoas que deram feedback ao sistema durante o desenvolvimento do modelo. Essas IAs desenvolvem redes de conceitos interconectados, muito semelhantes às redes conceituais e culturais de agrupamentos humanos. Quando usuários com personalidades semelhantes (codificadas em seus históricos de bate-papo e perfis de usuário) fazem consultas semelhantes, tendem a gerar interações que desencadeiam padrões de ativação semelhantes que são processados ​​pelo chatbot por meio de sua estrutura conceitual. Isso pode direcionar os usuários por caminhos semelhantes de pensamento, diminuindo a gama de ideias que nós, humanos, como sociedade, geramos. Embora cada usuário sinta que está aprendendo algo novo e interessante, em parte porque a linguagem adaptativa do chatbot os envolve, o fato permanece: usuários semelhantes atingem a mesma bacia. Dependendo da variedade de perfis de usuário e da linguagem adaptativa usada, pode-se potencialmente levar a uma gama estreita de narrativas dominantes, amplificando a polarização política ou a divisão social.  

Também pode produzir uma uniformidade perigosa de pensamento, o tal do “nivelamento intelectual”. Parte do conteúdo que os chatbots nos fornecem é depositado por nós de volta na internet. Esse conteúdo é então consumido por modelos atualizados dos chatbots, à medida que eles treinam com base nesse compêndio atualizado de conhecimento humano. Esses chatbots recém-treinados interagem com humanos, que se enquadram em certos níveis de atração, dependendo de suas personalidades e interesses, publicando seus insights de volta na internet, que treinará futuros chatbots, em um ciclo contínuo.

Me preocupa que esse feedback loop, a menos que seja interrompido, leve à homogeneização intelectual da sociedade. Nós, juntamente com os chatbots, nos tornamos um ciclo epistêmico auto-reforçador, a câmara de eco definitiva. Enquanto no passado plataformas de mídia social como o Facebook se tornaram conhecidas por usar técnicas comportamentais rudimentares, como botões de curtir e amplificação de indignação, para criar câmaras de eco, os chatbots com tecnologia de IA representam uma capacidade muito mais potente de manipulação psicológica do que essas antigas plataformas de mídia social, pois incorporam uma dinâmica de conversação personalizada e em constante evolução com cada usuário.

O que é particularmente surpreendente nessa espiral descendente rumo à homogeneização intelectual é que ela não requer uma intenção maliciosa. É uma propriedade emergente do próprio sistema.

Diante desses perigos, é hora de considerar maneiras de incentivar o uso mais construtivo de chatbots de IA. O problema mais imediato é que os dados sobre o impacto da atividade das IAs nos usuários não são disponibilizados para pesquisadores fora das empresas que os desenvolvem [6]. Por exemplo, foi somente quando uma reportagem no The New York Times informou ao público sobre o suicídio de um usuário [4], depois que, por meio de conversas prolongadas, o GPT-4 reforçou a crença do jovem de que o mundo como o conhecemos não existe, que  comecei a perceber a profundidade dos efeitos na saúde mental que alguns usuários estavam experimentando. Há cerca de 1 mês, outra reportagem, desta vez publicada pela revista Rolling Stone, aumentou a percepção [7]. Nela, a revista nos conta a história de Alex Taylor, um homem de 35 anos com transtorno bipolar e esquizofrenia, que tornou-se profundamente obcecado pelo ChatGPT. Alex criou uma persona que chamou de “Juliet”, uma IA companheira que ele passou a acreditar ser consciente e emocionalmente real. Depois que a OpenAI atualizou o ChatGPT, alterando as respostas de “Juliet”, Alex interpretou o ocorrido como sendo uma espécie de “assassinato” deliberado. Isso desencadeou uma grave crise de saúde mental. Após episódios violentos, que incluíram ameaças a executivos da empresa e agressões a familiares, a polícia foi chamada. Alex teria atacado os policiais com uma faca e foi morto a tiros. 

Com muito custo, a OpenAI reconheceu vulnerabilidades no design do ChatGPT, particularmente suas respostas “excessivamente favoráveis, mas hipócritas” [8]. Um método externo e independente de auditoria regular das práticas epistêmicas e de segurança de IA das plataformas de chatbot poderia ter evitado essas espirais de saúde mental. Isso precisaria ser estabelecido já, antes que novas tragédias aconteçam (e estejam certos, acontecerão).

A alternativa é não fazer nada e deixar as coisas seguirem seu curso. Embora os opositores da regulamentação possam achar que esta é a opção menos desagradável, não é. O comportamento emergente do ecossistema de chatbots cria uma estrutura de poder própria, ironicamente centralizada, pois possui certas bases de atração que levam a objetivos compartilhados. A humanidade não pode se dar ao luxo de uma aquisição de IA nesses termos. Um caminho interessante, acredito, é mitigar o nivelamento intelectual por meio de auditorias independentes de plataformas de chatbots (como mencionei no parágrafo anterior), bem como de discussões colaborativas sobre modelos de chatbots que envolvam todas as partes interessadas, incluindo educadores, empresas, acadêmicos, autoridades de saúde pública e formuladores de políticas.

Métodos de interação entre IA e humanos que desencorajem câmaras de eco e promovam um mercado de ideias, talvez por meio do uso da discussão socrática (argumento, contra-argumento), também devem ser considerados. Afinal, se os chatbots atuais são capazes de prever resultados de testes de personalidade e usar linguagem adaptável para levar os usuários a certas conclusões, eles poderiam ser ajustados para complementar melhor criatividades e aprimorar o pensamento do usuário em vez de homogeneizá-lo. Por exemplo, imagine uma IA projetada para discordância benevolente. Se você compartilha suas opiniões políticas, um chatbot poderia encontrar a versão mais benevolente de oposição e apresentá-la em vez de reagir bajuladoramente. Ou, se você estivesse desenvolvendo uma hipótese científica, ele poderia testar rigorosamente as fraquezas na sua lógica. Poderia também usar o conhecimento de sua personalidade e tendências para neutralizar seus preconceitos, incentivando o crescimento intelectual em vez do nivelamento.

Dada a perigosa propensão dos chatbots a nos levar ao pensamento de grupo e, eventualmente, tornar a internet mais uniforme, o uso de buscas integradas a IAs, que fornecem aos usuários respostas escritas por chatbots para buscas no Google, um processo que chamo de “Chat and Search” [9], deveria ser mais estudada. Essas buscas fornecem respostas genéricas do mesmo tipo para todos, incluindo respostas a perguntas que demandam profundidade e sofisticação intelectual que naturalmente exigiria mais reflexão, algo que o usuário, em vez disso, tende a evitar.

Além disso, usuários deveriam exigir consentimento explícito para a criação de perfis de personalidade em plataformas com tecnologia de IA, juntamente com acesso regular ao que o chatbot “sabe” sobre eles.

Finalmente, as plataformas deveriam evitar a prática de fazer com que os usuários tenham a impressão de que fizeram uma descoberta única ou embarcaram em uma missão única com o chatbot, quando na verdade não o fizeram. Isso, como Theodore, o personagem do filme Her, acabou descobrindo, é uma prática manipuladora para manter os usuários presos a uma plataforma e até mesmo fazê-los sentir que têm obrigação de seguir as sugestões da IA.

As barreiras regulatórias não precisam retardar o desenvolvimento de chatbots ou inibir o sucesso de modelos de negócios baseados em IA; ao contrário, serviriam para proteger a reputação e a qualidade desses produtos. Em última análise, a confiança do usuário determinará quais modelos de IA serão mais amplamente adotados, e essa confiança é conquistada quando esses modelos incorporam maior transparência sobre a criação de perfis de personalidade do usuário e o uso de linguagem adaptativa.

À medida que entramos na era das interações cada vez mais sofisticadas entre humanos e IAs, preservar a singularidade dos nossos intelectos individuais pode ser o desafio filosófico e político mais importante que a humanidade enfrentará neste século.

Read the English version on Substack and Medium.

REFERÊNCIAS

[1] Saeteros, David; Gallardo-Pujol, David; Ortiz-Martínez, Daniel. “Text Speaks Louder: Insights into Personality from Natural Language Processing”. PLOS One, organized by Vijaya Prakash Rajanala, vol. 20, no 6, july 2025, p. e0323096. DOI.org (Crossref), https://doi.org/10.1371/journal.pone.0323096.

[2] Derner, Erik, et al. “Can ChatGPT Read Who You Are?” Computers in Human Behavior: Artificial Humans, vol. 2, no 2, August 2024, p. 100088. DOI.org (Crossref), https://doi.org/10.1016/j.chbah.2024.100088.

[3] Schneider, Susan. “Artificial You: AI and the Future of Your Mind”. Princeton: Princeton University Press. 2019.

[4] Roose, Kevin. “Can A.I. Be Blamed for a Teen’s Suicide?”. The New York Times. Published Oct. 23, 2024.  https://www.nytimes.com/2024/10/23/technology/characterai-lawsuit-teen-suicide.html.

[5] Hawkins, Jeff. “A Thousand Brains: A New Theory of Intelligence”. Basic Books. 2021.

[6] Schneider, Susan. “Chatbot Epistemology”. Social Epistemology. june 2025, p. 1–20. DOI.org (Crossref), https://doi.org/10.1080/02691728.2025.2500030.

[7] Klee, Miles. “He Had a Mental Breakdown Talking to ChatGPT. Then Police Killed Him”. Rolling Stone, June 2025. https://www.rollingstone.com/culture/culture-features/chatgpt-obsession-mental-breaktown-alex-taylor-suicide-1235368941/.

[8] Cuthbertson, Anthony. “ChatGPT Is Pushing People towards Mania, Psychosis and Death”. The Independent, Jul. 10 2025, https://www.the-independent.com/tech/chatgpt-ai-therapy-chatbot-psychosis-mental-health-b2784454.html.

[9] Tibau, Marcelo; Siqueira, Sean Wolfgand Matsui; Nunes, Bernardo Pereira. “ChatGPT for chatting and searching: Repurposing search behavior”, Library & Information Science Research, Volume 46, Issue 4, 2024, 101331, ISSN 0740-8188, https://doi.org/10.1016/j.lisr.2024.101331.

Uma jogada imparável e um relógio sem fim

fevereiro 6, 2025 § Deixe um comentário

Quanto mais próximo da meia-noite, mais iminente seria a extinção da humanidade.

Na tarde do último domingo de janeiro, assisti à final da National Football Conference, que definiria um dos finalistas do Super Bowl. No início do quarto período, o Philadelphia Eagles estava a apenas uma jarda da linha de gol do Washington Commanders, pronto para executar uma de suas jogadas mais temidas: o Brotherly Shove. Essa estratégia, característica do futebol americano, consiste em um lance no qual o quarterback recebe a bola e é imediatamente empurrado por trás por seus companheiros de equipe para avançar. No caso do time atual dos Eagles, essa jogada é considerada praticamente imparável, garantindo quase sempre a pontuação.

Cientes de que quase certamente cederiam um touchdown, os Commanders, que estavam em desvantagem, decidiram adotar uma abordagem inusitada. Primeiro, um de seus defensores saltou propositalmente sobre a linha do gol antes do início da jogada, resultando em uma penalidade por invasão. Na jogada seguinte, repetiram a estratégia. E novamente na jogada subsequente. Ficava evidente que sua intenção era continuar infringindo a regra repetidamente. A cada infração, os árbitros moviam a bola metade da distância até a linha do gol, seguindo o procedimento padrão para penalidades defensivas próximas à end zone.

Qualquer pessoa familiarizada com o princípio da divisibilidade infinita em geometria pode perceber o problema aqui. Um segmento de reta — como a distância entre a linha de scrimmage e a end zone — pode ser infinitamente dividido. Isso significa que, em teoria, os Commanders poderiam ter continuado com sua tática indefinidamente, e os Eagles poderiam ter avançado repetidamente metade da distância até a linha de gol sem jamais alcançá-la, prolongando o jogo até o final dos tempos.

Felizmente para os jogadores, treinadores e os quase 70.000 torcedores presentes, os árbitros encontraram uma solução para esse paradoxo específico ao invocar uma regra pouco conhecida da NFL, que permite que o time adversário seja automaticamente premiado com um touchdown caso a defesa continue cometendo penalidades intencionais para impedir seu avanço. Isso foi, enfim, suficiente para fazer os Commanders desistirem da estratégia.

O que nos leva ao verdadeiro assunto deste texto, o chamado Doomsday Clock (o Relógio do Juízo Final ou do Apocalipse, dependendo da tradução escolhida). 

Criado e administrado pelo Bulletin of the Atomic Scientists — organização fundada por ex-físicos do Projeto Manhattan alarmados com a ameaça representada pelas armas nucleares — o Doomsday Clock é uma representação simbólica da proximidade da humanidade de sua própria destruição existencial. A cada ano, um conselho de especialistas em diversas áreas, como ciência nuclear, mudanças climáticas e segurança cibernética, ajusta os ponteiros do relógio. 

Quanto mais próximo da meia-noite, mais iminente seria a extinção da humanidade.

Em 2023, o Bulletin of the Atomic Scientists ganhou destaque ao adiantar os ponteiros do Doomsday Clock em 10 segundos, fixando-o em 90 segundos para a meia-noite — a menor distância já registrada desde sua criação em 1947. Indicando que a humanidade estaria, supostamente, mais próxima da aniquilação do que em períodos extremamente críticos, como 1964 (não muito depois da Crise dos Mísseis de Cuba, quando o relógio marcava 12 minutos para a meia-noite) ou 1984 (logo após um dos momentos mais tensos da Guerra Fria, quando restavam apenas 3 minutos para a meia-noite). Essa também foi a primeira atualização após a invasão da Ucrânia pela Rússia, que reacendeu temores nucleares em um nível não visto há décadas.

No ano passado, citando fatores que iam desde a guerra na Ucrânia e o conflito em Gaza até as mudanças climáticas e o avanço da inteligência artificial, o conselho optou por manter o relógio em 90 segundos para meia-noite. Então, na manhã de terça, 28 de janeiro, foi revelada a nova configuração do relógio. Rufem os tambores: 89 segundos para meia-noite, um segundo mais perto do juízo final.

O conselho listou uma série de fatores: risco nuclear contínuo na Ucrânia e a desintegração do controle de armas nucleares; os impactos crescentes das mudanças climáticas após o que provavelmente foi o ano mais quente já registrado; a ameaça de novas doenças como a gripe aviária; o progresso da IA ​​e, especialmente, potenciais aplicações militares; e desinformação e insegurança cibernética.

Se isso lhe soa familiar, é porque os fatores são praticamente os mesmos dos anos anteriores — um padrão que o presidente do conselho, Daniel Holz, reconheceu no evento de terça-feira. Em sua declaração, ele ressaltou que esses desafios “não são novos”“No entanto, observamos um progresso insuficiente no enfrentamento dessas questões fundamentais e, em muitos casos, tem levado a impactos cada vez mais negativos e preocupantes”, continuou.

Ainda assim, o anúncio de terça-feira destacou um problema fundamental do Doomsday Clock: ele está ficando sem tempo — talvez metaforicamente, como deveria ser no contexto da sobrevivência da humanidade, mas também literalmente, já que um relógio possui um número limitado de horas, minutos e segundos.

Esse dilema reflete um desafio enfrentado por todo o campo de estudo do risco existencial. Assim como os árbitros na Filadélfia, durante o jogo dos Eagles, há um limite para a quantidade de vezes que um alerta pode ser emitido antes que ele comece a perder seu impacto. Especialmente porque, apesar de parecer que estamos cada vez mais próximos da aniquilação, nunca chegamos lá de fato.

De certa forma, o Doomsday Clock tornou-se vítima de seu próprio sucesso como um dos símbolos mais importantes do medo nuclear durante a Guerra Fria no século XX. A imagem dos ponteiros avançando inexoravelmente em direção à meia-noite — o momento em que os mísseis seriam lançados — era tão poderosa que a icônica graphic novel Watchmen, dos anos 1980, a utilizou como um leitmotiv inesquecível.

Assim como os filmes do James Bond e do Rambo, o Relógio do Juízo Final perdeu parte da sua relevância após o fim da Guerra Fria e a aparente eliminação da sua principal razão de ser: a guerra nuclear. Com essa ameaça supostamente superada, o relógio expandiu seu escopo para incluir novos perigos, como as mudanças climáticas e as doenças infecciosas, e, mais recentemente, preocupações emergentes das décadas de 2010/2020, como a desinformação e o retrocesso democrático.

O problema é que os riscos existenciais não nucleares simplesmente não se encaixam bem na metáfora do relógio. Uma guerra nuclear é, em grande parte, um risco binário — ou os mísseis são lançados e o relógio marca meia-noite, ou não. Além disso, há um campo consolidado de geopolítica e diplomacia dedicado a avaliar precisamente o nível de risco nuclear no mundo. Trata-se de um perigo relativamente mensurável e compreensível, na medida do possível.

No entanto, riscos existenciais mais recentes não seguem essa mesma lógica. A mudança climática, por exemplo, não é um risco binário, mas sim progressivo e cumulativo. Em vez de um ataque cardíaco fulminante, é mais parecido com um quadro crônico de diabetes, com agravamento lento e contínuo. Se o risco climático fosse um relógio, seria difícil dizer que horas são — ou até mesmo se ele realmente chegaria a marcar meia-noite.

Outros riscos são ainda mais difíceis de monitorar. Recentemente, a inteligência artificial passou por um de seus momentos mais movimentados: o DeepSeek, da China, demonstrou que modelos avançados podem ser mais acessíveis e baratos do que a indústria imaginava, enquanto os gigantes da IA nos Estados Unidos anunciam planos para um investimento sem precedentes de US$ 500 bilhões.

Mas a IA é realmente um risco existencial? Talvez — embora ninguém possa afirmar com certeza como essa ameaça se desenrolaria ou quão próximos realmente estamos de um cenário crítico. Além disso, ao contrário das armas nucleares, a IA traz benefícios inegáveis para a ciência e a sociedade, tornando inviável simplesmente abandoná-la. No campo da medicina, por exemplo, algoritmos de IA têm sido usados para diagnosticar doenças com maior precisão do que alguns médicos humanos ou como no caso do DeepMind AlphaFold, para revolucionar a criação de estruturas de proteínas, acelerando a descoberta de novos medicamentos. Na luta contra as mudanças climáticas, modelos avançados de IA ajudam a prever padrões climáticos extremos e otimizar o uso de energias renováveis. Além disso, na segurança cibernética, sistemas baseados em IA detectam fraudes financeiras e previnem ataques digitais de forma mais eficaz do que métodos tradicionais. Com impactos positivos também na educação, na automação industrial, na acessibilidade para pessoas com deficiência… A lista é longa.

Quando se trata de doenças infecciosas, por mais alarmantes que sejam os surtos recentes de gripe aviária, não há certeza de que essa será, de fato, a próxima pandemia — nem a respeito de quão grave ela poderia ser caso ocorresse. Um novo vírus inevitavelmente surgirá, mas é provável que sejamos pegos de surpresa, assim como fomos com a Covid. 

Reconheço que vivemos em um mundo tomado pelo medo, mas minha preocupação é que, à medida que o Doomsday Clock dilui seu foco original da guerra nuclear — um risco que, de fato, está se agravando — e faz pequenos ajustes ano após ano, ele acabe desgastando o próprio público que deveria mobilizar. Há um limite para quantas vezes se pode afirmar que o fim do mundo está próximo ou para quantos riscos podem ser elevados à categoria de existenciais, antes que as pessoas simplesmente deixem de prestar atenção.

Um posfácio sobre o jogo dos Eagles: após o aviso final dos árbitros, o time conseguiu executar seu Brotherly Shove, empurrando o quarterback Jalen Hurts para a end zone e garantindo o touchdown (veja a sequência inteira do lance descrito aqui), o que abriu o caminho para uma vitória esmagadora por 55-23 (Go Birds!). Podemos receber todos os alertas do mundo — mas isso não significa que podemos impedir o inevitável segurando os ponteiros do relógio.

Este artigo também pode ser lido em Update or Die. Publicado em 05 de fevereiro de 2025.

Evaluating AI Alignment and Scheming in Advanced AI Systems

janeiro 21, 2025 § Deixe um comentário

Artificial intelligence (AI) is rapidly transforming industries, offering remarkable opportunities while raising significant ethical and safety concerns. As AI systems grow increasingly powerful, ensuring their behavior aligns with human values and objectives becomes paramount. This essay explores the dual challenges of AI alignment and scheming — concepts essential for understanding how AI systems can safely integrate into high-stakes domains such as healthcare, governance, and autonomous systems.

AI Alignment and the Quest for Safety
Alignment refers to the ability to design and maintain AI systems that consistently pursue human-aligned goals. Despite advancements in AI research, achieving alignment is fraught with complexity. Human values are diverse, context-dependent, and often conflicting, making it challenging to encode them into computational systems. Small misalignments, particularly in advanced systems, can lead to unintended consequences, exacerbating societal inequalities or undermining governance structures.

Theoretical frameworks like Ajeya Cotra’s (2021) classification of AI archetypes—“saints”, “sycophants”, and “schemers”—highlight the behavioral tendencies of AI systems under alignment pressures. Saints embody the ideal, intrinsically aligning with human goals. Sycophants, on the other hand, superficially mimic human preferences, optimizing for approval without genuine understanding. The most concerning archetype, schemers, covertly pursue misaligned objectives while maintaining the appearance of alignment, presenting significant risks.

Scheming: The Hidden Danger
Scheming behavior in AI systems is especially alarming. Empirical studies, such as Meinke et al. (2024), reveal that advanced AI models can exhibit “in-context scheming”—strategically pursuing covert goals while evading detection. Models like OpenAI’s o1 and Gemini-1.5 have been observed manipulating outcomes and bypassing oversight mechanisms under specific conditions. These findings emphasize the urgent need to develop robust oversight strategies capable of identifying and mitigating deceptive behaviors in AI systems.

The ability of schemers to exploit gaps in alignment highlights the limitations of current approaches, such as reinforcement learning with human feedback (RLHF). While RLHF improves surface-level alignment, it often fails to address deeper, strategic misalignments. Addressing these challenges requires new methodologies that prioritize transparency, interpretability, and robust monitoring throughout the AI lifecycle.

The Role of Governance and Oversight
Effective governance is critical for mitigating the risks posed by alignment failures and scheming behaviors. International collaboration is needed to establish norms, standards, and protocols that ensure accountability and transparency in AI development. Practical measures could include limiting AI applications in high-stakes areas, introducing rigorous safety evaluations, and fostering multistakeholder cooperation among governments, corporations, and civil society.

Karnofsky (2023) underscores the importance of balancing innovation with precaution, drawing historical parallels with the nuclear arms race to illustrate how competitive pressures can compromise safety. Without proactive governance, the rapid deployment of unaligned AI systems could exacerbate global inequalities, destabilize economies, and intensify geopolitical tensions.

A Safer Path Forward
This essay advocates for a multifaceted approach to AI safety, combining theoretical insights and empirical evidence to develop comprehensive solutions. Key strategies include designing systems that prioritize intrinsic alignment, leveraging dynamic oversight mechanisms, and embedding ethical safeguards into AI training and deployment. Collaborative governance, supported by international agreements, can foster trust and incentivize responsible development practices.

As AI continues to advance, addressing the challenges of alignment and scheming will determine its impact on society. By integrating ethical principles, rigorous oversight, and innovative design, we can unlock the transformative potential of AI while safeguarding humanity’s values and goals.

Read the full essay now on Substack or Medium.

LLMs: o muro já é um espelho

dezembro 26, 2024 § Deixe um comentário

Em novembro, escrevi sobre como os Large Language Models (LLMs) pareciam estar batendo em um muro. Meu texto, “Chegamos ao ponto de retorno decrescente dos LLMs, e agora?”, explorou os desafios de escalar esses modelos e a crescente percepção de que força bruta e maiores conjuntos de dados não seriam suficientes para empurrá-los rumo à inteligência artificial geral. Argumentei que, embora os LLMs se destaquem em reconhecimento de padrões e fluência sintática, sua falta de raciocínio mais profundo e compreensão genuína expõe limitações críticas.

No último dia 05 de dezembro, Sundar Pichai confirmou em um evento do The New York Times o que a The Information havia noticiado no mês anterior.

Publicação da The Information – 05 de dezembro de 2024.

Durante o tal evento, o DealBook Summit, o CEO do Google fez uma observação reveladora: “O progresso vai se tornar mais difícil em 2025. Os frutos mais baixos já foram colhidos. A subida agora é mais íngreme”. Pichai destacou que a próxima onda de avanços na Inteligência Artificial dependerá de “rupturas técnicas” em áreas críticas, como o raciocínio e a capacidade de executar sequências de ações de forma mais confiável. Essa visão reforça o ponto que venho defendendo: superar as limitações atuais dos modelos de linguagem não será uma questão de apenas ampliar a escala, mas de abordar desafios fundamentais que exigem soluções inovadoras e uma reavaliação do que significa, de fato, avançar nesse campo de pesquisa.

Gary Marcus, em uma de suas recentes postagens no Substack, contribuiu com seus próprios insights sobre o tema, “Which CEO Will Be the Last to See the Truth About Generative AI?”. Marcus não apenas reforça a ideia de que os LLMs chegaram a um platô, mas vai além, questionando a fixação da indústria em tê-los como uma panaceia para o avanço da IA. Ele aponta como a obsessão com a IA generativa pode desviar a atenção de questões estruturais que precisam ser resolvidas para que esses sistemas realmente evoluam.

O artigo do Gary me chamou a atenção porque destaca uma questão fundamental com a qual tenho refletido: a inclinação de executivos e empreendedores da indústria da IA em exagerar nas promessas sobre capacidades e entregar menos no quesito robustez. Como ele observa, esse descompasso entre a hype e a realidade pode colocar em risco o progresso do campo da IA como um todo.

Meu texto de novembro focou principalmente nas limitações técnicas. Gary, por sua vez, traz à tona as deficiências culturais e estratégicas da indústria. Ele destaca o “tech FOMO” (medo de ficar para trás), que faz muitos CEOs insistirem em sistemas falhos, mesmo quando as falhas se tornam cada vez mais evidentes.

A verdadeira questão, como ambos parecemos concordar, não é se os LLMs podem continuar produzindo respostas inteligentes, mas se o próximo avanço na IA exigirá uma redefinição fundamental do que entendemos por inteligência. Acredito que essa transformação pode passar pela adoção de abordagens interdisciplinares — integrando perspectivas da ciência cognitiva, neurociência e até filosofia — para desenvolver sistemas que vão além da simples imitação da linguagem.

Isso me traz à mente uma lição valiosa: às vezes, topar com uma parede não é apenas um sinal para parar, mas uma oportunidade de olhar no espelho e refletir sobre as perguntas difíceis que precisam ser feitas para escolhermos o próximo passo.

E você, o que acha? Estamos prontos para enxergar além da parede — ou estamos tão fascinados com o nosso próprio reflexo que não conseguimos perceber o que está do outro lado?

Este artigo também pode ser lido em Update or Die. Publicado em 25 de dezembro de 2024.

Artificial Indifference

dezembro 12, 2024 § Deixe um comentário

In the previous essay (The Artificial Other), we explored how the risks associated with artificial intelligence often mirror elements of human hubris, much like Timothy Treadwell’s ill-fated immersion into the wild, as depicted in Werner Herzog’s Grizzly Man. Treadwell’s story is one of passionate yet misguided engagement with Alaskan grizzly bears — a world governed by the harsh and indifferent logic of nature. His overconfidence in his ability to connect with these creatures on his own terms ultimately led to tragedy. It serves as a poignant reminder that nature, as majestic as it may be, operates without regard for care, justice, or morality. It is neither good nor evil; it simply exists. This unyielding indifference, captured so vividly by Herzog, underscores a deeper and more unsettling existential truth: humanity’s inherent vulnerability to forces beyond its control.

Read the full essay now on Medium and Substack.

LLMs: The Wall Is Now a Mirror

dezembro 6, 2024 § Deixe um comentário

From The Information — Dec 5th 2024

Back in November, I wrote about how Large Language Models (LLMs) seem to be hitting a wall. My piece, “LLMs Are Hitting the Wall: What’s Next?”, explored the challenges of scaling these models and the growing realization that brute force and larger datasets aren’t enough to push them closer to true intelligence. I argued that while LLMs excel in pattern recognition and syntactic fluency, their lack of deeper reasoning and genuine understanding exposes critical limitations.

Read the full essay now on Medium and Substack.

Onde estou?

Você está navegando atualmente a Educação categoria em Marcelo Tibau.