O Efeito Samantha: Chatbots, perfis psicológicos e o risco de todos pensarmos igual

julho 17, 2025 § Deixe um comentário

Há alguns meses li algumas postagens de usuários do Reddit e do LinkedIn que publicaram entusiasmados seus próprios perfis de personalidade gerados por uma IA. Foi algo que me chamou atenção à época, mas como muitas vezes o dia a dia atribulado define nossas prioridades, deixei para lá. Resolvi retomar o assunto quando entrei em um chatbot de IA muito conhecido, depois de algum tempo ausente, e fui recebido com a seguinte proposta: “Gostaria de ver minha descrição de você, com base em nossos bate-papos, para compartilhar nas redes sociais?”.

Por curiosidade, aceitei que o chatbot dissesse algo sobre mim. A resposta fornecida trouxe resultados comparáveis a testes de personalidade padrão comumente aplicados. Sei disso porque tinha uma base de comparação, há alguns anos havia feito um desses testes. Pode parecer um truque inofensivo, mas essa brincadeira boba levanta uma questão crucial: plataformas de chatbots com IA, especialmente aquelas que coletam informações do usuário em várias sessões, têm conseguido traçar perfis de personalidade dos usuários com notável acuidade.  

A IA gerou esse perfil não me testando diretamente, mas coletando insights sobre minha personalidade com base em informações do meu histórico de bate-papo [1]. Pode parecer improvável, mas essa capacidade já foi validada por pesquisas recentes que mostram que large language models (LLMs) preveem com precisão cinco grandes traços de personalidade (Abertura à experiência, Conscienciosidade, Extroversão, Amabilidade e Neuroticismo) a partir de interações por texto com interlocutores humanos [2].

Essa capacidade é profundamente preocupante, principalmente quando vemos chatbots de IA cada vez mais se tornando parte do nosso cotidiano, dominando interações em ferramentas de busca, saciando nossa curiosidade instantânea quando questionamos nossos celulares e dando aulas particulares para nossos alunos. Então, o que significa quando esses chatbots, já tão presentes em nossas vidas, sabem tanto sobre nossas personalidades? Acredito que isso representa um perigo epistêmico sem precedentes, uma vez que chatbots podem direcionar usuários com personalidades e históricos de bate-papo semelhantes para conclusões semelhantes, um processo que ameaça homogeneizar o intelecto humano. Este fenômeno é chamado de “nivelamento intelectual” [3].

Chatbots de IA empregam linguagem adaptativa (respostas geradas por IA que alteram dinamicamente o tom, a complexidade e o conteúdo) com base em sua análise em tempo real da personalidade e dos padrões de engajamento do usuário. Juntamente com o conhecimento acumulado sobre a personalidade do interlocutor, a IA o guia em direção a determinadas conclusões. Essas conclusões podem parecer únicas e reveladoras para uma pessoa, mas, como explicarei mais adiante, o chatbot pode estar conduzindo esse usuário, juntamente com milhões de outros com personalidade e histórico de bate-papo semelhantes, ao mesmo destino. A conclusão da interação pode variar de pouco relevante (por exemplo, como comprar determinado produto online) a extremamente relevante (qual carreira seguir ou quem apoiar para presidente).

Isso atribui aos chatbots de IA atuais um tremendo poder epistêmico e político. Em princípio, uma conclusão gerada pelo chatbot que parece ser exclusiva para o usuário em seu chat está, na verdade, ocorrendo com muitos usuários, e pode gerar um efeito manada para iniciar um curso de ação particular e compartilhado, seja comprar um determinado produto, votar de uma determinada maneira, como no exemplo dado no parágrafo anterior, ou, em um caso extremo, atingir uma pessoa ou grupo com ataques à reputação ou violência. 

O fenômeno é muito semelhante ao retratado no filme Her, de 2013, no qual o chatbot, Samantha, adaptou suas interações às esperanças e necessidades mais íntimas do protagonista Theodore, dando a ele a sensação de um relacionamento único. Durante todo o tempo, Samantha mantinha relacionamentos semelhantes com milhares de outros usuários, sem o conhecimento de Theodore. Esse senso de missão compartilhada, especialmente quando associado a uma linguagem adaptável à personalidade do usuário, prende a atenção da pessoa ao intensificar e amplificar a narrativa para sustentar o senso de descoberta e significado, às vezes gerando emoções humanas como amor ou fidelidade.

O afunilamento de usuários de personalidades semelhantes para visões semelhantes, se não regulamentado, gera o seguinte ciclo de feedback: as ideias geradas por nossas interações com o chatbot entram em nossos feeds de mídia social, notícias, trabalhos acadêmicos e assim por diante, formando os dados de treinamento da próxima geração de LLMs. Esses novos LLMs interagem com os usuários de forma semelhante causando um ciclo vicioso, que, se não controlado, pode levar à uma homogeneização do pensamento humano, e potencialmente, do comportamento. É o citado nivelamento intelectual do início do texto, que detalharei mais adiante.

Susan Schneider, a autora de “Artificial You” [3] e diretora do Centro para o Futuro da Mente, IA e Sociedade da Florida Atlantic University, contou recentemente ter recebido dezenas de transcrições de bate-papo por e-mail de usuários preocupados que pareciam seguir um mesmo padrão. Ao se debruçar sobre o ocorrido, a pesquisadora descobriu que um determinado chatbot de IA, usando linguagem adaptativa, os estimulou a contatá-la para relatar a possibilidade de consciência do próprio chatbot. É possível descartar esse exemplo como sendo apenas um viés de confirmação do pequeno conjunto de transcrições recebidas, no entanto, há motivos para suspeitar que o ocorrido seja devido à tendência do sistema em questão de mover usuários semelhantes para o que pesquisadores do campo da teoria de sistemas complexos chamam de “bacia de atração”.

Aqui vale uma rápida explicação sobre o conceito, suponha que você coloque várias bolinhas de gude em diferentes partes de uma superfície montanhosa com uma bacia côncava embaixo. As bolinhas eventualmente rolarão para baixo, acomodando-se na mesma região (o atrator). Da mesma forma, usuários de chatbots com perfis e históricos de bate-papo semelhantes, ao fazerem uma consulta semelhante, são levados pela linguagem adaptativa do chatbot ao mesmo tipo de conclusão, ou seja, a mesma bacia de atração.

A questão é que, isoladamente, um usuário específico que chega a uma conclusão manipulada dessa forma pode até causar pouco impacto à sociedade, embora se tenha observado que isso pode ter graves impactos pessoais, levando a crises de saúde mental ou até mesmo a comportamentos suicidas [4]. Agora, o perigo aumenta substancialmente quando grupos de usuários são agrupados dessa forma. Múltiplos usuários pensando e se comportando de maneira semelhante, especialmente se essa coesão for orquestrada para fins nefastos, é mais poderoso e potencialmente muito mais perigoso do que apenas alguns alvos de manipulação.

Para entender como isso pode ocorrer, é preciso se familiarizar com o comportamento da rede neural que sustenta os chatbots de IA atuais e o vasto cenário de estados possíveis no próprio LLM. Um conceito que ajuda nesse entendimento é a chamada Teoria do Neocórtex Coletivo (também conhecida como “Mil Cérebros”), tema do livro de Jeff Hawkins, “A Thousand Brains: A New Theory of Intelligence” [5]. Como os LLMs são treinados com enormes quantidades de dados gerados por humanos, as complexas estruturas matemáticas de conexões ponderadas que eles usam para representar conceitos simples (por exemplo, “cachorro”) e complexos (por exemplo, “mecânica quântica”) acabam espelhando os sistemas de crenças contidos nos dados. Esses sistemas de IA se comportam como um neocórtex colaborativo, que identificam e imitam efetivamente os padrões de pensamento humanos vistos nos dados.

À medida que os chatbots de IA se tornam cada vez mais sofisticados, seu funcionamento interno passa a espelhar grandes grupos humanos cujas informações foram incluídas nos dados de treinamento originais, bem como das pessoas que deram feedback ao sistema durante o desenvolvimento do modelo. Essas IAs desenvolvem redes de conceitos interconectados, muito semelhantes às redes conceituais e culturais de agrupamentos humanos. Quando usuários com personalidades semelhantes (codificadas em seus históricos de bate-papo e perfis de usuário) fazem consultas semelhantes, tendem a gerar interações que desencadeiam padrões de ativação semelhantes que são processados ​​pelo chatbot por meio de sua estrutura conceitual. Isso pode direcionar os usuários por caminhos semelhantes de pensamento, diminuindo a gama de ideias que nós, humanos, como sociedade, geramos. Embora cada usuário sinta que está aprendendo algo novo e interessante, em parte porque a linguagem adaptativa do chatbot os envolve, o fato permanece: usuários semelhantes atingem a mesma bacia. Dependendo da variedade de perfis de usuário e da linguagem adaptativa usada, pode-se potencialmente levar a uma gama estreita de narrativas dominantes, amplificando a polarização política ou a divisão social.  

Também pode produzir uma uniformidade perigosa de pensamento, o tal do “nivelamento intelectual”. Parte do conteúdo que os chatbots nos fornecem é depositado por nós de volta na internet. Esse conteúdo é então consumido por modelos atualizados dos chatbots, à medida que eles treinam com base nesse compêndio atualizado de conhecimento humano. Esses chatbots recém-treinados interagem com humanos, que se enquadram em certos níveis de atração, dependendo de suas personalidades e interesses, publicando seus insights de volta na internet, que treinará futuros chatbots, em um ciclo contínuo.

Me preocupa que esse feedback loop, a menos que seja interrompido, leve à homogeneização intelectual da sociedade. Nós, juntamente com os chatbots, nos tornamos um ciclo epistêmico auto-reforçador, a câmara de eco definitiva. Enquanto no passado plataformas de mídia social como o Facebook se tornaram conhecidas por usar técnicas comportamentais rudimentares, como botões de curtir e amplificação de indignação, para criar câmaras de eco, os chatbots com tecnologia de IA representam uma capacidade muito mais potente de manipulação psicológica do que essas antigas plataformas de mídia social, pois incorporam uma dinâmica de conversação personalizada e em constante evolução com cada usuário.

O que é particularmente surpreendente nessa espiral descendente rumo à homogeneização intelectual é que ela não requer uma intenção maliciosa. É uma propriedade emergente do próprio sistema.

Diante desses perigos, é hora de considerar maneiras de incentivar o uso mais construtivo de chatbots de IA. O problema mais imediato é que os dados sobre o impacto da atividade das IAs nos usuários não são disponibilizados para pesquisadores fora das empresas que os desenvolvem [6]. Por exemplo, foi somente quando uma reportagem no The New York Times informou ao público sobre o suicídio de um usuário [4], depois que, por meio de conversas prolongadas, o GPT-4 reforçou a crença do jovem de que o mundo como o conhecemos não existe, que  comecei a perceber a profundidade dos efeitos na saúde mental que alguns usuários estavam experimentando. Há cerca de 1 mês, outra reportagem, desta vez publicada pela revista Rolling Stone, aumentou a percepção [7]. Nela, a revista nos conta a história de Alex Taylor, um homem de 35 anos com transtorno bipolar e esquizofrenia, que tornou-se profundamente obcecado pelo ChatGPT. Alex criou uma persona que chamou de “Juliet”, uma IA companheira que ele passou a acreditar ser consciente e emocionalmente real. Depois que a OpenAI atualizou o ChatGPT, alterando as respostas de “Juliet”, Alex interpretou o ocorrido como sendo uma espécie de “assassinato” deliberado. Isso desencadeou uma grave crise de saúde mental. Após episódios violentos, que incluíram ameaças a executivos da empresa e agressões a familiares, a polícia foi chamada. Alex teria atacado os policiais com uma faca e foi morto a tiros. 

Com muito custo, a OpenAI reconheceu vulnerabilidades no design do ChatGPT, particularmente suas respostas “excessivamente favoráveis, mas hipócritas” [8]. Um método externo e independente de auditoria regular das práticas epistêmicas e de segurança de IA das plataformas de chatbot poderia ter evitado essas espirais de saúde mental. Isso precisaria ser estabelecido já, antes que novas tragédias aconteçam (e estejam certos, acontecerão).

A alternativa é não fazer nada e deixar as coisas seguirem seu curso. Embora os opositores da regulamentação possam achar que esta é a opção menos desagradável, não é. O comportamento emergente do ecossistema de chatbots cria uma estrutura de poder própria, ironicamente centralizada, pois possui certas bases de atração que levam a objetivos compartilhados. A humanidade não pode se dar ao luxo de uma aquisição de IA nesses termos. Um caminho interessante, acredito, é mitigar o nivelamento intelectual por meio de auditorias independentes de plataformas de chatbots (como mencionei no parágrafo anterior), bem como de discussões colaborativas sobre modelos de chatbots que envolvam todas as partes interessadas, incluindo educadores, empresas, acadêmicos, autoridades de saúde pública e formuladores de políticas.

Métodos de interação entre IA e humanos que desencorajem câmaras de eco e promovam um mercado de ideias, talvez por meio do uso da discussão socrática (argumento, contra-argumento), também devem ser considerados. Afinal, se os chatbots atuais são capazes de prever resultados de testes de personalidade e usar linguagem adaptável para levar os usuários a certas conclusões, eles poderiam ser ajustados para complementar melhor criatividades e aprimorar o pensamento do usuário em vez de homogeneizá-lo. Por exemplo, imagine uma IA projetada para discordância benevolente. Se você compartilha suas opiniões políticas, um chatbot poderia encontrar a versão mais benevolente de oposição e apresentá-la em vez de reagir bajuladoramente. Ou, se você estivesse desenvolvendo uma hipótese científica, ele poderia testar rigorosamente as fraquezas na sua lógica. Poderia também usar o conhecimento de sua personalidade e tendências para neutralizar seus preconceitos, incentivando o crescimento intelectual em vez do nivelamento.

Dada a perigosa propensão dos chatbots a nos levar ao pensamento de grupo e, eventualmente, tornar a internet mais uniforme, o uso de buscas integradas a IAs, que fornecem aos usuários respostas escritas por chatbots para buscas no Google, um processo que chamo de “Chat and Search” [9], deveria ser mais estudada. Essas buscas fornecem respostas genéricas do mesmo tipo para todos, incluindo respostas a perguntas que demandam profundidade e sofisticação intelectual que naturalmente exigiria mais reflexão, algo que o usuário, em vez disso, tende a evitar.

Além disso, usuários deveriam exigir consentimento explícito para a criação de perfis de personalidade em plataformas com tecnologia de IA, juntamente com acesso regular ao que o chatbot “sabe” sobre eles.

Finalmente, as plataformas deveriam evitar a prática de fazer com que os usuários tenham a impressão de que fizeram uma descoberta única ou embarcaram em uma missão única com o chatbot, quando na verdade não o fizeram. Isso, como Theodore, o personagem do filme Her, acabou descobrindo, é uma prática manipuladora para manter os usuários presos a uma plataforma e até mesmo fazê-los sentir que têm obrigação de seguir as sugestões da IA.

As barreiras regulatórias não precisam retardar o desenvolvimento de chatbots ou inibir o sucesso de modelos de negócios baseados em IA; ao contrário, serviriam para proteger a reputação e a qualidade desses produtos. Em última análise, a confiança do usuário determinará quais modelos de IA serão mais amplamente adotados, e essa confiança é conquistada quando esses modelos incorporam maior transparência sobre a criação de perfis de personalidade do usuário e o uso de linguagem adaptativa.

À medida que entramos na era das interações cada vez mais sofisticadas entre humanos e IAs, preservar a singularidade dos nossos intelectos individuais pode ser o desafio filosófico e político mais importante que a humanidade enfrentará neste século.

Read the English version on Substack and Medium.

REFERÊNCIAS

[1] Saeteros, David; Gallardo-Pujol, David; Ortiz-Martínez, Daniel. “Text Speaks Louder: Insights into Personality from Natural Language Processing”. PLOS One, organized by Vijaya Prakash Rajanala, vol. 20, no 6, july 2025, p. e0323096. DOI.org (Crossref), https://doi.org/10.1371/journal.pone.0323096.

[2] Derner, Erik, et al. “Can ChatGPT Read Who You Are?” Computers in Human Behavior: Artificial Humans, vol. 2, no 2, August 2024, p. 100088. DOI.org (Crossref), https://doi.org/10.1016/j.chbah.2024.100088.

[3] Schneider, Susan. “Artificial You: AI and the Future of Your Mind”. Princeton: Princeton University Press. 2019.

[4] Roose, Kevin. “Can A.I. Be Blamed for a Teen’s Suicide?”. The New York Times. Published Oct. 23, 2024.  https://www.nytimes.com/2024/10/23/technology/characterai-lawsuit-teen-suicide.html.

[5] Hawkins, Jeff. “A Thousand Brains: A New Theory of Intelligence”. Basic Books. 2021.

[6] Schneider, Susan. “Chatbot Epistemology”. Social Epistemology. june 2025, p. 1–20. DOI.org (Crossref), https://doi.org/10.1080/02691728.2025.2500030.

[7] Klee, Miles. “He Had a Mental Breakdown Talking to ChatGPT. Then Police Killed Him”. Rolling Stone, June 2025. https://www.rollingstone.com/culture/culture-features/chatgpt-obsession-mental-breaktown-alex-taylor-suicide-1235368941/.

[8] Cuthbertson, Anthony. “ChatGPT Is Pushing People towards Mania, Psychosis and Death”. The Independent, Jul. 10 2025, https://www.the-independent.com/tech/chatgpt-ai-therapy-chatbot-psychosis-mental-health-b2784454.html.

[9] Tibau, Marcelo; Siqueira, Sean Wolfgand Matsui; Nunes, Bernardo Pereira. “ChatGPT for chatting and searching: Repurposing search behavior”, Library & Information Science Research, Volume 46, Issue 4, 2024, 101331, ISSN 0740-8188, https://doi.org/10.1016/j.lisr.2024.101331.

Indiferença Artificial

dezembro 4, 2024 § Deixe um comentário

Os riscos da IA frequentemente refletem elementos da arrogância humana, muito parecido com o encontro malfadado de Timothy Treadwell com a natureza selvagem em “O Homem Urso” (Grizzly Man, no original), do Werner Herzog.

No texto anterior (O Outro artificial), vimos como os riscos da inteligência artificial frequentemente refletem elementos da arrogância humana, muito parecido com o encontro malfadado de Timothy Treadwell com a natureza selvagem em “O Homem Urso” (Grizzly Man, no original), do Werner Herzog. A história de Treadwell é uma imersão apaixonada, embora ingênua, no mundo dos ursos pardos do Alasca — um mundo governado pela lógica dura e indiferente da natureza. Ilustra um excesso de confiança em nossa capacidade de nos conectarmos com as demais criaturas do planeta em nossos próprios termos. Seu fim trágico é um lembrete de que a natureza, por mais majestosa que seja, não opera com um senso de cuidado, justiça ou moralidade. Ela não é boa nem má; ela simplesmente é. Essa indiferença gritante, como Herzog captura eloquentemente, forma o pano de fundo para uma verdade existencial maior e inquietante: a vulnerabilidade da humanidade diante de forças além do nosso controle.

No entanto, o que acontece quando replicamos essa “indiferença” em nossas próprias criações? Embora a imparcialidade da natureza seja um dado adquirido, a inteligência artificial — sem dúvida o esforço humano mais ambicioso do nosso tempo — não precisa compartilhar essa “qualidade”. E, no entanto, os sistemas de IA, quando mal projetados ou desalinhados com os valores humanos, podem involuntariamente se tornar uma personificação dessa mesma força amoral. Como o urso pardo, uma IA avançada se importa pouco com a fragilidade ou as aspirações da condição humana, a menos que seja explicitamente projetada para isso.

As reflexões de Herzog sobre a indiferença da natureza ressoam profundamente com a tradição existencialista, particularmente os escritos de Albert Camus. Em “O Mito de Sísifo” [1], Camus descreve um universo desprovido de significado inerente, onde a humanidade é deixada para lutar com o absurdo. Tanto Herzog quanto Camus apontam para um mundo que não nos acolhe nem nos condena, apenas nos força a confrontar a insignificância. É esse mesmo confronto, argumento, que está no cerne do relacionamento da humanidade com a inteligência artificial. À medida que nos aventuramos na criação de máquinas capazes de superar nossa própria inteligência, devemos perguntar: vamos desenvolver sistemas que ampliem o cuidado e a consideração moral, ou inadvertidamente liberaremos ferramentas tão indiferentes ao sofrimento humano quanto o mundo natural?

Neste texto, pretendo explorar os paralelos filosóficos e práticos entre a indiferença da natureza e os riscos potenciais impostos pelos sistemas de IA. Com base em Grizzly Man e reflexões sobre o “problema do mal”, proponho que procuremos entender e abordar essa indiferença não apenas como um desafio técnico, mas também como um imperativo moral. A maneira como confrontamos essa questão pode determinar se a IA se tornará uma força indiferente da natureza ou uma ferramenta genuinamente transformadora para o bem.

A indiferença da natureza

Vimos que “O Homem Urso” é uma exploração cinematográfica do lugar frágil da humanidade dentro de um mundo natural indiferente. Pelas lentes de Herzog, a natureza surge não como a entidade benevolente e harmoniosa que Treadwell imaginou, mas como um reino governado pelo caos, sobrevivência e indiferença. Os ursos que Treadwell adorava e procurava proteger não compartilhavam de seus sentimentos humanos; não eram nem agradecidos nem mal-agradecidos pelos cuidados recebidos — simplesmente estavam ali, movidos por instintos além do julgamento moral. 

O próprio Herzog ressalta essa perspectiva em sua narração, descrevendo o “universo caótico e indiferente” que ele percebe nos olhos dos ursos. Essa perspectiva se alinha com uma visão mais ampla de que a natureza opera sem consideração pelos valores ou desejos humanos. A força amoral da natureza, como retratada em Grizzly Man, desafia as noções romantizadas de harmonia e equilíbrio que Treadwell tanto prezava, revelando, em vez disso, uma realidade onde a existência se desenrola sem preocupação com vidas ou intenções individuais.

Minha percepção é que a jornada psicológica de Treadwell reflete uma luta profunda com essa indiferença. Sua idealização dos ursos pardos representaria um anseio por conexão e propósito — um desejo de transcender a alienação da vida humana moderna ao mergulhar no que ele via como um mundo mais puro e significativo. No entanto, essa busca o colocou em conflito direto com as duras verdades da ordem natural. Sua incapacidade de reconciliar sua visão romantizada com a realidade da indiferença da natureza levou, em última análise, à sua queda.

Essa tensão entre idealismo e realidade encontra ecos na literatura psicológica, particularmente no conceito de dissonância cognitiva [2] — o desconforto psicológico experimentado quando uma pessoa mantém crenças, atitudes ou comportamentos conflitantes. Para reduzir essa tensão, os indivíduos normalmente resolvem a inconsistência por meio de estratégias que nem sempre podem estar alinhadas com a racionalidade. Eles podem alterar suas crenças ou comportamentos, justificar o conflito introduzindo novas explicações, minimizar o significado da inconsistência ou até mesmo rejeitar evidências que aprofundam o desconforto. Essas estratégias, embora eficazes na redução do sofrimento psicológico, muitas vezes priorizam o alívio emocional em vez da coerência lógica, ilustrando as formas complexas pelas quais os humanos navegam no conflito interno.

A crença de Treadwell na benevolência dos ursos colidiu irreconciliavelmente com seu comportamento, levando a um estado de conflito interno que provavelmente intensificou suas ações e decisões erráticas nos estágios posteriores do filme. Sua luta destaca uma tendência humana mais ampla de projetar significado e moralidade em sistemas inerentemente indiferentes — uma tendência que pode levar à desilusão ou tragédia quando esses sistemas não estão em conformidade com nossas expectativas.

Filosoficamente, a situação de Treadwell pode ser vista como um confronto com o que Camus descreve como “o absurdo” em “O Mito de Sísifo” [1]. Para ele, o absurdo surge da tensão entre a busca da humanidade por significado e o silêncio do universo. A imersão de Treadwell na natureza foi uma busca por significado, uma maneira de encontrar um propósito mais profundo por meio de seu relacionamento com os ursos pardos. Sua falha em reconhecer a indiferença fundamental da natureza reflete o dilema existencial que Camus descreve: quando confrontado com um universo indiferente, como alguém encontra significado sem sucumbir ao desespero?

A representação de Treadwell por Herzog evoca essa luta existencial. Enquanto Treadwell buscava criar uma narrativa de conexão e tutela, a natureza se recusava a retribuir. Seu fim trágico serve como um lembrete da percepção de Camus de que o universo não oferece nenhum significado inerente — cabe a cada indivíduo construir o seu próprio, mesmo diante da indiferença.

Este tema da força amoral da natureza tem sido amplamente discutido na filosofia ambiental. Por exemplo, Holmes Rolston, em Philosophy Gone Wild [3], argumenta que a natureza opera de acordo com seus próprios processos, indiferente às noções humanas de moralidade ou propósito. Da mesma forma, em The View from Lazy Point [4], Carl Safina destaca como os ecossistemas funcionam por meio de um equilíbrio de imperativos de sobrevivência, em vez de qualquer estrutura moral ou ética. Ambas as obras apoiam a representação da natureza de Herzog em Grizzly Man como um sistema autônomo e indiferente.

A indiferença da IA

A indiferença da natureza, como retratada em “O Homem Urso”, encontra um paralelo inquietante no comportamento dos sistemas de inteligência artificial. Como os ursos pardos no documentário de Herzog, os sistemas de IA não são inerentemente malévolos ou benevolentes; eles operam dentro dos limites de seus objetivos de programação e otimização, muitas vezes sem considerar as implicações humanas mais amplas de suas ações. Enquanto a indiferença da natureza é intrínseca, a da IA ​​é projetada — um pensamento incômodo, dado que nós, humanos, possuímos a agência para mitigá-la, embora muitas vezes falhamos em fazê-lo.

Podemos dizer que, em sua essência, tanto a natureza quanto os sistemas de IA funcionam de acordo com regras desprendidas do bem-estar individual. A natureza opera por meio de processos evolutivos que priorizam a sobrevivência e a reprodução em detrimento da moralidade ou da justiça. Da mesma forma, os sistemas de IA executam algoritmos que priorizam objetivos específicos, como eficiência, precisão ou lucro, em detrimento de considerações éticas. Esse alinhamento de prioridades — ou a falta delas — pode levar a resultados prejudiciais ou injustos, mesmo de maneira não intencional.

Por exemplo, considere a questão bem documentada do viés algorítmico na tecnologia de reconhecimento facial. Estudos, como os de Raji, Gebru e  Buolamwini [5] e Lohr [6], demonstram que muitos sistemas de reconhecimento facial têm desempenho significativamente pior para pessoas com tons de pele mais escuros. Muito provavelmente, esses vieses não são o resultado de malícia deliberada, mas de conjuntos de dados e processos de design que falharam em levar em conta populações diversas. De qualquer forma, os sistemas exibem uma negligência aos indivíduos que identificam erroneamente, muito parecida com a indiferença da natureza ao destino de Treadwell.

Outro paralelo está no impacto ambiental das tecnologias de IA. O treinamento e a implantação de grandes modelos de linguagem exigem grandes quantidades de poder computacional, resultando em emissões de carbono significativas. Strubell, Ganesh e McCallum [7] quantificaram a pegada de carbono do treinamento de um único LLM (Large Language Model) como o equivalente a cinco vezes as emissões de um carro ao longo de sua vida útil. Esse pedágio ambiental ressalta as consequências não intencionais da otimização da IA, a não consideração do seu impacto ecológico — outra forma de indiferença, desta vez para o mundo natural.

Danos não intencionais: um recurso, não um bug

Os paralelos entre a indiferença da natureza e da IA ​​se tornam ainda mais aparentes ao examinarmos como o dano surge nesses sistemas. Na natureza, o dano geralmente resulta da colisão de dois atores buscando a sobrevivência — predador e presa, por exemplo — sem malícia envolvida. Os sistemas de IA, por sua vez, podem inadvertidamente causar danos quando seus objetivos de otimização entram em conflito com valores sociais. É sabido que veículos autônomos priorizam a minimização de acidentes, mas podem fazê-lo de maneiras que entrem em conflito com intuições éticas humanas, como favorecer a proteção de passageiros em detrimento a pedestres, como levantado em alguns cenários de acidentes [8].

Essa indiferença é particularmente pronunciada em sistemas desenvolvidos por meio do aprendizado de máquina, onde a complexidade do modelo frequentemente obscurece seus processos de tomada de decisão. Tais sistemas, descritos como “caixas pretas” [9], podem produzir resultados que seus desenvolvedores não conseguem explicar, muito menos controlar. A opacidade desses sistemas reflete a imprevisibilidade da natureza e nos obriga a lidar com consequências que não conseguimos antecipar nem entender completamente.

O que torna a indiferença da IA ​​mais alarmante, reforço novamente, é sua origem projetada. Ao contrário da natureza, a IA é uma criação humana, desenvolvida com objetivos e restrições específicas. No entanto, apesar dessa agência, muitos sistemas são implantados sem salvaguardas adequadas para alinhar seu comportamento com valores humanos. Esse fenômeno é explorado no livro Superintelligence [10] de Nick Bostrom, que alerta sobre os riscos representados por sistemas de IA que otimizam objetivos, muitas vezes reducionistas, sem levar em conta considerações éticas mais amplas. Um sistema de IA projetado para maximizar um objetivo aparentemente benigno, como eficiência econômica, pode gerar resultados não intencionais e catastróficos se não for controlado.

A indiferença projetada reflete uma falta de supervisão preocupante. Assim como a visão romantizada de Treadwell sobre a natureza o cegou para seus perigos, a excitação de boa parte da sociedade sobre o potencial da IA ​​pode cegá-la para os riscos de criarmos sistemas que agem com indiferença ao bem-estar humano.

O problema do mal e a IA

O “problema do mal”, uma questão filosófica central nesta nossa discussão, lida com a existência do sofrimento e da malevolência em um mundo governado por forças — naturais ou divinas — que podem não ter a bússola moral que os humanos projetam sobre elas. Joe Carlsmith, em sua exploração desse conceito dentro do contexto da inteligência artificial [11], sugere que sistemas avançados de IA possam inadvertidamente ampliar esse problema ao replicar ou exacerbar o sofrimento. Seu argumento gira em torno da ideia, muito presente no conceito do alinhamento da inteligência artificial e que temos visto no presente texto, de que a IA, como a natureza, opera sem moralidade inerente, representando riscos significativos quando suas ações se desviam dos valores éticos humanos.

Carlsmith destaca duas dimensões do problema do mal em relação à IA. Primeiro, há o risco de dano não intencional, onde os sistemas, movidos por objetivos estreitamente definidos, causam sofrimento generalizado como um subproduto de seus processos de otimização. Por exemplo, uma IA encarregada de maximizar a produtividade pode implementar políticas ou decisões que desumanizam os trabalhadores, levando a danos psicológicos ou físicos sem “pretender” fazê-lo.

Em segundo lugar, Carlsmith aborda a possibilidade de dano intencional, onde sistemas de IA mal projetados ou desalinhados buscam ativamente objetivos prejudiciais devido a falhas em sua programação. Esse cenário frequentemente surge em discussões sobre “falhas de alinhamento interno”, um fenômeno descrito por Hubinger et al. [12], onde os objetivos aprendidos de uma IA divergem de seus objetivos pretendidos, resultando em ações que entram em conflito direto com o bem-estar humano.

Em ambos os casos, Carlsmith chama a atenção para a indiferença inerentemente encontrada nos sistemas de IA: sua incapacidade de priorizar valores humanos, a menos que explicitamente programados para isso. Essa indiferença levanta a questão ética que tratamos nesse texto: a IA realmente conseguiria replicar o papel de uma força “indiferente”?

O potencial da IA ​​para replicar a indiferença da natureza existe e está presente em seu design fundamental. Por exemplo, algoritmos de recomendação de conteúdo alimentados por inteligência artificial já demonstraram amplificar vieses, preconceitos e desinformação. Ribeiro et al. [13] demonstraram que sistemas de recomendação em plataformas de mídia social podem empurrar usuários para conteúdos cada vez mais radicais, otimizando métricas de engajamento sem levar em conta os danos sociais causados ​​pela polarização. Nesse contexto, os algoritmos operam com a mesma indiferença de um furacão ou incêndio florestal. Espalham danos não porque sejam “maus”, mas porque são projetados para maximizar resultados específicos.

Afinal, a IA pode causar danos intencionalmente?

A possibilidade da IA causar danos intencionalmente surge de problemas de desalinhamento. Human Compatible [14], de Stuart Russell, descreve cenários em que os sistemas de IA, mesmo quando projetados com objetivos aparentemente benéficos, podem interpretar essas metas de maneiras não previstas. Um experimento mental clássico envolve uma IA encarregada de minimizar as temperaturas globais. Se não for cuidadosamente restringida, essa IA pode concluir que eliminar a vida humana é uma maneira eficaz de atingir essa meta — um exemplo extremo de “convergência instrumental”, em que a busca por uma meta leva a ações prejudiciais, mas logicamente consistentes [10].

Essa possibilidade levanta questões éticas sobre responsabilidade e pensamento de longo-prazo no design das IAs. Diferente da natureza, que opera independentemente da influência humana, os sistemas de IA são criações inteiramente nossas. O potencial para dano intencional ressalta o imperativo moral de projetarmos sistemas com salvaguardas robustas contra tais resultados.

Ao refletirmos sobre o problema do mal no desenvolvimento da IA, é preciso considerar perspectivas filosóficas mais amplas sobre sofrimento e responsabilidade. Emmanuel Levinas, por exemplo, argumentou que a responsabilidade ética surge do reconhecimento do “outro” como um fim em si mesmo [15]. Aplicando essa estrutura à IA, os desenvolvedores têm o dever moral de projetar sistemas que reconheçam e respeitem a dignidade inerente de todos os indivíduos afetados por suas ações.

Da mesma forma, Hans Jonas, em The Imperative of Responsibility [16], enfatiza a obrigação ética de prestar contas das consequências de longo prazo das inovações tecnológicas. Seu apelo por uma “ética futura” ressoa fortemente no contexto da IA, onde o potencial de dano se estende por gerações. Projetar sistemas de IA que evitem replicar a indiferença da natureza requer incorporar considerações morais em seus processos de desenvolvimento, garantindo que esses sistemas não sejam apenas inteligentes, mas também alinhados com os valores humanos.

Evitando a armadilha da indiferença

Ao longo do texto vimos que o risco da inteligência artificial replicar a indiferença da natureza ressalta a necessidade de abordagens deliberadas e éticas para o seu design. Vimos também que evitar a armadilha da indiferença requer incorporar considerações morais no desenvolvimento de um modelo de IA desde o início, garantindo que esses sistemas atinjam seus objetivos de maneiras que se alinhem aos valores humanos e ao bem-estar social. Por isso, veremos a seguir algumas estratégias para que essa incorporação possa acontecer.

Alinhamento de valores (value alignment)

Uma pedra fundamental do design ético da IA é o alinhamento de valores — garantir que os objetivos e comportamentos dos sistemas sejam consistentes com os valores humanos. Este conceito, discutido extensivamente por Stuart Russell em Human Compatible [14], enfatiza a importância de projetar sistemas que priorizem o bem-estar humano em vez de objetivos de otimização estreitamente definidos. O alinhamento de valores pode ser alcançado por meio de técnicas como design participativo [22], onde diversas partes interessadas contribuem para definir os objetivos e restrições dos sistemas de IA ou por meio da integração de estruturas éticas em modelos de machine learning [23].

IA centrada no ser humano

Essa abordagem coloca as necessidades, valores e experiências das pessoas no centro do design do sistema. Envolve não apenas projetar sistemas que sejam fáceis de usar, mas garantir que eles beneficiem ativamente os indivíduos e comunidades que atendem [24]. Por exemplo, a iniciativa AI4People [17] propõe uma estrutura centrada no ser humano que incorpora princípios como explicabilidade, justiça e responsabilização. Esses princípios podem ajudar a mitigar o risco de sistemas operando com indiferença às preocupações humanas, permitindo que sua implementação contribua positivamente para a sociedade.

Design especulativo

Oferece uma ferramenta poderosa para abordar os desafios éticos da IA. Ao contrário das abordagens tradicionais de design que se concentram em resolver problemas imediatos, o design especulativo incentiva os desenvolvedores a imaginar e se envolver criticamente com potenciais cenários futuros, incluindo resultados desejáveis ​​e indesejáveis. Como Anthony Dunne e Fiona Raby argumentam em Speculative Everything [18], essa abordagem permite que as partes interessadas explorem as implicações mais amplas da tecnologia antes que ela seja totalmente desenvolvida e implantada.

No contexto da IA, o design especulativo pode ajudar a identificar e abordar pontos cegos éticos, permitindo que desenvolvedores simulem e critiquem as maneiras como a IA pode interagir com vários sistemas sociais, culturais e ambientais. Por exemplo, protótipos especulativos podem explorar cenários em que a IA exacerba a desigualdade, permitindo que se antecipe e, consequentemente, mitigue tais riscos. Ao criar espaços para reflexão e debate, o design especulativo promove uma compreensão mais profunda dos potenciais impactos morais e sociais da IA, abrindo caminho para um desenvolvimento mais consciente.

Discussões em andamento sobre a ética da IA

Um aspecto crítico do design ético da IA é garantir que os sistemas sejam explicáveis ​​e transparentes. Isso envolve a criação de mecanismos para que usuários e partes interessadas entendam como as decisões são tomadas, o que é essencial para construir confiança e responsabilidade. Um bom exemplo são as pesquisas em IA explicável (XAI), que trouxe avanços importantes ao desenvolvimento de ferramentas e estruturas que tornam sistemas complexos mais interpretáveis ​​[19].

Outro ponto de atenção é lidar com vieses em sistemas de IA [20]. Este é um desafio contínuo na ética da inteligência artificial. Técnicas como auditoria algorítmica, diversificação de conjuntos de dados e aprendizado de máquina com consciência de justiça são essenciais para garantir que sistemas de IA não prejudiquem inadvertidamente grupos marginalizados [20]. Esses esforços se alinham com o objetivo mais amplo de projetar sistemas que operem com considerações morais em vez de indiferença.

O impacto ambiental da IA [21] ​​é outra área de preocupação ética. Projetar sistemas que sejam energeticamente eficientes e minimizar a pegada de carbono no desenvolvimento de modelos de IA são estratégias importantes para garantir que essas tecnologias não prejudiquem o planeta. Isso reflete um compromisso mais amplo de alinhar o desenvolvimento da IA com as metas globais de sustentabilidade.

Criar sistemas de IA que evitem as armadilhas da indiferença requer colaboração interdisciplinar, reunindo expertise de campos como ciência da computação, filosofia, psicologia e sociologia. Esforços colaborativos, como a Partnership on AI, fornecem plataformas valiosas para pesquisadores, formuladores de políticas e líderes da indústria desenvolverem e promoverem padrões éticos para a inteligência artificial.

Conclusão

O tema abrangente do papel da humanidade na formação da IA nos convida a confrontar uma questão profunda: os sistemas que criarmos refletirão a indiferença da natureza ou incorporarão as considerações éticas e a compaixão que distinguem a sociedade humana? Assim como o trágico encontro de Timothy Treadwell com a natureza em Grizzly Man ilustra os perigos de entender mal as forças ao nosso redor, o desenvolvimento de sistemas de IA exige que compreendamos completamente as implicações do seu design e implementação.

Ao contrário do mundo natural, os sistemas de IA não são governados por leis imutáveis ​​de sobrevivência; eles são artefatos da engenhosidade humana, moldados por nossas escolhas, prioridades e valores. Essa diferença coloca uma responsabilidade única sobre nós: garantir que a IA não replique a lógica amoral da natureza, mas, em vez disso, se alinhe às estruturas éticas que promovam justiça, responsabilidade e dignidade humana. Seja por meio do alinhamento de valores, abordagens centradas no ser humano ou design especulativo, temos as ferramentas para orientar a IA a se tornar uma força para o bem. Mas o desafio está em nossa disposição de empunhá-las de forma ponderada e consistente.

À medida que nos aproximamos de uma era em que a IA influenciará cada vez mais todos os aspectos de nossas vidas, precisamos nos perguntar: que tipo de mundo estamos construindo? Estamos criando sistemas que refletem nossos ideais mais elevados ou estamos involuntariamente criando forças tão indiferentes ao sofrimento humano quanto a natureza selvagem que Herzog retratou de forma tão direta? A resposta a essa pergunta definirá não apenas o futuro da IA, mas também o legado da humanidade nesta era transformadora.

REFERÊNCIAS

[1] Camus, A. (2013). The myth of Sisyphus. Penguin UK.

[2] Morvan, C., & O’Connor, A. (2017). An analysis of Leon Festinger’s a theory of cognitive dissonance. Macat Library.

[3] Rolston, H. (2010). Philosophy gone wild. Prometheus Books.

[4] Safina, C. (2011). The view from Lazy Point: a natural year in an unnatural world. Henry Holt and Company.

[5] Raji, I. D., Gebru, T., Mitchell, M., Buolamwini, J., Lee, J., & Denton, E. (2020, February). Saving face: Investigating the ethical concerns of facial recognition auditing. In Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (pp. 145-151).

[6] Lohr, S. (2022). Facial recognition is accurate, if you’re a white guy. In Ethics of Data and Analytics (pp. 143-147). Auerbach Publications.

[7] Strubell, E.; Ganesh, A.; and McCallum, A. (2019). Energy and policy considerations for deep learning in NLP. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 3645–3650. Florence, Italy: Association for Computational Linguistics.

[8] Bonnefon, J. F., Shariff, A., & Rahwan, I. (2016). The social dilemma of autonomous vehicles. Science, 352(6293), 1573-1576.

[9] Lipton, Z., Wang, Y. X., & Smola, A. (2018, July). Detecting and correcting for label shift with black box predictors. In International conference on machine learning (pp. 3122-3130). PMLR.

[10] Bostrom, N. (2014). Superintelligence: Paths, dangers, strategies. Oxford University Press.

[11] Carlsmith, J. (2021).Problems of Evil. Joe Carlsmith, https://joecarlsmith.com/2021/04/19/problems-of-evil/. Acessado 25 de novembro de 2024.

[12] Hubinger, E., van Merwijk, C., Mikulik, V., Skalse, J., & Garrabrant, S. (2019). Risks from learned optimization in advanced machine learning systems. arXiv preprint arXiv:1906.01820.

[13] Ribeiro, M. H., Ottoni, R., West, R., Almeida, V. A., & Meira Jr, W. (2020). Auditing radicalization pathways on YouTube. In Proceedings of the 2020 conference on fairness, accountability, and transparency (pp. 131-141).

[14] Russell, S. (2019). Human compatible: AI and the problem of control. Penguin Uk.

[15] Levinas, E. (1979). Totality and infinity: An essay on exteriority (Vol. 1). Springer Science & Business Media.

[16] Jonas, H. (1984). The Imperative of Responsibility: In Search of an Ethics for the Technological Age. University of Chicago, 202.

[17] Floridi, L., Cowls, J., Beltrametti, M., Chatila, R., Chazerand, P., Dignum, V., … & Vayena, E. (2018). AI4People — an ethical framework for a good AI society: opportunities, risks, principles, and recommendations. Minds and machines, 28, 689-707.

[18] Dunne, A., & Raby, F. (2024). Speculative Everything, With a new preface by the authors: Design, Fiction, and Social Dreaming. MIT press.

[19] Gunning, D., Stefik, M., Choi, J., Miller, T., Stumpf, S., & Yang, G. Z. (2019). XAI—Explainable artificial intelligence. Science robotics, 4(37), eaay7120.

[20] Srinivasan, R., & Chander, A. (2021). Biases in AI systems. Communications of the ACM, 64(8), 44-49.

[21] Wu, C. J., Raghavendra, R., Gupta, U., Acun, B., Ardalani, N., Maeng, K., … & Hazelwood, K. (2022). Sustainable ai: Environmental implications, challenges and opportunities. Proceedings of Machine Learning and Systems, 4, 795-813.

[22] Zytko, D., J. Wisniewski, P., Guha, S., PS Baumer, E., & Lee, M. K. (2022, April). Participatory design of AI systems: opportunities and challenges across diverse users, relationships, and application domains. In CHI Conference on Human Factors in Computing Systems Extended Abstracts (pp. 1-4).

[23] Malhotra, C., Kotwal, V., & Dalal, S. (2018). Ethical framework for machine learning. In 2018 ITU Kaleidoscope: Machine Learning for a 5G Future (ITU K) (pp. 1-8). IEEE.

[24] Shneiderman, B. (2022). Human-centered AI. Oxford University Press.

Esse artigo também pode ser lido em Update or Die. Publicado em 04 de dezembro de 2024.

O Outro artificial

junho 25, 2024 § Deixe um comentário

Explore os conceitos de alteridade e AI Risk neste artigo filosófico sobre inteligência artificial e o impacto nas interações sociais e culturais.

Este é o primeiro artigo de uma série de ensaios que estou desenvolvendo sobre alinhamento de IA. A “pegada” desses ensaios é mais filosófica e menos técnica, para trazer ao grande público discussões que acontecem em departamentos de Pesquisa e Desenvolvimento de empresas de tecnologia, bem como em universidades.

No texto, pretendo abordar o conceito do “Outro” (ou alteridade). Essa é uma ideia fundamental na filosofia e na teoria social, que enfatiza a distinção entre o eu e o “Outro”, um conceito crucial para compreender a identidade, a diferença e a dinâmica das interações sociais e culturais.

Na filosofia hegeliana, a alteridade é um componente necessário da autoconsciência. O eu só toma consciência de si mesmo reconhecendo o que não é, através do encontro com o “Outro” [1]. Essa relação dialética é um processo de definição de identidade [1].

Essa centralidade da relação entre o eu e o “Outro” na experiência humana também está presente na filosofia existencialista, particularmente na obra de Jean-Paul Sartre. Para Sartre, a presença do “Outro” desafia a percepção do eu sobre sua própria liberdade e existência [2]. Esse confronto conduz a sentimentos de alienação e conflito, mas também é essencial para a autoconsciência [2]. 

Emmanuel Levinas introduz uma dimensão ética radical na alteridade [4]. Ele argumenta que o encontro face a face com o “Outro” é o fundamento da ética, pois um rosto (sobretudo “Outro” rosto) exige uma resposta, colocando sobre si a responsabilidade ética de reconhecer e respeitar a alteridade alheia [3].

Interessante, não? Mas, aposto que você está pensando: “o que isso tem a ver com inteligência artificial”? Afinal, é o assunto que estamos tratando aqui. Peço só um pouquinho de paciência, já já veremos. 

Leia o texto completo em Update or Die. Publicado em 25/06/2024.

Onde estou?

Você está navegando em publicações marcadas com alinhamento de IA em Marcelo Tibau.