Uma jogada imparável e um relógio sem fim

fevereiro 6, 2025 § Deixe um comentário

Quanto mais próximo da meia-noite, mais iminente seria a extinção da humanidade.

Na tarde do último domingo de janeiro, assisti à final da National Football Conference, que definiria um dos finalistas do Super Bowl. No início do quarto período, o Philadelphia Eagles estava a apenas uma jarda da linha de gol do Washington Commanders, pronto para executar uma de suas jogadas mais temidas: o Brotherly Shove. Essa estratégia, característica do futebol americano, consiste em um lance no qual o quarterback recebe a bola e é imediatamente empurrado por trás por seus companheiros de equipe para avançar. No caso do time atual dos Eagles, essa jogada é considerada praticamente imparável, garantindo quase sempre a pontuação.

Cientes de que quase certamente cederiam um touchdown, os Commanders, que estavam em desvantagem, decidiram adotar uma abordagem inusitada. Primeiro, um de seus defensores saltou propositalmente sobre a linha do gol antes do início da jogada, resultando em uma penalidade por invasão. Na jogada seguinte, repetiram a estratégia. E novamente na jogada subsequente. Ficava evidente que sua intenção era continuar infringindo a regra repetidamente. A cada infração, os árbitros moviam a bola metade da distância até a linha do gol, seguindo o procedimento padrão para penalidades defensivas próximas à end zone.

Qualquer pessoa familiarizada com o princípio da divisibilidade infinita em geometria pode perceber o problema aqui. Um segmento de reta — como a distância entre a linha de scrimmage e a end zone — pode ser infinitamente dividido. Isso significa que, em teoria, os Commanders poderiam ter continuado com sua tática indefinidamente, e os Eagles poderiam ter avançado repetidamente metade da distância até a linha de gol sem jamais alcançá-la, prolongando o jogo até o final dos tempos.

Felizmente para os jogadores, treinadores e os quase 70.000 torcedores presentes, os árbitros encontraram uma solução para esse paradoxo específico ao invocar uma regra pouco conhecida da NFL, que permite que o time adversário seja automaticamente premiado com um touchdown caso a defesa continue cometendo penalidades intencionais para impedir seu avanço. Isso foi, enfim, suficiente para fazer os Commanders desistirem da estratégia.

O que nos leva ao verdadeiro assunto deste texto, o chamado Doomsday Clock (o Relógio do Juízo Final ou do Apocalipse, dependendo da tradução escolhida). 

Criado e administrado pelo Bulletin of the Atomic Scientists — organização fundada por ex-físicos do Projeto Manhattan alarmados com a ameaça representada pelas armas nucleares — o Doomsday Clock é uma representação simbólica da proximidade da humanidade de sua própria destruição existencial. A cada ano, um conselho de especialistas em diversas áreas, como ciência nuclear, mudanças climáticas e segurança cibernética, ajusta os ponteiros do relógio. 

Quanto mais próximo da meia-noite, mais iminente seria a extinção da humanidade.

Em 2023, o Bulletin of the Atomic Scientists ganhou destaque ao adiantar os ponteiros do Doomsday Clock em 10 segundos, fixando-o em 90 segundos para a meia-noite — a menor distância já registrada desde sua criação em 1947. Indicando que a humanidade estaria, supostamente, mais próxima da aniquilação do que em períodos extremamente críticos, como 1964 (não muito depois da Crise dos Mísseis de Cuba, quando o relógio marcava 12 minutos para a meia-noite) ou 1984 (logo após um dos momentos mais tensos da Guerra Fria, quando restavam apenas 3 minutos para a meia-noite). Essa também foi a primeira atualização após a invasão da Ucrânia pela Rússia, que reacendeu temores nucleares em um nível não visto há décadas.

No ano passado, citando fatores que iam desde a guerra na Ucrânia e o conflito em Gaza até as mudanças climáticas e o avanço da inteligência artificial, o conselho optou por manter o relógio em 90 segundos para meia-noite. Então, na manhã de terça, 28 de janeiro, foi revelada a nova configuração do relógio. Rufem os tambores: 89 segundos para meia-noite, um segundo mais perto do juízo final.

O conselho listou uma série de fatores: risco nuclear contínuo na Ucrânia e a desintegração do controle de armas nucleares; os impactos crescentes das mudanças climáticas após o que provavelmente foi o ano mais quente já registrado; a ameaça de novas doenças como a gripe aviária; o progresso da IA ​​e, especialmente, potenciais aplicações militares; e desinformação e insegurança cibernética.

Se isso lhe soa familiar, é porque os fatores são praticamente os mesmos dos anos anteriores — um padrão que o presidente do conselho, Daniel Holz, reconheceu no evento de terça-feira. Em sua declaração, ele ressaltou que esses desafios “não são novos”“No entanto, observamos um progresso insuficiente no enfrentamento dessas questões fundamentais e, em muitos casos, tem levado a impactos cada vez mais negativos e preocupantes”, continuou.

Ainda assim, o anúncio de terça-feira destacou um problema fundamental do Doomsday Clock: ele está ficando sem tempo — talvez metaforicamente, como deveria ser no contexto da sobrevivência da humanidade, mas também literalmente, já que um relógio possui um número limitado de horas, minutos e segundos.

Esse dilema reflete um desafio enfrentado por todo o campo de estudo do risco existencial. Assim como os árbitros na Filadélfia, durante o jogo dos Eagles, há um limite para a quantidade de vezes que um alerta pode ser emitido antes que ele comece a perder seu impacto. Especialmente porque, apesar de parecer que estamos cada vez mais próximos da aniquilação, nunca chegamos lá de fato.

De certa forma, o Doomsday Clock tornou-se vítima de seu próprio sucesso como um dos símbolos mais importantes do medo nuclear durante a Guerra Fria no século XX. A imagem dos ponteiros avançando inexoravelmente em direção à meia-noite — o momento em que os mísseis seriam lançados — era tão poderosa que a icônica graphic novel Watchmen, dos anos 1980, a utilizou como um leitmotiv inesquecível.

Assim como os filmes do James Bond e do Rambo, o Relógio do Juízo Final perdeu parte da sua relevância após o fim da Guerra Fria e a aparente eliminação da sua principal razão de ser: a guerra nuclear. Com essa ameaça supostamente superada, o relógio expandiu seu escopo para incluir novos perigos, como as mudanças climáticas e as doenças infecciosas, e, mais recentemente, preocupações emergentes das décadas de 2010/2020, como a desinformação e o retrocesso democrático.

O problema é que os riscos existenciais não nucleares simplesmente não se encaixam bem na metáfora do relógio. Uma guerra nuclear é, em grande parte, um risco binário — ou os mísseis são lançados e o relógio marca meia-noite, ou não. Além disso, há um campo consolidado de geopolítica e diplomacia dedicado a avaliar precisamente o nível de risco nuclear no mundo. Trata-se de um perigo relativamente mensurável e compreensível, na medida do possível.

No entanto, riscos existenciais mais recentes não seguem essa mesma lógica. A mudança climática, por exemplo, não é um risco binário, mas sim progressivo e cumulativo. Em vez de um ataque cardíaco fulminante, é mais parecido com um quadro crônico de diabetes, com agravamento lento e contínuo. Se o risco climático fosse um relógio, seria difícil dizer que horas são — ou até mesmo se ele realmente chegaria a marcar meia-noite.

Outros riscos são ainda mais difíceis de monitorar. Recentemente, a inteligência artificial passou por um de seus momentos mais movimentados: o DeepSeek, da China, demonstrou que modelos avançados podem ser mais acessíveis e baratos do que a indústria imaginava, enquanto os gigantes da IA nos Estados Unidos anunciam planos para um investimento sem precedentes de US$ 500 bilhões.

Mas a IA é realmente um risco existencial? Talvez — embora ninguém possa afirmar com certeza como essa ameaça se desenrolaria ou quão próximos realmente estamos de um cenário crítico. Além disso, ao contrário das armas nucleares, a IA traz benefícios inegáveis para a ciência e a sociedade, tornando inviável simplesmente abandoná-la. No campo da medicina, por exemplo, algoritmos de IA têm sido usados para diagnosticar doenças com maior precisão do que alguns médicos humanos ou como no caso do DeepMind AlphaFold, para revolucionar a criação de estruturas de proteínas, acelerando a descoberta de novos medicamentos. Na luta contra as mudanças climáticas, modelos avançados de IA ajudam a prever padrões climáticos extremos e otimizar o uso de energias renováveis. Além disso, na segurança cibernética, sistemas baseados em IA detectam fraudes financeiras e previnem ataques digitais de forma mais eficaz do que métodos tradicionais. Com impactos positivos também na educação, na automação industrial, na acessibilidade para pessoas com deficiência… A lista é longa.

Quando se trata de doenças infecciosas, por mais alarmantes que sejam os surtos recentes de gripe aviária, não há certeza de que essa será, de fato, a próxima pandemia — nem a respeito de quão grave ela poderia ser caso ocorresse. Um novo vírus inevitavelmente surgirá, mas é provável que sejamos pegos de surpresa, assim como fomos com a Covid. 

Reconheço que vivemos em um mundo tomado pelo medo, mas minha preocupação é que, à medida que o Doomsday Clock dilui seu foco original da guerra nuclear — um risco que, de fato, está se agravando — e faz pequenos ajustes ano após ano, ele acabe desgastando o próprio público que deveria mobilizar. Há um limite para quantas vezes se pode afirmar que o fim do mundo está próximo ou para quantos riscos podem ser elevados à categoria de existenciais, antes que as pessoas simplesmente deixem de prestar atenção.

Um posfácio sobre o jogo dos Eagles: após o aviso final dos árbitros, o time conseguiu executar seu Brotherly Shove, empurrando o quarterback Jalen Hurts para a end zone e garantindo o touchdown (veja a sequência inteira do lance descrito aqui), o que abriu o caminho para uma vitória esmagadora por 55-23 (Go Birds!). Podemos receber todos os alertas do mundo — mas isso não significa que podemos impedir o inevitável segurando os ponteiros do relógio.

Este artigo também pode ser lido em Update or Die. Publicado em 05 de fevereiro de 2025.

Indiferença Artificial

dezembro 4, 2024 § Deixe um comentário

Os riscos da IA frequentemente refletem elementos da arrogância humana, muito parecido com o encontro malfadado de Timothy Treadwell com a natureza selvagem em “O Homem Urso” (Grizzly Man, no original), do Werner Herzog.

No texto anterior (O Outro artificial), vimos como os riscos da inteligência artificial frequentemente refletem elementos da arrogância humana, muito parecido com o encontro malfadado de Timothy Treadwell com a natureza selvagem em “O Homem Urso” (Grizzly Man, no original), do Werner Herzog. A história de Treadwell é uma imersão apaixonada, embora ingênua, no mundo dos ursos pardos do Alasca — um mundo governado pela lógica dura e indiferente da natureza. Ilustra um excesso de confiança em nossa capacidade de nos conectarmos com as demais criaturas do planeta em nossos próprios termos. Seu fim trágico é um lembrete de que a natureza, por mais majestosa que seja, não opera com um senso de cuidado, justiça ou moralidade. Ela não é boa nem má; ela simplesmente é. Essa indiferença gritante, como Herzog captura eloquentemente, forma o pano de fundo para uma verdade existencial maior e inquietante: a vulnerabilidade da humanidade diante de forças além do nosso controle.

No entanto, o que acontece quando replicamos essa “indiferença” em nossas próprias criações? Embora a imparcialidade da natureza seja um dado adquirido, a inteligência artificial — sem dúvida o esforço humano mais ambicioso do nosso tempo — não precisa compartilhar essa “qualidade”. E, no entanto, os sistemas de IA, quando mal projetados ou desalinhados com os valores humanos, podem involuntariamente se tornar uma personificação dessa mesma força amoral. Como o urso pardo, uma IA avançada se importa pouco com a fragilidade ou as aspirações da condição humana, a menos que seja explicitamente projetada para isso.

As reflexões de Herzog sobre a indiferença da natureza ressoam profundamente com a tradição existencialista, particularmente os escritos de Albert Camus. Em “O Mito de Sísifo” [1], Camus descreve um universo desprovido de significado inerente, onde a humanidade é deixada para lutar com o absurdo. Tanto Herzog quanto Camus apontam para um mundo que não nos acolhe nem nos condena, apenas nos força a confrontar a insignificância. É esse mesmo confronto, argumento, que está no cerne do relacionamento da humanidade com a inteligência artificial. À medida que nos aventuramos na criação de máquinas capazes de superar nossa própria inteligência, devemos perguntar: vamos desenvolver sistemas que ampliem o cuidado e a consideração moral, ou inadvertidamente liberaremos ferramentas tão indiferentes ao sofrimento humano quanto o mundo natural?

Neste texto, pretendo explorar os paralelos filosóficos e práticos entre a indiferença da natureza e os riscos potenciais impostos pelos sistemas de IA. Com base em Grizzly Man e reflexões sobre o “problema do mal”, proponho que procuremos entender e abordar essa indiferença não apenas como um desafio técnico, mas também como um imperativo moral. A maneira como confrontamos essa questão pode determinar se a IA se tornará uma força indiferente da natureza ou uma ferramenta genuinamente transformadora para o bem.

A indiferença da natureza

Vimos que “O Homem Urso” é uma exploração cinematográfica do lugar frágil da humanidade dentro de um mundo natural indiferente. Pelas lentes de Herzog, a natureza surge não como a entidade benevolente e harmoniosa que Treadwell imaginou, mas como um reino governado pelo caos, sobrevivência e indiferença. Os ursos que Treadwell adorava e procurava proteger não compartilhavam de seus sentimentos humanos; não eram nem agradecidos nem mal-agradecidos pelos cuidados recebidos — simplesmente estavam ali, movidos por instintos além do julgamento moral. 

O próprio Herzog ressalta essa perspectiva em sua narração, descrevendo o “universo caótico e indiferente” que ele percebe nos olhos dos ursos. Essa perspectiva se alinha com uma visão mais ampla de que a natureza opera sem consideração pelos valores ou desejos humanos. A força amoral da natureza, como retratada em Grizzly Man, desafia as noções romantizadas de harmonia e equilíbrio que Treadwell tanto prezava, revelando, em vez disso, uma realidade onde a existência se desenrola sem preocupação com vidas ou intenções individuais.

Minha percepção é que a jornada psicológica de Treadwell reflete uma luta profunda com essa indiferença. Sua idealização dos ursos pardos representaria um anseio por conexão e propósito — um desejo de transcender a alienação da vida humana moderna ao mergulhar no que ele via como um mundo mais puro e significativo. No entanto, essa busca o colocou em conflito direto com as duras verdades da ordem natural. Sua incapacidade de reconciliar sua visão romantizada com a realidade da indiferença da natureza levou, em última análise, à sua queda.

Essa tensão entre idealismo e realidade encontra ecos na literatura psicológica, particularmente no conceito de dissonância cognitiva [2] — o desconforto psicológico experimentado quando uma pessoa mantém crenças, atitudes ou comportamentos conflitantes. Para reduzir essa tensão, os indivíduos normalmente resolvem a inconsistência por meio de estratégias que nem sempre podem estar alinhadas com a racionalidade. Eles podem alterar suas crenças ou comportamentos, justificar o conflito introduzindo novas explicações, minimizar o significado da inconsistência ou até mesmo rejeitar evidências que aprofundam o desconforto. Essas estratégias, embora eficazes na redução do sofrimento psicológico, muitas vezes priorizam o alívio emocional em vez da coerência lógica, ilustrando as formas complexas pelas quais os humanos navegam no conflito interno.

A crença de Treadwell na benevolência dos ursos colidiu irreconciliavelmente com seu comportamento, levando a um estado de conflito interno que provavelmente intensificou suas ações e decisões erráticas nos estágios posteriores do filme. Sua luta destaca uma tendência humana mais ampla de projetar significado e moralidade em sistemas inerentemente indiferentes — uma tendência que pode levar à desilusão ou tragédia quando esses sistemas não estão em conformidade com nossas expectativas.

Filosoficamente, a situação de Treadwell pode ser vista como um confronto com o que Camus descreve como “o absurdo” em “O Mito de Sísifo” [1]. Para ele, o absurdo surge da tensão entre a busca da humanidade por significado e o silêncio do universo. A imersão de Treadwell na natureza foi uma busca por significado, uma maneira de encontrar um propósito mais profundo por meio de seu relacionamento com os ursos pardos. Sua falha em reconhecer a indiferença fundamental da natureza reflete o dilema existencial que Camus descreve: quando confrontado com um universo indiferente, como alguém encontra significado sem sucumbir ao desespero?

A representação de Treadwell por Herzog evoca essa luta existencial. Enquanto Treadwell buscava criar uma narrativa de conexão e tutela, a natureza se recusava a retribuir. Seu fim trágico serve como um lembrete da percepção de Camus de que o universo não oferece nenhum significado inerente — cabe a cada indivíduo construir o seu próprio, mesmo diante da indiferença.

Este tema da força amoral da natureza tem sido amplamente discutido na filosofia ambiental. Por exemplo, Holmes Rolston, em Philosophy Gone Wild [3], argumenta que a natureza opera de acordo com seus próprios processos, indiferente às noções humanas de moralidade ou propósito. Da mesma forma, em The View from Lazy Point [4], Carl Safina destaca como os ecossistemas funcionam por meio de um equilíbrio de imperativos de sobrevivência, em vez de qualquer estrutura moral ou ética. Ambas as obras apoiam a representação da natureza de Herzog em Grizzly Man como um sistema autônomo e indiferente.

A indiferença da IA

A indiferença da natureza, como retratada em “O Homem Urso”, encontra um paralelo inquietante no comportamento dos sistemas de inteligência artificial. Como os ursos pardos no documentário de Herzog, os sistemas de IA não são inerentemente malévolos ou benevolentes; eles operam dentro dos limites de seus objetivos de programação e otimização, muitas vezes sem considerar as implicações humanas mais amplas de suas ações. Enquanto a indiferença da natureza é intrínseca, a da IA ​​é projetada — um pensamento incômodo, dado que nós, humanos, possuímos a agência para mitigá-la, embora muitas vezes falhamos em fazê-lo.

Podemos dizer que, em sua essência, tanto a natureza quanto os sistemas de IA funcionam de acordo com regras desprendidas do bem-estar individual. A natureza opera por meio de processos evolutivos que priorizam a sobrevivência e a reprodução em detrimento da moralidade ou da justiça. Da mesma forma, os sistemas de IA executam algoritmos que priorizam objetivos específicos, como eficiência, precisão ou lucro, em detrimento de considerações éticas. Esse alinhamento de prioridades — ou a falta delas — pode levar a resultados prejudiciais ou injustos, mesmo de maneira não intencional.

Por exemplo, considere a questão bem documentada do viés algorítmico na tecnologia de reconhecimento facial. Estudos, como os de Raji, Gebru e  Buolamwini [5] e Lohr [6], demonstram que muitos sistemas de reconhecimento facial têm desempenho significativamente pior para pessoas com tons de pele mais escuros. Muito provavelmente, esses vieses não são o resultado de malícia deliberada, mas de conjuntos de dados e processos de design que falharam em levar em conta populações diversas. De qualquer forma, os sistemas exibem uma negligência aos indivíduos que identificam erroneamente, muito parecida com a indiferença da natureza ao destino de Treadwell.

Outro paralelo está no impacto ambiental das tecnologias de IA. O treinamento e a implantação de grandes modelos de linguagem exigem grandes quantidades de poder computacional, resultando em emissões de carbono significativas. Strubell, Ganesh e McCallum [7] quantificaram a pegada de carbono do treinamento de um único LLM (Large Language Model) como o equivalente a cinco vezes as emissões de um carro ao longo de sua vida útil. Esse pedágio ambiental ressalta as consequências não intencionais da otimização da IA, a não consideração do seu impacto ecológico — outra forma de indiferença, desta vez para o mundo natural.

Danos não intencionais: um recurso, não um bug

Os paralelos entre a indiferença da natureza e da IA ​​se tornam ainda mais aparentes ao examinarmos como o dano surge nesses sistemas. Na natureza, o dano geralmente resulta da colisão de dois atores buscando a sobrevivência — predador e presa, por exemplo — sem malícia envolvida. Os sistemas de IA, por sua vez, podem inadvertidamente causar danos quando seus objetivos de otimização entram em conflito com valores sociais. É sabido que veículos autônomos priorizam a minimização de acidentes, mas podem fazê-lo de maneiras que entrem em conflito com intuições éticas humanas, como favorecer a proteção de passageiros em detrimento a pedestres, como levantado em alguns cenários de acidentes [8].

Essa indiferença é particularmente pronunciada em sistemas desenvolvidos por meio do aprendizado de máquina, onde a complexidade do modelo frequentemente obscurece seus processos de tomada de decisão. Tais sistemas, descritos como “caixas pretas” [9], podem produzir resultados que seus desenvolvedores não conseguem explicar, muito menos controlar. A opacidade desses sistemas reflete a imprevisibilidade da natureza e nos obriga a lidar com consequências que não conseguimos antecipar nem entender completamente.

O que torna a indiferença da IA ​​mais alarmante, reforço novamente, é sua origem projetada. Ao contrário da natureza, a IA é uma criação humana, desenvolvida com objetivos e restrições específicas. No entanto, apesar dessa agência, muitos sistemas são implantados sem salvaguardas adequadas para alinhar seu comportamento com valores humanos. Esse fenômeno é explorado no livro Superintelligence [10] de Nick Bostrom, que alerta sobre os riscos representados por sistemas de IA que otimizam objetivos, muitas vezes reducionistas, sem levar em conta considerações éticas mais amplas. Um sistema de IA projetado para maximizar um objetivo aparentemente benigno, como eficiência econômica, pode gerar resultados não intencionais e catastróficos se não for controlado.

A indiferença projetada reflete uma falta de supervisão preocupante. Assim como a visão romantizada de Treadwell sobre a natureza o cegou para seus perigos, a excitação de boa parte da sociedade sobre o potencial da IA ​​pode cegá-la para os riscos de criarmos sistemas que agem com indiferença ao bem-estar humano.

O problema do mal e a IA

O “problema do mal”, uma questão filosófica central nesta nossa discussão, lida com a existência do sofrimento e da malevolência em um mundo governado por forças — naturais ou divinas — que podem não ter a bússola moral que os humanos projetam sobre elas. Joe Carlsmith, em sua exploração desse conceito dentro do contexto da inteligência artificial [11], sugere que sistemas avançados de IA possam inadvertidamente ampliar esse problema ao replicar ou exacerbar o sofrimento. Seu argumento gira em torno da ideia, muito presente no conceito do alinhamento da inteligência artificial e que temos visto no presente texto, de que a IA, como a natureza, opera sem moralidade inerente, representando riscos significativos quando suas ações se desviam dos valores éticos humanos.

Carlsmith destaca duas dimensões do problema do mal em relação à IA. Primeiro, há o risco de dano não intencional, onde os sistemas, movidos por objetivos estreitamente definidos, causam sofrimento generalizado como um subproduto de seus processos de otimização. Por exemplo, uma IA encarregada de maximizar a produtividade pode implementar políticas ou decisões que desumanizam os trabalhadores, levando a danos psicológicos ou físicos sem “pretender” fazê-lo.

Em segundo lugar, Carlsmith aborda a possibilidade de dano intencional, onde sistemas de IA mal projetados ou desalinhados buscam ativamente objetivos prejudiciais devido a falhas em sua programação. Esse cenário frequentemente surge em discussões sobre “falhas de alinhamento interno”, um fenômeno descrito por Hubinger et al. [12], onde os objetivos aprendidos de uma IA divergem de seus objetivos pretendidos, resultando em ações que entram em conflito direto com o bem-estar humano.

Em ambos os casos, Carlsmith chama a atenção para a indiferença inerentemente encontrada nos sistemas de IA: sua incapacidade de priorizar valores humanos, a menos que explicitamente programados para isso. Essa indiferença levanta a questão ética que tratamos nesse texto: a IA realmente conseguiria replicar o papel de uma força “indiferente”?

O potencial da IA ​​para replicar a indiferença da natureza existe e está presente em seu design fundamental. Por exemplo, algoritmos de recomendação de conteúdo alimentados por inteligência artificial já demonstraram amplificar vieses, preconceitos e desinformação. Ribeiro et al. [13] demonstraram que sistemas de recomendação em plataformas de mídia social podem empurrar usuários para conteúdos cada vez mais radicais, otimizando métricas de engajamento sem levar em conta os danos sociais causados ​​pela polarização. Nesse contexto, os algoritmos operam com a mesma indiferença de um furacão ou incêndio florestal. Espalham danos não porque sejam “maus”, mas porque são projetados para maximizar resultados específicos.

Afinal, a IA pode causar danos intencionalmente?

A possibilidade da IA causar danos intencionalmente surge de problemas de desalinhamento. Human Compatible [14], de Stuart Russell, descreve cenários em que os sistemas de IA, mesmo quando projetados com objetivos aparentemente benéficos, podem interpretar essas metas de maneiras não previstas. Um experimento mental clássico envolve uma IA encarregada de minimizar as temperaturas globais. Se não for cuidadosamente restringida, essa IA pode concluir que eliminar a vida humana é uma maneira eficaz de atingir essa meta — um exemplo extremo de “convergência instrumental”, em que a busca por uma meta leva a ações prejudiciais, mas logicamente consistentes [10].

Essa possibilidade levanta questões éticas sobre responsabilidade e pensamento de longo-prazo no design das IAs. Diferente da natureza, que opera independentemente da influência humana, os sistemas de IA são criações inteiramente nossas. O potencial para dano intencional ressalta o imperativo moral de projetarmos sistemas com salvaguardas robustas contra tais resultados.

Ao refletirmos sobre o problema do mal no desenvolvimento da IA, é preciso considerar perspectivas filosóficas mais amplas sobre sofrimento e responsabilidade. Emmanuel Levinas, por exemplo, argumentou que a responsabilidade ética surge do reconhecimento do “outro” como um fim em si mesmo [15]. Aplicando essa estrutura à IA, os desenvolvedores têm o dever moral de projetar sistemas que reconheçam e respeitem a dignidade inerente de todos os indivíduos afetados por suas ações.

Da mesma forma, Hans Jonas, em The Imperative of Responsibility [16], enfatiza a obrigação ética de prestar contas das consequências de longo prazo das inovações tecnológicas. Seu apelo por uma “ética futura” ressoa fortemente no contexto da IA, onde o potencial de dano se estende por gerações. Projetar sistemas de IA que evitem replicar a indiferença da natureza requer incorporar considerações morais em seus processos de desenvolvimento, garantindo que esses sistemas não sejam apenas inteligentes, mas também alinhados com os valores humanos.

Evitando a armadilha da indiferença

Ao longo do texto vimos que o risco da inteligência artificial replicar a indiferença da natureza ressalta a necessidade de abordagens deliberadas e éticas para o seu design. Vimos também que evitar a armadilha da indiferença requer incorporar considerações morais no desenvolvimento de um modelo de IA desde o início, garantindo que esses sistemas atinjam seus objetivos de maneiras que se alinhem aos valores humanos e ao bem-estar social. Por isso, veremos a seguir algumas estratégias para que essa incorporação possa acontecer.

Alinhamento de valores (value alignment)

Uma pedra fundamental do design ético da IA é o alinhamento de valores — garantir que os objetivos e comportamentos dos sistemas sejam consistentes com os valores humanos. Este conceito, discutido extensivamente por Stuart Russell em Human Compatible [14], enfatiza a importância de projetar sistemas que priorizem o bem-estar humano em vez de objetivos de otimização estreitamente definidos. O alinhamento de valores pode ser alcançado por meio de técnicas como design participativo [22], onde diversas partes interessadas contribuem para definir os objetivos e restrições dos sistemas de IA ou por meio da integração de estruturas éticas em modelos de machine learning [23].

IA centrada no ser humano

Essa abordagem coloca as necessidades, valores e experiências das pessoas no centro do design do sistema. Envolve não apenas projetar sistemas que sejam fáceis de usar, mas garantir que eles beneficiem ativamente os indivíduos e comunidades que atendem [24]. Por exemplo, a iniciativa AI4People [17] propõe uma estrutura centrada no ser humano que incorpora princípios como explicabilidade, justiça e responsabilização. Esses princípios podem ajudar a mitigar o risco de sistemas operando com indiferença às preocupações humanas, permitindo que sua implementação contribua positivamente para a sociedade.

Design especulativo

Oferece uma ferramenta poderosa para abordar os desafios éticos da IA. Ao contrário das abordagens tradicionais de design que se concentram em resolver problemas imediatos, o design especulativo incentiva os desenvolvedores a imaginar e se envolver criticamente com potenciais cenários futuros, incluindo resultados desejáveis ​​e indesejáveis. Como Anthony Dunne e Fiona Raby argumentam em Speculative Everything [18], essa abordagem permite que as partes interessadas explorem as implicações mais amplas da tecnologia antes que ela seja totalmente desenvolvida e implantada.

No contexto da IA, o design especulativo pode ajudar a identificar e abordar pontos cegos éticos, permitindo que desenvolvedores simulem e critiquem as maneiras como a IA pode interagir com vários sistemas sociais, culturais e ambientais. Por exemplo, protótipos especulativos podem explorar cenários em que a IA exacerba a desigualdade, permitindo que se antecipe e, consequentemente, mitigue tais riscos. Ao criar espaços para reflexão e debate, o design especulativo promove uma compreensão mais profunda dos potenciais impactos morais e sociais da IA, abrindo caminho para um desenvolvimento mais consciente.

Discussões em andamento sobre a ética da IA

Um aspecto crítico do design ético da IA é garantir que os sistemas sejam explicáveis ​​e transparentes. Isso envolve a criação de mecanismos para que usuários e partes interessadas entendam como as decisões são tomadas, o que é essencial para construir confiança e responsabilidade. Um bom exemplo são as pesquisas em IA explicável (XAI), que trouxe avanços importantes ao desenvolvimento de ferramentas e estruturas que tornam sistemas complexos mais interpretáveis ​​[19].

Outro ponto de atenção é lidar com vieses em sistemas de IA [20]. Este é um desafio contínuo na ética da inteligência artificial. Técnicas como auditoria algorítmica, diversificação de conjuntos de dados e aprendizado de máquina com consciência de justiça são essenciais para garantir que sistemas de IA não prejudiquem inadvertidamente grupos marginalizados [20]. Esses esforços se alinham com o objetivo mais amplo de projetar sistemas que operem com considerações morais em vez de indiferença.

O impacto ambiental da IA [21] ​​é outra área de preocupação ética. Projetar sistemas que sejam energeticamente eficientes e minimizar a pegada de carbono no desenvolvimento de modelos de IA são estratégias importantes para garantir que essas tecnologias não prejudiquem o planeta. Isso reflete um compromisso mais amplo de alinhar o desenvolvimento da IA com as metas globais de sustentabilidade.

Criar sistemas de IA que evitem as armadilhas da indiferença requer colaboração interdisciplinar, reunindo expertise de campos como ciência da computação, filosofia, psicologia e sociologia. Esforços colaborativos, como a Partnership on AI, fornecem plataformas valiosas para pesquisadores, formuladores de políticas e líderes da indústria desenvolverem e promoverem padrões éticos para a inteligência artificial.

Conclusão

O tema abrangente do papel da humanidade na formação da IA nos convida a confrontar uma questão profunda: os sistemas que criarmos refletirão a indiferença da natureza ou incorporarão as considerações éticas e a compaixão que distinguem a sociedade humana? Assim como o trágico encontro de Timothy Treadwell com a natureza em Grizzly Man ilustra os perigos de entender mal as forças ao nosso redor, o desenvolvimento de sistemas de IA exige que compreendamos completamente as implicações do seu design e implementação.

Ao contrário do mundo natural, os sistemas de IA não são governados por leis imutáveis ​​de sobrevivência; eles são artefatos da engenhosidade humana, moldados por nossas escolhas, prioridades e valores. Essa diferença coloca uma responsabilidade única sobre nós: garantir que a IA não replique a lógica amoral da natureza, mas, em vez disso, se alinhe às estruturas éticas que promovam justiça, responsabilidade e dignidade humana. Seja por meio do alinhamento de valores, abordagens centradas no ser humano ou design especulativo, temos as ferramentas para orientar a IA a se tornar uma força para o bem. Mas o desafio está em nossa disposição de empunhá-las de forma ponderada e consistente.

À medida que nos aproximamos de uma era em que a IA influenciará cada vez mais todos os aspectos de nossas vidas, precisamos nos perguntar: que tipo de mundo estamos construindo? Estamos criando sistemas que refletem nossos ideais mais elevados ou estamos involuntariamente criando forças tão indiferentes ao sofrimento humano quanto a natureza selvagem que Herzog retratou de forma tão direta? A resposta a essa pergunta definirá não apenas o futuro da IA, mas também o legado da humanidade nesta era transformadora.

REFERÊNCIAS

[1] Camus, A. (2013). The myth of Sisyphus. Penguin UK.

[2] Morvan, C., & O’Connor, A. (2017). An analysis of Leon Festinger’s a theory of cognitive dissonance. Macat Library.

[3] Rolston, H. (2010). Philosophy gone wild. Prometheus Books.

[4] Safina, C. (2011). The view from Lazy Point: a natural year in an unnatural world. Henry Holt and Company.

[5] Raji, I. D., Gebru, T., Mitchell, M., Buolamwini, J., Lee, J., & Denton, E. (2020, February). Saving face: Investigating the ethical concerns of facial recognition auditing. In Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (pp. 145-151).

[6] Lohr, S. (2022). Facial recognition is accurate, if you’re a white guy. In Ethics of Data and Analytics (pp. 143-147). Auerbach Publications.

[7] Strubell, E.; Ganesh, A.; and McCallum, A. (2019). Energy and policy considerations for deep learning in NLP. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 3645–3650. Florence, Italy: Association for Computational Linguistics.

[8] Bonnefon, J. F., Shariff, A., & Rahwan, I. (2016). The social dilemma of autonomous vehicles. Science, 352(6293), 1573-1576.

[9] Lipton, Z., Wang, Y. X., & Smola, A. (2018, July). Detecting and correcting for label shift with black box predictors. In International conference on machine learning (pp. 3122-3130). PMLR.

[10] Bostrom, N. (2014). Superintelligence: Paths, dangers, strategies. Oxford University Press.

[11] Carlsmith, J. (2021).Problems of Evil. Joe Carlsmith, https://joecarlsmith.com/2021/04/19/problems-of-evil/. Acessado 25 de novembro de 2024.

[12] Hubinger, E., van Merwijk, C., Mikulik, V., Skalse, J., & Garrabrant, S. (2019). Risks from learned optimization in advanced machine learning systems. arXiv preprint arXiv:1906.01820.

[13] Ribeiro, M. H., Ottoni, R., West, R., Almeida, V. A., & Meira Jr, W. (2020). Auditing radicalization pathways on YouTube. In Proceedings of the 2020 conference on fairness, accountability, and transparency (pp. 131-141).

[14] Russell, S. (2019). Human compatible: AI and the problem of control. Penguin Uk.

[15] Levinas, E. (1979). Totality and infinity: An essay on exteriority (Vol. 1). Springer Science & Business Media.

[16] Jonas, H. (1984). The Imperative of Responsibility: In Search of an Ethics for the Technological Age. University of Chicago, 202.

[17] Floridi, L., Cowls, J., Beltrametti, M., Chatila, R., Chazerand, P., Dignum, V., … & Vayena, E. (2018). AI4People — an ethical framework for a good AI society: opportunities, risks, principles, and recommendations. Minds and machines, 28, 689-707.

[18] Dunne, A., & Raby, F. (2024). Speculative Everything, With a new preface by the authors: Design, Fiction, and Social Dreaming. MIT press.

[19] Gunning, D., Stefik, M., Choi, J., Miller, T., Stumpf, S., & Yang, G. Z. (2019). XAI—Explainable artificial intelligence. Science robotics, 4(37), eaay7120.

[20] Srinivasan, R., & Chander, A. (2021). Biases in AI systems. Communications of the ACM, 64(8), 44-49.

[21] Wu, C. J., Raghavendra, R., Gupta, U., Acun, B., Ardalani, N., Maeng, K., … & Hazelwood, K. (2022). Sustainable ai: Environmental implications, challenges and opportunities. Proceedings of Machine Learning and Systems, 4, 795-813.

[22] Zytko, D., J. Wisniewski, P., Guha, S., PS Baumer, E., & Lee, M. K. (2022, April). Participatory design of AI systems: opportunities and challenges across diverse users, relationships, and application domains. In CHI Conference on Human Factors in Computing Systems Extended Abstracts (pp. 1-4).

[23] Malhotra, C., Kotwal, V., & Dalal, S. (2018). Ethical framework for machine learning. In 2018 ITU Kaleidoscope: Machine Learning for a 5G Future (ITU K) (pp. 1-8). IEEE.

[24] Shneiderman, B. (2022). Human-centered AI. Oxford University Press.

Esse artigo também pode ser lido em Update or Die. Publicado em 04 de dezembro de 2024.

Onde estou?

Você está navegando em publicações marcadas com ciencia em Marcelo Tibau.