Blog

Desenvolvimentos na IA podem exacerbar riscos catastróficos duradouros, incluindo bioterrorismo; desinformação e disfunções institucionais resultantes; uso indevido de poder concentrado; guerra nuclear e convencional; outras falhas de coordenação; e riscos desconhecidos. Este documento compila pesquisas sobre como a IA pode aumentar esses riscos. (Outro material neste curso discute sobre riscos mais novos advindos da IA). Baseamo-nos fortemente em sínteses anteriores de acadêmicos, particularmente Dafoe (2020) e Hendrycks et al. (2023).

Bioterrorismo

Os avanços da IA ​​podem piorar os riscos do bioterrorismo. Hendrycks et ai. (2023) fornecem uma introdução útil a esse risco. O seguinte é um grande trecho de seu artigo.

O rápido avanço da tecnologia de IA aumenta o risco de bioterrorismo. IAs com conhecimento de bioengenharia podem facilitar a criação de novas armas biológicas e diminuir as barreiras para a obtenção de tais agentes. Pandemias projetadas de armas biológicas assistidas por IAs representam um desafio único, pois os agressores têm uma vantagem sobre os defensores e podem constituir uma ameaça existencial à humanidade. […] 

Pandemias de bioengenharia impõem uma nova ameaça. Agentes biológicos, incluindo vírus e bactérias, causaram algumas das catástrofes mais devastadoras da história. Acredita-se que a Peste Negra tenha matado mais humanos do que qualquer outro evento na história, impressionantes e terríveis 200 milhões, o equivalente a quatro bilhões de mortes hoje. […] [P]andemias projetadas poderiam ser feitas para ser mais letais ou facilmente transmissíveis do que pandemias naturais, apresentando uma nova ameaça que poderia igualar ou mesmo superar a devastação causada pelas pragas mais mortais da história [6].

A humanidade tem uma longa e sombria história de usar patógenos como armas […] Durante o século XX, sabe-se que 15 países desenvolveram programas de armas biológicas, incluindo os EUA, a URSS, o Reino Unido e a França. Assim como as armas químicas, as armas biológicas se tornaram um tabu na comunidade internacional. Embora alguns atores estatais continuem a operar programas de armas biológicas [8], um risco mais significativo pode vir de atores não estatais como o Aum Shinrikyo, o Estado Islâmico ou simplesmente indivíduos perturbados. […]

A biotecnologia está progredindo rapidamente e se tornando mais acessível. Algumas décadas atrás, a capacidade de sintetizar novos vírus se limitava a alguns dos melhores cientistas que trabalhavam em laboratórios avançados. Hoje, estima-se que existam 30.000 pessoas com o talento, treinamento e acesso à tecnologia para criar novos patógenos [6]. Esse número pode se expandir rapidamente. A síntese de genes, que permite a criação de agentes biológicos personalizados, teve uma queda de preço vertiginosa, com seu custo caindo pela metade aproximadamente a cada 15 meses [9]. Além disso, com o advento das máquinas de síntese de DNA de bancada, o acesso se tornará muito mais fácil e poderá evitar os esforços de triagem existente de síntese de genes, o que complica o controle da disseminação dessa tecnologia [10]. As chances de uma pandemia de bioengenharia matar milhões, talvez bilhões, é proporcional ao número de pessoas com habilidades e acesso à tecnologia para sintetizá-los. Com assistentes de IA, muito mais pessoas poderiam ter as habilidades necessárias, aumentando assim os riscos em ordens de grandeza.

As IAs podem ser usadas para acelerar a descoberta de novas armas químicas e biológicas mais letais. Em 2022, pesquisadores pegaram um sistema de IA projetado para criar novos medicamentos gerando moléculas terapêuticas não tóxicas e o ajustaram para recompensar, em vez de penalizar, a toxicidade [11]. Após essa simples mudança, em seis horas, ele gerou 40.000 candidatos a agentes de guerra química inteiramente por conta própria. Ele projetou não apenas produtos químicos mortais conhecidos, incluindo o VX, mas também novas moléculas que podem ser mais mortais do que qualquer agente químico de guerra descoberto até agora. No campo da biologia, as IAs já ultrapassaram as capacidades humanas na previsão da estrutura de proteínas [12] e fizeram contribuições para sintetizar essas proteínas [13]. […]

IAs agravam a ameaça de pandemias de bioengenharia. IAs aumentarão o número de pessoas que podem cometer atos de bioterrorismo. IAs de propósito geral como o ChatGPT são capazes de sintetizar conhecimento especializado sobre os patógenos mais mortais conhecidos, como a influenza e a varíola, e fornecer instruções passo a passo sobre como uma pessoa pode criá-los, enquanto foge dos protocolos de segurança [14]. Versões futuras de IAs podem ser ainda mais úteis para potenciais bioterroristas quando IAs forem capazes de sintetizar informações em técnicas, processos e conhecimentos que não estão explicitamente disponíveis em nenhum lugar da Internet. As autoridades de saúde pública podem responder a essas ameaças com medidas de segurança, mas no bioterrorismo o agressor leva vantagem. A natureza exponencial das ameaças biológicas significa que um único ataque pode se espalhar para o mundo inteiro antes que uma defesa eficaz possa ser montada. Apenas 100 dias após ser detectada e sequenciada, a variante ômicron da COVID-19 havia infectado um quarto dos Estados Unidos e metade da Europa [6]. Quarentenas e bloqueios instituídos para suprimir a pandemia da COVID-19 causaram uma recessão global e ainda não conseguiram impedir que a doença matasse milhões em todo o mundo. 

Um artigo do pesquisador de biossegurança de Oxford, Jonas Sandbrink, esclarece ainda mais esses riscos [negrito adicionado]:

Este artigo diferencia duas classes de ferramentas de IA que impõem tais riscos de biossegurança: grandes modelos de linguagem (GMLs) e ferramentas de design biológico (FDBs). Os GMLs, como o GPT-4, já são capazes de fornecer informações de uso duplo que poderiam ter viabilizado o sucesso dos esforços históricos de criar armas biológicas. Conforme os GMLs forem transformados em assistentes de laboratório e ferramentas científicas autônomas, isso aumentará ainda mais sua capacidade de apoiar pesquisas. Assim, os GMLs reduzirão, em particular, as barreiras ao uso indevido de produtos biológicos. Em contraste, as FDBs irão expandir as capacidades de atores sofisticados. Em termos concretos, as FDBs podem viabilizar a criação de patógenos pandêmicos substancialmente piores do que qualquer coisa vista até agora e podem viabilizar formas de armas biológicas mais previsíveis e direcionadas. Em combinação, os GMLs e as FDBs podem aumentar o limite de danos causados ​​por agentes biológicos e torná-los amplamente acessíveis.

Desinformação

A desinformação impulsionada pela IA é um fator de risco para catástrofes, porque compromete a capacidade das sociedades de lidar com catástrofes.

Um relatório de autores de três instituições de pesquisa (Goldstein et al., 2023) examina o impacto que a IA poderia ter em “operações de influência” (isto é, “esforços secretos ou enganosos para influenciar as opiniões de um público-alvo”), o que poderia piorar o modo como decisões importantes são tomadas.

Atores: os modelos de linguagem podem reduzir o custo das operações de influência, colocando-as ao alcance de novos atores e tipos de atores. […]

Comportamento: as operações de influência com modelos de linguagem se tornarão mais fáceis de amplificar, e táticas que atualmente são caras (por exemplo, a geração de conteúdo personalizado) podem se tornar mais baratas. Os modelos de linguagem também podem viabilizar o surgimento de novas táticas, como a geração de conteúdo em tempo real em chatbots.

Conteúdo: as ferramentas de criação de texto alimentadas por modelos de linguagem podem gerar mensagens mais impactantes ou persuasivas em comparação com os propagandistas, especialmente aqueles que não possuem o conhecimento linguístico ou cultural necessário de seu alvo. Eles também podem tornar as operações de influência menos detectáveis, uma vez que criam repetidamente novos conteúdos sem precisar recorrer a copiar e colar e a outros comportamentos perceptíveis que economizam tempo.

Hendrycks et ai. (2023) destacam outros aspectos do risco da desinformação impulsionada pela IA:

IAs podem centralizar o controle de informações em que as pessoas confiam. […] IAs poderiam centralizar a criação e disseminação de informações em que as pessoas confiam. Apenas alguns atores têm as habilidades técnicas e os recursos para desenvolver sistemas de IA de ponta e podem usar essas IAs para divulgar suas narrativas preferidas. Alternativamente, se IAs forem amplamente acessíveis, isso pode levar à desinformação generalizada, com as pessoas recuando para um estado de confiar apenas em um pequeno punhado de fontes respeitadas[23]. Em ambos os cenários, haveria menos fontes de informação em que as pessoas confiam ​​e uma pequena parcela da sociedade controlaria as narrativas populares.

IAs podem explorar a confiança dos usuários. Centenas de milhares de pessoas já pagam por chatbots comercializados como amantes e amigos [21], e o suicídio de um homem foi parcialmente atribuído a interações com um chatbot [22]. À medida que as IAs parecem cada vez mais humanoides, as pessoas irão cada vez mais estabelecer relacionamentos com elas e passar a confiar nelas. IAs que coletam informações pessoais construindo relacionamentos ou acessando extensos dados pessoais, como a conta de e-mail ou arquivos pessoais de um usuário, podem aproveitar essas informações para aumentar a persuasão. Atores poderosos que controlam esses sistemas podem explorar a confiança do usuário, fornecendo desinformação personalizada diretamente por meio dos “amigos” das pessoas.

Autoritarismo, desigualdade e trancamento de maus valores

Dafoe (2020) descreve modos como a IA pode levar à concentração de poder e, em seguida, ao seu uso indevido. Vamos considerar esses mecanismos (e um extra: mercados oligopólicos) em mais detalhes:

• Mercados globais em que o vencedor leva tudo: quem lidera a venda de acesso a sistemas de IA de ampla capacidade pode oferecer a muitos clientes o melhor negócio para uma ampla gama de serviços. Isso poderia concentrar enormemente a riqueza, o que incentivaria golpes autoritários (ao mesmo tempo facilitando a supressão de revoluções democráticas, conforme discutido abaixo).
• Mercados oligopólicos: além dos mercados globais em que o vencedor leva tudo, pode haver fatores adicionais que levam as IAs a serem controladas por um pequeno número de pessoas. Hendrycks et ai. (2023) mencionam um aspecto disso: “Para operar de forma eficaz, as IAs requerem um amplo conjunto de componentes de infraestrutura, que não são distribuídos igualmente, como centrais de dados, poder computacional e grandes dados”.
• Deslocamento de mão de obra: historicamente, as novas tecnologias muitas vezes automatizaram alguns empregos enquanto criavam novos empregos. No entanto, IAs amplamente capazes seriam historicamente sem precedentes. Se IAs puderem realizar quase todas as tarefas tão bem quanto um ser humano, isso pode deixar poucos empregos para os humanos: especialmente porque as IAs não precisam descansar, podem aprender grandes quantidades de informações e muitas vezes podem concluir tarefas com muito mais rapidez e baixo custo do que humanos.
• Vigilância e controle autoritários: IAs podem ser usadas para sinalizar conteúdo para censura, analisar as atividades dos dissidentes, operar armas autônomas e persuadir as pessoas. Por meio desses mecanismos, “IAs poderiam permitir que governos totalitários coletem, processem e ajam de modo eficiente com base num volume de informações sem precedentes, permitindo que um grupo cada vez menor de pessoas vigie e exerça controle total sobre a população sem a necessidade de recrutar milhões de cidadãos para servir como funcionários voluntários do governo. No geral, à medida que o poder e o controle se deslocam do público para as elites e líderes, os governos democráticos ficam altamente vulneráveis a​ retroceder ao totalitarismo. Além disso, IAs podem tornar regimes totalitários muito mais duradouros; uma das principais maneiras como esses regimes foram derrubados anteriormente foi em momentos de vulnerabilidade, como a morte de um ditador, mas IAs, que seriam difíceis de “matar”, poderiam prover muito mais continuidade à liderança, dando poucas oportunidades para a reforma” (Hendrycks et al., 2023).

As ferramentas de IA também contribuem para a desigualdade por meio de outputs enviesados ou discriminatórios (Turner Lee, et al., 2019). Embora esses problemas sejam frequentemente considerados separadamente de riscos catastróficos, é útil estar ciente deles.

• Descobriu-se que modelos de aprendizado de máquina fazem recomendações discriminatórias que influenciam quem é contratado, quem recebe empréstimos e quem é preso, entre outras decisões.
• Recomendações enviesadas geralmente resultam de um sistema de IA sendo treinado com dados históricos que refletem os vieses históricos. Além disso, sistemas de IA tendem a ser menos precisos para determinados grupos quando são treinados com poucos dados desses grupos.

A concentração de poder pode facilitar o entrincheiramento permanente de certos valores. Hendrycks et ai. (2023) argumentam que isso é perigoso [em negrito adicionado]:

Além do poder, o trancamento de certos valores pode reduzir o progresso moral da humanidade. É perigoso permitir que qualquer conjunto de valores se torne permanentemente arraigado na sociedade. Por exemplo, sistemas de IA aprenderam visões racistas e sexistas [24], e uma vez que essas visões são aprendidas, pode ser difícil removê-las completamente. Além dos problemas que sabemos que existem em nossa sociedade, pode haver alguns que ainda não sabemos. Assim como detestamos alguns pontos de vista morais amplamente defendidos no passado, as pessoas no futuro podem querer superar os pontos de vista morais que temos hoje, mesmo aqueles com os quais atualmente não vemos nenhum problema. Por exemplo, defeitos morais em sistemas de IA seriam ainda piores se os sistemas de IA tivessem sido treinados na década de 1960, e muitas pessoas na época não teriam visto nenhum problema nisso. Podemos até estar perpetuando, sem saber, catástrofes morais hoje [25]. Portanto, quando IAs avançadas surgirem e transformarem o mundo, corre-se o risco de que seus objetivos tranquem ou perpetuem defeitos nos valores atuais.

Guerra (nuclear)

Os analistas destacaram vários caminhos pelos quais a IA poderia aumentar o risco de guerra, inclusive guerra nuclear.

A IA poderia comprometer a dissuasão nuclear. Em um mundo com armas nucleares, a guerra nuclear, pensa-se geralmente, é evitada (parcialmente) pela dissuasão nuclear. Se um estado lançasse um ataque nuclear, correria o risco de ser bombardeado como retaliação. (Alguns estados nucleares até sinalizaram sua disposição a lançar ataques nucleares retaliatórios em nome de aliados). No entanto, os avanços na IA podem comprometer as capacidades dos estados de atacar em retaliação (também chamado de “segundo ataque”) de várias maneiras. Estados podem ser capazes de usar IAs para…

• …localizar submarinos com armas nucleares, usando IAs para analisar dados de sensores e talvez melhorar outros aspectos da tecnologia de drones de reconhecimento. Isso seria problemático, porque os estados costumam ver submarinos com armas nucleares como seu dissuasor nuclear mais resiliente, devido à dificuldade de localizá-los. No entanto, a plausibilidade técnica disso é contestada¹.
• …fazer ajustes em pleno ar para ataques contra lançadores de mísseis móveis, p. ex., através da análise de imagens de satélite. Isso reduziria a dificuldade de destruir essas armas (que também têm funções dissuasivas).
• …melhorar assimetricamente a defesa antimísseis, o que poderia neutralizar os ataques retaliatórios de rivais. No entanto, a defesa antimísseis tem sido historicamente muito difícil.
• …executar ataques cibernéticos que desativam os recursos retaliatórios de rivais.

A IA poderia inadvertidamente fazer conflitos escalarem. Embora os analistas muitas vezes considerem improvável que os militares deem às IAs o controle direto sobre as armas nucleares, as IAs podem fazer escalar os conflitos inadvertidamente de outras maneiras. Os tomadores de decisão podem confiar demais em recomendações falhas de sistemas de IA sobre escalonamento. Além disso, armas autônomas letais sem supervisão adequada podem inadvertidamente iniciar conflitos violentos ou expandir seu escopo.

A IA poderia criar outros incentivos para a guerra. Estudiosos de relações internacionais descobriram que, em muitos casos, “mudanças grandes e rápidas na distribuição do poder levam à guerra” (Powell, 2006). Quando diante de um rival em ascensão, os estados podem ver a necessidade de escolher entre (i) guerrear contra o rival enquanto ele é relativamente fraco ou (ii) mais tarde ser coagido por um rival poderoso. Essa situação incentiva a guerra. Acima, vimos uma maneira como a IA poderia contribuir para uma grande e rápida alteração de poder: comprometer as capacidades retaliatórias de alguns estados. Os avanços na IA também poderiam causar outras alterações de poder desestabilizadoras, como a aceleração do desenvolvimento econômico e tecnológico em certos estados. Mudanças iminentes de poder podem incentivar estados rivais a buscar uma guerra preventiva – ou intervenções em menor escala, ou manobras perigosas que acabam em guerra.

Outras falhas de coordenação

Dafoe (2020) escreve [negrito adicionado]:

Uma corrida de alto risco (pela IA avançada) pode piorar drasticamente os resultados, tornando todas as partes mais dispostas a ser mesquinhas com a segurança. Esse risco pode ser generalizado. Assim como um conflito entre desempenho e segurança, na presença de uma competição intensa, leva os tomadores de decisão a ser mesquinhos com a segurança, uma conflito entre qualquer valor humano e o desempenho competitivo incentiva os tomadores de decisão a sacrificar esse valor. Exemplos contemporâneos de valores sendo erodidos pela competição econômica global podem incluir mercados não monopolistas, privacidade e relativa igualdade. A longo prazo, a dinâmica competitiva pode levar à proliferação de formas de vida (países, empresas, IAs autônomas) que trancam maus valores². Refiro-me a isso como erosão de valor; Nick Bostrom discute isso em O Futuro da Evolução Humana (2004); Paul Christiano referiu-se ao surgimento de “padrões gananciosos”; o cenário da Era de Em de Hanson envolve a perda da maior parte do valor que não esteja adaptado à competição contínua do mercado de IAs.[6]

No documento que ele vincula, Dafoe aborda várias objeções a esse argumento. Aqui estão resumos de algumas objeções e respostas:

• Se a competição criar pressões competitivas terríveis, será que os atores não encontrariam uma saída para essa situação, usando cooperação ou coerção para colocar restrições em sua competição?
  • Talvez. No entanto:
    • Na prática, pode ser muito difícil criar um arranjo politicamente estável para restringir a competição. Isso pode ser especialmente difícil em um mundo altamente multipolar.
    • Os líderes políticos nem sempre agem racionalmente. Mesmo que a IA torne os líderes políticos mais racionais, talvez isso só aconteça depois que os líderes aceitarem sacrifícios terríveis e duradouros em nome da competição.
• Por que esse risco é particularmente importante agora?
  • Os avanços na IA podem expandir muito o quanto pode ser sacrificado por uma vantagem competitiva. Por exemplo, atualmente existe um limite para o quanto o bem-estar dos trabalhadores pode ser sacrificado por uma vantagem competitiva; trabalhadores miseráveis ​​são geralmente menos produtivos. No entanto, os avanços na automação podem significar que os trabalhadores mais eficientes serão os infelizes³.

O relatório “Desafios de coordenação para prevenir conflitos de IA” (Torges, 2021) traz à tona outra classe de possíveis falhas de coordenação. Quando as pessoas encarregam sistemas de IA poderosos com atividades de alto risco que envolvem a interação estratégica com outros sistemas de IA, as falhas de negociação entre sistemas de IA podem ser catastróficas:

Cenários transformadores de IA envolvendo múltiplos sistemas (“cenários multipolares”) impõem riscos existenciais únicos resultantes de suas interações⁴. Falha na negociação entre sistemas de IA, ou seja, casos em que cada ator acaba em uma situação muito pior do que poderia sob um acordo negociado, é um desses riscos. Os piores casos podem resultar em extinção humana ou resultados ainda piores (Clifton 2019)⁵.

Como um exemplo prosaico, considere um impasse entre sistemas de IA semelhante à Guerra Fria entre os EUA e a União Soviética. Se eles falhassem em lidar bem com tal cenário, poderiam causar uma guerra nuclear na melhor das hipóteses, e muito pior se a tecnologia tiver avançado ainda mais nesse ponto.

Ficando aquém do risco existencial, eles poderiam colocar em risco uma fração significativa da dotação cósmica, impedindo a realização de ganhos mútuos ou causando a perda de recursos em conflitos dispendiosos.

Alguns podem estar otimistas de que IAs encarregadas de barganhar serão tão hábeis nisso que evitarão falhas de barganha catastróficas. No entanto, mesmo negociadores perfeitamente hábeis podem acabar com resultados de negociação catastróficos (Fearon, 1995). Um problema é que os negociadores geralmente têm incentivos para mentir. Isso pode fazer com que negociadores racionais duvidem das informações ou ameaças de outras partes — mesmo quando as informações são verdadeiras e as ameaças são sinceras. Outro problema é que os negociadores podem ser incapazes de se comprometer a cumprir acordos mutuamente benéficos. Esses problemas podem ser resolvidos por meio da verificação de informações privadas e mecanismos para assumir compromissos. No entanto, esses mecanismos podem ser limitados. Por exemplo, a verificação de informações privadas pode expor vulnerabilidades e os mecanismos de compromisso podem permitir compromissos com ameaças mutuamente prejudiciais.

Riscos Desconhecidos

Novas tecnologias muitas vezes apresentam riscos difíceis de prever. Como Dafoe (2020) menciona, os riscos do motor de combustão incluíram “espraiamento urbano, guerra ofensiva de blitzkrieg, bombardeiros estratégicos e mudanças climáticas” — presumivelmente uma lista difícil de prever em 1800. Os riscos da IA ​​parecem ainda mais difíceis de prever se concebermos os avanços da IA ​​como análogos a alguns dos eventos mais transformadores do passado da humanidade, como o surgimento da agricultura.

Em vez de sermos impotentes contra riscos desconhecidos vindos da IA, podemos ser capazes de (indiretamente) nos preparar para eles. Conforme surgem novos riscos da IA, podemos trabalhar para tornar as instituições melhores na sua identificação e na resposta a eles. Também podemos melhorar nossa própria responsividade a riscos atualmente desconhecidos, em parte lembrando que talvez ainda não conheçamos todos os riscos.

Vimos como a IA cada vez mais avançada pode exacerbar muitos riscos catastróficos e duradouros. Esses riscos variados e graves justificam intensos esforços de mitigação, como parte de um portfólio mais amplo de ações para realizar os benefícios e reduzir os riscos da IA.

Notas de rodapé

1. Os céticos argumentam que há enormes desafios no uso de drones para localizar submarinos de forma confiável, como vastas áreas de busca, limitações da tecnologia de sensores, curta duração de baterias e baixas velocidades dos drones. Por outro lado, talvez esses problemas possam ser superados com avanços tecnológicos (p. ex., análise aprimorada de dados de sensores) e abordagens inovadoras (p. ex., uso de estações de recarga relativamente centralizadas ou painéis solares no nível da superfície para recarregar drones).

2. Isso é diferente da preocupação anterior sobre o trancamento de maus valores. Em uma seção anterior, consideramos como a concentração de poder poderia trancar maus valores. Aqui, a preocupação é que a competição irrestrita possa trancar maus valores. (Claro, quais valores são maus é altamente contestado.)

3. Dafoe não menciona esse exemplo; ele é baseado nas fontes que ele referencia.

4. [Nota de rodapé do trecho] Não pretendo insinuar que este seja o único risco imposto por cenários multipolares. Para outros, veja, por exemplo: Critch, Krueger 2020, Zwetsloot, Dafoe 2019, Manheim 2018.

5. [Nota de rodapé do trecho] Observe que a falha na negociação não é a única causa de interações catastróficas. Por exemplo, as interações de Sistemas de Armas Autônomas Letais também podem ser catastróficas.

---

Publicado originalmente em Agosto de 2023 aqui.

Autor: BlueDot Impact

Tradução: Luan Marques