Nós (a 80.000 Hours) acabamos de divulgar nosso mais longo e mais aprofundado perfil de problema — sobre a redução de riscos existenciais de IA. Você pode ler o perfil aqui. 

(N.T.: Uma versão anterior desse perfil de problema, não tão completo e em alguns pontos desatualizado, está disponível aqui).

O resto desta postagem fornece um contexto sobre o perfil, um resumo e um índice.

Algum contexto

Como grande parte do nosso conteúdo, este perfil é direcionado a uma audiência que provavelmente já passou algum tempo no site do 80.000 Hours, mas em outro sentido não está familiarizada com o AE — logo, é bem introdutório. Dito isso, esperamos que o perfil também seja útil e esclarecedor para membros da comunidade do AE.

O perfil representa principalmente as opiniões minhas (de Benjamin Hilton), embora tenha sido editado por Arden Koehler (nosso diretor do site) e revisado por Howie Lempel (nosso diretor executivo), e ambos concordam amplamente com as conclusões.

Tentei fazer algumas coisas com este perfil para torná-lo tão útil quanto possível para pessoas recém-chegadas ao tema: 

• Eu foco no que vejo como sendo o maior problema: riscos de IAs que busquem poder, provenientes de sistemas de planejamento estrategicamente conscientes e com capacidades avançadas, conforme exposto por Joe Carlsmith.
• Tento fazer as coisas parecerem mais concretas e publiquei um artigo avulso inteiro sobre como realmente se pareceria uma catástrofe causada por IA. (Isso deve-se bastante ao relatório de Carlsmith, e também com Como se pareceria o fracasso de Christiano e Superinteligência de Bostrom.)
• Dou (novamente, o que vejo como) importantes informações de contexto, como os resultados de pesquisas de opinião com especialistas em aprendizado de máquina sobre riscos de IA, uma síntese de avanços recentes na IA e leis de escala (scaling laws).
• Tento honestamente explicar as mais fortes razões pelas quais os argumentos que apresento poderiam estar errados
• Incluo uma longa coleção de Perguntas Frequentes com objeções comuns a trabalharmos no risco de IA às quais penso haver fortes respostas

Além disso, há um formulário de feedback, caso deseje oferecer feedback de modo reservado ao invés de emiti-lo publicamente.

Esta postagem inclui o resumo do artigo e um índice.

Resumo

Esperamos haver um progresso substancial na IA nas próximas décadas, potencialmente até o ponto de as máquinas superarem os humanos em muitas – se não todas – tarefas. Isso poderia trazer enormes benefícios mas também representaria graves riscos. Esses riscos poderiam surgir acidentalmente (por exemplo, se não encontrarmos soluções para preocupações sobre a segurança de sistemas de IA) ou deliberadamente (por exemplo, se sistemas de IA piorarem conflitos geopolíticos). Achamos que mais trabalho precisa ser feito para reduzirmos esses riscos. 

Alguns desses riscos de IAs avançadas poderiam ser existenciais — o que significa que poderiam causar a extinção humana, ou uma debilitação igualmente severa e permanente da humanidade¹. Ainda não houve nenhuma resposta satisfatória a preocupações — discutidas abaixo — sobre como essa tecnologia  transformadora que se aproxima rapidamente pode ser desenvolvida e integrada de modo seguro à nossa sociedade. Estimamos que haja cerca de 300 pessoas no mundo inteiro trabalhando diretamente nisso². Como resultado, a possibilidade de uma catástrofe relativa a IA pode ser o problema mais premente do mundo — e a melhor coisa em que aqueles que estão em boa posição para contribuir podem trabalhar.

Opções promissoras nas quais se trabalhar incluem pesquisas técnicas sobre como criar sistemas de IA seguros, pesquisa de estratégias sobre riscos particulares que IAs poderiam representar e pesquisa de diretrizes políticas (N.:T: policies) sobre modos como empresas e governos poderiam mitigar esses riscos. Se políticas válidas forem desenvolvidas, precisaremos de pessoas para ajudar a aprová-las e implementá-las. Há também muitas oportunidades para termos um grande impacto numa variedade de funções complementares, como gestão de operações, jornalismo, ganhar para doar e mais — algumas das quais listamos abaixo.

Nossa visão geral

Recomendado – mais alta prioridade

Este se encontra entre os problemas mais prementes nos quais trabalharmos.

Escala  

A IA terá uma variedade de impactos e tem o potencial de fazer uma enorme quantidade de bem. Mas estamos particularmente preocupados com a possibilidade de resultados extremamente ruins, especialmente uma catástrofe existencial. Estamos bastante incertos, mas com base em estimativas de outras pessoas que usaram uma variedade de métodos, nossa conjectura geral é que o risco de uma catástrofe existencial causada por inteligências artificiais dentro dos próximos 100 anos é de cerca de 10%. Esse número poderia mudar consideravelmente com mais pesquisas — alguns especialistas pensam que é tão baixo quanto 0,5% ou muito mais alto que 50%, e estamos abertos a possibilidade de qualquer um deles estar correto. No geral, nossa perspectiva é que o desenvolvimento da IA coloca uma ameaça maior ao florescimento da humanidade no longo prazo do que qualquer outro tema que conhecemos.

Negligência

Cerca de US$ 50 milhões foram gastos nos piores riscos de IA em 2020 – bilhões foram gastos promovendo suas capacidades³. Embora estejamos vendo um aumento na preocupação dos especialistas em IA, ainda há somente cerca de 300 pessoas trabalhando diretamente na redução das chances de uma catástrofe existencial relativa a IA⁴. Dessas, parece que cerca de dois terços estão trabalhando na pesquisa técnica de IA, com o resto dividido entre pesquisa de estratégias e ativismo (N.T.: advocacy).

Tratabilidade

Fazer progresso na prevenção de uma catástrofe relativa a IA parece difícil, mas existem muitos caminhos para mais pesquisas e o campo é muito jovem. Logo, pensamos ser moderadamente tratável, embora estejamos altamente incertos — novamente, avaliações da tratabilidade para tornar a IA segura variam enormemente.

Índice completo

• Introdução
• 1. Muitos especialistas em IA pensam haver uma chance não negligenciável de que a IA levará a resultados tão ruins quanto a extinção
• 2. Estamos fazendo avanços na IA extremamente rápido
  • Tendências atuais mostram  um rápido progresso nas capacidades de sistemas de aprendizado de máquina
  • Quando podemos esperar IA transformadora?
• 3. IA que busca poder poderia colocar uma ameaça existencial à humanidade
  • É provável que construiremos sistemas de planejamento avançados
  • Sistemas de planejamento avançados poderiam facilmente ser periculosamente “desalinhados”
  • Debilitação por sistemas de IA seria uma catástrofe existencial
  • As pessoas podem implementar sistemas de IA desalinhados apesar do risco
• Tudo isso soa muito abstrato. Como poderia realmente parecer-se uma catástrofe causada por IA?
• 4. Ainda que encontremos uma maneira de evitar a busca de poder, ainda há outros riscos
  • A IA poderia piorar a guerra
  • A IA poderia ser utilizada para desenvolver perigosas novas tecnologias  
  • A IA poderia fortalecer governos totalitários
  • Outros riscos da IA
• Então, quão provável é uma catástrofe relativa a IA?
• 5. Podemos lidar com estes riscos
  • Pesquisa técnica em segurança de IA
  • Pesquisa em governança e implementação de IA
• 6. Este trabalho é extremamente negligenciado
• Quais achamos que são os melhores argumentos de que estamos errados?
• Argumentos contra trabalharmos no risco de IA aos quais pensamos haver fortes respostas
• O que você pode fazer para ajudar concretamente
  • Segurança técnica de IA
  • Governança e estratégia de IA
  • Funções complementares (porém cruciais)
  • Outros modos de ajudar
  • Deseja aconselhamento pessoal sobre seguir este caminho?
  • Encontre vagas em nosso quadro de empregos
• Principais recursos para aprender mais
• Reconhecimentos

Reconhecimentos 

Agradeço enormemente a Joel Becker, Tamay Besiroglu, Jungwon Byun, Joseph Carlsmith, Jesse Clifton, Emery Cooper, Ajeya Cotra, Andrew Critch, Anthony DiGiovanni, Noemi Dreksler, Ben Edelman, Lukas Finnveden, Emily Frizell, Ben Garfinkel, Katja Grace, Lewis Hammond, Jacob Hilton, Samuel Hilton, Michelle Hutchinson, Caroline Jeanmaire, Kuhan Jeyapragasan, Arden Koehler, Daniel Kokotajlo, Victoria Krakovna, Alex Lawsen, Howie Lempel, Eli Lifland, Katy Moore, Luke Muehlhauser, Neel Nanda, Linh Chi Nguyen, Luisa Rodriguez, Caspar Oesterheld, Ethan Perez, Charlie Rogers-Smith, Jack Ryan, Rohin Shah, Buck Shlegeris, Marlene Staib, Andreas Stuhlmüller, Luke Stebbing, Nate Thomas, Benjamin Todd, Stefan Torges, Michael Townsend, Chris van Merwijk, Hjalmar Wijk e Mark Xu seja por revisarem o artigo, seja por seus comentários e conversas extremamente úteis e ponderados. (Isso não quer dizer que eles todos concordariam com tudo que eu disse – de fato, tivemos muitos desacordos animados nos comentários sobre o artigo!)

Esta obra está licenciada sob uma Licença Creative Commons Atribuição 4.0 Internacional.

Notas

1. Também estamos preocupados com a possibilidade de que sistemas de IA mereçam consideração moral por si mesmos — por exemplo, por serem sencientes. Não vamos discutir essa possibilidade neste artigo; em vez disso, cobrimos a senciência artificial num artigo avulso aqui.

2. Estimei isso utilizando a base de dados AI Watch. Para cada organização, estimei a proporção de empregados listados trabalhando diretamente na redução de riscos existenciais de IAs. Há muito julgamento subjetivo na estimativa (p. ex., “parece que esta pauta de pesquisa se trata de segurança de IA em particular?”), e poderia ser muito baixa ser a AI Watch estiver carecendo de algumas organizações, ou muito alta se os dados contarem pessoas mais de uma vez ou incluirem pessoas que não trabalham mais na área. Meu intervalo de confiança de 90% faria variar de cerca de 100 pessoas a cerca de 1.500 pessoas.

3. É difícil dizer exatamente quanto está sendo gasto para promover as capacidades de IAs. Isso em parte é por causa de uma falta de dados disponíveis, e em parte por causa de questões como:
* Que pesquisas na IA estão realmente promovendo os tipos de capacidades perigosas que podem estar aumentando riscos existenciais potenciais?
* Avanços em hardware de IA ou avanços em colheita de dados contam?
* Que dizer de melhoramentos mais amplos em processos de pesquisa em geral, ou coisas que podem aumentar o investimento no futuro por meio da produção de crescimento econômico? O número mais relevante que conseguimos encontrar foram as despesas da DeepMind de 2020, que estavam em torno de £ 1 bilhão, segundo o seu relatório anual. Esperaríamos que a maior parte disso esteja contribuindo ao “avanço de capacidades” em algum sentido, visto que seu principal objetivo é construir sistemas de IA poderosos e gerais. (Embora seja importante observar que a DeepMind também está contribuindo para a segurança de IA, que pode também estar reduzindo riscos existenciais.)
Se a DeepMind responde por cerca de 10% dos gastos no avanço das capacidades de IAs, isso nos dá um número de cerca de £ 10 bilhões. (Dado que há muitas empresas de IA nos EUA, e um grande esforço para produzir IAs avançadas na China, pensamos que 10% poderia ser um bom palpite geral.)
Como um limite superior, a receita total do setor da IA em 2021 estava em torno de US$ 340 bilhões.
Logo, no geral, achamos que a quantia sendo gasta para avançar as capacidades da IA esteja entre US$ 1 bilhão e US$ 340 bilhões por ano. Até presumindo um número tão baixo quanto US$ 1 bilhão, isso ainda estaria em torno de 100 vezes a quantia gasta na redução de riscos da IA.

---

Autor: Benjamin Hilton

Publicado originalmente em 29 de agosto de 2022 aqui.

Tradução: Luan Marques

Revisão: Fernando Moreno