Blog

Tenho escrito sobre coisas tangíveis que podemos fazer hoje para ajudar o século mais importante a correr bem. Anteriormente, escrevi sobre mensagens úteis para espalhar e como ajudar por meio do trabalho em tempo integral.

Este artigo é sobre o que as principais empresas de IA podem fazer (e não fazer) para serem úteis. Por “grandes empresas de IA”, quero dizer os tipos de empresas de IA que estão avançando no estado da arte e/ou podem desempenhar um papel importante no modo como sistemas de IA muito poderosos acabam sendo usados¹.

Este artigo pode ser útil para quem trabalha nessas empresas, ou apenas curiosos.

Geralmente, essas não são sugestões fantásticas: posso citar mais que² uma empresa de IA que pelo menos fizeram um esforço sério em cada uma das coisas que discuto abaixo (além do que fariam se todos na empresa estivessem unicamente focados em obter lucro)³.

Eu cobrirei:

• Priorizar a pesquisa de alinhamento, segurança forte e normas de segurança (sobre as quais já escrevi anteriormente).
• Evitar alarde e acelerações, o que acho que poderia nos deixar com menos tempo para nos prepararmos para os principais riscos.
• Preparar-se para decisões difíceis à frente: estabelecer governança, expectativas dos funcionários, expectativas dos investidores, etc. para que a empresa seja capaz de fazer coisas que não maximizam o lucro para ajudar a evitar catástrofes no futuro.
• Equilibrar essas medidas cautelares com o sucesso convencional/financeiro.
• Também listarei algumas coisas que algumas empresas de IA apresentam como importantes, mas com as quais estou menos animado: censura de modelos de IA, modelos de IA de código aberto, conscientização sobre IA junto aos governos e ao público. Não acho que todas essas coisas sejam necessariamente ruins, mas acho que algumas são, e dúvido que algumas sejam cruciais para os riscos nos quais me concentrei.

Anteriormente, apresentei um resumo de como vejo os principais riscos da IA ​​avançada e quatro coisas principais que acho que podem ajudar (pesquisa de alinhamento; segurança forte; normas e monitoramento; projetos de IA cuidadosos e bem-sucedidos). Não repetirei esse resumo agora, mas pode ser útil para orientá-lo caso você não se lembre muito bem do resto desta série; clique aqui para ler.

Algumas coisas básicas: pesquisa de alinhamento, forte segurança, normas de proteção

Em primeiro lugar, as empresas de IA podem contribuir com as “coisas que podem ajudar” listadas acima:

• Elas podem priorizar a pesquisa de alinhamento (e outras pesquisas técnicas, p. ex., pesquisa de avaliação de ameaças e pesquisa de uso indevido).
  • Por exemplo, elas podem priorizar contratar de equipes de segurança, capacitar essas equipes, incentivar seus melhores pesquisadores flexíveis a trabalhar em segurança, visar pesquisas de alta qualidade direcionadas a desafios cruciais etc.
  • Também pode ser importante para as empresas de IA encontrar maneiras de fazer parceria com pesquisadores de segurança externos, em vez de depender apenas de suas próprias equipes. Conforme discutido anteriormente, isso pode ser um desafio. Mas geralmente espero que as empresas de IA que se preocupam muito com as parcerias de pesquisa de segurança encontrem maneiras de fazê-las funcionar.
• Elas podem ajudar a trabalhar em direção a um regime de normas e monitoramento. Por exemplo, elas podem fazer seu próprio trabalho para criar normas como “Um sistema de IA é perigoso se observarmos que é capaz de ___ e, se observarmos isso, tomaremos medidas de segurança e proteção como ____”. Elas também podem consultar outras pessoas que desenvolvem normas de proteção, se autorregulamentar voluntariamente além do exigido por lei, etc.
• Elas podem priorizar uma segurança forte, além do que os incentivos comerciais normais exigiriam.
  • Pode facilmente levar anos para construir sistemas, processos e tecnologias seguros o suficiente para uma IA de alto risco.
  • Pode ser importante contratar não apenas pessoas para lidar com as necessidades diárias de segurança, mas também pessoas para experimentar configurações mais exóticas que podem ser necessárias mais tarde, à medida que os incentivos para roubar IA ficam mais fortes.

O desafio de se proteger de uma IA perigosa

Em Corrida num Campo Minado, descrevi uma “corrida” entre atores cautelosos (aqueles que levam a sério o risco de desalinhamento) e atores incautos (aqueles que se concentram em implementar a IA para seu próprio ganho e não estão pensando muito sobre os perigos para o mundo inteiro). Idealmente, atores cautelosos teriam coletivamente sistemas de IA mais poderosos do que atores incautos, para que pudessem dedicar seu tempo a fazer pesquisas de alinhamento e outras coisas para tentar tornar a situação mais segura para todos. Mas se atores incautos podem roubar uma IA de atores cautelosos e correr para implementá-la para seu próprio ganho, então a situação parece muito mais sombria. E, infelizmente, pode ser difícil se proteger desse resultado. Em geral, é extremamente difícil proteger dados e códigos de um esforço de ciberguerra/espionagem com bons recursos. Os “pesos” de uma IA (você pode pensar nisso como seu código-fonte, embora não exatamente) são potencialmente muito perigosos por si sós e é difícil obter segurança extrema para eles. Alcançar segurança cibernética suficiente pode exigir medidas e preparações muito além do que normalmente se almeja em um contexto comercial.

Como normas podem ser estabelecidas e se tornar nacionais ou internacionais

Anteriormente, expus uma possível visão nesta frente, da qual darei uma versão ligeiramente modificada aqui: -As principais empresas de IA de hoje podem se autorregulamentar comprometendo-se a não construir ou implementar um sistema que não possam demonstrar de forma convincente que é seguro (p. ex., consulte a declaração da Google de 2018: “Não projetaremos ou implementaremos IA em armas ou outras tecnologias cujo principal objetivo ou implementação é causar ou facilitar diretamente danos às pessoas”). —Mesmo que algumas pessoas nas empresas queiram implementar sistemas inseguros, pode ser difícil fazer isso depois que a empresa se comprometeu a não fazer. —Mesmo que haja muito espaço para julgamento sobre o que significa demonstrar que um sistema de IA é seguro, concordar antecipadamente que certas evidências não são boas o suficiente pode ajudar muito. -À medida que mais empresas de IA são iniciadas, elas podem sentir uma leve pressão para fazer uma autorregulamentação semelhante, e recusar-se a fazer seria desagradável para possíveis funcionários, investidores, etc. -Finalmente, princípios semelhantes poderiam ser incorporados em vários regulamentos governamentais e tratados aplicáveis. -Os governos poderiam monitorar projetos perigosos usando regulamentação e até mesmo operações no exterior. Por exemplo, hoje os EUA monitoram (sem permissão) vários sinais de que outros Estados possam estar desenvolvendo armas nucleares e podem tentar impedir esse desenvolvimento com métodos que vão desde ameaças de sanções até guerra cibernética ou mesmo ataques militares. O país poderia fazer algo semelhante para qualquer projeto de desenvolvimento de IA que esteja usando grandes quantidades de poder computacional e não tenha fornecido informações sobre se está atendendo às normas.

Evitar alarde e aceleração

Parece bom para as empresas de IA evitar alarde e aceleração desnecessários da IA.

Argumentei que não estamos prontos para a IA transformadora e geralmente penso que estaríamos todos melhor se o mundo demorasse mais para desenvolver a IA transformadora. Isso é porque:

• Espero que a conscientização geral e a compreensão dos principais riscos aumentem com o tempo.
• Muitas coisas importantes que poderiam melhorar a situação – por exemplo, pesquisa de alinhamento, normas e monitoramento e forte segurança – parecem estar em estágios muito iniciais agora.
• Se muito dinheiro for despejado no mundo da IA ​​muito rápido, temo que haja muitas empresas imprudentes correndo para construir uma IA transformadora o mais rápido possível, com pouca consideração pelos principais riscos.

Por padrão, geralmente penso: “Quanto menos demonstrações chamativas e artigos inovadores um laboratório estiver lançando, melhor”. Isso pode envolver conciliações complicadas na prática (uma vez que as empresas de IA geralmente desejam ter sucesso no recrutamento, captação de recursos, etc.).

Alguns possíveis contra-argumentos e respostas:

Primeiro, algumas pessoas acham que agora é “tarde demais” para evitar alarde e aceleração, dada a quantidade de alarde e investimentos que a IA está recebendo no momento. Discordo. É fácil esquecer, no meio de um ciclo de mídia, a rapidez com que as pessoas podem esquecer as coisas e passar para a próxima história assim que as bombas pararem de cair. E há muitas bombas que ainda não caíram (muitas coisas que IAs ainda não podem fazer), e o nível de investimento em IA tem muito espaço para subir a partir daqui.

Em segundo lugar, às vezes tenho visto argumentos de que o alarde é bom porque ajuda a sociedade em geral a entender o que está por vir. Mas, infelizmente, como escrevi anteriormente, estou preocupado que o alarde dê às pessoas uma imagem distorcida.

• Alguns riscos principais são difíceis de entender e levar a sério.
• O que é fácil de entender é algo como: “a IA é poderosa e assustadora; devo garantir que pessoas como eu sejam as únicas a construí-la!”
• Talvez desenvolvimentos recentes façam as pessoas entenderem melhor os riscos? Pode-se esperar, mas não estou contando com isso ainda — acho que o mau comportamento da IA ​​pode receber “consertos” ilusórios e provavelmente isso vai acontecer.

Em geral, também duvido que haja muita esperança de que a sociedade se adapte aos riscos à medida que eles acontecem, dado o ritmo explosivo de mudança que espero quando tivermos sistemas de IA poderosos o suficiente.

Discuto mais alguns argumentos sobre isso em uma nota de rodapé⁴.

Não acho que seja claro que o alarde e a aceleração sejam ruins, mas é o meu melhor palpite.

Preparar-se para decisões difíceis à frente

Argumentei que as empresas de IA podem precisar fazer coisas “fora do comum” que não acompanham os incentivos comerciais normais.

Hoje, as empresas de IA podem estar construindo uma base para serem capazes de fazer coisas “fora do comum” no futuro. Alguns exemplos de como elas podem fazer isso:

Governança orientada para o benefício público. Acho que as estruturas típicas de governança podem ser um problema no futuro. Por exemplo, uma corporação-padrão pode ser processada por não implementar IA que represente um risco de catástrofe global — se isso significar um sacrifício para a sua rentabilidade.

Estou entusiasmado com as empresas de IA que estão investindo pesado na criação de estruturas de governança — e investindo em executivos e membros do conselho — capazes de tomar bem as decisões difíceis. Por exemplo:

• Por padrão, se uma empresa de IA for uma corporação-padrão, sua liderança tem deveres legalmente reconhecidos de atender aos interesses dos acionistas — não da sociedade em geral. Mas uma empresa de IA pode ser incorporada como uma Corporação de Benefício Público ou algum outro tipo de entidade (incluindo uma organização sem fins lucrativos!) que oferece mais flexibilidade aqui.
• Por padrão, os acionistas dão a palavra final sobre o que uma empresa faz. (Os acionistas podem substituir os membros do Conselho de Diretores, que por sua vez podem substituir o diretor-executivo). Mas uma empresa pode configurar as coisas de maneira diferente (p. ex., uma empresa com fins lucrativos controlada por uma organização sem fins lucrativos⁵).

Pode valer a pena de várias maneiras garantir que as decisões finais em uma empresa sejam tomadas por pessoas concentradas em obter um bom resultado para a humanidade (e legalmente livres para se concentrar dessa maneira).

Antecipar futuro. Acho que não é muito cedo para as empresas de IA discutirem como lidariam com várias situações de alto risco.

• Em que circunstâncias a empresa simplesmente decidiria parar de treinar modelos de IA cada vez mais poderosos?
• Se a empresa passasse a acreditar que estava construindo modelos muito poderosos e perigosos, a quem ela notificaria e pediria conselhos? Em que ponto ela falaria com o governo e como faria isso?
• Em que ponto valeria a pena usar medidas de segurança extremamente caras?
• Se a empresa tivesse sistemas de IA disponíveis que pudessem fazer a maior parte do que os humanos podem fazer, o que ela faria com esses sistemas? Ela os usaria para fazer pesquisas de segurança de IA? Ela os usaria para projetar algoritmos melhores e continuar criando sistemas de IA cada vez mais poderosos? (Mais possibilidades aqui).
• Quem deveria estar liderando o caminho em decisões como essas? As empresas tendem a contratar especialistas para informar suas decisões; quem a empresa procuraria para obter conhecimento sobre esses tipos de decisões?

Estabelecer e obter prática com processos para decisões particularmente difíceis. A empresa deve publicar sua mais recente descoberta de pesquisa? Deve lançar um produto que pode levar a mais alarde e aceleração? Quais pesquisadores de segurança devem ter acesso a seus modelos e quanto acesso?

As empresas de IA enfrentam questões como essa com bastante regularidade hoje em dia, e acho que vale a pena implementar processos para considerar as implicações para o mundo como um todo (não apenas para os resultados financeiros da empresa). Isso pode incluir a montagem de conselhos consultivos, forças-tarefa internas, etc.

Gerenciar as expectativas dos funcionários e investidores. Em algum momento, uma empresa de IA pode querer fazer movimentos “fora do comum” que são bons para o mundo, mas ruins para a rentabilidade. Por exemplo, optar por não implementar IAs que podem ser muito perigosas ou muito lucrativas.

Eu não gostaria de tentar administrar uma empresa nessa situação com muitos funcionários e investidores irritados perguntando sobre o valor de suas ações! Também é importante minimizar o risco de funcionários e/ou investidores vazarem informações confidenciais e potencialmente perigosas.

As empresas de IA podem se preparar para esse tipo de situação fazendo coisas como:

• Ser seletivas sobre quem elas contratam e de quem recebem investimentos e selecionar especificamente as pessoas que elas acham que provavelmente estarão de acordo com esses tipos de decisões difíceis.
• Educação e comunicação: deixar claro aos funcionários quais tipos de situações perigosas para a humanidade podem ocorrer no futuro e que tipos de atitudes a empresa pode querer tomar (e por quê).

Compromissos internos e externos. As empresas de IA podem fazer declarações públicas e/ou internas sobre como lidariam com várias situações difíceis, p. ex., como determinariam quando é muito perigoso continuar construindo modelos mais poderosos.

Acho que esses compromissos geralmente não devem ser obrigatórios (é difícil prever o futuro com detalhes suficientes para torná-los obrigatórios). Mas em um futuro onde maximizar o lucro entra em conflito com fazer a coisa certa para a humanidade, um compromisso feito anteriormente pode tornar mais provável que a empresa faça a coisa certa.

Ter sucesso

Enfatizei como projetos de IA bem-sucedidos e cuidadosos podem ser úteis. Até agora, este artigo falou principalmente sobre o lado “cuidadoso” das coisas: como fazer coisas que uma empresa de IA “normal” (focada apenas no sucesso comercial) não faria, para reduzir os riscos. Mas também é importante ter sucesso na arrecadação de fundos, recrutamento e, de modo geral, manter-se relevante (p. ex., capaz de construir sistemas de IA de ponta).

Não enfatizo isso nem escrevo muito sobre isso porque acho que é o tipo de coisa em que as empresas de IA provavelmente se concentram por padrão e porque não tenho uma visão especial sobre como ter sucesso como uma empresa de IA. Mas é importante, e isso significa que as empresas de IA precisam andar em uma espécie de corda bamba: constantemente fazendo escolhas entre sucesso e cautela.

Algumas coisas com que eu estou menos animado

Acho que também vale a pena listar algumas coisas que algumas empresas de IA apresentam como importantes medidas de benefício social, mas que duvido um pouco mais que sejam cruciais para reduzir os riscos nos quais me concentrei.

• Algumas empresas de IA restringem o acesso a seus modelos para que as pessoas não usem as IAs para criar pornografia, imagens e textos enganosos, etc. Não sou necessariamente contra isso e apoio versões disso (depende dos detalhes), mas principalmente não acho que seja uma maneira importante de reduzir os riscos nos quais me concentrei. Para esses riscos, o alarde de ver uma demonstração das capacidades de um sistema pode ser ainda mais perigoso do que os danos diretos.
• Às vezes, vejo pessoas insinuando que modelos de IA de código aberto — e torná-los o mais amplamente disponíveis possível — é uma medida importante de benefício social. Embora possa haver benefícios em alguns casos, na maioria das vezes vejo esse tipo de coisa como negativo (ou, na melhor das hipóteses, neutro) em termos dos riscos que mais me preocupam.
  • Acho que pode contribuir para o alarde e a aceleração e pode dificultar o cumprimento das normas de segurança.
  • A longo prazo, temo que os sistemas de IA possam se tornar extraordinariamente poderosos (mais do que, p. ex., armas nucleares), de modo que não acho que “Certifique-se de que todos tenham acesso o mais rápido possível” seja a estrutura certa.
  • Além de aumentar os perigos da IA ​​desalinhada, essa estrutura pode aumentar outros perigos sobre os quais escrevi anteriormente.
• Em geral, não acho que as empresas de IA devam tentar fazer com que os governos prestem mais atenção à IA, por motivos que abordarei em um artigo futuro. (No entanto, formar relacionamentos com formuladores de políticas pode ser bom.)

Quando uma empresa de IA apresenta alguma decisão como sendo em benefício da humanidade, muitas vezes me pergunto: “Essa mesma decisão poderia ser justificada apenas por querer comercializar com sucesso?”

Por exemplo, tornar os modelos de IA “seguros” no sentido em que eles geralmente se comportam como os usuários pretendem (incluindo coisas como abster-se de linguagem tóxica, comportamento caótico, etc.) pode ser importante para a viabilidade comercial, mas não é necessariamente bom o suficiente para o riscos que me preocupam.

Notas de Rodapé

1. Divulgação: minha esposa trabalha em uma dessas empresas (Anthropic), costumava trabalhar em outra (OpenAI) e tem participação acionária em ambas.

2. Embora eu não vá, porque decidi que não quero entrar num problema sobre a quem eu linkei e não linkei. Sinta-se à vontade para dar exemplos do mundo real nos comentários!

3. Ora, as empresas de IA às vezes podem estar fazendo coisas “responsáveis” ou “orientadas para a segurança” para obter boas relações públicas, recrutar funcionários, tornar os funcionários atuais felizes, etc. Nesse sentido, as ações podem ser motivadas pelo lucro. Mas isso ainda significaria que há um número suficiente de pessoas que se preocupam em reduzir o risco da IA para que ações como essas tenham benefícios de relações públicas, benefícios de recrutamento etc. Isso é uma grande coisa! E sugere que, se a preocupação com os riscos da IA ​​(e a compreensão de como reduzi-los) fosse mais difundida, as empresas de IA poderiam fazer mais coisas boas e menos coisas perigosas.

4. Você poderia argumentar que seria melhor para o mundo desenvolver sistemas de IA extremamente poderosos mais cedo, por razões que incluem:

• Você pode estar muito feliz com o equilíbrio global de poder entre os países hoje e temer que piore no futuro. Este cenário futuro pode levar a uma situação em que o governo “errado” lidera o caminho para a IA transformadora.
• Você pode pensar que quanto mais tarde desenvolvermos IA transformadora, mais rapidamente tudo acontecerá, porque haverá mais recursos de computação disponíveis no mundo. Por exemplo, se desenvolvermos sistemas extremamente poderosos amanhã, haverá apenas um número limitado de cópias que poderíamos executar de uma só vez, enquanto que se desenvolvermos sistemas igualmente poderosos em 50 anos, pode ser muito mais fácil para muitas pessoas executar muitas cópias. (Mais: excedente de hardware)

Uma das principais razões pelas quais acredito ser melhor evitar a aceleração neste momento é porque parece plausível (pelo menos 10% de probabilidade) que a IA transformadora será desenvolvida extremamente em breve – dentro de 10 anos a partir de hoje. Minha impressão é que muitas pessoas nas principais empresas de IA tendem a concordar com isso. Acho que essa é uma possibilidade muito assustadora e, se for esse o caso, os argumentos que apresento no texto principal parecem particularmente importantes (p. ex., muitas intervenções-chave parecem estar em um estado bastante embrionário e a conscientização sobre os riscos-chave parece baixa).

Uma defesa relacionada que pode ser feita para a aceleração é “Vale a pena acelerar as coisas como um todo para aumentar a probabilidade de que a empresa específica em questão seja bem-sucedida” (mais aqui: o enquadramento da “competição”). Acho que essa é uma consideração válida, e é por isso que falo sobre conciliações complicadas no texto principal.

5. Observe que minha esposa é ex-funcionária da OpenAI, empresa à qual linkei ali, e ela possui participação acionária na empresa.

---

Publicado originalmente em 20 de fevereiro de 2023 aqui.

Autor: Holden Karnofsky

Tradução: Luan Marques