Governança da IA: uma pauta de pesquisa - 80.000 Horas: Como fazer a diferença com sua carreira

Índice

Resumo

A inteligência artificial (IA) é uma potente tecnologia de uso geral. O progresso futuro pode ser rápido e os especialistas esperam que as capacidades sobre-humanas em domínios estratégicos sejam alcançadas nas próximas décadas. As oportunidades são enormes, incluindo avanços na medicina e saúde, transporte, energia, educação, ciência, crescimento econômico e sustentabilidade ambiental. Os riscos, no entanto, também são substanciais e plausivelmente representam desafios extremos de governança. Isso inclui deslocamento de mão de obra, desigualdade, uma estrutura de mercado global oligopolista, totalitarismo reforçado, mudanças e volatilidade no poder nacional, instabilidade estratégica e uma corrida de IA que sacrifica a segurança e outros valores. As consequências são plausivelmente de uma magnitude e em uma escala de tempo para ofuscar outras preocupações globais. Líderes de governos e empresas estão pedindo orientação política e, ainda assim, a atenção acadêmica à revolução da IA permanece insignificante. É, portanto, urgentemente necessária a pesquisa sobre o problema da governança da IA: o problema de elaborar normas, políticas e instituições globais para melhor garantir o desenvolvimento e o uso benéfico da IA avançada.

Este relatório delineia uma agenda para essa pesquisa, dividindo o campo em três grupos de pesquisa. O primeiro grupo, o cenário técnico, busca entender as entradas técnicas, as possibilidades e as restrições para IA. O segundo grupo, política de IA, concentra-se na dinâmica política entre empresas, governos, públicos, pesquisadores e outros atores. O grupo de pesquisa final da governança ideal da IA prevê quais estruturas e dinâmicas idealmente criaríamos para governar a transição para a inteligência artificial avançada.

Política de IA

A IA transformará a natureza da riqueza e do poder. Os interesses e capacidades de atores poderosos serão afetados, e novos atores poderosos podem surgir. Esses atores competirão e cooperarão para promover seus interesses. É provável que a IA avançada aumente enormemente os ganhos potenciais da cooperação e as perdas potenciais da falta de cooperação; queremos, portanto, que a dinâmica política seja tal que seja mais provável identificar oportunidades de benefício mútuo e identificar com antecedência riscos conjuntos que poderiam ser evitados por uma política prudente.

A dinâmica política também pode representar riscos catastróficos aquém da IA de nível humano se, por exemplo, levar a uma guerra de grandes potências ou promover o totalitarismo opressivo. A dinâmica política afetará quais considerações serão mais influentes no desenvolvimento da IA (transformadora): lucro corporativo, opinião pública reflexiva, ética e valores dos pesquisadores, riqueza nacional, segurança nacional, acordos internacionais rígidos ou interesse humano esclarecido. Portanto, é fundamental que procuremos entender e, se possível, orientar beneficamente a dinâmica política.

A Política de IA analisa como o cenário técnico em mudança pode transformar a política doméstica e de massa, a economia política internacional e a segurança internacional e, por sua vez, como as políticas de atores poderosos podem moldar o desenvolvimento da IA. O trabalho neste grupo se beneficia da experiência em política doméstica, relações internacionais e segurança nacional, entre outras áreas. Isso envolverá uma variedade de abordagens, incluindo teoria (matemática e informal), estudos de caso contemporâneos, estudos de caso históricos, contato próximo com atores relevantes e o estudo sobre eles, medição quantitativa e análise estatística e planejamento de cenários.

4.Política doméstica e de massa

A IA tem o potencial de moldar e ser moldada pela política doméstica e de massa. À medida que a IA e tecnologias relacionadas alteram a distribuição do poder doméstico, as formas de governo também se alteram. Isso pode significar uma mudança de poder para atores com capital e autoridade para implementar poderosos sistemas de IA, como elites, corporações e governos. Por outro lado, a IA pode ser usada para aprimorar a democracia, por exemplo, por meio de assistentes digitais pessoais alinhados, arquiteturas de vigilância que aumentam a prestação de contas das autoridades ou tecnologias de coordenação descentralizadas (criptoeconômicas). O impacto da desigualdade e do deslocamento de empregos exacerbados em tendências como liberalismo, democracia e globalização pode ser substancial. Quais sistemas são possíveis para mitigar a desigualdade e o deslocamento de empregos, e eles serão suficientes? De maneira mais geral, a opinião pública pode ser uma força poderosa quando é mobilizada. Podemos prever os contornos de como a opinião pública provavelmente será ativada e expressa? Certos grupos – culturas, religiões, classes econômicas, categorias demográficas – terão perspectivas distintas sobre a política de IA? Esse conjunto de questões é geralmente menos relevante para linhas do tempo curtas (por exemplo, inteligência geral artificial chegando dentro de 10 anos).

4.1 Formas de Governo

As estruturas políticas domésticas, como se um governo presta contas por meio de eleições e se é transparente por meio de debates legislativos públicos e uma imprensa livre e informada, surgem como uma função complexa de muitos fatores, alguns dos quais serão plausivelmente alterados pela IA avançada. Alguns fatores que parecem especialmente importantes para determinar o caráter do governo e, em particular, até que ponto ele é liberal e democrático são: 1) a distribuição (desigual) do controle sobre recursos econômicos e a riqueza; (2) tecnologias e arquiteturas de vigilância; (3) tecnologias de repressão; (4) tecnologias de persuasão; (5) tecnologias de consultor pessoal; (6) tecnologias de ação coletiva.

A pesquisa sobre formas de governo examinará tendências plausíveis impulsionadas pela IA nesses e em outros fatores e avaliará possíveis estratégias para mitigar tendências adversas. Isso é importante para cenários em que muito está em jogo porque (i) as tendências na governança doméstica falam sobre tendências de longo prazo no tipo de regime (por exemplo, democracia); (ii) poderia influenciar o caráter de atores-chave na estratégia de IA, como o caráter dos governos chinês e americano; (iii) informará os tipos de instituições globais que serão viáveis e suas propriedades.

4.1.1 Desigualdade

Existe uma extensa e ativa literatura sobre desigualdade e governo. Essa literatura deve ser revisada e as lições devem ser aplicadas ao nosso entendimento sobre futuras formas de governo, dadas as tendências da desigualdade (consulte a seção 4.2).

4.1.2 Vigilância

Até que ponto a IA e a tecnologia de sensores viabilizarão uma vigilância barata, ampla e eficaz? É plausível que informações suficientes sobre o comportamento, a intenção e a psicologia de um indivíduo – e da rede social de um indivíduo – sejam geradas em breve por meio de interações passivas com sistemas digitais, como consultas de pesquisa, e-mails, sistemas de detecção de afeto e mentiras, rastreamento espacial através de endereços MAC, reconhecimento facial ou outros tipos de reconhecimento individual. Se assim for, um efeito de primeira ordem parece ser a transferência de poder para aquelas entidades que são capazes de usar tais informações, plausivelmente para reforçar a autoridade do governo e, portanto, sistemas autoritários. No entanto, a supervigilância também pode ser benéfica, como ao permitir acordos de verificação de IA e ao permitir a “estabilização” (a prevenção de tecnologia que destrói o mundo). Além disso, pode ser possível projetar a vigilância habilitada por IA de maneira que realmente reforce outros valores e instituições, como o liberalismo e a democracia. Por exemplo, pode ser possível atenuar a troca típica entre segurança e privacidade por meio de vigilância criptograficamente habilitada para preservar a privacidade.

4.1.3 Repressão e Persuasão

Criação de perfil de indivíduos, mapeamento de redes sociais, vigilância onipresente e detecção de mentiras, persuasão amplificável e eficaz e armamentos autônomos com boa custo-efetividade podem transferir radicalmente o poder para os Estados. Essas tendências podem permitir que um Estado que esteja disposto monitore e detenha os grupos que trabalham contra ele. Os armamentos autônomos podem permitir que um ditador reprima sem exigir o consentimento de oficiais ou militares militares, que historicamente têm sido um controle sobre os líderes. Essas tendências devem ser mapeadas e compreendidas; suas possíveis consequências, estudadas; e salvaguardas de governança, propostas.

4.1.4 Assessores e Ação Coletiva

A IA também poderia concebivelmente capacitar os cidadãos, em relação ao Estado ou às elites. IAs-assessoras pessoais podem permitir que cidadãos individuais se envolvam politicamente de maneira mais informada e com menor custo para si mesmos; no entanto, esse nível de capacidade de IA parece estar próximo da inteligência geral artificial (provavelmente ocorre relativamente tarde na sequência de desenvolvimentos transformadores). Os sistemas de IA podem facilitar a ação coletiva, como se for possível montar e mobilizar uma nova coalizão política e novas clivagens políticas, por meio da coleta nas mídias sociais expressões de apoio a posições políticas negligenciadas. Os indivíduos poderiam expressar estratégias políticas mais complexas e se coordenar com mais eficiência. Por exemplo, um cidadão americano (em um sistema de votação plural que recompensa fortemente a coordenação) pode querer declarar que votaria em um candidato de terceiro partido se 40% do restante do eleitorado também concordar em fazer isso.

Outros tipos de assessores de IA restrita podem transformar a política doméstica. A tradução eficiente da IA pode facilitar a comunicação e a coordenação entre idiomas. Os filtros políticos de IA podem exacerbar a classificação política (bolhas de filtro) ou elevar o discurso político, ajudando os usuários a evitar notícias de baixa credibilidade e identificar mais facilmente os contra-argumentos. A detecção de mentiras/sinceridade e afeto em áudio e vídeo, se eficazes e confiáveis, podem incentivar uma maior sinceridade (ou autoilusão).

4.2 Desigualdade, Deslocamento de Empregos, Redistribuição

Parece muito provável que a IA vá aumentar a desigualdade entre as pessoas (e provavelmente também entre os países: consulte a seção 5). A digitalização dos produtos, devido aos baixos custos marginais, aumenta a dinâmica de o vencedor leva tudo. A IA aumenta drasticamente a gama de produtos que podem ser digitalizados. A IA também substituirá os empregos de classe média, e as tendências de curto prazo são tais que os empregos substitutos pagam menos. A participação do trabalho na renda nacional está diminuindo; é provável que a IA exacerbe isso. Em última análise, com IA de nível humano, a parcela da renda do trabalho deve se tornar cada vez menor. Dado que o capital é distribuído de forma mais desigual do que o valor do trabalho, um aumento na participação do capital na renda aumentará a desigualdade.

A IA parece estar gerando (ou pelo menos está associada a) novos monopólios globais naturais ou empresas-superestrelas: há efetivamente apenas um mecanismo de busca (Google), um serviço de rede social (Facebook) e um mercado on-line (Amazon). O crescimento das empresas-superestrelas leva, de forma plausível, à queda da participação do trabalho na renda. Esses (quase) monopólios de IA e a desigualdade associada provavelmente se tornarão cada vez mais alvo de demandas redistributivas. Outro risco a ser examinado, para “cenários lentos” (cenários nos quais outras formas de IA transformadora não aparecem por muitas décadas) é uma corrida internacional para o fundo do poço em termos de bem-estar, social à medida que os países competem entre si para priorizar as necessidades de capital e minimizar sua carga tributária. A pesquisa nessa área deve medir, entender e projetar tendências no deslocamento de empregos e na desigualdade. Quais serão as implicações para as demandas políticas do público e a legitimidade de diferentes modelos de governança? Quais são as possíveis soluções de governança?

4.3 Opinião Pública e Regulamentação

Historicamente, a opinião pública tem sido uma força poderosa na política tecnológica (por exemplo, proibições de transgênicos ou de energia nuclear) e na política internacional (por exemplo, Sputnik). Além disso, como esses exemplos ilustram, a opinião pública não é simplesmente um reflexo do interesse da elite. No caso do Sputnik, a comunidade de inteligência dos EUA estava bem ciente do progresso soviético, e o governo Eisenhower não queria se envolver em uma corrida espacial e tentou persuadir o público americano de que o Sputnik não era um desenvolvimento significativo. E, no entanto, em poucos meses o Sputnik desencadeou uma reorientação da política de tecnologia dos EUA, incluindo a formação legislativa da ARPA (hoje DARPA). Assim, poderia ser útil estudar a opinião pública e antecipar movimentos na opinião pública, conforme pode ser informado por pesquisas baseadas em cenários, e estudar grupos específicos que foram expostos a casos de fenômenos (como choques de emprego ou novas formas de vigilância) que poderiam posteriormente afetar populações maiores. Que tipos de reações públicas podem surgir, levando a políticas e regulamentações excessivamente reativas? A regulamentação da IA (ou a taxação de empresas de IA) poderia se tornar um novo alvo de campanhas políticas, como já parece estar acontecendo na Europa? Esta área de pesquisa também ajudará os formuladores de políticas a saber a melhor forma de envolver a opinião pública quando um evento ocorre (e em geral). Também ajudará os acadêmicos a comunicar os resultados e o valor de seu trabalho.

5. Economia Política Internacional

O próximo conjunto de perguntas no grupo de pesquisa em Política de IA examina a dinâmica política internacional relacionada à produção e distribuição de riqueza. O sucesso econômico com IA e a tecnologia da informação parece exibir rendimentos de escala substanciais (por exemplo, a Google) e economias de aglomeração (por exemplo, o Vale do Silício). Se essas tendências persistirem, isso pode levar a um oligopólio internacional da IA (ainda mais extremo), em que algumas empresas capturam a maior parte do valor do fornecimento de serviços de IA. Existem aspectos relevantes para a dinâmica competitiva entre empresas; por exemplo, até que ponto as inovações da IA estão sendo patenteadas, patenteáveis ou mantidas como segredos comerciais?

Os países que carecem de indústrias de IA atualmente temem que estejam sendo excluídos da parte mais compensadora da cadeia de valor global. Alguns nos EUA e na Europa atualmente temem que a China esteja se aproveitando coerciva/injustamente do seu poder de mercado para extrair estrategicamente competência técnica de empresas ocidentais, e essa foi sem dúvida a motivação para a guerra comercial de Trump. Essas preocupações podem levar ao mercantilismo da IA ou ao nacionalismo da IA, seguindo a teoria do comércio estratégico, em que os países dedicam recursos substanciais para reter e desenvolver capacidades de IA e para apoiar seus campeões nacionais de IA. Até que ponto os países (por exemplo, o Canadá) são capazes de internalizar os rendimentos de seus investimentos em IA, ou o talento inevitavelmente gravita e beneficia os líderes existentes em IA (por exemplo, o Vale do Silício)? Que lições emergem do exame das analogias parciais de outras tecnologias de uso geral e transformações em toda a economia, como a informatização, a eletrificação e a industrialização?

Países e empresas estão procurando outras maneiras de se beneficiar economicamente da economia transformada pela IA. Eles estão procurando nós recompensadores na cadeia de valor em que possam se especializar. Os países estão examinando as alavancas políticas para capturar mais rendas dos oligopólios de IA e aspiram a construir seus próprios defensores de IA (como as decisões da UE contra a Apple e a Google e a exclusão da Google e do Facebook pela China). Qual é a vantagem substancial da China, em comparação com outros países desenvolvidos avançados (principalmente democráticos liberais), em sua capacidade de canalizar sua grande economia, coletar e compartilhar dados de cidadãos e excluir concorrentes? Que medidas os EUA poderiam e iriam tomar para reforçar sua liderança? Quais são as possibilidades e dinâmicas prováveis de uma corrida econômica internacional de IA? É plausível que os países apoiem consórcios domésticos ou aliados de empresas de IA, de modo a competir melhor em setores que parecem ser naturalmente oligopolistas?

O deslocamento tecnológico afetará os países de forma diferente, e os países adotarão diferentes respostas políticas. Quais serão elas? Se a redistribuição de riqueza e a requalificação se tornam um fardo para empresas lucrativas, poderia haver fuga de capital da IA e uma corrida internacional “para o fundo do poço” para fornecer uma carga tributária mínima? Se sim, a comunidade internacional poderia negociar (e impor) um sistema tributário global para escapar desse equilíbrio perverso? Ou os ativos e mercados de IA são suficientemente inelásticos (por exemplo, enraizados ao território) para evitar tal corrida para o fundo do poço?

A pesquisa sobre economia política internacional é mais relevante para cenários em que a IA (ainda) não fornece um benefício militar estratégico, pois, uma vez que forneça, a lógica da segurança internacional provavelmente dominará ou, pelo menos, moldará fortemente as considerações econômicas. No entanto, muitos insights relacionados à política econômica internacional se aplicam igualmente ao domínio da segurança internacional; portanto, é importante estudar esses problemas comuns enquadrados em termos de política econômica internacional.

6. Segurança Internacional

É provável que a IA e tecnologias relacionadas tenham implicações importantes para a segurança nacional e internacional. Também é plausível que a IA possa ter consequências estratégicas e militares transformadoras a curto e médio prazo, e que a perspectiva de segurança nacional possa se tornar dominante. Primeiro, estudar os desafios de segurança de curto prazo é útil para entender o contexto do qual surgirão os desafios de longo prazo e nos permite semear precedentes benéficos de longo prazo. A longo prazo, se a IA geral for considerada um recurso militar (ou econômico) crucial, é possível que o Estado procure controlar, fechar e securitizar a Pesquisa e Desenvolvimento de IA. Além disso, os benefícios estratégicos e militares da IA podem alimentar a dinâmica de corrida internacional. Precisamos entender como pode ser essa dinâmica e como essa corrida pode ser evitada ou encerrada.

6.1 Desafios de segurança de curto prazo

Nos próximos anos, a IA representará uma série de novos desafios de segurança. Isso inclui usos internacionais e domésticos de armamentos autônomos e operações cibernéticas habilitadas por IA, malware e campanhas de influência política (“medidas ativas”). Muitos desses desafios parecem versões “leves” de possíveis desafios transformadores, e as soluções para esses desafios podem servir como base para soluções para desafios transformadores. Na medida em que os desafios de curto prazo e transformadores, ou suas soluções, forem semelhantes, será útil para nós estarmos cientes e nos envolvermos com eles. Para uma currículo recomendado sobre IA e Segurança Internacional, consulte:

❖ Zwetsloot, Remco. “Currículo de Inteligência Artificial e Segurança Internacional.” Future of Humanity Institute, 2018. (link).

Algumas referências específicas que vale a pena consultar incluem:

❖ Brundage, M., S. Avin, et al. “O Uso Malicioso da Inteligência Artificial: Previsão, Prevenção e Mitigação”. Future of Humanity Institute, 2018. [PDF].
❖ Horowitz, Michael, Paul Scharre, Gregory C. Allen, Kara Frederick, Anthony Cho e Edoardo Saravalle. “Inteligência Artificial e Segurança Internacional”. Centre for a New American Security, 2018. (link).
❖ Scharre, P. Army of None: Autonomous Weapons and the Future of War. Nova York: W. W. Norton & Company, 2018.
❖ Horowitz, M. “Inteligência Artificial, Competição Internacional e o Equilíbrio de Poder.” Texas National Security Review, 2018. (link) [PDF].

6.2 Controle, Fechamento e Securitização

Atualmente, a Pesquisa & Desenvolvimento básica da IA é conduzida abertamente: os investigadores têm um forte interesse em publicar as suas realizações para obter reconhecimento e existe um forte ethos de abertura científica. Parte da Pesquisa & Desenvolvimento de IA é semifechada, conduzida em espaços privados com fins lucrativos; no entanto, isso tende a não ser Pesquisa & Desenvolvimento geral de IA, mas sim aplicações de técnicas existentes. Isso pode mudar plausivelmente, se a IA for percebida como catastroficamente perigosa, militarmente estratégica ou mesmo economicamente estratégica. Na medida em que uma corrida de IA é provável e os riscos catastróficos estão aumentando em uma corrida acirrada, em oposição a uma em que o líder tem uma grande vantagem, seria preferível que os líderes de IA tomassem medidas para impedir que suas capacidades se difundissem para os outros.

Quais são os diferentes modelos para fechar total ou parcialmente pesquisas ou recursos de IA (como o poder computacional)? Quais são seus prós e contras? Em que ponto o Estado estaria e deveria estar envolvido? Quais são as ferramentas legais e de outro tipo que o Estado poderia empregar (ou está empregando) para fechar e exercer controle sobre empresas de IA? Com que probabilidade, e em quais circunstâncias, a pesquisa e o desenvolvimento da IA poderiam ser securitizados – isto é, tratados como uma questão de segurança nacional – no ponto ou antes do desenvolvimento das capacidades transformadoras? Como isso pode acontecer e quais seriam as implicações estratégicas? Como determinadas empresas privadas provavelmente considerarão o envolvimento do governo que as abrigam e quais opções políticas estão disponíveis para elas navegarem no processo de influência do Estado? Como é provável que os pesquisadores se envolvam? Podemos aprender com o estudo da tentativa de fechamento e controle de outras tecnologias?

6.3 Dinâmica de Corrida

A IA avançada pode transmitir poder e riqueza extremos aos seus possuidores. Se assim for, e em particular se se espera que transmita benefícios militares ou econômicos estratégicos, então é plausível que uma dinâmica de corrida (internacional) possa surgir. A característica definidora de uma corrida tecnológica é que há grandes ganhos de vantagem relativa. Em tal circunstância, os atores têm fortes incentivos para trocar outros valores (como segurança, transparência, responsabilidade, democracia) e oportunidades pelo aumento da probabilidade de obter vantagem. Em particular, uma preocupação é que pode estar perto de uma condição necessária e suficiente para segurança e alinhamento de IA a existência de um alto grau de cautela antes de implementar sistemas poderosos avançados; no entanto, se os atores estiverem competindo em um domínio com grandes rendimentos para os pioneiros ou a vantagem relativa, eles serão pressionados a escolher um nível de cautela abaixo do ideal.

A pesquisa sobre dinâmica de corrida envolve um grande conjunto de questões e abordagens. Teremos de integrar e desenvolver modelos de tecnologia/corrida armamentista. Quais são as características distintivas de uma corrida de IA, em comparação com outros tipos de corrida? Que previsões resilientes podemos fazer sobre essa subfamília de corridas? Em que condições essas corridas são mais perigosas ou destrutivas? Especificamente, uma proposição plausível e importante é que as corridas são mais perigosas quanto menor a margem do líder; essa é uma conclusão resiliente? Como a abertura, a acessibilidade da fronteira de pesquisa, as vantagens do pioneirismo, o poder computacional inseguro e outros fatores afetam a dinâmica de corrida? Dados os modelos de inovação de IA, quão confiante uma equipe na liderança pode estar sobre o desempenho de seus rivais e que será capaz de manter uma liderança conhecida? Dados os modelos de segurança da IA (como as trocas desempenho-segurança e o cronograma para investimentos em segurança), qual é o risco esperado incorrido pela dinâmica de corrida?

Também há dúvidas sobre as estratégias para manter uma liderança ou alcançá-la. Existem ferramentas disponíveis para a equipe na liderança que permitirão manter a liderança? Por exemplo, uma equipe poderia manter sua liderança encerrando sua pesquisa? Que diferença faz se a equipe na liderança é um Estado ou tem o apoio de um Estado?

O potencial para coalizões dentro de uma corrida merece estudo. Quais são as possibilidades de alianças entre grupos dirigentes ou Estados para ajudá-los a manter sua liderança? À luz dos interesses dos Estados em sistemas de IA fortes, acordos internacionais atuais e relacionamentos históricos, quais configurações de coalizões de Estado são prováveis e sob quais circunstâncias?

Precedentes históricos e analogias podem fornecer informações, como a consideração da corrida armamentista para e com armas nucleares, outras corridas armamentistas e corridas tecnológicas econômicas e de patentes. E as analogias com outras tecnologias estratégicas de propósito geral e transformações tecnológicas mais graduais, como a industrialização, a eletrificação e a informatização? De que maneira cada uma delas falha como analogia?

Finalmente, seria valioso teorizar os estágios prováveis de uma corrida de IA e suas características (ritmo, perigo, consequências de segurança). Podemos mapear o comportamento atual nessa estrutura? Qual é a distribuição atual de capacidades, talentos e investimentos? Até que ponto os formuladores de políticas e o público existentes percebem ou invocam uma lógica de corrida? Que tipos de eventos podem desencadear ou escalar uma corrida, como “momentos-Sputnik” para o público ou uma “carta de Einstein-Szilard” para os líderes?

6.4 Evitar ou Terminar a Corrida

Dados os prováveis grandes riscos de uma corrida de IA, é imperativo examinar possíveis rotas para evitar corridas ou terminar uma em andamento. As soluções políticas para males públicos globais são, em explicitação e institucionalização crescentes: normas, acordos (“lei branda”), tratados ou instituições. Eles podem ser bilaterais, multilaterais ou globais. As normas envolvem um entendimento mútuo aproximado sobre quais ações (observáveis) são inaceitáveis e quais sanções serão impostas em resposta. As normas implícitas têm a vantagem de poder surgir sem consentimento explícito, mas a desvantagem de tender a ser rudimentares e, portanto, muitas vezes inadequadas e até mesmo mal direcionadas. Uma forma endurecida de normas internacionais é o direito consuetudinário, embora, na ausência de um judiciário internacional reconhecido, isso provavelmente não seja relevante para a cooperação de grandes potências.

Acordos e tratados diplomáticos envolvem maior especificação dos detalhes de cumprimento e imposição; quando bem especificados, podem ser mais eficazes, mas requerem maiores níveis de cooperação para serem alcançados. Instituições, como a OMC, envolvem o estabelecimento de uma burocracia com a capacidade de esclarecer casos ambíguos, verificar o cumprimento, facilitar futuras negociações e, às vezes, a capacidade de impor o cumprimento. A cooperação internacional geralmente começa com normas, prossegue para tratados bilaterais ou regionais (fracos) e se consolida com instituições.

Algumas conjecturas sobre quando a cooperação internacional em IA transformadora será mais provável são: (1) as partes percebem mutuamente um forte interesse em chegar a um acordo bem-sucedido (grandes riscos da falta de cooperação ou ganhos de cooperação, baixos retornos em passos unilaterais); (2) quando as partes têm uma relação de confiança; (3) quando há consenso suficiente sobre como deve ser um acordo (no que consiste a conformidade), o que é mais provável se o acordo for simples, atraente e estável; (4) quando a conformidade é fácil, pública e rapidamente verificável; (5) quando os riscos de desertar são baixos, como se houver um longo “tempo de ruptura”, uma baixa probabilidade de uma transição de poder porque a tecnologia é dominante em matéria de defesa e as capacidades futuras de curto prazo são previsivelmente não transformadoras; (6) os incentivos para desertar são baixos. Comparada a outros domínios, a IA parece de certa forma menos receptiva à cooperação internacional – condições (3), (4), (5), (6) -, mas de outras maneiras poderia ser mais receptiva, a saber (1) se o as partes passam a perceber os riscos existenciais da corrida irrestrita e os enormes benefícios da cooperação, (2) porque a China e o Ocidente atualmente têm uma relação relativamente cooperativa em comparação com outras corridas armamentistas internacionais, e pode haver possibilidades técnicas criativas para melhorar (4) e (5). Devemos buscar ativamente pesquisas técnicas e de governança hoje para identificar e elaborar acordos em potencial.

Normas, verificação, aplicação e controle de terceiros

Um conjunto de possibilidades para evitar uma corrida armamentista de IA é o uso de normas, verificação, aplicação e controle de terceiros. Quais são as perspectivas de cooperação por meio de instituições de terceiros? O primeiro modelo, quase certamente válido e viável, é uma agência internacional de “segurança” responsável por “estabelecer e administrar normas de segurança”. Isso é crucial para obter conhecimento comum sobre o que conta como conformidade. O segundo modelo, da “OMC” ou “IAEA”, se baseia no primeiro, verificando e julgando o não cumprimento, após o qual se autoriza que os Estados imponham sanções pelo não cumprimento. O terceiro modelo é ainda mais forte, dotando a instituição de capacidades suficientes para impor a própria cooperação. O quarto modelo, o da “Autoridade de Desenvolvimento Atômico”, envolve a própria agência controlar os materiais perigosos; isso envolveria a construção de um regime global de desenvolvimento de IA suficientemente fora do controle das grandes potências, com o monopólio dessa tecnologia estratégica (militarmente). Especialmente no quarto caso, mas também para os modelos mais fracos, será necessário muito cuidado em seu plano institucional para assegurar atores poderosos e garantir competência e boa motivação.

Esses modelos de terceiros envolvem uma série de questões sobre como tais instituições poderiam ser implementadas. Quais são as perspectivas de grandes potências abrirem mão de poder suficiente para uma agência de inspeção global ou órgão governamental? Quais possíveis cenários, acordos, ferramentas ou ações poderiam tornar isso mais plausível? O que sabemos sobre como construir um governo resistente a descambar para o totalitarismo e outras formas malignas (ver seção 4.1)? O que podemos aprender com episódios históricos semelhantes, como o fracasso do Relatório Acheson-Lilienthal e do Plano Baruch, o sucesso dos esforços de controle de armas que levaram ao Tratado de Mísseis Antibalísticos (ABM) de 1972 e episódios de tentativa de formação de Estado?

Também pode haver outras maneiras de escapar da corrida. Poderia um lado formar uma coalizão vencedora ou abrangente? Poderia um ou vários corredores se engajar na “estabilização” unilateral do mundo, sem correr o risco de uma catástrofe? A seção da Governança Ideal da IA discute sobre as propriedades desejáveis de um candidato à hegemonia mundial.

Governança Ideal da IA

O Panorama Técnico procura entender as possibilidades e restrições técnicas do desenvolvimento de IA. A Política de IA busca entender como diferentes atores irão competir e cooperar para atingir seus objetivos relacionados a uma IA poderosa. A Governança Ideal da IA concentra-se em possibilidades cooperativas: se pudéssemos cooperar suficientemente, o que poderíamos cooperar para construir? A Governança Ideal da IA examina possíveis arranjos globais para governar quais tipos de IA são desenvolvidos e implementados, por quem, para quais propósitos e com quais restrições. Em particular, esse grupo procura identificar modelos ideais de governança global. Quais são os valores comuns da humanidade e que arranjos poderiam satisfazer melhor nossos objetivos distintos? Que princípios organizacionais e mecanismos institucionais existem para melhor promovê-los? Essas questões antigas precisam ser investigadas com vigor renovado. Em breve, poderemos precisar implementar nossa melhor resposta. A IA avançada também pode alterar drasticamente os parâmetros relevantes da questão, tornando os insights anteriores menos relevantes.

Este grupo de pesquisas se concentra na governança global idealizada, por vários motivos. É importante dedicar o pensamento à articulação do que estamos tentando alcançar (1) para que sejamos mais capazes de orientar os eventos nas direções desejáveis e (2) para facilitar a cooperação coordenando uma visão compartilhada atraente. Ao fazer isso, será importante desenvolver meios eficazes de comunicar a abundância de benefícios potenciais da cooperação e os perigos existenciais do comportamento rival. Precisamos ter certeza de que entendemos as distintas preocupações e visões de mundo de pessoas e elites de diferentes origens, para que nossas propostas de governança tenham maior probabilidade de ressoar globalmente e de ser compatíveis com incentivos de partes interessadas poderosas. Precisamos pensar pragmaticamente sobre o desenho institucional – qual deve ser o fundamento constitucional; quem tem o direito de tomar quais decisões, sob quais condições, por quais regras de votação; quais informações são transmitidas para quem – para garantir que qualquer visão ideal aceitável seja politicamente estável.

As descobertas desse grupo de pesquisas serão cruciais para aconselhar a governança de empresas de IA e países hoje e no futuro. Isso se dá por duas razões.

(1) Os problemas de governança que enfrentamos hoje e que enfrentaremos no futuro coincidem amplamente, sendo as principais diferenças (i) o escopo dos interesses a serem representados, (ii) a necessidade potencial de competir em algum domínio militar-econômico mais amplo e (iii) o que está em jogo. Para ilustrar as semelhanças, considere como a governança de uma coalizão internacional de IA terá idealmente algum compromisso constitucional com um bem comum, terá mecanismos institucionais para garantir aos principais (p. ex., o público e os líderes dos países incluídos) que o regime é bem governado e para comunicar com credibilidade a falta de ameaça a outras partes. Na verdade, se formos capazes de criar um modelo suficientemente atraente, realista, autoaplicável e resiliente de governança da IA, isso poderá servir como um farol para nos guiar para fora de um equilíbrio rival. O problema então se reduz a um problema de sequenciamento: como passamos do presente para esse futuro atraente para todos?

(2) Gostaríamos idealmente de integrar a nossos arranjos de governança hoje, quando há relativamente pouco em jogo, os princípios e mecanismos que precisaremos no futuro. Por exemplo, dado o desconto temporal, a utilidade marginal decrescente e a incerteza sobre quem possuirá a riqueza, pode ser possível hoje institucionalizar compromissos coletivos para a redistribuição da riqueza no futuro.

Este grupo de pesquisas é o menos desenvolvido neste documento e dentro da comunidade de pessoas que trabalham na governança da IA.

7. Valores e Princípios

A governança ideal da IA aspira a visualizar, projetar e promover soluções institucionais ideais para os desafios de governança da IA da humanidade. Quais são os valores e princípios comuns em torno dos quais diferentes grupos podem se coordenar? O que várias partes interessadas (públicos, grupos culturais, pesquisadores de IA, elites, governos, corporações) querem da IA, a curto e longo prazo? Quais são as melhores maneiras de mediar entre grupos concorrentes e entre valores conflitantes? O que as tendências de longo prazo – como demografia, laicização, globalização, liberalismo, nacionalismo, desigualdade – implicam sobre os valores dessas partes interessadas em médios e longos prazos?

Dado o que ainda estamos aprendendo sobre nós mesmos e nossos valores, é possível antecipar a direção em que nossos valores estão se movendo ou a direção em que eles deveriam se mover? Dada a incerteza sobre nossos valores comuns e quais deveriam ser nossos valores, existem princípios que podemos empregar que “aprenderão conosco” ao longo do tempo e nos impedirão de cometer grandes erros? Bostrom, Dafoe e Flynn (2018) oferecem um conjunto de desideratos políticos que ganham importância distinta em um mundo de IA superinteligente, incluindo: progresso rápido, segurança da IA, estabilização condicional, não turbulência, benefício universal, magnanimidade, continuidade, pensamento baseado em primeiros princípios, sabedoria, velocidade e determinação, e adaptabilidade. Parece haver dois (meta)princípios cruciais no mundo atual e eles estão em tensão: (1) segurança (segurança da IA, estabilização condicional) e (2) autonomia (liberdade, continuidade, soberania).

Este trabalho requer estudiosos de ética e moralidade, psicologia, opinião pública global, cultura e religião.

8. Instituições e Mecanismos

A seção anterior envolve a especificação dos interesses das partes interessadas que um sistema de governança deve atender, bem como os objetivos gerais do sistema. Esta seção procura desenvolver instituições que possam alcançar com sucesso esses interesses e objetivos.

Queremos que nossas instituições de governança sejam capazes de fornecer segurança, garantindo a proteção contra IA não alinhada e estabilizando o desenvolvimento tecnológico para evitar novos riscos extremos. Isso pode exigir controle centralizado sobre o desenvolvimento de IA ou vigilância extensiva de projetos de IA com pronta capacidade de desligá-los. É possível que essa segurança seja alcançada por meio de um mundo multipolar cooperativo, mas pode exigir concentração de poder e autoridade. Quais são os arranjos de estabilização possíveis menos infringentes? Que capacidades a IA pode habilitar que poderiam nos ajudar com isso, quão prováveis são e o que poderia ser feito para aumentar sua probabilidade?

Queremos que nossas instituições de governança sejam resilientes à deriva e ao sequestro. Dois polos do espaço de riscos são a captura totalitária e a tirania da maioria. Para evitar a captura totalitária e a tirania da maioria, em graus variados e em combinações variadas, os países de todo o mundo empregaram: eleições regulares, livres e justas; direitos protegidos de expressão política; Estado de direito e um judiciário independente; separação de poderes; restrições ao poder do Estado; direitos constitucionalmente protegidos; federalismo.

O problema de como construir instituições para governar uma entidade política é uma parte central dos campos da ciência política e da economia política. O canto teórico mais matemático desse espaço costuma ser chamado de escolha pública, escolha social ou (pelos economistas) economia política. Cientistas políticos em política comparada e política americana estudam extensivamente as propriedades de diferentes sistemas políticos. Estudiosos em ciência política e teoria política estudam o plano das constituições. Dada a centralidade desse problema para esses campos e sua expertise existente, esforços substanciais devem ser feitos para aprender com eles e recrutá-los, em vez de tentar reinventar a boa governança. No entanto, atualmente, a aplicação dessas disciplinas aos problemas de governança da IA permanece negligenciada.

9. Visões Positivas

Embora o que escrevemos acima seja direcionado para a criação de um modelo viável de governança ideal da IA no longo prazo, é improvável que gere uma solução simples (em breve). No entanto, pode ser extremamente benéfico ter uma visão simples, convincente e amplamente atraente dos benefícios da cooperação, para ajudar a motivá-la. Acreditamos que tanto os benefícios potenciais do desenvolvimento seguro quanto as desvantagens potenciais do desenvolvimento inseguro são vastos. Dada essa perspectiva, é tolice disputar ganhos relativos, se isso reduzir as chances de um desenvolvimento seguro. Como podemos comunicar essa visão de forma simples, clara e sugestiva aos outros?

Publicado originalmente em 27 de agosto de 2018 aqui.

Autor: Allan Dafoe
Centre for the Governance of AI
Future of Humanity Institute
Universidade de Oxford

Tradução: Luan Marques