De Allan Dafoe
A governança da IA diz respeito à forma como a humanidade pode navegar melhor na transição para um mundo com sistemas avançados de IA1. Relaciona-se com a forma como as decisões são tomadas sobre a IA2 e quais instituições e arranjos ajudariam essas decisões a serem bem tomadas.
Acredito que os avanços na IA estarão provavelmente entre os desenvolvimentos globais de maior impacto nas próximas décadas e que a governança da IA se tornará uma das áreas de problema globais mais importantes. A governança da IA é um campo novo e relativamente negligenciado. Explicarei aqui como penso sobre isso como uma área de causa e minha perspectiva sobre a melhor forma de buscar um impacto positivo neste espaço. O valor de investir neste campo pode ser apreciado quer se esteja preocupado principalmente com os desafios políticos contemporâneos ou com os riscos e oportunidades de longo prazo (“longtermismo”); este artigo visa principalmente uma perspectiva longotermista. Diferentemente de outros trabalhos longotermistas sobre a IA, enfatizo a importância de também nos prepararmos para cenários mais convencionais de desenvolvimento de IA.
Índice
Desafios políticos contemporâneos
Os sistemas de IA são cada vez mais implementados em domínios importantes: para muitos tipos de vigilância; por governos autoritários para moldar o discurso on-line; para sistemas de armas autônomos; para ferramentas cibernéticas e capacidades cibernéticas autônomas; ajudar e tomar decisões importantes, como emprego, empréstimos e sentenças criminais; em publicidade; na educação e nos testes; em carros autônomos e navegação; nas redes sociais. A sociedade e os decisores políticos estão tentando rapidamente acompanhar o ritmo, se adaptar e criar normas e políticas para orientar essas novas áreas. Vemos essa confusão no direito fiscal internacional contemporâneo, na política de concorrência/antitruste, na política de inovação e nos controles motivados pela segurança nacional sobre o comércio e o investimento.
Para compreender e aconselhar a elaboração de políticas contemporâneas, é necessário desenvolver conhecimentos especializados em áreas políticas específicas (como a política antitruste/de concorrência ou a segurança internacional), bem como nos aspectos técnicos relevantes da IA. É também importante construir uma comunidade que trabalhe em conjunto nessas áreas políticas, uma vez que esses fenômenos interagem e são muitas vezes impulsionados por desenvolvimentos técnicos semelhantes, envolvem trocas semelhantes e beneficiam de percepções semelhantes. Por exemplo, a política antitruste/de concorrência relevante para a IA está moldando e a sendo moldada pela rivalidade entre grandes potências, e esses campos se beneficiam da compreensão do carácter e da trajetória da IA.
Riscos e oportunidades de longo prazo
Os longtermistas estão especialmente preocupados com os riscos e oportunidades de longo prazo da IA, e particularmente com os riscos existenciais, que são riscos de extinção ou outra destruição do potencial de longo prazo da humanidade (Ord 2020, 37).
Perspectiva da Superinteligência
Muitos especialistas longotermistas chegam ao campo da Governança da IA a partir do que podemos chamar de perspectiva da superinteligência, que normalmente se concentra no desafio de ter um agente de IA com capacidades cognitivas muito superiores às dos humanos. Dada a importância da inteligência – para a resolução dos nossos problemas globais, para a produção e alocação de riqueza e para o poder militar –, essa perspectiva deixa claro que a IA superinteligente representaria oportunidades e riscos profundos. Em particular, a IA superinteligente poderia representar uma ameaça ao controle e à existência humana que supera outros riscos naturais e antropogênicos (para uma avaliação desses riscos, consulte The Precipice, de Toby Ord )3. Assim, essa perspectiva destaca o imperativo de que a IA seja segura e alinhada com as preferências/valores humanos. O campo da Segurança da IA está em parte motivado e organizado para enfrentar esse desafio. A perspectiva da superinteligência é bem-desenvolvida em Superinteligência de Nick Bostrom, nos escritos de Eliezer Yudkowsky (por exemplo), em Life 3.0 de Max Tegmark e em Human Compatible de Stuart Russell. A perspectiva da superinteligência é mais esclarecedora em cenários que envolvem uma descolagem rápida, como através de uma explosão de inteligência.
Os problemas de construir uma superinteligência segura tornam-se ainda mais difíceis se os investigadores, laboratórios, empresas e países que desenvolvem IA avançada se perceberem numa intensa corrida entre si na qual o vencedor leva tudo, uma vez que então cada desenvolvedor enfrentará um forte incentivo para serem descuidados para acelerar o seu desenvolvimento e implementação; isso faz parte do problema de gestão da concorrência em IA. Um problema de governança subsequente diz respeito à forma como o desenvolvedor deve institucionalizar o controle e partilhar os benefícios da sua superinteligência; poderíamos chamar isso de problema do plano da constituição (para a superinteligência), uma vez que a solução equivale a uma constituição sobre a superinteligência.
Trabalhe nesses problemas interaja. Por vezes, são substitutos: o progresso na gestão da concorrência em IA pode reduzir o peso da segurança da IA e vice-versa. Às vezes são complementos. Uma maior compreensão dos riscos estratégicos da concorrência da IA poderia nos ajudar a concentrar o nosso trabalho de segurança. Os avanços técnicos, por exemplo, nos mecanismos de verificação de IA poderiam facilitar a coordenação global (veja Rumo a uma IA confiável). É imperativo que trabalhemos em todas as vertentes promissoras e que esses domínios estejam em diálogo entre si.
Ecologia e Perspectivas de TPG
A perspectiva da superinteligência ilumina uma condição suficiente para o risco existencial da IA. No entanto, não é necessária e é frequentemente alvo de críticas da parte daqueles que a consideram como fazendo suposições excessivamente fortes sobre o caráter dos sistemas avançados de IA. Existem outras perspectivas que iluminam outros riscos e considerações. Uma que poderíamos chamar de perspectiva da ecologia da IA: em vez de imaginar apenas um ou vários agentes superinteligentes muito superiores a todos os outros agentes, podemos imaginar uma ecologia diversificada e global de sistemas de IA. Alguns podem ser como agentes, mas outros podem ser mais como serviços, sistemas ou corporações complexas. Esses sistemas, individualmente ou em colaboração com humanos, poderiam dar origem a capacidades cognitivas em tarefas estrategicamente importantes que excedem aquilo de que os humanos seriam capazes. Age of Em, de Hanson, descreve um desses mundos, onde os humanos biológicos foram economicamente substituídos por agentes mecânicos evoluídos, que existem num estado malthusiano; não houve nenhum evento discreto quando a superinteligência assumiu o controle. Os Serviços Abrangentes de IA de Drexler oferecem uma perspectiva ecológica/de serviços sobre o futuro da IA, argumentando que é mais provável que vejamos muitos serviços de IA sobre-humanos, porém restritos (e que isso seria mais fácil de construir com segurança), em vez de uma superinteligência geral agentiva integrada.
Outra perspectiva, amplamente convencional, considera a IA como uma tecnologia de propósito geral (TPG), em alguns aspectos análoga a outras TPGs, como a energia a vapor, a eletricidade ou os computadores (a perspectiva da TPG). Aqui não precisamos enfatizar apenas a IA de tipo agente ou sistemas poderosos de IA, mas em vez disso podemos examinar as muitas maneiras pelas quais até mesmo a IA mundana poderia transformar parâmetros fundamentais em nossos sistemas sociais, militares, econômicos e políticos, desde desenvolvimentos em tecnologia de sensores, comportamento mediado digitalmente e robótica. A IA e as tecnologias associadas poderiam reduzir drasticamente a parcela de valor do trabalho e aumentar a desigualdade, reduzir os custos de vigilância e repressão da parte das autoridades, tornar a estrutura do mercado global mais oligopolística, alterar a lógica da produção de riqueza, deslocar o poder militar e minar a estabilidade nuclear. Das três, essa perspectiva é a mais próxima daquela expressa pela maioria dos economistas e analistas políticos.
Essas perspectivas não são mutuamente excludentes. Por exemplo, mesmo que estejamos mais preocupados com os riscos da perspectiva da superinteligência, a perspectiva da TPG pode ser valiosa para antecipar e moldar o cenário político, econômico e geopolítico em que a superinteligência surgiria.
Riscos de uso indevido, riscos de acidentes, riscos estruturais
Muitas análises dos riscos da IA, incluindo muitas da perspectiva da superinteligência, compreendem o risco principalmente através das lentes do uso indevido ou dos acidentes. O uso indevido ocorre quando uma pessoa usa a IA de maneira antiética, sendo os casos mais claros envolvendo intenções maliciosas. Os acidentes envolvem danos não intencionais causados por um sistema de IA, que, em princípio, os criadores do sistema poderiam ter previsto ou evitado. Ambos os tipos de risco atribuem responsabilidade a uma pessoa ou grupo que poderia ter evitado o risco através de melhor motivação, cautela ou competência técnica. Essas lentes normalmente identificam a oportunidade para que as intervenções de segurança estejam causalmente próximas do dano: imediatamente antes de o sistema ser implementado ou utilizado, houve uma oportunidade para alguém evitar o desastre através de uma melhor motivação ou percepção.
Em contraste, as perspectivas ecológicas e especialmente a de TPG iluminam uma perspectiva mais ampla de riscos estruturais. Quando pensamos sobre os riscos decorrentes do motor de combustão – como a expansão urbana, a guerra-relâmpago ofensiva, os bombardeiros estratégicos e as alterações climáticas –, vemos que é difícil culpar qualquer indivíduo ou grupo por negligência ou intenção maligna. É mais difícil ver um único agente cujo comportamento poderíamos mudar para evitar o dano, ou uma oportunidade causalmente próxima para intervir. Em vez disso, vemos que a tecnologia pode produzir danos sociais, ou não conseguir concretizar os seus benefícios, devido a uma série de dinâmicas estruturais. Os impactos da tecnologia podem ser difusos, incertos, retardados e difíceis de contrair. As instituições existentes muitas vezes não são adequadas para gerir perturbações e renegociar acordos. Para governar bem a IA, precisamos da perspectiva dos riscos de utilização indevida e dos riscos de acidentes, mas também da perspectiva dos riscos estruturais.
Quanto mais vemos riscos da perspectiva da superinteligência, em que um agente de máquina pode alcançar uma vantagem estratégica decisiva, especialmente quando emerge de um rápido autoaperfeiçoamento que começa em breve, mais faz sentido investir nossa atenção na vanguarda da IA e na Segurança da IA. Nessa perspectiva, a prioridade é concentrar-se nos grupos que têm maior probabilidade de incubar a superinteligência e ajudá-los a ter a melhor cultura, organização, conhecimentos de segurança, conhecimentos e infraestruturas para que o processo corra bem.
Por outro lado, quanto mais vemos os riscos do ponto de vista ecológico, e especialmente da TPG e das perspectivas de risco estrutural, mais precisamos compreender os problemas de segurança e governança da IA de uma forma mais ampla. Embora essas perspectivas ainda possam apresentar um nível de risco comparativamente elevado, esse risco está distribuído por um espaço mais amplo de cenários. As oportunidades para reduzir o risco também estão igualmente distribuídas de forma ampla. Essas perspectivas consideram mais provável que os sistemas sociais existentes sejam cruciais para a definição de resultados, fenômenos importantes a compreender e possíveis veículos para um impacto positivo. Essas perspectivas veem uma maior necessidade de colaboração, entre um conjunto mais amplo de áreas dentro da segurança e governança da IA, bem como com especialistas do espaço mais amplo das ciências sociais e da formulação de políticas.
As pessoas que estão mais preocupadas com os riscos existenciais muitas vezes priorizam a perspectiva da superinteligência, provavelmente porque ela descreve maneiras novas, concretas e causalmente próximas pelas quais os humanos poderiam perder todo o poder (e potencialmente serem extintos). No entanto, as perspectivas ecológica e de TPG também são importantes para a compreensão dos riscos existenciais. Além de iluminar outros riscos existenciais, essas perspectivas podem iluminar os fatores de risco existencial4, que são fatores que afetam indiretamente o risco existencial. Pode ser tão importante focar num fator de risco como numa causa mais próxima: ao tentar prevenir o câncer, investir em políticas para reduzir o tabagismo pode ter mais impacto do que investimentos em quimioterapia.
Caminhos concretos para o risco existencial
Quais são alguns exemplos de caminhos concretos para o risco existencial, ou fatores de risco existencial, que são mais bem-esclarecidos a partir das perspectivas da ecologia e da TPG?
Instabilidade Nuclear
Mudanças relativamente mundanas na tecnologia de sensores, nas armas cibernéticas e nas armas autônomas podem aumentar o risco de guerra nuclear (SIPRI 2020). Para compreender isso é necessário compreender a dissuasão nuclear, o comando e controle nuclear, a vulnerabilidade do primeiro ataque e como isso pode mudar com o processamento de imagens de satélite por IA, sensores submarinos, análise de redes sociais, vigilância cibernética e armas, e riscos de escalada “flash” de sistemas autónomos.
Transições de poder, incerteza e turbulência
A tecnologia pode alterar parâmetros-chave que sustentam as negociações geopolíticas. A tecnologia pode levar a transições de poder, que induzem problemas de compromisso que podem levar à guerra (Powell 1999; Allison 2017). A tecnologia pode alterar o equilíbrio ataque-defesa, o que pode tornar a guerra mais tentadora ou amplificar o medo de ser atacado, desestabilizando a ordem internacional (Jervis 1978; Garfinkel e Dafoe 2019). A tecnologia pode levar a uma turbulência geral – entre países, empresas e grupos sociais –, o que pode levar a uma ruptura nas negociações sociais, à ruptura nas relações, a manobras para obter vantagens e ao declínio da confiança. Tudo isso pode aumentar o risco de uma guerra sistêmica e, em outros sentidos, enfraquecer a capacidade da humanidade de agir coletivamente para enfrentar os riscos globais.
Desigualdade, deslocamento trabalhista, autoritarismo
O mundo poderá se tornar muito mais desigual, antidemocrático e inóspito ao trabalho humano, através de processos catalisados pela IA avançada. Esses processos incluem mercados globais em que o vencedor leva tudo, deslocação tecnológica do trabalho e vigilância e controle autoritários. No limite, a IA poderia catalisar um totalitarismo resiliente (global). Tais processos poderiam levar a um trancamento permanente de maus valores e amplificar outros riscos existenciais decorrentes de uma redução na competência do governo.
Segurança Epistêmica5
Provavelmente, os meios de comunicação social comprometeram a capacidade das comunidades políticas de trabalharem em conjunto, tornando-as mais polarizadas e desligadas de uma base de fatos acordados. Estados estrangeiros hostis têm procurado explorar a vulnerabilidade da deliberação política de massas nas democracias. Embora ainda não seja possível, o espectro da manipulação em massa através de perfis psicológicos, tal como anunciado pela Cambridge Analytica, paira no horizonte. Um declínio na capacidade das democracias avançadas do mundo para deliberar de forma competente diminuiria as chances de esses países conseguirem moldar de forma competente o desenvolvimento da IA avançada.
Erosão de valores por meio da competição
Uma corrida de alto risco (pela IA avançada) pode piorar drasticamente os resultados, tornando todas as partes mais dispostas a pecar na segurança. Esse risco pode ser generalizado. Tal como uma troca entre segurança e desempenho, na presença de uma concorrência intensa, leva os decisores a pecarem na segurança, também uma troca entre qualquer valor humano e o desempenho competitivo pode incentivar os decisores a sacrificarem esse valor. Exemplos contemporâneos de valores que estão sendo corroídos pela concorrência económica global poderiam incluir mercados não monopolistas, privacidade e relativa igualdade. A longo prazo, a dinâmica competitiva poderá levar à proliferação de formas de vida (países, empresas, IAs autônomas) que trancam maus valores. Refiro-me a isso como erosão de valores; Nick Bostrom discute isso em O Futuro da Evolução Humana(20 0 4); Paul Christiano referiu-se ao surgimento de “padrões gananciosos”; o cenário da Era de Em de Hanson envolve a perda da maior parte do valor que não está adaptado à competição contínua do mercado da IA .
Priorização e Teoria do Impacto
A alocação ideal de investimentos (em investigação, influência política e construção de campo) dependerá das nossas crenças sobre a natureza do problema. Dado o valor que vejo em cada uma das perspectivas de superinteligência, ecologia e TPG, e a nossa grande incerteza sobre quais dinâmicas serão mais cruciais no futuro, acredito que precisamos de um portfólio amplo e diversificado. Para oferecer uma metáfora, como uma comunidade preocupada com os riscos de longo prazo da IA avançada, acho que queremos construir uma metrópole – um centro com conexões densas com as comunidades mais amplas de ciência da computação, ciências sociais e formulação de políticas – em vez de uma ilha isolada.
Um portfólio diversificado ainda requer priorização: não queremos financiar e trabalhar cegamente em todos os problemas das ciências sociais e da ciência da computação! Na verdade, nosso problema de priorização tornou-se mais difícil e mais importante. Embora o nosso problema seja cognitivamente mais fácil se tivermos uma forte priorização de atribuição de peso zero à maioria das áreas, muito mais questões surgem se, por padrão, atribuirmos algum peso à maioria das áreas. Devemos, portanto, continuar a examinar e a deliberar sobre os detalhes de como o campo da governança da IA deve crescer.
– —
Dentro de qualquer área temática, como deveriam ser as nossas atividades de pesquisa para terem o impacto mais positivo? Para responder a isso, podemos adotar um modelo simples de decisão de activos em duas fases sobre o impacto da investigação. Em algum ponto da cadeia causal, serão tomadas decisões impactantes, sejam elas por pesquisadores de IA, ativistas, intelectuais públicos, diretores-executivos, generais, diplomatas ou chefes de Estado. Queremos que as nossas atividades de investigação forneçam ativos que ajudem a tomar essas decisões da melhor forma. Esses ativos podem incluir: soluções técnicas; insights estratégicos; percepção compartilhada dos riscos; uma visão de mundo mais cooperativa; conselheiros bem-motivados e competentes; credibilidade, autoridade e conexões para esses especialistas. Existem diferentes perspectivas sobre em quais desses ativos, e a amplitude dos ativos, que vale a pena investir.
No extremo restrito detas perspectivas está o que chamarei de modelo de pesquisa do produto, que considera que o valor do financiamento da pesquisa reside principalmente na produção de respostas escritas7 a questões específicas importantes. O modelo do produto é ideal para pesquisa aplicada com um problema bem-definido. Por exemplo, o apoio à investigação de vacinas contra a covid-19 enquadra-se no modelo do produto, uma vez que é em grande parte impulsionado pelo valor final previsível da pesquisa que produz uma vacina utilizável. O modelo do produto é amplamente difundido; é perpetuado em parte por pesquisadores, que recebem incentivos para contar uma narrativa convincente e concreta sobre o valor da sua pesquisa pretendida, e cujos incentivos de carreira são fortemente influenciados pelos seus produtos de pesquisa.
Acredito que o modelo do produto subestima substancialmente o valor da pesquisa em segurança da IA e, especialmente, em governança da IA; estimo que a maior parte (talvez cerca de 80%) do valor da pesquisa sobre governança da IA provém de outros ativos que não o produto da pesquisa restrito.8 Outros ativos incluem (a) trazer conhecimentos diversos para apoiar questões de governança da IA; (b) melhorar, como subproduto da pesquisa, a competência dos pesquisadores em matéria de governança da IA em questões relevantes; (c) conferir autoridade intelectual e prestígio a indivíduos que tenham perspectivas ponderadas sobre os riscos de longo prazo da IA; (d) crescimento do campo através da expansão da rede de pesquisadores, acesso a conjuntos de talentos relevantes, melhores oportunidades de carreira e capacidade de absorção de talentos juniores; e (e) triagem, treinamento, credenciamento e colocação de pesquisadores juniores. Vamos chamar essa perspectiva mais ampla de modelo de pesquisa da construção de campo, uma vez que a maior parte do valor do apoio à pesquisa hoje vem da maneira como ela desenvolve o campo de pessoas que se preocupam com questões de governança de IA de longo prazo e melhora a visão, a experiência, as conexões e autoridade nesse campo.9
Ironicamente, porém, para obter valor no modelo da construção de campo ainda pode ser melhor enfatizar a produção de bons produtos de pesquisa. A razão é semelhante à do financiamento governamental da pesquisa básica: embora as bolsas e subvenções sejam concedidas principalmente com base nos méritos da pesquisa, a justificação política normalmente assenta nos benefícios nacionais secundários que produz, tais como conhecimentos disponíveis a nível nacional, redes de talentos, negócios derivados, oportunidades educacionais e de carreira e capacidade de absorção nacional para ciência de ponta. Refletirei brevemente sobre esses canais de impacto para a governança da IA, embora muito mais pudesse ser dito.
Consideremos o problema potencial do controle internacional da IA, que considero um dos subproblemas mais importantes na governança da IA. No futuro, poderemos nos encontrar num mundo onde a intensa concorrência em Pesquisa & Desenvolvimento de IA, especialmente no domínio militar, representa riscos globais substanciais. O espaço de tais cenários é vasto, variando de acordo com o papel e a força dos governos, a natureza dos riscos colocados pela Pesquisa & Desenvolvimento de IA e a percepção desses riscos, os pontos de controle na Pesquisa & Desenvolvimento de IA, a trajetória provável de desenvolvimentos futuros em IA e outras características da geopolítica e da paisagem global. Prevejo que qualquer tentativa de redigir um plano, esboçar um projeto ou de outra forma resolver o problema, com muitos anos de antecedência, terá quase certeza de fracassar. Mas isso não significa que o ato de tentar formular um plano – antecipar possíveis complicações e pensar em soluções possíveis – não proporciona conhecimento e preparação. A máxima de Eisenhower ressoa: “os planos são inúteis, mas o planejamento é indispensável.” Para ser mais concreto: acredito que aprendi muito sobre esse problema por meio de pesquisas sobre vários tópicos, leituras básicas, reflexões e conversas. Embora não seja fácil para mim destilar esse grande conjunto de lições em forma escrita, sou capaz de mobilizar e desenvolver as mais importantes dessas lições para qualquer situação particular que possa surgir. Em suma, penso que há muito trabalho útil que pode ser feito antecipadamente, mas a maior parte do trabalho envolve a construção da nossa competência, capacidade e credibilidade, para que, quando chegar a hora, estejamos em posição e prontos para formular um plano.
Consideremos, por analogia, o problema do controle internacional das armas nucleares. H.G. Wells imaginou, em 1913, a possibilidade de bombas atômicas e esboçou os seus riscos e implicações geopolíticas. Ao fazê-lo, ajudou outros, como Leo Szilard, a antecipar (e a agir de acordo) com algumas características-chave de um mundo com armas nucleares, tais como a necessidade de controle global para evitar uma corrida armamentista catastroficamente perigosa. Mas em 1945-1946, os esforços reais para alcançar o controle internacional dependiam de muitos fatores específicos: acordos, mal-entendidos e conflitos entre os EUA e a União Soviética; barganhas, blefes e arrogâncias sobre tudo, desde a Europa Oriental até a bomba; espionagem; detalhes técnicos sobre o controle e construção de armas atômicas; acordos, interesses e ações aliadas; mudança de opinião entre o público dos EUA e as elites globais; detalhes institucionais da ONU e do CSNU; interesse comercial na energia nuclear; e as muitas idiossincrasias de decisores como Truman, Stalin, Groves e Baruch. Ilustrando o papel crítico dos indivíduos e das suas crenças e valores, o plano mais sério para o controle internacional – o Relatório Acheson-Lilienthal – não teria sido produzido sem o brilhantismo técnico de pessoas como Bush e Oppenheimer, foi quase afundado por Groves10, e acabou sendo distorcido e mal-defendido por Baruch. Assim, mesmo que nos concedamos o benefício retrospectivo de conhecer os detalhes técnicos da tecnologia, que mesmo os decisores contemporâneos não tinham, vemos que, para podermos intervir positivamente, faríamos bem em ter especialistas disponíveis para uma vasta gama de questões globais, esses especialistas devem estar prontos para adaptar as suas ideias aos contornos específicos do problema diplomático que precisa de ser resolvido e, por último, esses especialistas precisam de ter acesso confiável àqueles que têm o poder “na sala ”.
Considero o nosso problema semelhante, mas exigindo um portfólio ainda mais diversificado de conhecimentos adaptáveis, dada a nossa maior incerteza sobre os parâmetros técnicos e geopolíticos. Os investimentos que fazemos hoje deverão aumentar a nossa competência em domínios relevantes, a nossa capacidade de crescer e de nos envolvermos de forma eficaz, e a credibilidade intelectual e a influência política de especialistas competentes.
Agradecimentos
Obrigado a muitos no Instituto do Futuro da Humanidade e no Centro para a Governança da IA pelas conversas sobre isso. Pelas contribuições específicas, sou grato a Markus Anderljung, Asya Bergal, Natalie Cargill, Owen Cotton-Barratt, Ben Garfinkel, Habiba Islam, Alex Lintz, Luke Muehlhauser e Toby Ord.
Notas
1. “IA avançada” aponta para sistemas substancialmente mais capazes (e perigosos) do que os sistemas existentes (2020), sem necessariamente invocar capacidades de generalidade específicas ou em outros sentidos, conforme implícito em conceitos como “Inteligência Geral Artificial” (“IGA”) . Definição de governança da IA em [www.fhi.ox.ac.uk/govaiagenda](http://www.fhi.ox.ac.uk/govaiagenda).
2. Que podem ser definidas aqui simplesmente como máquinas capazes de processamento sofisticado de informações.
3. Toby Ord estima uma chance em 10 de catástrofe existencial causada por inteligência artificial desalinhada nos próximos 100 anos, em comparação com 1 em 10.000 de todos os riscos naturais, 1 em 1.000 de guerra nuclear, 1 em 1.000 de mudanças climáticas, 1 em 1.000 devido a danos ambientais não mediados por alterações climáticas, 1 em 10.000 devido a pandemias que surgem “naturalmente”, 1 em 30 devido a pandemias projetadas, 1 em 50 devido a outros riscos antropogênicos previstos e 1 em 30 devido a riscos antropogênicos imprevistos. O risco da inteligência artificial desalinhada compreende, portanto, uma parte substancial da estimativa total de Ord de 1 em 6 para o risco existencial total nos próximos 100 anos.
4. Na terminologia de Toby Ord.
5. Acredito que Shahar Avin cunhou esse termo.
6. Embora Hanson tenda a não enfatizar esse aspecto do cenário.
7. Para a segurança da IA, eu estimaria que há mais valor no produto de pesquisa, mas ainda assim menos de 50%.
8. O modelo do produto torna-se mais apropriado à medida que problemas específicos de governança ganham mais destaque, tornam-se mais urgentes e exigem uma solução escrita. No limite, por exemplo, estaria a elaboração da constituição de uma nova instituição importante. Mesmo num tal cenário de formação constitucional, contudo, o conhecimento tácito dos especialistas envolvidos continua a desempenhar um papel crucial.
9. O modelo do produto torna-se mais apropriado à medida que problemas específicos de governança ganham mais destaque, tornam-se mais urgentes e exigem uma solução escrita. No limite, por exemplo, estaria a elaboração da constituição de uma nova instituição importante. Mesmo num tal cenário de formação constitucional, contudo, o conhecimento tácito dos especialistas envolvidos continua a desempenhar um papel crucial.
10. Groves também desempenhou um papel enorme na promoção, nos decisores norte-americanos, da crença errónea de que os EUA manteriam o monopólio nuclear durante muito tempo, um impacto que foi possível graças ao seu monopólio sobre informações sobre armas nucleares e fornecimentos nucleares globais.
Tradução: Luan Marques
Link para o original