Caminhos de segurança e governança da IA relacionados à China

Publicado em fevereiro de 2022

A expertise com a China e suas relações com o mundo pode ser crucial para enfrentar alguns dos problemas mais prementes do mundo. Em particular, o relacionamento da China com os EUA é provavelmente a relação bilateral mais importante do mundo, com esses dois países respondendo coletivamente por mais de 40% do PIB global1 Essas considerações nos levaram a publicar um guia para melhorar a coordenação China-Ocidente sobre riscos catastróficos globais e outros problemas importantes em 2018. Desde então, vimos um aumento no número de pessoas explorando essa área.

A China é um dos países mais importantes desenvolvendo e moldando a inteligência artificial (IA) avançada. Estima-se que os gastos do governo chinês em pesquisa e desenvolvimento de IA estejam na mesma ordem de grandeza que os do governo dos EUA2 e a pesquisa em IA feita pela China é proeminente no cenário mundial e está crescendo.

Devido à importância da IA ​​da perspectiva de melhorar a trajetória de longo prazo do mundo, acreditamos que as relações entre a China e os EUA sobre IA podem estar entre os aspectos mais importantes da sua relação. Na medida em que a UE e/ou o Reino Unido influenciam o desenvolvimento avançado da IA por meio de laboratórios situados em seus países ou por meio de sua influência na regulamentação global, o estado do entendimento e da coordenação entre atores europeus e chineses sobre segurança e governança da IA também pode ser significativo.

Em suma, é por isso que pensamos que trabalhar em segurança e governança da IA na China e/ou construir entendimento mútuo entre atores chineses e ocidentais nessas áreas provavelmente será uma das carreiras mais promissoras relacionadas à China. Abaixo, fornecemos mais informações e argumentos detalhados sobre esta opção.

Se você estiver interessado em seguir um caminho de carreira descrito neste perfil, entre em contato com a equipe individualizada da 80.000 Horas e talvez possamos colocar você em contato com um assessor especializado.

Em suma: ficaríamos animados ao ver mais pessoas desenvolvendo expertise para fazer trabalho na China ou relacionado a ela, a fim de reduzir os riscos de longo prazo associados ao desenvolvimento e uso da IA.

Há argumentos contra e a favor de seguir este caminho de carreira: por um lado, uma coordenação eficaz é imprescindível para evitar conflitos perigosos e dinâmicas de corrida; por outro lado, há grandes riscos e complexidades envolvidos neste caminho.

Alguns caminhos de carreira promissores a serem visados incluem:

-Pesquisa técnica em segurança da IA
-Assessoria sobre políticas de segurança num laboratório de IA
-Pesquisa num centro de pesquisa ou grupo de pesquisa focado no longo prazo
-Assessoria de tradução e publicação

A adequação pessoal para essas funções, tanto no Ocidente quanto na China, depende muito da experiência, capacidade de formar conexões, língua e cidadania.
Às vezes recomendada — dependente da adequação pessoal
Esta carreira será a opção de maior impacto de algumas pessoas se a sua adequação pessoal for especialmente boa.
Status da análise
Baseada numa investigação superficial: entrevistamos várias pessoas com a especialidade relevante sobre este caminho e passamos pelo menos metade de um dia lendo os melhores conselhos existentes (ou algo semelhante). O propósito destes perfis é ajudar os nossos leitores a priorizar uma investigação adicional; nossas conclusões não representam opiniões consideradas por inteiro.

Por que seguir este caminho?

1. O gerenciamento seguro da introdução da IA ​​pode exigir uma coordenação internacional sem precedentes.

Conforme discutido em outro lugar, sem um design cuidadoso, a IA pode agir de modos não pretendidos por humanos, com efeitos potencialmente catastróficos. Mesmo que possamos controlar a IA avançada, ela pode ser muito disruptiva econômica e socialmente (no bom ou no mau sentido) e pode ser usada como uma arma de guerra desestabilizadora3.

Visto que a redução dos riscos existenciais da IA ​​avançada beneficia igualmente o mundo inteiro, ela tem o caráter de um problema de bens públicos em escala global. Medidas para reduzir o risco existencial tendem a sofrer de uma falta de oferta pelo mercado, visto que cada ator capaz de tomar tais medidas poderia capturar apenas uma pequena parcela do valor (mesmo que o ator seja um grande país), enquanto arca com todos os custos (p. ex., um progresso em IA mais lento no nível local).

Experiências passadas mostram que o fornecimento de bens públicos globais (e intergeracionais) é possível com esforço e coordenação suficientes: por exemplo, no caso da proteção da camada de ozônio.

No entanto, pode ser mais desafiador alcançar a coordenação para garantir uma IA avançada segura. Isso ocorre em parte porque se espera que a IA traga muitas vantagens, e atores como governos ou empresas em todo o mundo podem ser incentivados a serem os primeiros a desenvolver e implementar sistemas avançados de IA para capturar a maior parte desses benefícios4. Com os atores competindo por velocidade e/ou desempenho, eles podem ser mesquinhos com a segurança, levando a uma “corrida para o fundo do poço”5.

Uma coordenação global sem precedentes pode, portanto, ser necessária, e parece benéfico ter muitas pessoas fazendo um trabalho atento para encorajar isso.

2. A coordenação entre a China e os EUA na segurança da IA ​​exigiria um esforço deliberado.

Este é um período desafiador para as relações China-EUA, inclusive na área da IA. Há algumas razões teóricas para pensar que essas relações podem continuar tensas:

  • Dinâmicas de poder: de acordo com a teoria da transição de poder, há potencial para conflitos quando uma nação dominante e uma desafiante atingem relativa equivalência de poder, especialmente quando a desafiante está insatisfeita com o status quo. Há um debate significativo sobre se essa teoria é resiliente e se ela se aplica às relações China-EUA no século XXI. No entanto, se ambas as condições forem verdadeiras, isso sugere que um grande esforço pode ser necessário para evitar conflitos e gerar uma coordenação entre os dois países.
  • Diferenças de ideologia e tipo de regime: líderes políticos na China e nos EUA divergem em várias ideias sobre governança, valores e usos legítimos da tecnologia. Esses divisores podem dificultar que os atores vejam as perspectivas uns dos outros e cheguem a acordos6.

3. Há um interesse crescente na segurança e governança da IA ​​na China.

O número de organizações fazendo trabalhos potencialmente promissores em segurança e governança da IA na China e com a China parece ter aumentado desde que publicamos nosso guia anterior sobre carreiras relacionadas à China em fevereiro de 2018. Por exemplo, a Beijing Academy of AI [Academia de IA de Pequim] (BAAI), que foi estabelecida no final daquele ano e é apoiada pelo Ministério Chinês de Ciência e Tecnologia, tem feito anúncios para pesquisadores com experiência em interpretabilidade e defesa e ataque adversários de processamento de linguagem natural. O Centro de Pesquisa de Teoria Básica, estabelecido em 2019 no Instituto de IA da Universidade Tsinghua, está explorando teorias e métodos de IA resilientes e explicáveis. Fornecemos mais exemplos de empresas que realizam trabalhos relevantes abaixo.

Conjuntos de princípios para o desenvolvimento de IA publicados pela BAAI e pelo Comitê Nacional de Especialistas em Governança de Inteligência Artificial de Nova Geração da China têm semelhanças consideráveis ​​com os Princípios de IA de Asilomar, que foram endossados ​​por milhares de especialistas em todo o mundo, incluindo os chefes dos principais laboratórios internacionais de IA. Em um artigo de 2021, os principais pesquisadores chineses — incluindo um membro do Comitê de Especialistas em Governança da IA estabelecido pelo Ministério de Ciência e Tecnologia da China — discutiram os riscos de segurança da inteligência artificial geral e possíveis contramedidas.

Outro ponto que indica atenção à segurança e governança da IA na China vem de uma pesquisa com 49 pesquisadores de IA chineses feita pelo Centro de Segurança e Tecnologia Emergente no início de 2020. Essa pesquisa descobriu que 71% dos entrevistados achavam que o nível geral de preocupação na China sobre segurança da IA era moderada e 6% achavam que a preocupação era significativa. Além disso, 96% dos entrevistados concordavam com a necessidade de convenções e defesas internacionais para garantir o desenvolvimento seguro de uma “próxima geração” de IAs7.

Em comparação com um cenário hipotético em que os atores chineses não estão preocupados com a segurança da IA, a pesquisa acima sugere que esse problema é um tanto tratável. Apesar disso, ainda estamos muito incertos sobre a tratabilidade geral de aumentar a coordenação para reduzir o risco da IA — como estamos incertos sobre a categoria mais ampla de trabalho para moldar positivamente o desenvolvimento da IA.

4. Você poderia ajudar a abrir caminho para o subcampo da coordenação China-Ocidente em segurança e governança da IA.

Apesar da tendência ascendente no trabalho em segurança e governança da IA em geral (inclusive na China), o trabalho nessas áreas ainda parece altamente negligenciado.

Com base no número de funcionários em organizações relevantes que identificamos no campo da segurança técnica da IA, é provável que haja apenas algumas centenas de pesquisadores técnicos de segurança da IA ​​em tempo integral em todo o mundo.

É provável que o grupo de pessoas que trabalham na governança da IA seja mais amplo, pois a área abrange profissionais de políticas e pesquisadores, mas nossa melhor conjectura é que o número de pessoas trabalhando em tempo integral no campo da governança da IA em todo o mundo ainda é inferior a 1.000. E chutaríamos que, entre esses, menos de 10% estão trabalhando ativamente para melhorar a coordenação China-Ocidente8. Isso chegaria a menos de 100 pessoas.

Todos esses números são aproximações e, como dito acima, o campo está evoluindo rapidamente. No entanto, parece justo concluir que, a partir de 2021, apenas cerca de 100 pessoas estão trabalhando para melhorar a coordenação China-Ocidente em segurança e governança da IA em tempo integral. Esse parece ser um número de pessoas muito pequeno, dada a magnitude do subproblema da coordenação China-Ocidente em IA. Portanto, tudo o mais igual, o impacto marginal de pessoas adicionais trabalhando neste problema deve ser alto (embora veja algumas ressalvas abaixo).

5. Adquirir e aproveitar expertise sobre a China é uma opção promissora em geral.

Como discutimos em nosso guia anterior sobre carreiras relacionadas à China, a China tem um papel crucial em quase todas as nossas áreas de problema prioritárias. Isso decorre em grande parte do fato de ela abrigar um quinto da população mundial, seu status de segunda maior economia do mundo e sua importância como potência nuclear e militar. Apesar disso, há um entendimento e coordenação relativamente fracos entre a China e o Ocidente.

Em termos de capital de carreira, existem muitos planos B se você seguir um caminho para melhorar a coordenação China-Ocidente em IA. Muitas pessoas reconhecem a importância de melhorar a coordenação China-Ocidente de forma mais ampla. No Ocidente, há muito interesse em assuntos chineses em geral, e a expertise sobre a China está crescendo em importância e demanda. Portanto, mesmo que seus planos para melhorar a coordenação em IA não funcionem, você ainda pode usar a aptidão que adquiriu nas relações China-Ocidente para ajudar a resolver outros problemas prementes.

Argumentos contra seguir este caminho

1. Está longe de ser garantido que você teria um grande impacto nesta carreira.

Como em planos de carreira na política de IA dos EUA, para ter um impacto descomunal neste caminho, você precisaria:

  • Estar no lugar certo na hora certa. Em outras palavras, estar em posição de influenciar decisões-chave sobre o design ou a governança de sistemas de IA quando as tecnologias de IA estiverem avançadas o suficiente para que essas decisões precisem ser tomadas.
  • Ter bom juízo crítico e expertise suficiente para influenciar essas decisões numa direção positiva. Pode ser difícil prever com antecedência o conhecimento que será necessário ou saber quais ações terão o melhor impacto no longo prazo. Descobrir essas coisas é grande parte do valor que você contribuiria — e não será fácil9.

Além disso:

  • O desenvolvimento e a integração social da IA ​​precisariam ter grandes desvantagens e/ou vantagens em potencial. Se os desenvolvimentos técnicos ou políticos futuros forem tais que o potencial para consequências negativas ou perda de valor advindas da IA ​​avançada não será tão significativo quanto parece ser atualmente, a segurança e a governança da IA ​​se tornariam uma área menos importante para na qual trabalhar.
  • Problemas de coordenação precisariam ser solucionáveis, mas não solucionados por padrão. Se não formos capazes de progredir nas questões de coordenação internacional em torno de sistemas avançados de IA (por exemplo, porque os benefícios de estar à frente em seu desenvolvimento são muito substanciais), melhorar a coordenação torna-se menos tratável. Por outro lado, trabalhar nesse problema tem menos impacto se for provável que o problema se resolva por meio de algum outro mecanismo.

Cumprir todas essas quatro condições em conjunto parece um tanto improvável, de modo que achamos que o resultado mediano para um indivíduo trabalhando na coordenação China-Ocidente em segurança e proteção de IA será o de ter pouco impacto.

No entanto, em cenários em que todos os quatro itens acima são satisfeitos, o seu impacto poderia ser realmente muito grande e, portanto, ainda recomendamos esta carreira por causa de seu grande impacto esperado e bons planos B.

2. Existe uma possibilidade de causar danos.

Na 80,000 Hours, encorajamos as pessoas a trabalhar em problemas que são negligenciados pelos outros e grandes em termos de escala. Infelizmente, isso geralmente também significa que as pessoas podem acidentalmente causar mais danos se as coisas não correrem bem.

Parece-nos que a coordenação China-Ocidente em segurança e governança da IA é uma assunto para o qual isso é um perigo.

Este artigo lista seis maneiras como pessoas que tentam fazer o bem podem, sem querer, causar um retrocesso na sua causa. Muitas delas se aplicam a este caminho de carreira.

Uma maneira particularmente fácil de ter um impacto negativo substancial é agir unilateralmente em contextos nos quais mesmo uma pessoa realizando uma determinada ação por engano poderia impor custos generalizados para o campo ou para o mundo como um todo. Portanto, se você seguir este caminho, parece sensato desenvolver e consultar uma boa rede de conexões e uma forte base de conhecimento e evitar ações unilaterais, mesmo quando você acha serem justificáveis.

Além disso, as pessoas que seguem este caminho podem causar danos ao apoiar o desenvolvimento e a implementação de tecnologias de IA de maneiras eticamente questionáveis ​​(mesmo que sem intenção). Isso leva ao próximo ponto.

3. Existem abusos potenciais de tecnologias habilitadas pela IA.

Dados os poderosos incentivos econômicos e nacionais em jogo, a natureza de uso duplo da tecnologia10 e a complexidade das cadeias de suprimento de IA, os seus esforços para aumentar a coordenação benéfica em IA podem causar danos indiretamente ou ser usados ​​por outros atores interessados ​​de um modo prejudicial. Por exemplo, se você contribuir para facilitar o caminho para certo meio-termo útil, que usos nocivos da IA ​​podem resultar?

Portanto, as pessoas trabalhando para desenvolver, adquirir ou regulamentar a IA em contextos internacionais altamente carregados provavelmente terão que lidar com juízos éticos desafiadores com muitas considerações relevantes. Por exemplo:

  • Qual é a proporção entre benefícios e danos esperados envolvidos em trabalhar num projeto ou organização em particular?
  • Você considerou o risco potencial à sua reputação, que pode afetar sua capacidade de causar impacto no futuro?
  • Qual é a chance de que algo igual ou pior teria acontecido se você não estivesse envolvido?

Será difícil ponderar sobre essas questões, e sempre existe a possibilidade de chegar a respostas erradas.

4. Há considerações e incertezas políticas internacionais complexas.

A evolução das relações China-EUA, e da política internacional de forma mais ampla, introduz restrições e incertezas em carreiras que visam melhorar a coordenação China-Ocidente na segurança e governança da IA.

Para aqueles considerando a pesquisa técnica de segurança:

  • Nos últimos anos, as autoridades dos EUA aumentaram o escrutínio dos antecedentes dos pesquisadores chineses. Isso pode afetar os cidadãos chineses que planejam estudar e trabalhar em IA nos EUA.
  • Segundo as regras do Reino Unido desde setembro de 2020, estudantes de determinados países (incluindo a China) precisam passar por verificação de segurança se desejarem fazer pós-graduação em IA e outros “assuntos sensíveis” que possam ser usados ​​em “Tecnologia Militar Convencional Avançada”.

Para aqueles considerando funções no setor público:

  • Estudar no exterior por mais de seis meses pode desqualificar as pessoas para a candidatura a determinados cargos no setor público chinês, como cargos policiais na segurança pública ou sistemas de administração judicial11.
  • Enquanto isso, Helen Toner, diretora de estratégia do Centro de Segurança e Tecnologia Emergente da Universidade de Georgetown, sugeriu que passar uma considerável quantidade de tempo na China ou manter contato próximo e contínuo com cidadãos chineses pode dificultar a obtenção de uma autorização de segurança nos EUA.
  • Por outro lado, o programa de financiamento Boren Awards, que investe em “conhecimento linguístico e cultural para aspirantes a funcionários do governo federal”, lista a China como um dos países nos quais ele prefere que os candidatos estudem.
  • Disseram-nos que ter um histórico com a China — e possivelmente apenas tê-la visitado — poderia excluir você de alguns empregos em governos ocidentais.

Portanto, não temos certeza sobre até que ponto um tempo na China prejudicaria as perspectivas de carreira de alguém em governos e centros de pesquisa nos EUA e em outros países ocidentais. Isso provavelmente dependerá dos detalhes do caso; por exemplo, indivíduos que trabalharam para meios de comunicação estrangeiros na China provavelmente enfrentarão menos desafios do que aqueles com experiência em organizações afiliadas ao governo chinês12.

Portanto, vale a pena considerar cuidadosamente as possíveis implicações para as suas opções de carreira de longo prazo antes de mudar de local ou organização. Idealmente, você deve falar com pessoas dentro das organizações nas quais você pode trabalhar para obter suas opiniões.

Para aqueles considerando funções em centros de pesquisa:
Em março de 2021, a China introduziu sanções contra certas figuras e instituições políticas e acadêmicas da Europa e do Reino Unido, proibindo-as de viajar ou fazer negócios com a China. Essas medidas foram uma resposta às sanções impostas a autoridades chinesas pela UE e pelo Reino Unido (e outros países ocidentais)13. A inclusão do Mercator Institute for China Studies (o principal centro de pesquisa da Europa sobre a China) entre os sancionados sugere que aqueles que buscam funções em centros de pesquisa focados na China no Ocidente podem enfrentar entraves como resultado do ambiente político.

A seção abaixo detalha outros desafios associados a tipos específicos de funções, juntamente com as oportunidades de impacto que elas oferecem.

Ideias para onde mirar no longo prazo

Nesta seção, apresentamos algumas opções a serem buscadas, que foram pesquisadas o suficiente para nos sentirmos à vontade para recomendá-las14. Como você deve priorizar entre elas depende principalmente de sua vantagem comparativa e adequação pessoal.

Como alguns caminhos são mais adequados para indivíduos de determinada cidadania, dividimos essas ideias em três subseções para ajudar você a encontrar as opções com maior probabilidade de estar disponíveis para você.

Caminhos que provavelmente são os mais adequados para pessoas de cidadania e/ou ascendência chinesa

Os dois primeiros caminhos nesta categoria estão relacionados a ajudar a construir o campo de segurança técnica da IA em laboratórios chineses industriais e acadêmicos. Ser produtivo e progredir rapidamente nesses ambientes provavelmente será difícil sem fortes habilidades na língua chinesa, e cientistas estrangeiros que trabalham na China disseram que assimilar a cultura local é uma dura tarefa. Admita-se, parece possível trabalhar nos escritórios americanos de laboratórios chineses sem habilidades na língua chinesa: por exemplo, muitos dos coautores de Deep Speech 2 no Silicon Valley AI Lab da Baidu não são chineses. Mas é provável que você tenha maior potencial para ajudar a construir o campo de segurança técnica da IA em laboratórios chineses se puder se comunicar efetivamente em chinês.

O terceiro caminho nesta categoria – pesquisar sobre governança da IA em centros de pesquisa chineses – provavelmente exigirá a cidadania chinesa, em particular para institutos afiliados ao governo.

Pesquisadores e engenheiros de segurança da IA nas principais empresas chinesas de IA

Este caminho envolveria fazer pesquisas sobre tópicos relacionados à segurança da IA, como alinhamento, resiliência ou interpretabilidade, nas principais empresas chinesas de IA. Isso pode ser valioso para incentivar o desenvolvimento e a implementação mais seguros de sistemas avançados de IA. A longo prazo, você poderia almejar progredir para uma posição sênior e promover um aumento no interesse e implementação de medidas de segurança da IA internamente. Você também teria o potencial de ajudar a promover a segurança da IA ​​entre outros pesquisadores chineses, se pudesse publicar pesquisas ou comunicar sobre isso em conferências.

Se sua vantagem comparativa e adequação pessoal são tais que você gostaria de seguir esta rota em vez de funções técnicas de segurança da IA em outro lugar, recomendamos primeiro tentar ganhar capital de carreira estudando nas melhores faculdades de pós-graduação e trabalhando nos principais laboratórios de segurança da IA, independentemente da localização.

Na China, as empresas que podem ter cargos relevantes incluem Baidu, Tencent, Huawei e RealAI (uma start-up apoiada pelo Reitor Honorário do Instituto de IA da Universidade Tsinghua). Todas as quatro já trabalharam em ataques adversários, por exemplo15.

Se você tiver fortes credenciais de pesquisa e habilidades de comunicação, considere a possibilidade de comunicar ideias de segurança entre os pesquisadores chineses de IA, organizando workshops e fazendo traduções.

Além das credenciais de pesquisa, as pessoas que seguem esse caminho precisam de paciência e fortes habilidades interpessoais para poderem progredir para posições influentes das quais possam promover a segurança da IA.

Pesquisadores e professores de segurança da IA nos principais laboratórios acadêmicos de IA da China

Estas funções também envolveriam pesquisas relacionadas à segurança da IA, mas nos principais laboratórios das universidades chinesas. Isso pode ser valioso tanto para progredir em problemas técnicos de segurança quanto para incentivar o interesse na segurança da IA ​​entre outros pesquisadores chinese, especialmente se você progredir para assumir responsabilidades de ensino ou supervisão.

As opções incluem:

Se você deseja seguir este caminho, recomendamos primeiro obter capital de carreira estudando nas melhores faculdades de pós-graduação e trabalhando nos melhores laboratórios de segurança da IA, independentemente da localização. Com o tempo, você pode tentar construir conexões chinesas colaborando com laboratórios chineses de IA e professores chineses simpáticos no estrangeiro. Como nos laboratórios industriais, você pode buscar oportunidades de construção de campo se você tiver boa adequação.

Dado o estágio relativamente inicial do campo da segurança da IA ​​na China, se você não estiver aberto a trabalhar fora da China, pode ser desafiador no curto prazo encontrar professores e/ou mentores adequados.

Pesquisadores de governança da IA em centros de pesquisa chineses

Este caminho envolve a análise de desenvolvimentos técnicos e respostas de políticas em outros países, a fim de produzir recomendações de políticas de segurança para o governo chinês ou mais pesquisas voltadas para o público. Esta é outra área em que um forte juízo ético pode ser especialmente importante.

Isso pode ter um impacto particularmente alto porque os centros de pesquisa na China são em sua maioria afiliados ao governo de alguma forma e, assim, têm uma rota mais direta para informar a política do governo do que muitos centros de pesquisa em países como os EUA e o Reino Unido.

Abaixo estão algumas opções para institutos que realizam trabalhos relacionados a IA (a partir de 2021), com os cinco primeiros provavelmente mais próximos da formulação de políticas:

Os candidatos com a melhor chance de conseguir empregos em tais centros de pesquisa teriam estudado nas melhores faculdades de pós-graduação em política de ciência e tecnologia.

Caminhos para os quais é menos provável que a cidadania seja uma consideração importante

É importante que cidadãos chineses e ocidentais estejam envolvidos no apoio à coordenação China-Ocidente em segurança e governança da IA. É provável que sua cidadania não o impeça de considerar os seguintes caminhos, desde que você tenha o direito legal de trabalhar no país do emprego pretendido e quaisquer habilidades linguísticas necessárias16.

Pesquisadores de governança da IA em grupos de pesquisa cruciais focados no longo prazo

Este caminho envolveria a realização de pesquisas com foco no longo prazo e relevância política potencialmente menos imediata do que em um centro de pesquisa paradigmático. Isso pode ser:

  • Pesquisa descritiva, como analisar as forças políticas e econômicas que podem influenciar a implementação de qualquer tecnologia avançada de IA na China.
  • Pesquisa prescritiva, como fazer recomendações para reduzir os riscos da dinâmica de corrida entre laboratórios chineses e não chineses.

Este caminho provavelmente permitirá mais ênfase em encontrar caminhos desinteressados ​​para a coordenação internacional em comparação com o trabalho em centros de pesquisa relacionados à segurança nacional, que podem enfrentar mais pressão para responder ao desejo dos formuladores de políticas de obter ou manter vantagem estratégica.

As organizações potenciais a serem visadas incluem:

Não temos certeza de quanta capacidade essas organizações têm para funcionários em tempo integral focados na China. Se você não puder ingressar nessas organizações em tempo integral, considere o voluntariado ou a contratação em projetos relacionados à China. Para agregar valor, você provavelmente precisaria ser capaz de propor e conduzir projetos com pouco direcionamento.

Pesquisadores de segurança da IA ​​e interdisciplinares focados em problemas de cooperação

Este caminho envolveria a realização de pesquisas sobre problemas de cooperação, tanto em IA quanto em outras disciplinas. Segundo “Problemas Abertos em IA Cooperativa”, um artigo de coautoria de pesquisadores da DeepMind e do professor Allan Dafoe:

As questões centrais incluem: como construir agentes artificiais com os recursos necessários para a cooperação e como os avanços no aprendizado de máquina podem ajudar a promover a cooperação em populações de agentes (de máquinas e/ou humanos), como por meio de design e mediação de mecanismos aprimorados. Esta pesquisa integra o trabalho em andamento sobre sistemas multiagentes, teoria dos jogos e escolha social, interação e alinhamento humano-máquina, processamento de linguagem natural e construção de ferramentas e plataformas sociais.

No entanto, a IA Cooperativa não é a união dessas áreas existentes, mas antes uma aposta independente sobre a produtividade de tipos específicos de conversas que envolvem essas e outras áreas. Vemos a oportunidade de focar mais explicitamente no problema da cooperação, construir teoria e vocabulário unificados e construir pontes com comunidades adjacentes trabalhando em cooperação, inclusive nas ciências naturais, sociais e comportamentais.

A IA cooperativa surge em parte da pesquisa multiagente, um campo cuja importância outros grupos e pesquisadores focados na segurança da IA ​​destacaram. Isso inclui pesquisadores do Center for Human-Compatible Artificial Intelligence da Universidade da Califórnia em Berkeley e do Mila da Universidade de Montreal, e do Centro de Risco de Longo Prazo.

Em Inteligência Artificial a nosso Favor: Como Manter o Controle sobre a Tecnologia, Stuart Russell sugeriu que:

Precisaremos generalizar o aprendizado por reforço inverso do cenário de agente único para o cenário multiagente: ou seja, precisaremos criar algoritmos de aprendizado que funcionem quando o humano e o robô fizerem parte do mesmo ambiente e interagirem entre si.

(Veja nossa entrevista com Stuart para mais).

Acreditamos que pesquisas desse tipo podem ajudar a informar propostas técnicas e de governança para melhorar a coordenação entre principais e agentes em diferentes países. Embora não tenhamos explorado pesquisas relacionadas na China em profundidade, os laboratórios que parecem estar realizando trabalhos relevantes incluem:

Tradutores e assessores de publicação focados em IA

Este tipo de função apoiaria a tradução de publicações relacionadas à IA para facilitar a troca de informações entre a China e o mundo anglófono. Construir um entendimento comum dos riscos e oportunidades associados à IA avançada parece ser um precursor importante para estabelecer quaisquer acordos ou mecanismos para mitigar riscos em conjunto.

Jeff Ding destacou que, embora os desenvolvimentos relacionados a IA cobertos em canais ocidentais tendam a ser rapidamente traduzidos para uma audiência chinesa, o inverso não é verdadeiro. Iniciativas valiosas que ajudam a reduzir esse desequilíbrio incluem:

Alternativamente, falantes nativos de mandarim podem considerar atuar como assessores de tradução para editoras e autores que buscam traduzir livros em inglês relacionados à segurança da IA ​​para o chinês. Exemplos de publicações que se beneficiaram do apoio de tais assessores incluem as versões chinesas de Life 3.0 e Human Compatible.

Para este caminho, pode ser difícil encontrar funções em tempo integral que permitam a especialização em segurança e governança da IA; você também pode querer explorar trabalhos relevantes que podem ser realizados na qualidade de contratado.

A experiência em tradução relacionada à tecnologia e/ou conexões relevantes seria valiosa para buscar essas opções.

Caminhos para os quais a relevância da cidadania não é clara

Embora os principais líderes dos laboratórios de IA chineses sejam predominantemente cidadãos chineses, estamos cientes de cidadãos não chineses situados em escritórios chineses que têm experiência em trabalhar com políticas públicas globais ou fornecer assessoria a executivos de empresas chinesas. Cidadãos não chineses que desejam obter influência em uma empresa chinesa provavelmente acharão isso mais fácil quanto maiores forem os negócios internacionais da empresa e mais forte for sua competência no mandarim.

Embora atualmente não estejamos cientes de restrições aos cidadãos chineses nos principais laboratórios de IA nos EUA ou no Reino Unido, é possível que isso mude no futuro (consulte a seção sobre política internacional acima).

Alguns trabalhos em centros de pesquisa nos EUA relacionados à segurança nacional exigem uma autorização de segurança. A cidadania americana é necessária para obter autorização de segurança, e laços significativos com a China às vezes podem impedir até mesmo cidadãos americanos de obter tal autorização. No entanto, esperamos que apenas uma pequena fração das funções nos centros de pesquisa mencionados abaixo exija autorizações. Não temos certeza se há requisitos de autorização de segurança para quaisquer cargos em centros de pesquisa do Reino Unido.

Assessores de políticas ou governança da IA nos principais laboratórios de IA da China

Uma função nesta categoria provavelmente envolveria avaliar e mitigar os riscos do desenvolvimento e implementação de IA de um laboratório. Pode envolver o trabalho com outras partes interessadas internas para projetar e implementar mecanismos de governança e prestação de contas para reduzir os riscos de sistemas de IA inseguros.

Também pode envolver trabalhar com pessoas fora do laboratório – por exemplo, discutir novas propostas regulatórias com o governo ou trabalhar com outras organizações na China ou no exterior para desenvolver normas e práticas recomendadas. Se você apoiar sua organização para assumir a liderança nos mecanismos de governança da IA, também poderá ter uma influência positiva em outros laboratórios chineses de IA.

O Tencent Research Institute é um exemplo de equipe que realiza trabalhos relacionados à governança da IA. Para laboratórios chineses que não possuem equipes de pesquisa de políticas ou ainda não trabalharam muito em questões de governança da IA, você pode tentar estimular mais discussões sobre esses tópicos a partir de uma posição em equipes relacionadas a relações governamentais, pesquisa industrial, juridicidade ou estratégia, ou no escritório do diretor executivo17.

Pode ser difícil conseguir que funcionários com interesses e objetivos diversos tomem medidas significativas para reduzir os riscos da IA. Isso pode ser especialmente verdadeiro se for esperado que tal ação tenha um impacto negativo nos lucros. Pode ser difícil identificar de fora quais equipes e funções terão genuinamente os recursos e o apoio da liderança para promover mudanças positivas. Às vezes, são necessários incidentes de grande visibilidade para que um laboratório leve a segurança e a proteção a sério; portanto, ter impacto com este caminho pode depender da construção paciente de suas conexões e recursos e de agir estrategicamente quando surgir o momento certo. Isso também significa que você precisa manter o foco na segurança, mesmo que seu trabalho diário e seus colegas estejam focados em outras coisas na maior parte do tempo, o que pode ser desafiador.

Assessores de políticas ou governança da IA nos principais laboratórios de IA nos EUA e no Reino Unido

As funções nesta categoria podem envolver tarefas de mitigação de riscos e envolvimento de partes interessadas semelhantes às definidas na seção acima, mas com mais foco na tentativa de criar entendimento e comunicação com os atores chineses. Embora possa ser raro que os principais laboratórios de IA dos EUA e do Reino Unido anunciem funções políticas e de governança da IA que se concentram na China, você pode criar oportunidades se tiver um histórico relacionado à China. Por exemplo, você pode iniciar colaborações de pesquisa e compartilhamento de conhecimento com laboratórios ou acadêmicos chineses na área da segurança da IA ou assessorar internamente sobre como iniciativas e comunicados podem ser percebidos pelas partes interessadas chinesas.

Alguns dos principais laboratórios que trabalham com IA avançada (como a OpenAI, a DeepMind, a Facebook AI Research e a Google Brain) estão atualmente situados nos EUA e no Reino Unido. O que eles fazem importa não apenas para os sistemas que estão construindo, mas também para moldar as percepções e comportamentos de outros laboratórios de IA ao redor do mundo (inclusive na China), onde são bem conhecidos e respeitados. Isso torna o trabalho com esses laboratórios ocidentais um grande ponto de influência. (Leia mais sobre se deve trabalhar em um dos principais laboratórios de IA).

Além das funções políticas nesses laboratórios, pode haver outras oportunidades para dialogar com a China em laboratórios ocidentais com uma função no desenvolvimento de IA. Você pode trabalhar em relações governamentais para a Microsoft ou a Google em Pequim, ou trabalhar em uma função em uma empresa ocidental que envolva diálogo internacional. Por exemplo, a Microsoft tem um escritório de representação nas Nações Unidas e várias empresas ocidentais estão representadas no Conselho de IA do Fórum Econômico Mundial.

No entanto, não sabemos quantas funções envolvem a oportunidade de trabalhar ou interagir com a China, pelo menos no curto prazo. Algumas empresas ocidentais podem ser cautelosas ao operar ou se envolver com a China, por medo de mídia negativa ou reação política.

Analistas de IA da China nos principais centros de pesquisa dos EUA e do Reino Unido

Este caminho provavelmente envolveria pesquisar desenvolvimentos de IA na China, fazer recomendações aos formuladores de políticas nos EUA e no Reino Unido e comunicar os resultados de pesquisas em relatórios escritos e resumos orais.

Isso poderia fornecer uma rota de impacto não apenas influenciando diretamente as decisões do governo, mas também moldando a conversa pública mais ampla sobre IA e a China, já que os pesquisadores de centros de pesquisa são frequentemente citados em reportagens da mídia. Além disso, os centros de pesquisa podem liderar ou participar de diálogos paralelos (não oficiais) com seus semelhantes de outros países, o que pode ajudar a construir confiança e comunicação e promover o entendimento mútuo.

Centros de pesquisa com direções de pesquisa relevantes incluem:

Especialistas do CSET, CNAS e GovAI temunharam diante da Comissão de Revisão Econômica e de Segurança EUA-China.

Habilidades na língua mandarim e formação acadêmica em relações internacionais, estudos da China e/ou estudos de segurança seriam úteis para seguir esse caminho.

Rotas alternativas que não investigamos

Na esfera política, pode ser impactante dar assessoria sobre a China e a política tecnológica nos governos dos EUA, do Reino Unido ou da UE. Embora tenhamos escrito um perfil de carreira sobre a política de IA dos EUA, não investigamos funções específicas com foco na China dentro dos governos dos EUA ou de outros países. Também não investigamos o caminho de trabalhar na política de ciência e tecnologia dentro do governo chinês, embora isso possa valer a pena explorar se você for cidadão chinês.

Assessorar partes de organizações internacionais focadas em IA, como o Painel de Alto Nível do Secretário-Geral da ONU sobre Cooperação Digital ou o Observatório de Políticas de IA da OCDE, também pode fornecer oportunidades de impacto.

Na indústria, pode valer a pena explorar oportunidades em empresas chinesas de semicondutores ou computação em nuvem. Isso se baseia em nossa visão de que desenvolver expertise em hardware de IA potencialmente tem alto impacto.

Também pode haver cargos relevantes no setor filantrópico. Por exemplo, a Schmidt Futures anunciou funções de pesquisa que abordam as relações de tecnologia com a China.

Por fim, pode ser valioso trabalhar para melhorar as relações entre grandes potências de forma mais ampla, por exemplo, por meio de grupos e fundações acadêmicas focadas nas relações China-EUA, jornalismo ou pesquisa em relações internacionais.

Não investigamos nenhum desses caminhos em detalhes.

Adequação pessoal

Em outros guias, definimos considerações de adequação pessoal para pesquisa técnica em segurança da IA, carreiras em políticas públicas de IA nos EUA e pesquisa em centros de pesquisa, muitas das quais se aplicam aos caminhos discutidos aqui.

Em vez de nos repetirmos, destacamos abaixo algumas habilidades e características que parecem particularmente relevantes para os caminhos de segurança e governança da IA relacionados à China.

Bilinguismo e/ou capacidades de comunicação transcultural

Pessoas com forte competência em mandarim e inglês terão maiores chances de sucesso nesta área. A proficiência em francês ou alemão também pode abrir oportunidades para apoiar a coordenação entre a China e a UE.

Além do bilinguismo, a capacidade de se comunicar e empatizar entre culturas é importante para qualquer função que envolva coordenação internacional. A experiência de morar no exterior e/ou trabalhar em equipes de pessoas com experiências altamente diversas pode ser útil com respeito a isso.

Pode ser particularmente desafiador manter a empatia transcultural se você estiver cercado por colegas com uma visão não empática das pessoas do outro país. Em tais situações, parece importante:

  • Ser capaz de resistir à influência por osmose de seu ambiente social
  • Trabalhar ativamente para cultivar e manter a empatia cognitiva

Fortes capacidades de formar conexões (especialmente para funções políticas)

Formar conexões é importante para o avanço na carreira em muitas culturas, e o sucesso na política e na estratégia, em particular, exige a capacidade de construir e fazer bom uso das conexões.

Temos alguns conselhos práticos sobre como construir e manter uma forte rede de relações com outras pessoas aqui e também aqui.

Bom juízo crítico e prudência

Um bom juízo crítico é importante para seguir todos os nossos caminhos de carreira recomendados, mas o incluímos aqui para realmente enfatizar sua importância.

Muitos dos caminhos descritos acima envolvem desafios como trabalhar com pessoas que podem ter suas próprias pautas distintas da segurança da IA, lidar com incentivos que podem apontar você para um menor foco na segurança e navegar em relações e situações delicadas em que há muito em jogo.

O risco de ameaças informacionais também demonstra a necessidade de bom juízo crítico e prudência. A abertura no desenvolvimento da IA ​​pode contribuir para aplicações prejudiciais da tecnologia e tornar a dinâmica das corridas mais competitiva. É importante reconhecer quando informações podem ser perigosas, julgar imparcialmente os riscos e benefícios de uma divulgação mais ampla e praticar cautela ao tomar decisões.

Tudo isso torna o bom juízo crítico – a capacidade de refletir bem sobre considerações complexas e tomar decisões ponderadas – particularmente crucial.

Lembre-se também de que bom juízo crítico geralmente significa saber quando encontrar outra pessoa com bom juízo crítico para ouvir e evitar tomar decisões unilateralmente. (Veja nosso artigo separado sobre juízo crítico para saber mais).

Saiba mais

Se você está pensando em seguir uma carreira trabalhando neste problema, mas gostaria de construir uma compreensão mais geral e capital de carreira primeiro, você pode considerar:

Fale com um assessor especialista

Se você estiver interessado em seguir a carreira descrita neste perfil, entre em contato com a equipe individualizada do 80.000 Horas e talvez possamos colocar você em contato com um assessor especialista.

ENTRE EM CONTATO

Recursos a mais

Melhores recomendações

Recomendações a mais

Notas e referências

1. De acordo com os números mais recentes (2019) do Banco Mundial.

2. Resumo de problema do CSET: Gastos públicos chineses em Pesquisa e Desenvolvimento em IA: descobertas provisórias.

3. Consulte AI Governance: Opportunity and Theory of Impact no EA Forum para uma discussão mais aprofundada sobre os riscos.

4. Por exemplo, um relatório da Comissão de Segurança Nacional dos EUA sobre IA publicado em março de 2021 afirma que “quem primeiro traduzir os desenvolvimentos da IA ​​em aplicações terá a vantagem” (p. 28). O Plano de Desenvolvimento de Inteligência Artificial de Nova Geração da China em 2017 disse que a China deve “aproveitar firmemente a iniciativa estratégica no novo estágio da competição internacional no desenvolvimento de IA”. No entanto, é possível que as empresas de IA não valorizem fortemente ser as primeiras a desenvolver um determinado sistema de IA; entrar em um mercado depois do líder pode ter vantagens, como pegar carona na Pesquisa e Desenvolvimento do líder ou se beneficiar de mais informações sobre o mercado relevante.

5. Veja, por exemplo, AI and International Stability: Risks and Confidence-Building Measures, de Michael Horowitz e Paul Scharre. No entanto, embora existam vantagens de ser o pioneiro em muitas indústrias (por exemplo, a farmacêutica), elas nem sempre levam a uma corrida para o fundo do poço em termos de segurança, devido a mecanismos como forças de mercado, regulamentações e responsabilidade legal.

6. Há um debate entre os estudiosos sobre a importância relativa das diferenças ideológicas nas tensões China-EUA. Veja “O emergente dilema de segurança ideológica entre a China e os EUA” de Dalei Jie na Universidade de Pequim, e a postagem “Os Estados Unidos e a China estão em uma competição ideológica?” do Centro de Estudos Estratégicos e Internacionais.

7. Veja a página 43 da China AI-Brain Research: Brain-Inspired AI, Connectomics, Brain-Computer Interfaces do Centro de Segurança e Tecnologia Emergente.

8. Isso se baseia no número de pessoas que trabalham na coordenação China-Ocidente em importantes organizações de governança da IA, como a GovAI e a Partnership on AI. Em outubro de 2021, nossa contagem sugere que três dos 60 funcionários (incluindo afiliados e bolsistas de pesquisa) dessas duas organizações estão trabalhando em tópicos relacionados à China.

9. Para ilustrar isso, parece plausível que uma pessoa inteligente e motivada teria tido dificuldade em fazer a Revolução Industrial ir melhor ou pior de uma perspectiva de longo prazo.

10. Uma tecnologia de uso duplo é aquela que pode ser aplicada simultaneamente nos domínios comercial e de defesa. O termo também pode ser usado de forma mais geral para descrever a tecnologia que é benéfica e prejudicial, dependendo de como é usada. (Consulte a página 39 da tese de doutorado de Jade Leung em 2019, Quem governará a inteligência artificial? Aprendendo com a história da política estratégica em tecnologias emergentes). Ambas as interpretações podem ser vistas como aplicáveis ​​à IA.

11. Veja, por exemplo, 2022年国家公务员考试热门问题答疑集锦（六) e 出国留学的人还能考公务员吗? (ambos em mandarim).

12. Um exemplo de alguém que alcançou uma posição influente no governo dos EUA depois de passar um tempo na China é Matthew Pottinger. Pottinger, que foi Vice-Conselheiro de Segurança Nacional de setembro de 2019 a janeiro de 2021, foi jornalista em Pequim no The Wall Street Journal e na Reuters de 1998 a 2005.

13. Para os comentários do Porta-Voz do Ministério das Relações Exteriores da China sobre as sanções, veja aqui. Críticas à escalada do Centro de Estudos Estratégicos e Internacionais podem ser encontradas aqui.

14. Algumas outras ideias que podem ser promissoras, mas que não tivemos a chance de investigar em detalhes, são abordadas na seção a seguir.

15. Veja exemplos da Baidu, Huawei e Tencent.

16. Cidadãos estrangeiros devem observar que geralmente precisam de dois anos de experiência de trabalho relevante para obter um visto de trabalho na China (embora esse requisito seja reduzido para um ano para graduados em mestrado de universidades chinesas e universidades estrangeiras conhecidas).

17. Por exemplo, a BAAI anunciou posições para pesquisadores da indústria cobrindo tendências técnicas em IA, incluindo desenvolvimentos nos principais laboratórios ocidentais. Na medida em que os laboratórios ocidentais estão produzindo pesquisa técnica de segurança de qualidade, os pesquisadores da indústria em laboratórios chineses podem ter a oportunidade de exibir tal pesquisa e incentivar sua aplicação em suas próprias organizações.

Traduzido a partir da atualização de fevereiro de 2022 e disponível aqui.

Tradução: Luan Marques