Blog

Informações sobre carreira em pesquisa de estratégia de IA

Resumo e Introdução

Uma maneira potencial de melhorar os impactos da IA ​​é ajudar vários atores a descobrir boas estratégias de IA, ou seja, bons planos de alto nível focados em IA. Para apoiar as pessoas interessadas nisso, compilamos algumas informações, conselhos e oportunidades de carreira relevantes nesta página.

Atualmente, existem poucas outras coisas escritas para o público que aconselham sobre essas carreiras; portanto, esses conselhos são baseados principalmente na interpretação de uma pessoa sobre conversas informais e fontes on-line dispersas de vários especialistas na área. Como resultado, estes conselhos provavelmente são falhos e incompletos. (Ainda assim, espero que ainda seja melhor do que a alternativa atual, que para muitas pessoas pode ser ainda mais limitada).

Aqui está a versão curta: se for bem-sucedida, a pesquisa de estratégia de IA pode abrir caminhos para que muito talento e financiamento sejam empregados de maneira útil para melhorar os impactos de longo prazo da IA. Esta pesquisa pode ser feita de várias maneiras, variando de abordagens altamente empíricas a abordagens altamente conceituais. Houve alguns grandes sucessos recentes no campo (mas não muitos), sugerindo que este trabalho é um pouco tratável. Para construir a expertise relevante, é ótimo aprender sobre muitos campos relevantes, conversar com profissionais da área e trabalhar com empresas ou governos relevantes. Para testar e demonstrar seu interesse e habilidade, uma boa ação-padrão é experimentar pesquisas relevantes e compartilhar o que você descobriu (mesmo que seja, digamos, um resumo de alguma pesquisa existente). Para obter mais recursos sobre conselhos relevantes, questões de pesquisa e oportunidades, veja os links neste documento.

Informações de carreira – o que é pesquisa de estratégia de IA?

De uma perspectiva ampla, não antecipar eventos futuros nem traçar um curso para eventos melhores pode nos deixar em apuros – enfrentando problemas evitáveis ​​e despreparados em crises. No contexto da IA, isso não é apenas uma preocupação teórica; financiadores e profissionais de políticas voltados para o longo prazo geralmente apontam para a falta de clareza estratégica – especificamente, a falta de clareza sobre quais “objetivos intermediários” é (altamente) valioso buscar – como um dos poucos obstáculos importantes (ou o obstáculo) em sua capacidade de melhorar os impactos de longo prazo da IA. Em outras palavras, uma maior clareza estratégica poderia liberar muito talento e financiamento, permitindo que eles sejam efetivamente empregados para ajudar a fazer a IA funcionar bem. Algumas pessoas trabalham nisso por meio das tarefas intimamente relacionadas a pesquisa de previsão e de estratégia. Isso significa tentar descobrir o que acontecerá com a IA e o que (em alto nível) empresas, ONGs, governos ou outros atores devem fazer a respeito.

O que é pesquisa de estratégia de IA?

Veja esta postagem (Clarke, 2022) para obter uma visão geral do que é a pesquisa de estratégia de IA e como ela se relaciona com outras atividades. Em suma, os pesquisadores de estratégia de IA estão na primeira parte de um processo que começa com confusão e (idealmente) termina com boas decisões. Para simplificar, os pesquisadores de estratégias e táticas de IA descobrem metas de alto nível, os pesquisadores de desenvolvimento de políticas traduzem essas metas de alto nível em propostas políticas detalhadas, os defensores convencem os tomadores de decisão a transformar essas propostas em políticas reais e, em seguida, as pessoas implementam a política. (Na prática, conforme mencionado no post de Clarke, o processo quase sempre não é tão direto, p. ex., porque a informação flui “para trás” ao longo dessa cadeia).

Como as pessoas fazem pesquisas de estratégia de IA?

Existem várias abordagens diferentes, ou tipos de questões de pesquisa, que os pesquisadores trazem para a estratégia de IA. Elas variam muito em estilo/”sensação” e metodologia, desde trabalhos empíricos e detalhados até trabalhos filosóficos e conceituais. Aqui estão algumas abordagens principais, ordenadas grosseiramente de mais empíricas a mais conceituais1.

  • Monitoramento – Perguntar: “O que está acontecendo atualmente (em áreas relevantes para a IA)?” Exemplos dessa pesquisa incluem análises do que está acontecendo na cadeia de suprimentos de semicondutores, estratégia de IA da China e criptografia. (Esse trabalho pode ajudar a informar previsões sobre quais eventos relacionados à IA são viáveis ​​e quais são prováveis).
  • Exame da história – Perguntar: “O que podemos aprender com os análogos históricos da IA ​​(enquanto área de governança ou enquanto campo de pesquisa técnica)?”2 Exemplos desta pesquisa incluem estudos de caso históricos de tecnologias estratégicas de uso geral, governança de armas nucleares e crescimento inicial de campo.
  • Exame da viabilidade – Perguntar: “Uma determinada proposta estratégica é viável (técnica, política, legal, economicamente, etc.)?”3 Exemplos disso incluem o trabalho sobre se a autorregulamentação do setor da IA pode ser compatível com a lei antitruste e o trabalho sobre a viabilidade técnica de verificar a conformidade com os tratados de IA.
  • Previsão técnica – Perguntar: “Como serão os futuros avanços técnicos em capacidades de IA, suas aplicações ou tecnologias relacionadas?” Exemplos disso incluem o trabalho na previsão de linhas do tempo de IA e nas “velocidades de decolagem” da IA.
  • Exame de cenários de estágio avançado – Perguntar: “Se certos cenários ocorrerem pouco antes de grandes avanços na IA, como as coisas irão a partir daí ou o que os atores relevantes devem fazer então?” Exemplos incluem estes dois artigos. (Esse trabalho pode ajudar os tomadores de decisão a definir metas ou planos de estágio final).
  • Estratégia de desenvolvimento – Perguntar: “Qual plano de alto nível um determinado ator (ou conjunto de atores) deve ter?” Todos os outros itens desta lista alimentam a resposta a esta questão e, em seguida, o desenvolvimento da estratégia envolve sintetizar outros insights para realmente responder à questão geral de quais estratégias os atores devem ter. Exemplos desse trabalho incluem estes dois artigos (coincidindo um pouco com a categoria anterior).
  • Avaliação de riscos – Perguntar: “Qual é a probabilidade de várias catástrofes relacionadas à IA?” Exemplos deste trabalho incluem múltiplas análises de riscos de IA desalinhada. (Este trabalho pode ajudar a esclarecer quais problemas devem ser priorizados e o que é necessário para resolvê-los).
  • Macroestratégia – Perguntar: “Quais são algumas tendências e considerações importantes e gerais que podemos estar perdendo de vista?” Exemplos disso provavelmente incluem muito do trabalho de Nick Bostrom, como seu trabalho sobre a hipótese do mundo vulnerável, “armadilhas malthusianas” e mentes digitais.
  • (Provavelmente há outras abordagens que estamos perdendo de vista).

A pesquisa de estratégia de IA de longo prazo é tratável o suficiente?

Será que descobrir essas coisas não é muito difícil? 

Por um lado, houve pelo menos vários sucessos recentes e significativos na pesquisa de estratégia de IA (consulte a nota de rodapé para obter exemplos4), embora não haja muitas pessoas trabalhando nisso. Além disso, um especialista estima que haja muito poucas pessoas – “menos de 20 pessoas empregadas por todas as organizações multipessoais combinadas” – trabalhando em tempo integral em questões gerais de estratégia de IA. Isso sugere que a pesquisa de estratégia de IA é um pouco tratável, em parte porque muitos alvos fáceis podem ainda não ter sido acertados. E essa tratabilidade, dada a utilidade de certa clareza estratégica, pode ser suficiente para fazer esta pesquisa valer a pena. 

Por outro lado, vários sucessos nos últimos anos não é muito. Um especialista adverte que a pesquisa de estratégia de IA “é muito difícil de fazer de uma maneira que provavelmente seja correta, convincente para os outros e completa o suficiente para orientar ações” e que as pessoas podem ser mais capazes de ajudar a melhorar a trajetória da IA através de outros tipos de trabalho.

Conselho de carreira

O que aprender e como – Campos e cursos

Com base nos recursos vinculados abaixo e nas diversas formações acadêmicas dos pesquisadores de estratégia de IA, não há experiência de curso “obrigatória” para fazer pesquisa de estratégia de IA. Ainda assim, existem vários campos sobre os quais parece útil aprender (através de aulas ou outros meios):

  • O conhecimento generalista e interdisciplinar junto com o conhecimento especializado é frequentemente valorizado.
    • Campos relevantes incluem:
      • Ciência política, relações internacionais, estudos de segurança, história e política;
      • Economia e estatística;
      • Direito; e
      • Ciência da computação (especialmente aprendizado de máquina5, e talvez também: engenharia de hardware, computação distribuída, segurança e criptografia).
  • A familiaridade com o alinhamento da IA ​​e a governança da IA ​​costuma ser útil (embora atualmente não seja comumente oferecida nas universidades).

Além disso, habilidades de escrita e habilidades de pensamento analítico são com frequência altamente valorizadas na pesquisa de estratégia de IA6. Aulas intensivas em termos de escrita e extracurriculares parecem úteis para as primeiras; talvez a filosofia e a matemática (baseada em provas) sejam úteis para as últimas.

Discussão

Muito pensamento na estratégia de IA ainda não foi publicado ou pode ser difícil de entender de forma independente. Por isso, para obter muito mais contexto, pode ser muito útil – como recomenda Muehlhauser – “discutir os problemas em profundidade com ‘veteranos’ do assunto”.

Empregos educacionais

Alguns profissionais relevantes destacam certos trabalhos por seu valor para o desenvolvimento de expertise em estratégia de IA.

  • Muehlhauser sugere que, na maioria dos casos, as pessoas que desejam tentar o trabalho de estratégia de IA “ganham experiência trabalhando em partes relevantes de governos-chave e/ou em um laboratório de IA de ponta (idealmente, ambos) para adquirir uma imagem detalhada das oportunidades e restrições com que esses atores operam”.
    • [Se funções situadas em Washington lhe interessarem, um documento complementar compila recursos de carreira sobre a política de IA dos EUA.]
    • [Se funções em laboratórios de IA lhe interessam, um caminho comum parece ser primeiro a construção de experiência demonstrável por meio do trabalho no início da carreira em ONGs de pesquisa relevantes ou em diretrizes políticas.]
  • Muehlhauser e Karnofsky sugerem que, se você puder, ir diretamente para uma função de pesquisa com um supervisor/organização que trabalhe no tipo de questão em que você está interessado também pode ser um ponto de partida promissor.
    • Muehlhauser: “você pode tentar ajudar a responder a uma ou mais perguntas de escopo restrito que uma pessoa motivada pelo risco x de IA que está mais perto de ter essas vantagens identificou como especialmente informativa para a ação (mesmo que você não tenha o contexto completo sobre o porquê).”
  • Escrevendo sobre pesquisas empíricas e conceituais de longo prazo, Karnofsky recomenda, como uma opção adicional: “Acho que outros empregos também são promissores para o desenvolvimento de ferramentas, hábitos e métodos essenciais: [… ] Empregos que incluem a tomada de decisões de julgamento intelectual difícil, e apostas, preferencialmente em tópicos que sejam “macro” e/ou tão relacionados quanto possível com as questões que lhe interessam. Existem alguns trabalhos como este em finanças “do lado da compra” (tentar prever mercados) e em política (ex. BlueLabs).”

Que formações obter

Não existe uma formação “obrigatória” para fazer pesquisa de estratégia de IA; as formações de graduação e pós-graduação dos pesquisadores na área são bastante variadas (embora tipicamente nas áreas acima mencionadas). Ainda assim, algumas considerações relacionadas podem ser úteis:

  • Quase todos na área (exceto alguns estagiários) têm pelo menos um diploma de bacharel.
  • Poderiam pensar que é necessário um doutorado para fazer pesquisa de estratégia de IA. Não é verdade; não é necessário um doutorado e não parece extremamente útil para trabalhar no campo, em parte porque a maior parte desta pesquisa está acontecendo em organizações fora da academia. Com base em experiência própria, menos da metade dos pesquisadores de estratégia de IA parecem ter um doutorado.
    • Ainda assim, os empregadores relevantes tendem a valorizar muito os históricos de pesquisa, e os programas de doutorado são uma maneira de construir esse histórico (assim como os estágios de pesquisa).
  • Na medida em que você pretende fazer pesquisa de estratégia de IA como parte do trabalho de política dos EUA, ou adicionalmente a ele, então o conselho-padrão para o trabalho de política dos EUA e as escolhas de pós-graduação relacionadas se aplicam (p. ex., provavelmente faz sentido fazer algum tipo pós-graduação relevante para a política).
  • Na medida em que você pretende fazer pesquisa de estratégia de IA como parte do trabalho em empresas de IA, ou adicionalmente a ele, os diplomas de pós-graduação tendem a não importar muito (talvez um pouco mais na DeepMind).

Como testar e demonstrar sua adequação

Embora algumas das seções anteriores tenham focado em como você pode desenvolver sua capacidade de pesquisa de estratégia de IA, esta seção é focada em maneiras de testá-la e demonstrá-la. (Na prática, isso provavelmente também será útil para desenvolver a habilidade). As principais maneiras como as pessoas testam e demonstram sua adequação à pesquisa de estratégia de IA são:

  • Estágios e bolsas com foco em estratégia/governança de IA
  • Pesquisa (semi7-)independente sobre estratégia de IA ou outras questões de pesquisa
    • Fazer e compartilhar pesquisas permite que você demonstre seu interesse, habilidades de redação, habilidades analíticas, conhecimento (incluindo experiência interacional) e capacidade de sintetizar informações.
    • Muitas pessoas acham que ambientes de apoio e orientação são realmente úteis; portanto, para a maioria das pessoas, provavelmente é melhor fazer um dos estágios ou bolsas de estudos acima do que gastar a mesma quantidade de tempo fazendo trabalho independente. Ainda assim, o trabalho independente pode ser uma alternativa útil e pode ser uma ótima maneira de demonstrar que você seria uma boa opção para um estágio ou bolsa de estudos8.
    • A seção “’Pesquisa conceitual e empírica sobre as aptidões dos principais tópicos de longo prazo’” desta postagem (Karnofsky, 2021) fornece conselhos um tanto detalhados sobre como você pode experimentar e avaliar como se saiu.
    • Conforme mencionado na postagem acima, este trabalho pode ser feito “no tempo livre e/ou em bolsas de estudo feitas para isso (como subsídios do EA Long-Term Future Fund, o Research Scholars Program [atualmente não aceitando candidatos] e o apoio da Open Philanhropy para indivíduos que trabalham em tópicos relevantes).”
    • Relacionado a isso, outro pesquisador de estratégia de IA sugere: a maneira mais fácil de começar aqui é com tarefas como resumir o trabalho existente ou fazer uma revisão da literatura. E então, a partir daí, observar as questões naturais que surgirem.

Como fazer bem a pesquisa de estratégia de IA

Na realidade, isso não parece ter sido descoberto ainda, mas aqui estão os recursos relevantes (todas ótimas leituras, na opinião do autor):

Onde as pessoas são contratadas para fazer pesquisa de estratégia de IA10

Para contextualizar, uma observação rápida sobre a terminologia: as oportunidades de estratégia de IA costumam ser rotuladas como “governança da IA”, inclusive quando não estão focadas em governos.

Empresas de IA: pelo menos duas grandes empresas de IA têm equipes de pesquisadores explicitamente focadas em estratégia e governança da IA orientadas para o futuro:

Think tanks de Washington:

Fundações filantrópicas: 

  • A Open Philanthropy (especificamente sua equipe de investigações de visão de mundo) publicou vários relatórios sobre previsão técnica de IA. Sua pesquisa informa suas próprias decisões de concessão de subsídios em segurança e governança da IA.

Outras organizações de pesquisa sem fins lucrativos (incluindo acadêmicas):

(Consulte este documento para obter mais informações sobre as organizações acima, bem como outras organizações relevantes).

Notas

1. Admita-se, a ordem dos números de quatro a seis é bastante contestável.

2. É provavelmente mais limpo em termos conceituais pensar em estudos de casos históricos como uma subabordagem para múltiplas (todas?) outras abordagens nesta lista, mas a abordagem parece proeminente o suficiente para ser enfatizada.

3. Este trabalho pode se basear fortemente em outras abordagens nesta lista, por exemplo, monitoramento e previsão técnica. Pode parecer mais com pesquisa em nível de tática (por exemplo, examinar várias maneiras possíveis de implementar uma estratégia, para ver se alguma é viável), que pode ser considerada distinta da pesquisa de estratégia. Ainda assim, eu o incluo como um tipo de pesquisa estratégica por causa de sua importância para a pesquisa estratégica, bem como pelo fato de que parece ser frequentemente feito por pesquisadores que geralmente são pesquisadores de estratégia de IA.

4. Meu palpite é que os sucessos significativos pós-2015 na pesquisa de estratégia de IA incluem:

  • O trabalho da CSET em cadeias de suprimentos de semicondutores, que sem dúvida estabeleceu “pontos de estrangulamento” de hardware de IA como um fator de influência promissor (potencialmente até crucial) para mitigar os riscos de segurança e uso indevido da IA.
  • A pesquisa da Open Philanthropy sobre linhas do tempo de IA (resumida aqui), que sem dúvida esclareceu que a IA transformadora provavelmente chegará neste século (o que significa que tentar impactar a trajetória da IA ​​transformadora não é loucura total).
  • O desenvolvimento de propostas de governança de alto nível cada vez mais concretas e completas para mitigar os riscos da IA, como esta análise.

(Um sucesso menor) Pesquisa sobre “velocidades de decolagem” da IA ​​(resumida aqui), que sem dúvida fez muitas pessoas no campo levarem a sério uma classe plausível de cenários que antes eram excessivamente rápidas em descartar: a possibilidade de grandes avanços da IA ​​acontecerem gradualmente.

5. Geralmente é útil, mas não necessário, estar familiarizado com o aprendizado de máquina para essas funções. Dicas sobre como obter essa familiaridade básica:

  • Esta série de vídeos do YouTube do canal 3Blue1Brown oferece uma introdução bem animada ao aprendizado de máquina. 
  • Para passar dessa introdução à posse de uma familiaridade básica com aprendizado de máquina, uma abordagem promissora pode ser fazer cursos em vários pré-requisitos (cursos introdutórios em estatística, álgebra linear e programação em Python, bem como cálculo multivariável) e, em seguida, fazer um curso introdutório de aprendizado de máquina ou aprendizado profundo (não tanto “IA”, já que as aulas rotuladas como “IA” costumam estar relativamente desatualizadas).

6. Isso é frequentemente enfatizado por anúncios de emprego e empregadores relevantes, e faz sentido que essas habilidades sejam altamente valorizadas para trabalhos que consistem principalmente em fazer e escrever pesquisas.

7. Por “pesquisa semi-independente”, quero dizer algo como “fazer pesquisas principalmente por conta própria, ao mesmo tempo que envia e-mails a alguns pesquisadores relevantes para obter sugestões e feedback”. Eu especulo que as pessoas geralmente serão receptivas a dar feedback, especialmente se (a) você perguntar a pesquisadores relativamente juniores que estão fazendo um trabalho relevante, (b) você deixar claro como eles podem ajudá-lo, com uma pergunta específica (p. ex., “Há algo que você achou útil ler sobre o tópico X?”, ou “Você poderia dar feedback sobre o plano de pesquisa Y?”, menos “Algum conselho?”) e (c) você der às pessoas maneiras de ajudá-lo rapidamente (p. ex., “Você poderia compartilhar algumas ideias rápidas sobre este resumo de 1 página?”, não tanto começando com “Quer revisar meu ensaio de 50 páginas?”).

8. Afinal, esses programas têm a reputação de ter candidaturas bastante competitivas, e pode ser difícil para um revisor de candidaturas ter certeza de que você é especialmente adequado se não tiver feito nenhum trabalho relevante. (Ainda assim, com base em experiência pessoal, os candidatos mais bem-sucedidos e malsucedidos não parecem ter feito um trabalho relevante de forma independente).

9. Embora esta discussão se concentre no trabalho técnico no alinhamento da IA, um de seus pontos principais pode ser generalizado para a pesquisa de estratégia e governança da IA: a pesquisa pode ser mais impactante ao priorizar problemas que as pessoas provavelmente não resolverão quando surgirem no futuro (p. ex., porque exigem um trabalho mais avançado). Nesse sentido, “nossas escolhas sobre projetos de pesquisa estão intimamente relacionadas às nossas previsões sociológicas sobre quais coisas serão óbvias [e fáceis de pôr em prática] para quem e quando”.

10. Em particular, pesquisa de estratégia de IA que é altamente relevante para riscos de IA de especialmente grande escala.

Traduzido a partir da atualização de 31 de agosto de 2022 e disponível aqui.

Autor: BlueDot Impact

Tradução: Luan Marques

Deixe um comentário