Resenha de carreira de pesquisador em segurança da Inteligência Artificial (IA)

Leia o original em inglês aqui.

O progresso na IA – embora possa vir a ser extremamente benéfico – vem com riscos significativos. Os riscos que debatemos podem ser existenciais. Mas esses riscos podem ser combatidos. Com mais progresso na segurança da IA, temos a oportunidade de desenvolver uma IA para o bem comum: sistemas que sejam seguros, éticos e benéficos para todos. Este artigo explica como você pode ajudar.

Resumo: para mitigar riscos colocados pelo desenvolvimento de inteligências artificiais, é imperativo pesquisar como resolver desafios técnicos e problemas de design para garantir que sistemas de IA potentes façam o que queremos — e sejam benéficos — sem quaisquer consequências catastróficas não pretendidas.

Recomendado

Se você tiver vocação para esta carreira, ela pode ser o melhor modo de ter um impacto social.

Status da resenha: Baseada numa investigação de profundidade média

 Por que trabalhar na pesquisa em segurança da IA poderia ser de alto impacto?

Como já apresentamos em outro texto, nas próximas décadas, poderemos ver o desenvolvimento de potentes algoritmos de aprendizado de máquina com o potencial de transformar a sociedade. Isso poderia ter grandes vantagens e desvantagens, incluindo a possibilidade de riscos catastróficos.

Além do trabalho em políticas e estratégias, discutido nesta resenha de carreiras, outra maneira crucial de limitar esses riscos é desenvolvendo pesquisas sobre os desafios técnicos colocados pelos sistemas potentes de IA, tal como o problema do alinhamento. Em suma, como podemos projetar sistemas potentes de IA de modo que façam o que queremos e não tenham consequências não intencionais?

Essa área de pesquisa começou a decolar e existem agora grandes centros acadêmicos e laboratórios de IA onde podemos trabalhar nessas questões, como o Mila em Montreal, o Future of Humanity Institute em Oxford, o Center for Human-Compatible Artificial Intelligence em Berkeley, a DeepMind em Londres e a OpenAI em São Francisco. Aconselhamos mais de 100 pessoas sobre este caminho, com várias já trabalhando nas instituições acima. O Machine Intelligence Research Institute em Berkeley tem trabalhado nesta área desde 2005 e apresenta uma perspectiva e pauta de pesquisa não convencional, relativamente aos outros laboratórios.

Há bastante financiamento disponível para pesquisadores talentosos — incluindo bolsas acadêmicas e donativos filantrópicos de grandes financiadores como a Open Philanthropy. Também é possível conseguir financiamento para o seu doutorado. A principal necessidade neste campo diz respeito a mais pessoas, capazes de utilizar esse financiamento para efetuar pesquisas.

O que este caminho envolve?

Neste caminho, a meta é conseguir uma posição em um dos centros de IA mais renomados — seja na indústria, no terceiro setor ou na academia — e daí tentar trabalhar nas questões mais prementes.

De modo amplo, posições técnicas em segurança da IA podem ser divididas em (i) pesquisa e (ii) engenharia:

  • Os pesquisadores dirigem o programa de pesquisa de segurança, tomando decisões de alto nível sobre quais abordagens são as mais promissoras e como buscá-las.
  • Os engenheiros principalmente criam os sistemas e fazem a análise necessária para executar a pesquisa.

Em alguns lugares, os engenheiros têm menos influência sobre os objetivos de pesquisa de alto nível do que em outros. O papel de liderança que eles desempenham depende da direção de pesquisa da organização. (Leia mais sobre as atribuições em engenharia de software que se destinam a ajudar a reduzir os riscos da IA).

Também pode ser útil termos pessoas que entendem os desafios da segurança da IA trabalhando em equipes de pesquisa de IA que não estejam focadas diretamente na segurança da IA. Trabalhar nessas equipes pode colocar você em uma posição que ajude a promover uma maior preocupação com a segurança em geral, especialmente se acabar numa posição de gestão, com influência sobre as prioridades da organização.

Também ficaríamos animados de ver mais pessoas construindo expertise para fazer trabalho de segurança da IA na China ou relativa à China — leia mais em nossa resenha de carreiras sobre caminhos de segurança e governança de IA relativos à China, sendo que alguns destes caminhos tomam a forma de pesquisas técnicas.

Exemplos de pessoas buscando este caminho

Catherine Olsson: Catherine iniciou seu doutorado na Universidade de Nova Iorque, trabalhando em modelos computacionais de visão humana. Acabou decidindo trabalhar diretamente na segurança da IA e conseguiu um emprego na OpenAI, depois na Google Brain, antes de então se mudar para a Anthropic. Daniel Ziegler: Após largar seu doutorado em aprendizado de máquina em Stanford, Daniel — que sempre gostou de construir coisas e sempre desejou ajudar a determinar o desenvolvimento da IA — decidiu candidatar-se para a OpenAI. Passou seis semanas preparando-se para a entrevista e conseguiu o trabalho. Seu doutorado, em contraste, poderia ter levado seis anos. Daniel acha que esse caminho altamente acelerado pode ser possível para muitos outros. OUÇA O PODCAST COM ELES (EM INGLÊS) OU LEIA A TRANSCRIÇÃO
Chris Olah: Chris teve um caminho fascinante e não convencional. Não só não tem doutorado como não tem diploma de graduação. Após largar a universidade para ajudar a defender um conhecido que encarava acusações criminosas injustas, Chris começou a trabalhar de modo independente na pesquisa sobre aprendizado de máquina e, por fim, conseguiu um estágio na Google Brain. OUÇA O PODCAST COM ELE (EM INGLÊS) OU LEIA A TRANSCRIÇÃO
Ethan Perez estava estudando ciência da computação quando se deparou com o site 80.000 horas, o que o convenceu de que o risco da inteligência artificial avançada era um problema altamente urgente. Depois de falar com um consultor do 80.000 horas, ele decidiu trabalhar em tempo integral em segurança da IA, em vez de seguir carreira em tecnologia de carros autônomos. Ele então escolheu por tema de sua tese de doutorado como consertar o comportamento indesejável em modelos de linguagem e então assumiu o cargo de cientista pesquisador, trabalhando em segurança da IA na Anthropic.
SAIBA MAIS

Como avaliar sua aptidão para a área

As pesquisas técnicas mais impactantes em segurança da IA serão feitas provavelmente por pessoas nos melhores empregos listados anteriormente. Assim, para decidir se este caminho se adequa bem a você, é importante considerar se você tem uma chance razoável de conseguir um desses empregos.

  • Você tem chance de entrar numa das cinco melhores faculdades de graduação em aprendizado de máquina? Isso pode ser um bom teste para ver se você poderia conseguir um emprego num centro renomado de pesquisa em IA, embora não seja uma exigência.
  • Está convencido da importância da segurança da IA no longo prazo?
  • É um engenheiro de software ou de aprendizado de máquina que tenha trabalhado na FAANG ou outras empresas competitivas? Você pode ser capaz de treinar para entrar numa posição dessas ou então obter uma posição como engenheiro.
  • Você tem chances de fazer uma contribuição para uma questão de pesquisa relevante? Por exemplo, está altamente interessado no tópico, tem ideias para questões a serem investigadas e não consegue resistir à vontade de investigá-las? Leia mais sobre como saber se você se adequa bem ao trabalho com pesquisa.

Como entrar neste campo

O primeiro passo neste caminho geralmente é buscar um doutorado em aprendizado de máquina numa boa faculdade. É possível entrar neste campo sem um doutorado, mas é provável que seja necessário em papéis como pesquisador em centros acadêmicos e na DeepMind, que compõem uma grande porção das melhores posições. Um doutorado em aprendizado de máquina também abre opções em políticas de IA, IA aplicada e ganhar para doar, de modo que este caminho tem opções-backup se posteriormente você decidir que segurança técnica de IA não é para você.

No entanto, se você quiser seguir a engenharia ao invés da pesquisa, o doutorado não é necessário. No lugar, você pode fazer um mestrado ou então obter experiência trabalhando nessa indústria. (veja mais sobre esse caminho em nossa revisão completa de engenharia de software).

Também é possível entrar neste caminho a partir da neurociência (especialmente neurociência computacional); portanto, se você já tem formação nessa área, talvez não precise voltar a estudar.

Se você já tem muita familiaridade com a segurança da IA como área de problema, nossa recomendação principal é dar uma olhada neste guia passo a passo para seguir uma carreira na segurança técnica de IA, escrito por Charlie Rogers-Smith.

Recentemente, abriram-se também oportunidades para cientistas sociais contribuírem na segurança da IA.

Você pode encontrar muito mais detalhes na seção “Saiba mais” abaixo.

Organizações recomendadas

  • O AI Safety Support trabalha para reduzir o risco existencial e catastrófico da IA apoiando todos que querem trabalhar nesse problema, com foco em ajudar novos pesquisadores e aspirantes a pesquisadores em segurança da IA por meio de aconselhamentos de carreira e construção de comunidade.
  • O Alignment Research Center é uma organização sem fins lucrativos para alinhar sistemas futuros de aprendizado de máquina aos interesses humanos. Seu trabalho atual foca no desenvolvimento de uma estratégia de alinhamento de “ponta a ponta”, ou seja, que poderia ser adotada na indústria atual enquanto simultaneamente ela é amplificada para futuros sistemas de aprendizado de máquina. Veja as vagas atuais.
  • A Anthropic é uma empresa de segurança da IA que está trabalhando para construir sistemas de IA confiáveis, interpretáveis e administráveis. Os interesses de pesquisa da sua equipe multidisciplinar incluem linguagem natural, feedback humano, leis de amplificação e interpretabilidade. Veja as vagas atuais.
  • O Center for Human-Compatible Artificial Intelligence visa desenvolver os meios conceituais e técnicos para reorientar o sentido geral da pesquisa em IA em direção a sistemas comprovadamente benéficos. Veja as vagas atuais.
  • O Center on Long-term Risk trata dos piores riscos possíveis advindos do desenvolvimento e da implementação de sistemas de IA avançados. Está atualmente focado em cenários de conflito, assim como aspectos técnicos e filosóficos da cooperação. Seu trabalho inclui fazer pesquisas interdisciplinares, prover e recomendar financiamento e construir uma comunidade de profissionais e outros pesquisadores em torno dessas prioridades. Veja as vagas atuais.
  • A DeepMind deve ser o maior grupo de pesquisa desenvolvendo inteligências artificiais no mundo ocidental. Temos confiança quanto a recomendar que você trabalhe apenas em funções que lidem especificamente com proteção, ética, políticas e questões de segurança. Veja as vagas atuais.
  • O Future of Humanity Institute é um instituto de pesquisa multidisciplinar da Universidade de Oxford. Acadêmicos do FHI aplicam ferramentas da matemática, filosofia e ciências sociais em grandes questões sobre a humanidade e seus prospectos.
  • O Machine Intelligence Research Institute foi um dos primeiros grupos a se preocuparem com os riscos da Inteligência Artificial no início dos anos 2000 e já publicou diversos artigos sobre problemas de segurança da IA e como resolvê-los. Veja as vagas atuais.
  • A OpenAI foi fundada em 2015 com a meta de fazer pesquisas sobre como tornar a IA segura. Recebeu mais de US$ 1 bilhão em compromissos de financiamento da comunidade da tecnologia. Só estamos confiantes em recomendar oportunidades de trabalho em suas equipes de políticas, proteção e segurança. Veja as vagas atuais.
  • A Redwood Research faz pesquisas aplicadas para ajudar a alinhar sistemas futuros de IA aos interesses humanos. Veja as vagas atuais.

Deseja conselho pessoal sobre seguir este caminho?

Visto que este é um dos nossos caminhos prioritários, se você acha que este caminho poderia ser uma grande opção para você, ficaríamos especialmente animados em assessorá-lo sobre os próximos passos, pessoalmente. Podemos ajudá-lo a considerar as suas opções, fazer conexões com outros que trabalham no mesmo campo e possivelmente até ajudá-lo a achar empregos ou oportunidades de financiamento.

CANDIDATE-SE PARA FALAR COM A NOSSA EQUIPE

Saiba mais

Leitura adicional crucial:

Outras leituras adicionais:

Este trabalho está licenciado sob uma Licença Creative Commons Atribuição 4.0 Internacional.

–

Publicado originalmente em 19 de junho de 2023 aqui.

Autor: Benjamin Hilton

Tradução: Luan Marques

Revisão: Fernando Moreno