Blog

Guia de carreiras de alinhamento

De Charlie Rogers-Smith, com pequenas atualizações de Adam Jones (publicado em 5 de abril de 2024)

0. Prefácio

Este guia foi escrito para pessoas que estão considerando trabalhar diretamente no alinhamento técnico da IA. Espero que seja mais útil para as pessoas que ainda não estão trabalhando no alinhamento e para as pessoas que já estão familiarizadas com os argumentos para trabalhar no alinhamento da IA. Se você não está familiarizado com os argumentos sobre a importância do alinhamento da IA, você pode obter uma visão geral deles fazendo o Curso de Alinhamento da IA.

Pode não ser melhor para você trabalhar no alinhamento técnico da IA. Você pode ter um grande impacto na redução do risco existencial da IA ​​trabalhando na estratégia, governança, política, segurança, previsão, funções de suporte, construção de campo, concessão de financiamento e governança de hardware de IA. Isso sem contar outras áreas, como o risco biológico. Provavelmente é melhor fazer um excelente trabalho numa dessas áreas do que um trabalho medíocre de alinhamento técnico, porque o impacto tem uma cauda pesada. Um bom exercício é ler o podcast / postagem sobre aptidões de Holden Karnofsky e pensar em quais das aptidões você pode se tornar excelente. Em seguida, pergunte a si mesmo ou a outras pessoas como você poderia usar essas aptidões para resolver os problemas que lhe interessam. Também recomendo inscrever-se para falar com o 80.000 Horas.

Provavelmente estarei errado, mas posso ser útil. O feedback foi amplamente positivo, mas não ficaria surpreso se algumas pessoas pensassem que este guia é negativo. Por exemplo, porque empurra as pessoas em direção à/para longe da pesquisa teórica, ou pesquisa empírica, ou engenharia de aprendizado de máquina (ML), ou obtenção de um doutorado. Tentei comunicar minha visão geral aqui, depois de integrar o feedback. Mas só posso sugerir que você tente formar sua própria visão sobre o que é melhor fazer e que tome este guia como uma contribuição para esse processo.

Tive muita ajuda. Neel Nanda me ajudou a iniciar este projeto. Copiei diretamente coisas de Rohin Shah, Adam Gleave, Neel Nanda, Dan Hendrycks, Catherine Olsson, Buck Shlegeris e Oliver Zhang. Recebi ótimos comentários de Adam Gleave, Arden Koehler, Rohin Shah, Dan Hendrycks, Neel Nanda, Noa Nabeshima, Alex Lawson, Jamie Bernardi, Richard Ngo, Mark Xu, Andy Jones e Emma Abele. Escrevi a maior parte disso em Wytham Abbey, cortesia de Elizabeth Garrett.

1. Tipos de trabalho de alinhamento

(O texto a seguir foi quase todo copiado das Perguntas Frequentes sobre Carreira de Rohin Shah.)

Para pesquisas diretas de alinhamento técnico destinadas a resolver o problema (ou seja, ignorando metatrabalho, construção de campo, governança da IA, etc.), estes são os caminhos difíceis:

  1. Líder de pesquisa (teórico): essas funções vêm em vários tipos (industriais, sem fins lucrativos, acadêmicas ou mesmo independentes). Espera-se que você proponha e lidere projetos de pesquisa; normalmente aqueles que podem ser respondidos com muito pensamento e escrita no Google Docs/LaTeX, e talvez um pouco de programação. O trabalho de alinhamento teórico pode ser mais conceitual ou mais matemático – o resultado do trabalho matemático tende a ser uma prova de um teorema ou de uma nova estrutura matemática, enquanto no trabalho conceitual a matemática é usada como uma ferramenta (muito boa) para dizer se um problema foi resolvido. O trabalho conceitual é mais filosófico. Um doutorado não é obrigatório, mas é útil. Competências relevantes: epistêmica e gosto por investigação extremamente fortes, forte conhecimento de alinhamento da IA; isso é particularmente importante devido à falta de ciclos de feedback da realidade.
  2. Colaborador de pesquisa (teórico): essas funções são muito raras; até onde eu sei elas só estão disponíveis na ARC. Você provavelmente deveria apenas ler o post de contratações.
  3. Líder de pesquisa (empírico): além da academia, estas funções geralmente estão disponíveis em organizações industriais e organizações sem fins lucrativos semelhantes, como a DeepMind, a OpenAI, a Anthropic e a Redwood Research. Espera-se que você proponha e lidere projetos de pesquisa; normalmente aqueles que envolvem alcançar ou compreender algo novo com os sistemas de ML atuais. Um doutorado não é estritamente exigido, mas na prática a maioria dos líderes de pesquisa possui um. Habilidades relevantes: forte gosto por pesquisa, forte conhecimento de alinhamento da IA e ML, habilidade moderada em programação e engenharia de ML.
  4. Colaborador de pesquisa (empírico): essas funções geralmente estão disponíveis em organizações industriais ou organizações sem fins lucrativos semelhantes, como a DeepMind, a OpenAI, a Anthropic e a Redwood Research. Espera-se que você trabalhe em equipe para executar projetos de pesquisa propostos por terceiros. Não é necessário doutorado. Habilidades relevantes: forte habilidade em programação, gosto moderado de pesquisa, conhecimento moderado de alinhamento da IA; os empregos variam no quanto exigem habilidade em engenharia de ML (mas a maioria exige forte habilidade).
  5. Professor: este é um caminho específico para qualquer uma das carreiras de “Líder de Pesquisa”, mas com requisitos adicionais: como acadêmico, espera-se que você não apenas proponha e lidere uma pauta de pesquisa, mas também assuma e oriente estudantes de pós-graduação em busca dessa pauta de pesquisa, para ministrar aulas, etc. É necessário um doutorado; esse é o primeiro passo claro nesta carreira. Habilidades relevantes: forte gosto pela pesquisa, forte conhecimento de IA, comunicação técnica moderada. A habilidade de programação e de ML normalmente não são testadas ou exigidas, embora geralmente sejam necessárias para ter sucesso durante o doutorado.
  6. Engenheiro de software: muitas organizações também podem se beneficiar de engenheiros de software fortes: p. ex., criando estruturas para trabalhar com grandes redes neurais que não cabem em uma GPU ou reorganizando bases de código para torná-las mais limpas e modulares para permitir experimentação mais rápida. No entanto, espero que você só deva almejar isso se já possuir essas habilidades (ou puder adquiri-las rapidamente), ou se por algum motivo você achar que poderia se tornar um tremendo de um especialista nessas áreas, mas não em qualquer um dos outros caminhos.

A principal diferença entre líderes de pesquisa e contribuidores de pesquisa é que se espera que os líderes de pesquisa agreguem valor principalmente ao escolher e liderar bons projetos de pesquisa, enquanto se espera que os contribuidores de pesquisa agreguem valor principalmente ao executar projetos rapidamente. No entanto, não é viável separar totalmente essas duas atividades e, portanto, os líderes [de pesquisa] ainda precisam ter alguma habilidade na execução de projetos, e os contribuidores ainda precisam ter alguma habilidade na escolha de como avançar em um projeto. Algumas organizações como a DeepMind deixam a diferença explícita (títulos de “Cientista de Pesquisa” e “Engenheiro de Pesquisa”), enquanto outras como a OpenAI e a Anthropic não o fazem (título de “Membro da Equipe Técnica”).

A principal razão pela qual divido funções entre “líder” versus “colaborador” é que, até onde sei, as funções de “líder” tendem a ser preenchidas por pessoas com doutorado. A DeepMind exige explicitamente doutores para a função de Cientista Pesquisador, mas não para a função de Engenheiro Pesquisador. (Ambas as funções podem liderar projetos, se conseguirem convencer seu gerente e colaboradores de que vale a pena prosseguir, mas é apenas uma expectativa explícita para cientistas pesquisadores.) Outras organizações não têm um doutorado como requisito explícito, mas mesmo assim parece que a maioria das pessoas que acabam escolhendo e liderando projetos de pesquisa já possuem doutorado. Acho que isso ocorre porque os doutorados ensinam habilidades de pesquisa que são difíceis de aprender por outros caminhos.

Não quero enfatizar isso demais; ainda é possível liderar projetos sem doutorado. Em abril de 2022, eu poderia citar 10 pessoas sem doutorado cujo trabalho seria melhor categorizado como “líder de pesquisa”, que parecia claramente merecer financiamento. (Observe que “claramente vale a pena financiar sem um doutorado” não significa necessariamente que o doutorado seja uma má escolha: para várias dessas pessoas, é plausível para mim que elas fariam um trabalho muito melhor daqui a 5 anos se obtivessem um doutorado em vez de fazerem as coisas que estão fazendo atualmente.)

2. Que tipo de trabalho de alinhamento você deve fazer?

Não tenho uma visão forte sobre que tipo de trabalho de alinhamento é mais valioso; então vou me concentrar principalmente na adequação pessoal. Há um desacordo generalizado na comunidade sobre o valor relativo dos diferentes trabalhos. No entanto, a principal decisão que você terá que tomar desde o início é se deve ou não prosseguir com o trabalho de alinhamento empírico ou teórico. E acho que a maioria das pessoas acredita que há um bom trabalho a ser feito em ambos os campos. Se isso for verdade, significa que você provavelmente pode se concentrar apenas em se tornar excelente em trabalhos teóricos ou empíricos com base em sua adequação pessoal, enquanto forma sua própria visão sobre qual trabalho específico de alinhamento teórico/empírico vale a pena ser feito.

No entanto, acho que a maioria das pessoas concorda que, se você puder se tornar um líder de pesquisa capaz de definir pautas de pesquisa boas e inovadoras, então você deve fazer isso. Você precisará ter um forte gosto por pesquisa e pensamento de ponta a ponta sobre o alinhamento da IA, o que é um alto critério. Paul Christiano e Chris Olah são exemplos de pessoas que fizeram isso.

Heurísticas de alto nível para escolher qual trabalho realizar

Se você já é um engenheiro de software forte, considere candidatar-se imediatamente para funções não relacionadas a ML ou treinar novamente como engenheiro de ML. Alguns trabalhos de engenharia em equipes de alinhamento não exigem conhecimento de ML. Por exemplo, criar estruturas para trabalhar com grandes redes neurais que não cabem em uma GPU ou reorganizar bases de código para torná-las mais limpas e modulares para permitir experimentações mais rápidas. Algumas funções de engenharia de ML podem nem exigir experiência com ML se você for um engenheiro de software suficientemente forte. Esse é pelo menos o caso da Anthropic: “Muita história escrevendo código e aprender com a escrita de código é a parte difícil. ML é a parte fácil, podemos ensinar isso.” Sugiro a leitura de A Segurança da IA Precisa de Ótimos Engenheiros, A DeepMind está contratando para equipes de alinhamento amplificável ​​​e alinhamento, e a análise de carreira da engenharia de software do 80.000 Horas.

Na medida em que você acha que pode gostar de aprendizado de máquina e codificação, considere pesquisar Como realizar o trabalho de alinhamento empírico. Você pode testar se gosta de ML e codificação aprendendo aprendizado profundo básico. As etapas iniciais para líderes e colaboradores de pesquisa são semelhantes; então você pode seguir essas etapas enquanto descobre o que é melhor para você.

Na medida em que você adora teoria, tem ou pode obter uma sólida formação matemática/teórica em ciência da computação e acha que pode gostar de construir modelos completos de alinhamento da IA, considere pesquisar Como realizar o trabalho de alinhamento teórico.

Algumas coisas para ter em mente ao explorar caminhos diferentes

Preste atenção se você está se divertindo, crescendo, prosperando e metendo bronca. Mas não desista imediatamente se não estiver. Divertir-se é muito importante, principalmente para pesquisas. Mas muitas vezes as pessoas gostam mais das coisas à medida que ganham mais domínio, ou pensam que já deveriam ser boas e sofrem até chegar lá. Muitas vezes as pessoas têm azar. Se você está se divertindo e metendo bronca, isso é um ótimo sinal. Se você não está se divertindo e metendo bronca depois de um tempo, considere mudar para outra coisa.

Às vezes, pessoas muito capazes ficam inseguras sobre quão boas são e mal-calibradas sobre o quão boas poderiam se tornar. Aqui estão mais algumas indicações objetivas que você pode usar para avaliar sua adequação:

  • Líderes de pesquisa empírica: para ter uma chance decente de entrar em um dos 20 melhores programas de doutorado em ML, você precisará (aproximadamente) de um artigo de workshop de primeiro autor e de um artigo de conferência de terceiro autor no NeurIPS, ICML ou algo similar.
  • Colaborador de pesquisa empírica: “Como um teste aproximado para a função de Engenheiro de Pesquisa, se você conseguir reproduzir um artigo típico de ML em algumas centenas de horas e seus interesses estiverem alinhados com os nossos, provavelmente estamos interessados ​​em entrevistá-lo (DeepMind)”. As notas importam menos do que as pessoas pensam.
  • Pesquisa teórica: se você acha que poderia entrar em um programa de doutorado de ponta em matemática ou teoria da ciência da computação se (tivesse) otimizado sua graduação para esse propósito, isso é um bom sinal.

Converse com as pessoas e peça-lhes que avaliem honestamente se você está no caminho certo para fazer um bom trabalho técnico. Essa é uma boa maneira de abordar o ponto acima. Facilite para elas dizerem que você não está no caminho certo em mundos onde você não está: p. ex., enfatizando-lhes como seria útil para você mudar para algo em que você é melhor mais cedo. Você poderia fazer isso no Effective Altruism Global ou conversando com o 80.000 Horas.

Recursos recomendados:

3. Como buscar o trabalho de alinhamento

As próximas postagens fornecem contexto e heurísticas de alto nível para a realização de diferentes tipos de trabalho de alinhamento, com indicações para outros lugares que são mais aprofundados.

As etapas iniciais para líderes e colaboradores de pesquisa são semelhantes; então você pode seguir essas etapas enquanto descobre o que é melhor para você. Se você deseja exercer funções de líder de pesquisa ou de contribuidor de pesquisa dependerá principalmente de quanto você gosta e é bom em pesquisa, pensamento de ponta a ponta sobre alinhamento e aprendizado de máquina, com relação a quanto você gosta e é bom em engenharia de ML. Além disso, se você deseja e é capaz de ingressar em um programa de doutorado de ponta. Se você não tiver certeza, recomendo aprender aprendizado profundo básico, fazer alguma implementação de ML e tentar obter alguma experiência em pesquisa (veja a próxima seção). Em seguida, avaliar a adequação pessoal a partir daí, o que pode incluir conversar com as pessoas sobre sua adequação.

Atividades que são úteis tanto para líderes de pesquisa empírica quanto para colaboradores

Todos deveriam aprender aprendizado profundo básico: você precisará aprender codificação em Python básica, matemática básica (álgebra linear, cálculo e probabilidade) e obter uma compreensão básica dos modelos de aprendizado profundo (DL) e como implementá-los. O DL é de longe o paradigma dominante no aprendizado de máquina, que por sua vez é o paradigma dominante na segurança da IA. Incluí os melhores recursos que conheço em Aprendizado profundo básico.

Você precisará se tornar um engenheiro de ML decente, mesmo se quiser se tornar um líder de pesquisa. Para se tornar bom em engenharia de ML, você precisará obter experiência na implementação de modelos de DL.

  • Ajuda se você já for um bom engenheiro de software (ESW), e um estágio de ESW em seu primeiro ano de graduação pode ser um bom investimento, especialmente se houver uma boa chance de você querer fazer engenharia de ML.
  • Uma boa maneira de obter experiência na implementação de modelos de DL, depois de aprender aprendizado profundo básico, é replicar alguns artigos básicos em um subcampo no qual você pode querer trabalhar. Consulte Como buscar funções de contribuidor de pesquisa (engenharia de ML) para obter detalhes sobre como fazer isso. As replicações de artigos são essenciais para funções de contribuidor e úteis para funções de liderança. Procure maneiras de demonstrar sua competência, tornando seu código um código aberto e talvez escrevendo uma postagem sobre o seu trabalho. Você pode solicitar financiamento para fazer replicações de artigos.
  • Você também pode melhorar em engenharia de ML fazendo trabalhos práticos como parte de um curso ou por meio de um estágio de pesquisa. Mas o quanto você aprenderá dependerá fortemente da orientação e do projeto: a academia geralmente é um lugar ruim para aprender engenharia de ML: seus colegas provavelmente não serão excelentes engenheiros e seu orientador provavelmente não investirá muito para ajudá-lo.
  • Eu também recomendo inscrever-se no (competitivo) Machine Learning for Alignment Bootcamp (MLAB) da Redwood Research. O prazo para inscrição já expirou, mas pode haver coortes futuras. Praticar problemas de leetcode provavelmente é útil para ser aceito.

A experiência em pesquisa é essencial para líderes de pesquisa e útil para colaboradores de pesquisa.

  • Os doutorados em de ML são muito competitivos hoje em dia, e publicações e cartas de referência são os principais determinantes para você ingressar. Para ter uma chance decente de ingressar em um dos 20 melhores programas de doutorado, você precisará (aproximadamente) de um artigo de workshop de primeiro autor e um artigo de conferência de terceiro autor na NeurIPS, ICML ou algo similar. As publicações também serão boas para funções de engenharia de ML. Se você deseja obter um doutorado, deve tentar obter o máximo de experiência de pesquisa possível antes de se inscrever em programas de doutorado, depois de aprender o aprendizado profundo básico. Por exemplo, no verão do segundo e terceiro anos para cursos de quatro anos, porque as publicações posteriores ao envio da inscrição não serão contabilizadas.
  • Adam Gleave escreve sobre como obter experiência em pesquisa aqui. Ao entrar em contato com potenciais orientadores para estágios de pesquisa, certifique-se de mencionar o que você fez (cursos relevantes que você fez, definitivamente quaisquer replicações de artigos que você tenha feito, seu GitHub se mostrar que você é capaz de codificar), suas notas se elas forem boas. Procure distinguir-se claramente das pessoas que enviam spam aos professores com pedidos para fazer pesquisas com eles. Uma maneira de fazer isso é ler alguns de seus artigos e os principais artigos em sua área e mencioná-los também. Se sua universidade não puder financiar você para fazer experiência de pesquisa com ela, você poderá solicitar financiamento.
  • Observe que é um tanto difícil conseguir duas publicações antes do 4º ano e isso envolverá sorte! Se você não entrar em um programa forte imediatamente, não se desanime. Pode valer a pena dedicar um ano ou mais após a universidade para fazer trabalho de assistente de pesquisa a fim de obter publicações. Você pode conseguir financiamento para fazer isso.
  • Para projetos de pesquisa, encontre alguém que oriente bem e que tenha tempo para você (essa pessoa tende a não ser o professor mais famoso/descolado). ML é um campo muito novo; então alguns professores que aparentemente trabalham em ML não fazem coisas relevantes para DL. Certifique-se de que eles publiquem regularmente nas principais conferências. E trabalhe em um tópico que seu orientador considere interessante para obter muito feedback: obter uma boa orientação é fundamental, e buscar suas próprias ideias neste momento é arriscado e geralmente significa que você não receberá muita orientação. Não se preocupe em trabalhar em algo que ajude no alinhamento. Faça cursos de pós-graduação em projetos sempre que puder – eles provavelmente serão avaliados com tolerância.
  • Recomendo a pesquisa como um processo de decisão estocástico (Steinhardt, 2019) para melhorar a execução da pesquisa.

Aprender aprendizado de máquina: como e quanto? É mais fácil aprender estando imerso em um ambiente de pesquisa; por isso é sensato focar em aprender ML o suficiente para chegar a esse ponto. Isso significa ter amplitude suficiente para falar com sensatez sobre as principais áreas do DL e conhecer os avanços recentes, além de ter profundidade na área que deseja se aprofundar. Você não precisa aprender tudo sobre ML para se tornar parte de um ambiente de pesquisa. Embora os líderes de pesquisa provavelmente devam acabar sabendo muito de ML. Você pode obter amplitude fazendo cursos nos subcampos mais importantes do ML (consulte Aprendizado de máquina) e usando recursos que selecionam e resumem/explicam os avanços recentes (consulte Aprendizado de máquina). Você pode obter profundidade lendo vários artigos principais de um subcampo (cerca de 10+, ou até obter rendimentos decrescentes) e fazendo sua própria pesquisa, ou trabalhos de casa práticos, ou replicações de artigos. Você pode ver em quais áreas as pessoas estão interessadas consultando os blogs dos laboratórios nos quais você tem interesse em trabalhar ou verificando o Boletim do Alinhamento. Se você pode fazer cursos de ML para obter créditos, provavelmente é uma ótima ideia. Consulte Aprendizado de máquina para obter mais detalhes.

Aprender alinhamento da IA: como e quanto? Eu recomendo Segurança da IGA a partir ods Primeiros Princípios (Ngo, 2020) e Minha Visão Geral do Panorama do Alinhamento da IA (Nanda, 2022) para começar, depois o curso Fundamentos da Segurança da IA Alinhamento ou algo similar. Aprender o alinhamento da IA ​​é muito mais importante para líderes de pesquisa do que para colaboradores de pesquisa; fazer as coisas acima não é suficiente para líderes de pesquisa e não é necessário para algumas funções de contribuidor de pesquisa, mas provavelmente será muito útil para ambos.

4. Se ou como deve fazer um doutorado

Se você deseja ser líder de pesquisa, o caminho padrão é obter um doutorado. No entanto, também é possível começar a trabalhar como engenheiro pesquisador e fazer a transição gradual para uma função de líder de pesquisa, embora, como engenheiro pesquisador, você tenha menos tempo para atividades de pesquisa do que teria em um programa de doutorado. Também é possível tornar-se líder de pesquisa sem doutorado, se você fizer um programa de residência. É importante notar que a fronteira entre engenheiro e pesquisador está se dissolvendo em lugares como a Anthropic e a OpenAI. Isso ocorre em parte porque eles se preocupam menos com a sinalização de doutorados e em parte porque sua pesquisa depende relativamente mais da engenharia (amplificação) do que da criação de novas direções de pesquisa. A coisa mais importante para se tornar um bom líder de pesquisa é obter a orientação de um grande pesquisador e ser capaz de praticar a pesquisa em um bom ambiente. Isso é mais frequentemente alcançado em um doutorado, mas às vezes é possível na indústria.

Há um desacordo bastante generalizado sobre quão bons são os doutorados. Minha impressão é que a maior parte da discordância se resume à eficácia com que os doutorados treinam o gosto e as habilidades de pesquisa que são úteis para a pesquisa de alinhamento e, secundariamente, com que rapidez as pessoas esperam que a IGA seja desenvolvida: se 5 anos, então os doutorados não parecem bons, porque provavelmente não farão nenhum trabalho útil; se 15 anos, o problema será menor. Meu entendimento do principal benefício de um doutorado é que ele desenvolve seu gosto e habilidades de pesquisa para que, quando você se formar, idealmente, você seja capaz de definir e executar sua própria (boa) pauta de pesquisa de alinhamento na indústria (numa organização existente ou nova) ou na academia. Caso contrário, a ideia é que você saia de um doutorado com grandes habilidades de pesquisa que ajudam na pesquisa de alinhamento. Um doutorado também abre algumas portas que a engenharia de ML não seria capaz: p. ex., funções de cientista pesquisador na DeepMind ou na Google Brain.

Aqui estão algumas perguntas simplificadoras que você pode fazer a si mesmo para tornar a decisão mais fácil:

  • Você deseja fazer principalmente pesquisas em vez de engenharia de ML ou engenharia de software? (Se não, então não faça um doutorado.)
  • Você acha que poderia publicar um artigo de workshop de primeiro autor e um artigo de conferência de terceiro autor no NeurIPS, ICML ou algo similar, durante a graduação ou logo após a graduação (ou após 6 a 12 meses de pesquisa em ML em tempo integral)? (Esse é o limite para ter uma chance decente de entrar em um programa entre os 20 melhores; é maior para os programas entre os 10 melhores) (Se não, então é melhor não buscar um doutorado, mas sugiro realmente tentar pesquisar primeiro.)
  • Você se sentiria muito melhor ganhando muito mais dinheiro? Como engenheiro, você provavelmente ganharia mais de US$ 100.000. Você pode se inscrever para obter um complemento de salário de doutorado, mas acho que seria um tanto incomum obter um complemento de até US$ 100.000.
  • Comparando opções específicas:
    • Com algum trabalho, você acha que poderia conseguir uma função de engenharia/pesquisa em ML na qual pudesse crescer/prosperar/obter melhor orientação do que espera em um doutorado? (Se sim, então provavelmente é melhor não fazer um doutorado.) (Você pode pedir ajuda às pessoas para comparar suas opções.) (Você pode falar com alunos de pós-graduação do professor e participar de dias abertos.)
    • Você está apto a realizar trabalhos no doutorado que sejam direta ou instrumentalmente úteis para trabalhos de alinhamento; que têm um caminho para impactar? (Se sim, então um doutorado parece muito melhor. Se não, parece pior.)
    • Você ficará preso a um tópico de doutorado no qual não tem confiança (alguns outros tópicos desejáveis ​​para os quais você poderia mudar na universidade)? (Se sim, então um doutorado parece pior, porque é bastante comum querer mudar.)
  • Às vezes, os doutorados podem deixar as pessoas infelizes. As pessoas entram neles porque são o caminho-padrão para pessoas que se saíram bem na graduação, elas não sabem realmente no que estão se metendo e então se esgotam. É útil pensar com antecedência se isso é mais ou menos provável de acontecer com você.
    • Você espera prosperar em um ambiente não estruturado, com incentivos fracos (é difícil ser demitido) e ciclos de feedback e apoio potencialmente ruins, mas com muita liberdade? (Se não, provavelmente é melhor não fazer um doutorado.) ( A conscienciosidade é provavelmente um fator aqui.)
    • Aqui estão alguns outros fatores que interagem mal com os doutorados: alto neuroticismo, depressão, ansiedade e TDAH. Você pode fazer alguns testes de diagnóstico rápidos (neuroticismo, depressão, ansiedade, esgotamento) para ver se alguma dessas coisas pode ser uma preocupação para você. Provavelmente não é bom levar os testes muito a sério, mas conheço muitas pessoas inteligentes que levaram um ano para perceber que tinham depressão, e por isso pode valer a pena investigar e acompanhar (por exemplo, com terapia) se algum deles for preocupante. Ter esses fatores não exclui um doutorado, mas a pesquisa será muito mais difícil e você deverá ter muito cuidado ao escolher um orientador prestativo, o que limita as opções.

Se você não tiver certeza sobre qual caminho seguir, pode valer a pena otimizar para fazer pesquisas no curto prazo, enquanto você tem uma noção melhor se um doutorado faz sentido para você (ou se você recebe ofertas de um programa de ponta) e decide mais tarde ou se inscreve para funções de doutorado e engenharia de pesquisa em ML e compara as opções. Fazer pesquisas parecerá muito bom para funções de engenharia, contanto que você fique longe de tópicos de pesquisa com muita teoria e acabe fazendo engenharia de ML suficiente. E é um bom teste de adequação. Mas a otimização para engenharia de ML não ajudará tanto para os doutorados, porque publicações e cartas de referência são fundamentais. No entanto, você pode se inscrever para um doutorado depois de fazer engenharia de pesquisa em ML na indústria.

Como fazer um doutorado: se você está pensando em fazer um doutorado, recomendo fortemente a leitura de Carreiras em Pesquisa em IA Benéfica (Gleave, 2020), Rohin Shah’s Perguntas Frequentes de Carreira, guia de sobrevivência para doutorados de Andrej Karpathy e Candidaturas de Aprendizado de Máquina: Tudo o que Você Precisa Saber.

5. Como exercer funções de contribuidor de pesquisa (engenharia de ML)

Leia Atividades que são úteis tanto para líderes de pesquisa empírica quanto para colaboradores. Essa seção fala sobre como aprender aprendizado profundo básico, ML e alinhamento da IA e como obter experiência em pesquisa. Se você tem certeza de que deseja trabalhar como colaborador de pesquisa/engenharia de ML, obter experiência em pesquisa é menos importante do que para cargos de liderança em pesquisa, mas ainda pode ser uma fonte útil de orientação e desenvolvimento de habilidades. Um forte conhecimento do alinhamento da IA ​​também é menos importante para obter funções de contribuidor de pesquisa, mas quanto você deseja investir dependerá de quanto você deseja acabar direcionando a sua própria pesquisa, e investir sempre que possível parece valioso. Consulte alinhamento da IA para obter mais detalhes.

Ser um bom engenheiro de software fará de você um engenheiro de ML melhor. Se você conseguir um estágio de engenharia de software (ESW) em uma empresa importante desde o início, isso provavelmente será valioso. De forma mais ampla, ser orientado por alguém muito melhor do que você em ESW provavelmente será valioso, assim como ler e escrever muitos códigos. Além de estágios, empregos e seus próprios projetos, você poderá obter orientação contribuindo para projetos de código aberto e perguntando a alguém sênior desse projeto se ele poderia orientar você. Você poderia dar uma olhada na análise da carreira de engenharia de software do 80.000 Horas.

Faça algumas replicações de artigos. Para se tornar bom em engenharia de ML, você precisará obter experiência na implementação de modelos de ML. Uma boa maneira de fazer isso é replicar alguns artigos fundamentais em um subcampo no qual você queira trabalhar. Isso é semelhante à tarefa de implementar novos algoritmos, mas com rodinhas de treino: você sabe que o algoritmo funciona e como é o bom desempenho. Também lhe dará uma ótima compreensão dos métodos que você implementa. Procure maneiras de demonstrar sua competência, tornando o seu código um código aberto e talvez escrevendo uma postagem sobre o seu trabalho. Você pode solicitar financiamento para fazer replicações de artigos. Consulte “Recursos de replicação de artigos” abaixo para obter mais conselhos.

Abaixo estão algumas ideias de replicação de artigos. São bastante improvisadas. Se você realmente quer gastar algumas centenas de horas em replicações em artigos, pode ser uma boa ideia entrar em contato com um laboratório no qual deseja trabalhar com um plano específico para que eles possam dar feedback sobre ele. O ideal é ver se você consegue alguém para orientá-lo. Será útil ter uma base de código de código aberto em mãos; então tente encontrar uma antes de começar. Confira Aprendizado de máquina para obter informações relevantes.

  • Modelos de linguagem:
    • Mais fácil: treinar um pequeno modelo GPT-2 do zero usando implementações existentes da arquitetura (p. ex., da Hugging Face). Você pode tentar o grokking.
    • Mais difícil: implemente o transformador você mesmo. Você também pode ajustar as preferências humanas, como em Ziegler et al. (2019) ou Stiennon et al. (2020).
  • Aprendizado por reforço (provavelmente não começaria com isso):
  • Visão computacional:
    • Muito fácil: treine um MLP no MNIST.
    • Fácil: treine um ResNet ou outro modelo próximo do estado da arte no ImageNet.
    • Médio: faça alguns ataques e defesas adversários básicos. Você pode querer brincar com isto primeiro. Você poderia experimentar alguns ataques e defesas desta lista de artigos.

Inscreva-se no MLAB: a Redwood Research está realizando outro curso intensivo de codificação (competitivo) totalmente financiado no verão de 2022. O prazo para inscrição expirou, mas pode haver grupos futuros. Praticar problemas de leetcode provavelmente é útil para ser aceito.

O que é preciso para conseguir um emprego?

  • DeepMind : “Como um teste aproximado para a função de Engenheiro de Pesquisa, se você conseguir reproduzir um artigo típico de ML em algumas centenas de horas e seus interesses estiverem alinhados com os nossos, provavelmente estamos interessados ​​em entrevistá-lo.” Você pode ler sobre as funções disponíveis aqui .
  • Andy Jones (Anthropic): “É difícil julgar sem ver se uma pessoa específica se adequaria à engenharia de segurança da IA, mas aqui está um bom teste decisivo: com algumas semanas de trabalho, você poderia – hipoteticamente! – escrever um novo recurso ou corrigir um bug sério em uma importante biblioteca de ML?” (Advertência importante: este é quem a Anthropic contrataria imediatamente e espera contribuir na primeira semana. Não é um teste para saber se você poderia se tornar essa pessoa.) A Anthropic fala sobre seu processo de contratação aqui e o que procura aqui .
  • De um membro da equipe da Redwood Research: “Se você pode implementar um transformador em pytorch, provavelmente já deveria estar falando com a Redwood”. Você pode ler sobre suas funções aqui .
  • Para outros lugares, como a Google Brain/Facebook, você também precisará ser capaz de fazer leetcode e ter um GPA alto. Ter experiência em pesquisa de ML ajuda, assim como um mestrado.

Onde você deveria trabalhar? Adam Gleave: “A melhor maneira de aprender engenharia de pesquisa é trabalhar em algum lugar onde haja engenharia de alta qualidade e pesquisa de ponta. Inscreva-se em programas de residência [muito competitivos] em laboratórios industriais. Os quatro principais laboratórios são a DeepMind, a OpenAI, a Google Brain e a Facebook AI Research (FAIR); também existem laboratórios menores (mas bons) focados na segurança, como a Anthropic e a Redwood Research. Existem também muitos jogadores menores, como a Amazon AI, a NVidia, a Vicarious, etc. Geralmente são menos desejáveis, mas ainda são boas opções.” Desde que Adam escreveu isso, foram formadas algumas novas organizações focadas em modelos de linguagem que poderiam ser bons lugares para desenvolver habilidades. São a conjecture (focado na segurança), a cohere.ai (alguma segurança de curto prazo e muitos AEs trabalhando lá; eu não apostaria que seria bom acabar lá) e a Hugging Face (sem segurança existencial).

Nos primeiros anos, pode valer a pena ir aonde você crescerá mais. Depois disso, você vai querer ir aonde puder fazer a melhor pesquisa de alinhamento. No entanto, estou pessoalmente preocupado com a possibilidade de desenvolver as habilidades das pessoas por alguns anos e depois não passar a fazer o trabalho de alinhamento mais valioso possível, porque pode ser fácil justificar que seu trabalho está ajudando quando não está. Isso pode acontecer mesmo em laboratórios que afirmam ter foco na segurança! Trabalhar em qualquer uma das empresas Anthropic, DeepMind, Redwood Research ou OpenAI parece uma aposta segura. Se você não pode trabalhar em um desses locais, se o desenvolvimento de habilidades fora das equipes de segurança (p. ex., na Google Brain ou na FAIR) é bom ou não dependerá fortemente de você esperar ser capaz de mudar posteriormente para um trabalho mais impactante (requer continuar a formar sua própria visão sobre alinhamento e agência), se você estará motivado para fazer um trabalho que não ajuda no alinhamento e quão útil é estar cercado por pessoas que trabalham no alinhamento com relação a pessoas que são ótimos engenheiros de ML — aquilo é mais importante quanto mais você deseja direcionar sua própria pesquisa, e isto é mais importante quanto mais você espera que a engenharia de o ML seja sua principal contribuição.

Recursos de replicação de artigos:

Recursos de carreira: se você pretende seguir a engenharia de ML, recomendo a leitura destes artigos:

6. Como realizar um trabalho de alinhamento teórico

Não sei muito sobre trabalho teórico, desculpe. Se você é pesquisador teórico e tem ideias sobre como melhorar esta seção, por favor, avise-me! Os caminhos para fazer o trabalho teórico também são muito menos definidos do que o caminho para o trabalho empírico; então não é tudo culpa minha. De qualquer forma, aqui está o que eu tenho.

O trabalho de alinhamento teórico pode ser mais conceitual ou mais matemático .

Como é o trabalho conceitual? O trabalho de alinhamento conceitual geralmente envolve raciocínio sobre comportamento hipotético. Por exemplo, Mark Xu (do Alignment Research Center) descreve a maior parte de seu trabalho como “criar boas propriedades para os algoritmos, verificar se os algoritmos têm essas propriedades e tentar encontrar algoritmos que tenham essas propriedades”. Isso é muito semelhante a um conjunto de habilidades que você esperaria que um cientista da computação teórico tivesse. O trabalho tende a envolver muito raciocínio matemático e filosófico. Os pesquisadores conceituais também precisam de um forte gosto pela pesquisa e um forte conhecimento do alinhamento da IA. Isso é para que eles não se percam em pesquisas teóricas que não ajudam no alinhamento, o que é fácil de fazer, uma vez que o trabalho teórico tem ciclos de feedback deficientes. Exemplos de pesquisa conceitual incluem Elicitando Conhecimento Latente (ELK) de Paul Christiano, Riscos da Otimização Aprendida de Evan Hubinger, Abstrações Naturais de John Wentworth e o trabalho em fundamentos do agente do MIRI .

Como é o trabalho matemático? Acho que a principal diferença é que no trabalho matemático, o resultado é uma prova de um teorema, ou um contraexemplo, ou uma nova estrutura matemática, enquanto no trabalho conceitual a matemática é usada como uma ferramenta (muito boa) para saber se um problema foi resolvido. O trabalho conceitual é mais filosófico: os argumentos raramente são inequívocos e é necessário muito mais julgamento. Exemplos de trabalhos matemáticos incluem Pessimismo sobre incógnitas desconhecidas inspira conservadorismo de Michael Cohen, Infrabayesianismo de Vanessa Kosoy, o trabalho de Scott Garabrant sobre Indução lógica, Quadros cartesianos e Conjuntos fatorados finitos, Aprendizado cooperativo de reforço inverso e o trabalho de Tom Everett (tese, trabalho atual). Você pode ver mais tópicos aqui. Isso contrasta com o trabalho conceitual semiformal, do qual Riscos da Otimização Aprendida, de Evan Hubinger, é um exemplo central.

Onde esse trabalho acontece? O espaço é bem estranho. Não existem organizações estabelecidas fazendo um trabalho aplicável. É mais como uma mistura de pessoas na academia (principalmente assuntos de matemática, p. ex., o CIRL e coisas de Michael Cohen), pessoas independentes com bolsas (como John Wentworth), o Machine Intelligence Research Institute (MIRI) (abriga Evan Hubinger, Scott Garabrand e Vanessa Kosoy, entre outros), o Alignment Research Center (ARC) (dirigido por Paul Christiano), algumas pessoas da DeepMind (p. ex., Ramana Kumar, e agora algumas coisas na conjecture.dev também.

Não tenho uma boa noção de se é melhor trabalhar em matemática ou pesquisa conceitual. Felizmente, os conjuntos de habilidades são bastante semelhantes; então você provavelmente pode experimentar cada uma delas enquanto desenvolve suas próprias opiniões sobre o trabalho. O trabalho é mais valioso; então decida com base em onde você acha que fará o melhor trabalho.

Como testar a adequação para pesquisa conceitual: (realmente não sei, desculpe.)

  • Você provavelmente terá uma noção do quanto ama e é bom em teoria, o que é uma parte importante disso. Se você acha que poderia entrar em um programa de doutorado de ponta em matemática ou teoria da ciência da computação se tivesse otimizado sua graduação para esse propósito, isso é um bom sinal.
  • O outro componente é ser capaz de formar suas próprias opiniões sobre o alinhamento da IA ​​e ter coisas interessantes a dizer sobre isso.
    • A primeira etapa para testar isso é aprender sobre o alinhamento da IA, talvez próximo ao nível do curso Fundamentos da Segurança da IA Alinhamento. Pode ser útil aprender o aprendizado profundo básico antes de fazer isso.
    • Então, se você gostou de se aprofundar na leitura do alinhamento, poderá tentar absorver a visão de mundo de um pesquisador conceitual, talvez lendo e destilando (resumindo) algumas de suas pesquisas. Aqui estão algumas pesquisas que você pode tentar destilar. O programa ML Alignment Theory Scholars (totalmente financiado) é uma forma estruturada de absorver a visão de mundo de alguém — você será acompanhado por um mentor cuja visão de mundo você pode absorver. As inscrições estão encerradas (em junho de 2022), mas provavelmente haverá coortes futuras. Outra maneira de absorver uma visão de mundo é ler a lista de leitura da visão de mundo de segurança da IA de Evan Hubinger e escrever e talvez enviar por e-mail para ele suas notas, resumos, comentários, divergências, opiniões, etc.
    • Uma opção diferente é passar cerca de 50 horas lendo sobre um tópico específico no alinhamento da IA que lhe interessa e, em seguida, gastar cerca de 50 horas tentando dizer algo novo e interessante sobre esse tópico. (P. ex., tente produzir uma proposta para ELK.) Não atualize muito se não tiver muito a dizer; o objetivo é ver se você gosta ou não do trabalho e se ele parece produtivo.
    • Você pode solicitar financiamento para fazer qualquer um desses exercícios.

Como testar a adequação para pesquisa matemática: (realmente não sei, desculpe). 

  • Você provavelmente terá uma noção do quanto ama e é bom em teoria, o que é o principal. Se você acha que poderia entrar em um programa de doutorado de ponta em matemática ou teoria da ciência da computação se tivesse otimizado sua graduação para esse propósito, isso é um bom sinal.
  • Um teste é assistir à palestra de Michael Cohen e tentar a tarefa, depois pedir a Michael para ver o que você escreveu (o e-mail dele é firstname.lastname@eng.ox.ac.uk e, sim, ele ficará feliz em olhar as tarefas).
  • Você também pode passar cerca de 50 horas lendo sobre um tópico específico no alinhamento matemático da IA que lhe interessa (você pode ver parte da literatura aqui) e, em seguida, gastar cerca de 50 horas tentando dizer algo novo e interessante sobre esse tópico (ou destilando, se dizer algo novo for muito difícil).
  • Por fim, você poderia fazer um estágio de pesquisa com um pesquisador matemático em uma área relacionada ao alinhamento matemático (ou fazer pesquisa diretamente sobre alinhamento, mas somente se o seu orientador já trabalhar nisso). Dê Ctrl+F para “A experiência em pesquisa é essencial para líderes de pesquisa e útil para colaboradores de pesquisa” para obter conselhos sobre como obter experiência em pesquisa. Você pode entrar em contato com pesquisadores de alinhamento matemático para um estágio. Talvez depois de escrever algo, como acima.

Vale a pena ter em mente que buscar um trabalho de alinhamento teórico é muito mais arriscado do que um trabalho focado em ML, porque você desenvolverá menos habilidades transferíveis do que um trabalho de ML, terá menos credibilidade fora da comunidade de alinhamento e a infraestrutura para esse trabalho está apenas começando a ser construída. Apesar disso, se você acha que pode ser bem-adequado, pode valer a pena testar!

Como realizar pesquisa de alinhamento conceitual: novamente, eu realmente não sei. Por esse motivo, obter orientação parece muito importante. Se você puder produzir algo, talvez a partir de um dos exercícios acima, acho que Mark Xu ou Evan Hubinger considerariam conversar com você e lhe dar conselhos de carreira. Aqui estão algumas opções de curto a médio prazo: trabalhar de forma independente com uma bolsa (ou em uma organização existente, embora você provavelmente precise de um doutorado para isso), trabalhar na ARC ou no MIRI (não tenho certeza se o MIRI está contratando a partir de Junho de 2022), seja aprendiz de um pesquisador conceitual ou faça um doutorado (em matemática/teoria da ciência da computação, com um professor inteligente e aberto que publica regularmente no COLT ou FOCS ou similar. Você provavelmente não conseguirá publicar trabalhos de alinhamento conceitual durante um doutorado, mas você pode desenvolver habilidades úteis). Meu palpite é que a orientação deve ser a principal consideração no início de sua carreira: se você puder trabalhar e ser orientado por um pesquisador com forte alinhamento conceitual, isso provavelmente será melhor do que um doutorado (a menos que você tenha a oportunidade de trabalhar em estreita colaboração com um orientador realmente forte ou alinhado em termos de valores), e um bom doutorado provavelmente parece melhor do que um trabalho independente. Se você quiser tentar ser aprendiz de um pesquisador conceitual ou trabalhar no ARC/MIRI, alguns dos exercícios da seção anterior serão úteis: ler, destilar e absorver a visão de mundo de alguém, postar no AI Alignment Forum e tentar obter mais orientação a partir daí. De forma mais ampla, recomendo dedicar algum tempo aprendendo sobre o alinhamento da IA ​​e formando sua própria visão. Vale a pena notar que a pesquisa conceitual está particularmente limitada em termos de mentoria no momento, e por isso pode ser difícil trabalhar em estreita colaboração com um pesquisador conceitual forte. Provavelmente ainda vale a pena tentar e, em particular, todos deveriam se inscrever na ARC.

Como realizar pesquisas em alinhamento matemático: (eu realmente não sei, desculpe.) Provavelmente li muito da literatura sobre alinhamento matemático (você pode ver um pouco da literatura aqui). De forma mais ampla, recomendo dedicar algum tempo aprendendo sobre o alinhamento da IA ​​e formando sua própria visão. Se você conseguir um doutorado teórico no Center for Human-Compatible AI (CHAI), essa parece ser uma grande aposta. Se você puder fazer um doutorado teórico sobre algo relacionado ao alinhamento, provavelmente isso também será bom. Deve ser viável mesmo que o professor não trabalhe no alinhamento, desde que ele seja muito inteligente e você consiga convencê-lo de que o tema pode ser publicado. Você também pode trabalhar em algo que seja útil para o desenvolvimento de habilidades para alinhamento, como a teoria da probabilidade aplicada à IA ou alguma parte da ciência da computação teórica (procure professores que publicam no COLT of FOCS ou algo similar). Você pode obter uma orientação melhor dessa forma. Dê Ctrl+F para “Como fazer um doutorado” para recursos sobre como obter um doutorado em ML; muito disso deveria ser transferido para doutorados teóricos. Por favor, tente falar com alguém mais experiente do que eu antes de iniciar um doutorado!

7. Aprendendo Aprendizado Profundo e Aprendizado de Máquina

Aprendizado profundo básico

Isto é apenas o básico: incluí coisas suficientes para que você tenha uma compreensão básica dos modelos de aprendizado profundo e como implementá-los. Isto não é tudo que você precisa para se tornar um grande líder ou contribuidor de pesquisa empírica. Em particular, investir em codificação e matemática além do indicado aqui valerá a pena. Por favor, pule minhas sugestões se você já tiver o conhecimento/habilidade.

Quando fazer o quê: a codificação e a matemática podem ser feitas em paralelo. Os cursos de aprendizado profundo (DL) exigem codificação e matemática básicas. Estritamente falando, você pode entender DL com um conhecimento básico de álgebra linear e cálculo. Mas, mais cedo ou mais tarde, sua falta de base causará problemas. Apesar disso, você provavelmente poderá começar a estudar DL confortavelmente após um semestre de aulas de matemática, além de construir bases matemáticas mais sólidas.

Codificação: você precisará saber ler e escrever código em python. www.learnpython.org/ é bom para isso. Há também a habilidade de fazer coisas no ecossistema python, que as pessoas muitas vezes acabam aprendendo lentamente porque não é ensinado. Para isso, recomendo The Hitchhiker’s Guide to Python e The Great Research Code Handbook. Você pode conseguir financiamento para um tutor. Aqui estão alguns recursos extras que você pode achar úteis: Coisas que eu gostaria que alguém tivesse me contado quando eu estava aprendendo a programar, learntocodewith.me/resources/coding-tools/.

Matemática: aqui estão as áreas de matemática necessárias para aprender DL básico. Outras áreas da matemática – como a estatística – podem ser diretamente úteis, e a maturidade matemática além do que está escrito aqui é certamente útil.

  • Álgebra linear: esta série de vídeos de 3Blue1Brown é boa para a intuição, como complemento. Para uma base mais sólida, você vai querer fazer a aula introdutória da sua universidade (ou do MIT — ainda não fiz, mas provavelmente é boa) e provavelmente uma aula mais teórica. Se você quiser um livro para depois de uma aula introdutória, recomendo Linear Algebra Done Right.
  • Cálculo: esta série de vídeos de 3Blue1Brown cobre o cálculo básico. Faça o curso de cálculo multivariável da sua universidade para obter uma base mais sólida (ou do MIT — não fiz, mas provavelmente é bom).
  • Probabilidade: um curso é Introdução à Probabilidade (MITx), mas sua universidade pode ter um curso que cubra conteúdo semelhante. Fazer cursos de estatística sempre que possível provavelmente também ajudará.

Aprendizado profundo: (DL) é de longe o paradigma dominante no aprendizado de máquina, que por sua vez é o paradigma dominante na IA. Obter uma boa compreensão do DL é essencial para todo o trabalho de alinhamento empírico. Recomendo que você obtenha experiência prática fazendo algo como (1) e faça um de (2) e (3). Participar do Programa ML Safety Scholars (totalmente financiado, as inscrições se encerram em 31 de maio de 2022) durante o verão parece uma maneira excelente e estruturada de aprender DL.

  1. fast.ai é um curso prático em aprendizado profundo (DL) que aborda o DL de uma perspectiva da codificação (não matemática/estatística). Se você já tem algum conhecimento de como o DL funciona, provavelmente é melhor aprender com os tutoriais do PyTorch. Ou aprenda com esses tutoriais depois de fazer o fast.ai. O PyTorch é uma boa estrutura para começar, mas se você já é bom com o TensorFlow ou o JAX, provavelmente não precisará escolher o PyTorch até que um projeto/trabalho exija.
  2. Especialização em Aprendizado Profundo (Ng), sua aula-padrão de DL (CS 230 em Stanford).
  3. Aprendizado Profundo da NYU (LeCun).

Aprendizado de máquina

Resumo: é mais fácil aprender estando imerso num ambiente de pesquisa, e por isso é sensato concentrar-se em fazer o suficiente para chegar a esse ponto. Isso significa ter amplitude suficiente para falar com sensatez sobre as principais áreas do DL e conhecer os avanços recentes, além de ter profundidade na área em que deseja aprofundar. Você não precisa aprender tudo sobre ML para se tornar parte de um ambiente de pesquisa. Embora os pesquisadores de ML devam acabar sabendo muito sobre ML, fazer cursos universitários de ML sempre que possível é provavelmente uma boa ideia. Você pode obter amplitude fazendo cursos nos subcampos mais importantes do DL (consulte Aprendendo sobre os subcampos de DL) e usando recursos que selecionam e resumem/explicam os avanços recentes (consulte Recursos). Você pode obter profundidade lendo vários artigos principais de um subcampo (cerca de 10+, ou até obter rendimentos decrescentes) e fazendo sua própria pesquisa, ou trabalhos de casa práticos, ou replicações de artigos (embora isso demore um pouco e possa não valer a pena para os pesquisadores). Você pode ver em quais áreas as pessoas estão interessadas consultando os blogs dos laboratórios nos quais está interessado em trabalhar ou verificando o Boletim do Alinhamento (consulte Recursos).

Aprendendo sobre os subcampos do DL: depois de concluir o aprendizado profundo básico, você deverá ter experiência para entrar em qualquer uma dessas áreas. Eu não me preocuparia muito em acertar todas essas áreas imediatamente, especialmente se isso for compensado com pesquisa ou engenharia.

Recursos: (você não precisa se manter atualizado com todas essas coisas! Veja de quais fontes você gosta e das quais se beneficia.)

  • O Boletim do Alinhamento destaca e resume documentos importantes em muitas subáreas do ML relevantes para a segurança. Você pode verificar esses documentos e áreas aqui. Acompanhar o boletim é bom para a amplitude, e o banco de dados é bom para se aprofundar em um subcampo.
  • Observar as apresentações de artigos do NeurIPS e do ICML de um subcampo é uma maneira decente de entender esse subcampo: no que eles estão trabalhando e com o que se preocupam. É possível fazer em uma tarde.
  • Boletim Informativo Import AI de Jack Clark .
  • Boletim de Segurança de ML de Dan Hendrycks ; r/mlsafety.
  • Artigos de dois minutos.
  • Yannic Kilcher: explica uma ampla variedade de artigos sobre aprendizado de máquina em vídeos de 30 a 60 minutos.
  • ML Street Talk: podcast que discute uma grande variedade de tópicos relacionados a ML. Muito bom para ver o que os principais especialistas da área estão pensando.
  • Preservador de sanidade do arXiv; artigos conectados.
  • Siga os blogs ou as contas do Twitter dos grandes jogadores/pesquisadores de IA (eu obtenho minhas informações principalmente no Twitter).
  • Lista do Twitter do AGI Safety Core.
  • Blog de Lilian Weng.

Como ler artigos: em algum momento, você precisará ser capaz de ler bem os artigos. Aqui estão alguns recursos para aprender como fazer isso. Na maioria das vezes, você desejará estar no modo “folhear” ou “entender profundamente”, e não em algum ponto intermediário.

8. Aprendendo o alinhamento da IA

Comparado a outros campos de pesquisa – como matemática ou física teórica – o espaço do alinhamento focado em AE não tem muito conteúdo. Ainda são necessários meses de estudo em tempo integral para ficar totalmente atualizado, mas você pode ter um rendimento 80/20 muito mais rápido do que isso, e nem todo o mundo precisa ser um especialista.

Buck: “Acho que é bastante normal que os alunos de graduação tenham um bom entendimento de quaisquer áreas do [alinhamento] que tiverem examinado.”

Buck: “Tente passar algumas horas por semana lendo qualquer conteúdo de segurança da IA e conteúdo do EA que lhe interesse. Seu objetivo deve ser algo como ‘ao longo dos anos em que estou na faculdade, devo acabar pensando sobre a maioria dessas coisas com muito cuidado’ em vez de ‘preciso entender todas essas coisas agora’.”

Um caminho para aprender sobre alinhamento

Primeiros passos: recomendo Segurança da IGA a partir dos Primeiros Princípios (Ngo, 2019) e Minha Visão Geral do Panorama do Alinhamento da IA (Nanda, 2022). Se você quiser saber mais sobre a motivação para o risco da IA, recomendo Por que o alinhamento da IA ​​pode ser difícil com o aprendizado profundo moderno (Cotra, 2021) e A Série do Século Mais Importante (Karnofsky, 2021), que também estão disponíveis em formato de podcast.

Curso de Alinhamento da IA dos Fundamentos da Segurança da IA: recomendo inscrever-se para participar do curso de alinhamento. Se você tiver tempo, o curso de governança também poderá ser valioso. Cada faixa dura cerca de 5h por semana, durante 8 semanas. Para aproveitar ao máximo o programa, eu faria isso após o aprendizado profundo básico.

O Boletim do Alinhamento é muito bom. Ele resume o trabalho recente em alinhamento da IA e ML. Um exercício (entre muitos) que ajudará a orientá-lo sobre o que está acontecendo é ler as seções de destaque dos 20-50 Boletins de Alinhamento mais recentes (leva cerca de 10h). O boletim requer alguma experiência em aprendizado de máquina; então talvez você precise obter isso antes de ler. Algumas dicas:

  • Quando você estiver por aí e pensando em ler algo, verifique primeiro o banco de dados do Boletim do Alinhamento para ver se há um resumo. A base de dados abriga artigos e seus resumos, e você pode filtrar por área (p. ex., interpretabilidade) e por importância. É particularmente útil se você deseja se informar rapidamente sobre uma área. Você pode considerar clicar aqui agora para ver como o banco de dados é legal 🙂
  • Siga seu senso de empolgação, curiosidade e confusão. Aprofunde-se nos artigos se achar interessante.
  • Se você não entender alguma coisa, talvez seja necessário voltar para um boletim informativo vinculado mais antigo.
  • Considere motivar sua leitura com uma pergunta ou incerteza, como “por que as pessoas acham que a interpretabilidade é importante?”, “o que está acontecendo com as leis de amplificação e por que elas são importantes?”, ou quaisquer que sejam suas incertezas mais importantes.

Mantenha-se atualizado: com o Boletim do Alinhamento, o LessWrong, o EA Forum , o AI Alignment Forum (AF), o ML Safety Newsletter; lendo postagens que entusiasmam você. Blogs/Twitter dos laboratórios de alinhamento. Há também o podcast do 80.000 Horas, o podcast AXRP (os episódios de Richard e Paul são ótimos pontos de partida; os de Beth e Evan também são ótimos) e o podcast do FLI. E o canal de Rob Miles no Youtube. Há muito conteúdo; então você precisará filtrar! Uma forma de filtrar é consultar o Boletim do Alinhamento. Se você quiser ler coisas antigas, no AF você pode classificar por votos positivos.

Algumas pessoas acham que ler muito é bom, principalmente para trabalhos conceituais. O conselho é “leia tudo”. Isso não será possível ou bom para a maioria das pessoas! Mas se você conseguir encontrar uma maneira de passar 500 horas de forma divertida na leitura ativa do conteúdo de alinhamento, isso provavelmente será muito bom para formar suas próprias opiniões. Você pode querer experimentar vários recursos, porque alguns serão muito mais divertidos de ler. O Boletim do Alinhamento é uma fonte. Outros incluem o blog de Paul Christiano (difícil de ler, mas você pode adorar), os diálogos do MIRI (também difíceis de ler, mas interessantes) e Racionalidade: da IA aos Zumbis (algumas pessoas adoram isso e outras ficam desanimadas). Ler muito não é um bom conselho se você estiver tentando fazer coisas muito competitivas, como um doutorado em ML, porque precisará gastar muito tempo obtendo experiência em pesquisa.

Formar suas próprias opiniões sobre o alinhamento é importante quando você tem controle sobre a direção do seu trabalho

Recomendo a leitura das Perguntas Frequentes de Carreira de Rohin Shah (dê ctrl + F em “Como posso fazer uma boa pesquisa de alinhamento da IA?”), Como formei minhas próprias opiniões sobre segurança da IA (Nanda, 2022) e Quer ser especialista? Construa modelos profundos (Tchau, 2021). Vou copiar isso e adicionar meu próprio toque, mas acho que provavelmente vale a pena lê-los diretamente.

Rohin Shah: “Queremos pensar, descobrir algumas coisas para fazer e então, se fizermos essas coisas, o mundo será melhor. Uma parte importante disso, obviamente, é garantir que as coisas em que você pensa sejam importantes para os resultados que você deseja que aconteçam.

Na prática, parece-me que o que acontece é as pessoas entrarem numa área, olharem em volta, verem o que as outras pessoas estão fazendo. Elas passam alguns minutos, possivelmente horas pensando: ‘Ok, por que elas estariam fazendo isso?’ Isso parece ótimo como uma maneira de começar em um campo. Foi o que eu fiz.

Mas então elas simplesmente continuam e permanecem nesse caminho, basicamente, por anos, pelo que posso dizer, e elas realmente não atualizam seus modelos de ‘Ok, e é assim que o trabalho que estou fazendo realmente leva ao resultado’. Elas não tentam procurar falhas nesse argumento ou ver se estão perdendo de vista alguma outra coisa.

Na maioria das vezes, quando vejo o que uma pessoa está fazendo, não vejo isso realmente. Só espero que isso vá tornar o seu trabalho muitas ordens de grandeza menos úteis do que poderiam ser.”

O que significa “formar suas próprias opiniões”? Quero dizer algo como formar um modelo detalhado, a partir de algumas crenças básicas e razoáveis ​​sobre o mundo, que leva você a uma conclusão como “trabalhar no alinhamento da IA ​​é importante”, ou “esta direção de pesquisa parece que pode mudar o rumo no risco x induzido pela IA”, ou “IA em busca de poder representa uma chance decente de extinção“, sem ter que deferir para outras pessoas. Idealmente, esse modelo tem profundidade, de modo que, se você clicar duas vezes em qualquer parte da cadeia de argumentos, é provável que haja substância ali. Bons exemplos desse tipo de raciocínio incluem My Personal Cruxes for Working on AI Safety de Buck Shelegris AGI Safety from First Principles de Richard Ngo e o relatório de Joseph Carlsmith sobre Existential Risk from Power-Seeking AI.

Por que formar suas próprias opiniões?

  • Você fará pesquisas muito melhores. Quando o trabalho é aberto, você precisa de sua própria estrutura conceitual para trabalhar e precisa consultá-la para decidir o que fazer. Mesmo em áreas como robustez ou interpretabilidade, existem direções que são ordens de grandeza mais valiosas do que outras. Na maior parte não temos projetos prontos no momento: se tivéssemos certeza de que resolver o Teorema de Alinhamento™ ou implementar a Técnica de Alinhamento™ seria suficiente para evitar a extinção induzida pela IA, não haveria necessidade de formar suas próprias opiniões. Infelizmente, esse não é o mundo em que vivemos.
  • Você pode ser capaz de melhorar a fronteira do conhecimento: há um desacordo generalizado sobre que trabalho pode ajudar: a maioria dos pesquisadores pensa que a maior parte das pesquisas de alinhamento que não são deles são inúteis ou prejudiciais. Esse é realmente um lugar estranho para se estar. Muito poucas pessoas pensaram em todo o problema em detalhes. E muitos dos melhores trabalhos dos últimos anos vieram de pessoas (juniores) que pensam no panorama geral.
  • É motivador fazer um trabalho em que você acredita, especialmente se você estiver pesquisando.

Você não precisa de suas próprias opiniões imediatamente, e talvez nem precise:

  • Quanto mais controle você tiver sobre a direção do seu trabalho, mais desejará investir na formação de suas próprias opiniões; os líderes de pesquisa precisam disso muito mais do que os contribuidores de pesquisa: a DeepMind fica feliz em conversar com contribuidores de pesquisa que possuem conhecimentos básicos de alinhamento (p. ex., “podem explicar subobjetivos convergentes instrumentais”), o que significa que você pode contribuir de forma útil sem nunca formar opiniões detalhadas sobre o alinhamento. Embora, nesse caso, você teria que confiar na DeepMind para fazer pesquisas valiosas e não seria capaz de liderar pesquisas.
  • Você pode formar suas próprias opiniões gradualmente. Certamente, ao aprender ML/engenharia/pesquisa, você não precisará de opiniões fortes sobre alinhamento. Mas você vai querer ter pensado sobre o alinhamento com muito cuidado ao escolher o que estudar no nível de doutorado, por exemplo.
  • Ser informado de que é importante formar as suas próprias opiniões pode ser assustador e paralisante. Se você está com medo ou paralisado, sugiro ler Como formei minhas próprias opiniões sobre segurança da IA.

Como você forma suas próprias opiniões? Aqui estão algumas ideias:

  • Modele outras pessoas: converse com as pessoas e tente entender suas opiniões (ler ativamente o trabalho de alguém também funciona, talvez antes de conversar com elas). Construa um modelo de no que elas acreditam e por quê, e então tente integrar isso ao seu próprio modelo e aos modelos de outras pessoas. Você pode perguntar a elas, por exemplo: “Você tem uma teoria da mudança sobre como sua pesquisa reduz o risco x e poderia tentar explicá-la para mim?”. Em seguida, parafraseie até que você seja capaz de descrever a opinião delas para outra pessoa; você não entenderá por padrão; parafrasear torna mais fácil para elas corrigir você, e acompanhar qualquer confusão que você possa ter.
  • Conduza uma investigação de confiança mínima (Karnofsky, 2021).
  • Faça alguns exercícios de pesquisa de alinhamento (Ngo, 2022). Esses exercícios são bastante específicos e podem não visar as coisas mais importantes. Mas eles são estruturados, o que é bom.
  • Pense a partir dos primeiros princípios: abra um documento do Google em branco, defina um cronômetro de uma hora e comece a escrever sobre uma pergunta, talvez uma abaixo, ou sobre se o alinhamento da IA ​​é o problema mais importante no qual você deva trabalhar.

Perguntas de previsão:

  • “Qual a probabilidade de extinção por IA” é o principal. Depois, há algumas subquestões que contribuem para isso:
    • “Quando será desenvolvida a primeira IGA?”
    • “Como será o mundo cinco anos antes e um ano depois da primeira superinteligência”
    • “Será que coisas ruins acontecerão principalmente devido a falhas de alinhamento ou falhas de coordenação?” De forma mais ampla, “o que você espera que as forças do mercado cubram e o que você espera que seja negligenciado?”
    • “Se acertarmos no alinhamento na primeira tentativa, qual a probabilidade de uma IGA desalinhada ser implementada posteriormente?

Perguntas técnicas :

  • “Quais estratégias de alinhamento realmente alinham a IA?” (É aqui que há muitas divergências na prática.)
  • “Quais estratégias de alinhamento são amplificáveis ​​e competitivas?”
  • “Como podemos garantir que as boas estratégias teoricamente possíveis sejam suficientemente práticas para serem implementadas?”

Recursos :

9. Financiamento para trabalhar na segurança da IA

As pessoas não solicitam financiamento suficiente. Aqui estão algumas refutações às objeções comuns à solicitação de financiamento: você não precisa estar fazendo pesquisas valiosas sobre alinhamento da IA agora para obter financiamento; os estudantes são os principais alvos de financiamento, porque é provável que o dinheiro lhes seja particularmente útil; ser rejeitado provavelmente não afetará você negativamente no futuro, contanto que você seja honesto e bem-intencionado; muitas vezes as pessoas ficam mal-calibradas sobre se a sua proposta vale o dinheiro gasto; os doadores realmente querem financiar bons projetos.

Para que você pode solicitar financiamento? Aqui estão algumas coisas que você pode solicitar ao Long Term Future Fund (LTFF):

  • Tempo de aprendizado: para estudar autonomamente alinhamento de ML ou da IA, para fazer trabalho de assistente de pesquisa em uma universidade (totalmente bom se isso não for pesquisa de alinhamento), para visitar centros de alinhamento da IA para falar ou trabalhar com as pessoas de lá.
  • Trabalho independente: trabalho de alinhamento independente direto (veja isto), ou para ajudar a construir a comunidade de alinhamento da IA em sua universidade ou em outro lugar.
  • Coisas pessoais/de produtividade: pagar por um terapeuta (link para teste de depressão – conheço muitas pessoas inteligentes que levaram um ano para perceber que tinham depressão), um treinador de produtividade, um bom notebook, mesa ou cadeira, um espaço de trabalho, seu próprio orçamento de produtividade, pagando para não fazer qualquer trabalho não útil que você tenha que fazer para viver – incluindo pagamentos de ensino.
  • Tutoria: para ML, codificação, aulas universitárias, economia (?) ou financiamento para um curso intensivo de ML ou codificação.
  • Diplomas formais: bolsas estão disponíveis para graduação e pós-graduação; bolsas estão disponíveis para taxas de conferências e taxas de inscrição para doutorado.

Muitas vezes é fácil candidatar-se a financiamento: por exemplo, a candidatura ao Long-Term Future Fund demora 1 a 2 horas.

Como candidatar-se: procure ter uma inscrição que seja honesta e direta. Se o objetivo é ajudar diretamente no alinhamento, dê seu melhor palpite sobre se e como seu projeto ajuda no alinhamento. Se o objetivo é avançar em sua carreira, escreva sobre como você espera que isso progrida em sua carreira com relação ao cenário contrafactual. Se você não tem sinais confiáveis ​​de sua competência e alinhamento, ajuda ter uma referência que o conheça e seja respeitada pelo órgão financiador. Se você tiver nada disso, considere se inscrever imediatamente. Caso contrário, considere ainda candidatar-se imediatamente. Mas se você quiser ter uma ideia melhor, você pode fazer um projeto de alinhamento primeiro e publicá-lo no LessWrong, por exemplo, como parte do Curso de Alinhamento da IA Fundamentos da Segurança da IA, do Programa MATS, ou como parte da construção de suas próprias opiniões sobre alinhamento.

Fontes de financiamento:

Consulte “Financiamento para trabalho de segurança da IA” em nossa página de recursos.

10. Conselhos de carreira amplamente úteis

Procure maneiras de demonstrar sua competência

Falei principalmente sobre como tornar-se competente. Isso é o mais importante e deve ser o seu foco principal desde o início; também é muito mais fácil parecer competente quando você realmente é. Mas quando você começa a fazer atividades competitivas, como inscrições para empregos ou doutorado, é útil poder demonstrar sua competência para se diferenciar dos outros.

Depois de saber quais competências buscar, encontre sinais difíceis de falsificar de que você é competente e trabalhe-os em projetos que desenvolvam sua competência. Procure maneiras de aproveitar suas competências/paradas legais que você faz. Você também pode perguntar às pessoas da comunidade/empregadores quais sinais elas considerariam difíceis de falsificar. Para doutores, fazer pesquisa < artigo ArXiv < artigo publicado < artigo publicado + carta de referência de alguém que viu muitos estudantes e tem um bom histórico de previsão de sucesso de pesquisa. Da mesma forma, replicação de artigo de ML < replicação de artigo de código aberto < replicação de código aberto mais postagem sobre o que você aprendeu. Pesquisa fracassada < postagem sobre pesquisas fracassadas… Você provavelmente em breve terá muitos conhecimentos/habilidades/coisas legais que você fez, que as pessoas não saberão. Às vezes, é fácil transformar isso em um sinal de competência, tornando seu conhecimento/habilidade/coisas interessantes legíveis e visíveis.

Concentre-se em se tornar excelente no início de sua carreira

A maior parte do seu impacto vem mais tarde em sua carreira. No início da sua carreira (pelo menos nos primeiros anos após a graduação), seu foco deve ser fazer coisas nas quais você possa crescer e se tornar excelente. Você pode perguntar a si mesmo (e aos outros) onde provavelmente crescerá mais e depois ir até lá. Podem ser organizações de alinhamento, ou talvez não. O crescimento é em grande parte uma função do seu ambiente e da mentoria disponível para você. A grande maioria da boa mentoria pode ser encontrada fora do alinhamento, e o alinhamento está fortemente limitado em termos de mentoria. Se você se tornar um excelente engenheiro/pesquisador ou pesquisador teórico de ML, provavelmente será fácil se especializar posteriormente em trabalhos de alinhamento empírico ou teórico. Certamente é bom (e talvez preferível, por causa das publicações) fazer pesquisas não relacionadas ao alinhamento durante a graduação.

Apesar disso, pode não ser bom tornar-se excelente se isso significar avançar nas capacidades de IA. Embora haja nuances nas “capacidades”: trabalhar para melhorar a aproximação da inferência bayesiana (inútil ou talvez útil para o alinhamento) é muito diferente de amplificar grandes modelos de linguagem (provavelmente muito ruim). No entanto, a Anthropic acredita que permanecer na fronteira das capacidades é necessário para fazer um bom trabalho de alinhamento; por isso não sei quão coerente é a dicotomia entre capacidades e segurança (essa é uma área ativa de debate).

Uma maneira como trabalhar em coisas que não ajudam no alinhamento pode dar errado é você ficar preso fazendo pesquisas que parecem ajudar, mas na verdade não têm um caminho para o impacto, como robustez aleatória ou pesquisa de interpretabilidade. Isso pode acontecer mesmo se você ingressar em uma equipe de segurança. Para evitar isso, recomendo continuar a construir suas próprias opiniões sobre alinhamento, conversando com pessoas mais experientes em alinhamento sobre suas decisões de carreira e mantendo a intenção de realmente considerar onde você pode fazer a melhor pesquisa de alinhamento depois de desenvolver algumas habilidades.

Envolver-se com a comunidade de alinhamento da IA irá ajudá-lo muito

Por que? Estou achando um pouco difícil explicar isso. Quando vejo pessoas começando a frequentar comunidades de alinhamento, elas parecem começar a fazer coisas muito melhores. Isso pode acontecer porque são apoiadas ou orientadas, adquirem conhecimento implícito, estão mais motivadas ou porque tomam consciência das oportunidades. Aqui estão algumas maneiras de interagir:

Cuide-se

Eu realmente não sei o que escrever aqui. Eu sei que cuidar de si mesmo é extremamente importante. Fiquei esgotado ao tentar trabalhar no alinhamento da IA ​​​​e posso atestar que o esgotamento pode ser muito ruim. Não me sinto superqualificado para dar conselhos aqui, mas tenho algumas coisas que parecem úteis para dizer: se o seu trabalho se tornar um trabalho árduo que o assusta quando você acorda, em vez de uma fonte de forte desejo interno, acho que vale a pena prestar atenção. Você pode fazer testes de diagnóstico agora mesmo ou regularmente para depressão, ansiedade e esgotamento (leva menos de 30 minutos no total). E pode consultar um terapeuta se alguma dessas situações for preocupante ou preventiva, para a qual você pode obter financiamento. Ter bons mentores, gerentes e amigos ajudará muito.

Tentar trabalhar no alinhamento da IA ​​pode ser particularmente prejudicial para a saúde mental de algumas pessoas. Aqui estão algumas razões para isso: acreditar que todos nós podemos morrer pode ser realmente assustador e totalizante; não há muitos empregos em alinhamento no momento e as oportunidades de ML em geral são bastante competitivas; talvez você não consiga ajudar no trabalho de alinhamento técnico e isso pode ser devastador; algumas das ações que sugiro são difíceis e não estruturadas – como formar suas próprias opiniões sobre alinhamento ou fazer replicações de artigos – e muitas pessoas não prosperam em ambientes não estruturados; o “alinhamento técnico da IA” não é um plano de carreira ou conjunto de caminhos bem definido, e muitas vezes é difícil saber o que é melhor fazer.

Não quero que você se sinta mal consigo mesmo se estiver passando por dificuldades ou não puder ajudar de uma maneira específica. Se você estiver com dificuldades, considere conversar com seus amigos, pessoas que passaram por experiências semelhantes, conversar com o suporte de segurança da IA, tirar uma folga, fazer terapia ou tentar um tipo diferente de trabalho ou ambiente.

Tradução: Luan Marques

Link para o original

Tags:

Deixe um comentário