Índice

Resumo e introdução

As pessoas que desejam melhorar a trajetória da IA às vezes pensam que suas opções para o trabalho em nível de objeto são (i) trabalho técnico de segurança e (ii) trabalho não técnico de governança. Mas essa lista perde coisas de vista; outro grupo de opções indiscutivelmente promissoras é o trabalho técnico na governança da IA, ou seja, o trabalho técnico que impulsiona principalmente as intervenções de governança da IA. Esta postagem fornece uma breve visão geral de algumas maneiras de fazer esse trabalho: quais são, por que podem ser valiosas e o que você pode fazer se estiver interessado. Eu discuto:

Alavancas técnicas de engenharia para tornar a coordenação/regulamentação de IA executável (por meio de engenharia de hardware, engenharia de software/aprendizado de máquina e engenharia relacionada a calor/eletromagnetismo)
Segurança da informação
Previsão do desenvolvimento da IA
Desenvolvimento de normas técnicas
Doações ou gerenciamento para fazer com que outros façam bem o supracitado
Aconselhamento sobre o supracitado
Outros trabalhos

Reconhecimentos

Agradeço a Lennart Heim, Jamie Bernardi, Luke Muehlhauser, Gabriel Mukobi, Girish Sastry e um funcionário da Schmidt Futures por seus comentários sobre este post. Os erros são meus.

Este post é principalmente informado por várias conversas com pesquisadores de governança da IA, bem como escritos anteriores sobre tipos específicos de trabalho técnico em governança da IA.

Contexto

O que quero dizer com “trabalho técnico na governança da IA”

Estou falando de trabalho que:

é técnico (por exemplo, engenharia de hardware/aprendizado de máquina) ou baseia-se fortemente em conhecimento técnico; e
contribui para a trajetória da IA principalmente ao melhorar as chances de sucesso das intervenções de governança da IA¹ (em vez de progredir em problemas técnicos de segurança ou construir comunidades preocupadas com esses problemas).

Negligência

Até o momento, existem (pela estimativa de um especialista envolvido) cerca de 8 a 15 equivalentes a tempo integral fazendo este trabalho com foco em riscos de IA especialmente em grande escala².

Atualização (abril de 2023): felizmente, acho que esse número aumentou para ~ 18-25, principalmente por meio de a ARC Evals e da Epoch fazerem várias contratações para avaliações técnicas e previsões, respectivamente. No entanto, esses números ainda são bastante baixos e os números para algumas categorias específicas, por exemplo, trabalho técnico em engenharia de hardware, ainda podem ser contados nos dedos, até onde eu sei.

Adequação Pessoal

Para você ter uma forte adequação pessoal para esse tipo de trabalho, as habilidades técnicas são úteis, claro (incluindo, mas não necessariamente em aprendizado de máquina), e o interesse na interseção de trabalho técnico e intervenções de governança presumivelmente torna esse trabalho mais animador para alguém.

Além disso, o que for necessário para progredir em problemas inexplorados em um pequeno subcampo³ provavelmente é muito importante para este trabalho agora, já que essa é a natureza atual desses campos. Isso pode mudar em alguns anos. (Mas isso não significa necessariamente que você deva esperar; o tempo está passando, alguém tem que fazer esse pensamento inicial e talvez possa ser você).

O que eu não estou dizendo

É claro que não estou dizendo que esse é o único ou principal tipo de trabalho necessário. (Ainda assim, parece particularmente promissor para pessoas tecnicamente qualificadas, especialmente com a suposição discutível de que as intervenções de governança tendem a prover mais vantagens do que o trabalho direto em problemas técnicos de segurança).

Tipos de trabalho técnico na governança da IA

Alavancas técnicas de engenharia para tornar a coordenação/regulamentação de IA executável

Para ajudar a garantir que a IA funcione bem, podemos precisar de uma boa coordenação e/ou regulamentação⁴. Para obter uma boa coordenação/regulamentação da IA, precisamos de métodos politicamente aceitáveis para aplicá-la (ou seja, capturar e penalizar/deter os infratores)⁵. E para projetar métodos de aplicação politicamente aceitáveis, precisamos de vários tipos de engenheiros, conforme discutido nas próximas seções⁶.

Engenharia de hardware para permitir a coordenação/regulamentação de IA

Para ajudar a aplicar a coordenação/regulamentação de IA, pode ser possível criar determinados dispositivos em chip para chips especializados em IA ou outros dispositivos em centrais de dados. Como uma lista incompleta de exemplos especulativos:

Dispositivos em comutadores de rede que identificam execuções de treinamento especialmente grandes podem ser úteis.
- Eles poderiam ajudar a aplicar regulamentações que se aplicam apenas a execuções de treinamento acima de um determinado tamanho (o que, entre outros benefícios, parece muito mais fácil politicamente do que tentar regulamentar todos os usos da computação).
Se houvesse dispositivos no chip rastreando o número de computações feitas nos chips, isso poderia ajudar uma agência a monitorar quanta computação várias centrais de dados e organizações estão usando.
- Isso pode ajudar a aplicar regulamentações cuja aplicação depende da quantidade de computação usada por um desenvolvedor de IA ou central de dados (o que, entre outros benefícios, parece muito mais fácil politicamente do que tentar regulamentar todos que usam computação).
Comutadores de homem morto em hardware de IA (ou outros requisitos de autorização capacitados por hardware) podem manter pacificamente organizações desonestas do desenvolvimento ou implementação de IA prejudicial (por exemplo, interferindo no início de uma execução de treinamento).

Parte do desafio de engenharia aqui é que, idealmente (por exemplo, para a aceitabilidade política), podemos querer que tais dispositivos não apenas funcionem, mas também (potencialmente entre outros recursos desejados):

sejam seguros;
preservem a privacidade;
sejam baratos;
indiquem adulteração; e
sejam à prova de adulteração⁷.

Atualização: Veja este documento para uma discussão mais técnica.

Engenharia de software/aprendizado de máquina para permitir a coordenação/regulamentação de IA

A engenharia de software (especialmente de aprendizado de máquina) pode ajudar a impor a coordenação/regulamentação de IA de várias maneiras⁸, incluindo o seguinte:

Métodos/software para auditar modelos de aprendizado de máquina podem ajudar a determinar quando e como os regulamentos devem ser aplicados (por exemplo, podem ajudar a determinar que algum modelo ainda não pode ser implantado porque possui recursos que os métodos de segurança atuais não abordam) (veja aqui um exemplo de tal trabalho);
Aplicações de aprendizado de máquina para imagens de satélite (visuais e infravermelhas) podem ajudar a identificar centrais de dados secretas;
Software (talvez de aprendizado de máquina) para analisar dispositivos de hardware ou talvez dados de vídeo pode ajudar a detectar esforços para adulterar os dispositivos de hardware discutidos na seção anterior; e
Aplicações de aprendizado de máquina para dados de código aberto ou outros tipos de dados podem ajudar a identificar violações.

Engenharia relacionada ao calor/eletromagnetismo para permitir a coordenação/regulamentação de IA

Para aplicar a coordenação/regulamentação de IA contra violadores particularmente motivados, pode ser útil identificar chips ou centrais de dados ocultos usando suas assinaturas térmicas e eletromagnéticas. As pessoas que sabem muito sobre calor e eletromagnetismo podem presumivelmente ajudar a projetar equipamentos ou métodos que fazem isso (por exemplo, equipamentos móveis utilizáveis em centrais de dados, equipamentos que podem ser instalados em centrais de dados, métodos para analisar dados de satélite e métodos para analisar dados coletados sobre uma instalação de uma estrada próxima).

Parte do desafio aqui é que esses métodos devem ser resistentes a esforços para ocultar as assinaturas térmicas e eletromagnéticas.

Segurança da informação

A segurança da informação pode ser importante para a IA de várias maneiras, incluindo as seguintes:

Seria ruim se as pessoas roubassem modelos inseguros de aprendizado de máquina e os implementassem. Também seria ruim se os desenvolvedores de IA corressem para implementar seus próprios modelos (por exemplo, com poucos testes ou uso de métodos de segurança) porque temem que, se esperarem muito, alguém roubará seus modelos e os implementará primeiro. Uma segurança da informação suficientemente boa em desenvolvedores de IA (incluindo sua infraestrutura externa) atenuaria esses problemas.
A segurança da informação nas agências reguladoras pode ajudar a permitir que a coordenação/regulamentação de IA seja aplicada de maneira politicamente aceitável; poderia garantir aos desenvolvedores de IA que sua conformidade será verificada sem revelar informações confidenciais, ao mesmo tempo que garante a um regulador que os dados nos quais eles confiam são autênticos.
- Isso pode incluir o uso de técnicas criptográficas nos dispositivos de hardware, software de avaliação de modelo e outros equipamentos discutidos acima.
A segurança da informação em empresas de hardware pode ajudar a manter a cadeia de suprimentos de semicondutores concentrada em um pequeno número de países aliados, o que pode ajudar a permitir a governança dessa cadeia de suprimentos.

Veja aqui, aqui, e aqui (Seções 3.3 e 4.1), e ouça aqui [podcast] para mais informações. Como essas fontes sugerem, a segurança da informação coincide com o trabalho de engenharia mencionado acima – mas se estende para além dele.

Previsão do desenvolvimento de IA

Os previsores da IA respondem a perguntas sobre quais capacidades de IA provavelmente surgirão e quando. Isso pode ser útil de várias maneiras, incluindo:

Ajuda os pesquisadores de governança da IA a explicar como os avanços de curto prazo em IA mudarão o cenário estratégico (por exemplo, através da introdução de novas ferramentas ou novas ameaças, ou aumentando a atenção que vários atores estão prestando à IA);
Ajuda a determinar a urgência e prazos aceitáveis para vários tipos de trabalho; e
Ajuda a definir parâmetros para regulamentos de IA (coordenados) (por exemplo, se algum regulamento se aplicar apenas a modelos treinados com pelo menos alguma quantidade de computação, precisamente quantos FLOPs devem ser tratados como altamente arriscados? Quais são as penalidades de custo do treinamento descentralizado, o que podem alterar o que os reguladores precisam procurar em cada central de dados?)

Normalmente, este trabalho não é de engenharia ou pesquisa técnica clássica; geralmente envolve medir e extrapolar tendências da IA e, às vezes, é mais conceitual/teórico. Ainda assim, a familiaridade com o software ou hardware relevante geralmente parece útil para saber quais tendências procurar e como encontrar dados relevantes (por exemplo, “Quanta computação foi usada para treinar modelos recentes de última geração?”), bem como para ser capaz de avaliar e argumentar sobre questões conceituais relevantes (por exemplo, “Quão análoga a descida do gradiente é à seleção natural?”).

Veja aqui (Seção I) e aqui⁹ algumas coleções de questões de pesquisa relevantes; veja ¹, ², ³, ⁴ e ⁵ para alguns exemplos de trabalho de previsão da IA; e ouça aqui [podcast] para mais discussões.

Desenvolvimento de normas técnicas

Um cenário de risco de IA é que bons métodos de segurança da IA serão descobertos, mas não serão implementados amplamente o suficiente para evitar resultados ruins¹⁰. Para ajudar com isso, traduzir o trabalho de segurança da IA em normas técnicas (que podem ser referenciadas por regulamentos, como costuma ser feito) pode ajudar. Da mesma forma, a definição de normas pode ser uma maneira para as empresas de IA estabelecerem barreiras em sua competição de IA sem violar as leis antitruste.

O conhecimento técnico (especificamente, em segurança da IA) pode ajudar os desenvolvedores de normas (i) a identificar métodos de segurança que seria valioso normatizar e (ii) a traduzir métodos de segurança em normas de segurança (por exemplo, especificando-os com precisão de maneiras amplamente aplicáveis ou projetando pacotes de teste e avaliação para uso por normas)¹¹.

Atualização: para obter um exemplo de desenvolvimento de avaliação com foco na segurança, consulte o trabalho da ARC Evals.

Além disso, normas de segurança cibernética reforçadas para empresas de IA, empresas de hardware de IA e outras empresas que processam seus dados podem ajudar a resolver alguns dos problemas de segurança da informação mencionados acima.

Veja aqui para mais informações.

Doações ou gerenciamento para fazer com que outros façam o bem supracitado

Em vez de fazer os tipos de trabalho acima, você pode usar sua experiência técnica para (como doador ou gerente) organizar outras pessoas para fazer esse trabalho. Alguns dos problemas aqui parecem ser problemas técnicos paradigmáticos e legíveis; portanto, pode ser muito possível para você aproveitar contratados, beneficiários, funcionários ou participantes de concursos para resolver esses problemas, mesmo que eles não estejam muito familiarizados ou interessados no panorama mais amplo.

Os não especialistas não poderiam fazer isso bem? Não necessariamente; pode ser muito mais fácil julgar propostas de projetos, candidatos ou execução se você tiver experiência no assunto. A experiência também pode ser muito útil para formular problemas técnicos prontos para a investigação.

Aconselhamento sobre o supracitado

Alguns pesquisadores e formuladores de políticas de governança da IA podem querer apostar em certas suposições sobre a viabilidade de determinados projetos de engenharia ou segurança da informação, em previsões da IA ou em setores relevantes. Ao aconselhá-los com sua experiência relevante, você pode ajudar aliados a fazer boas apostas em questões técnicas. Muito desse trabalho poderia ser feito em meio período ou “à disposição” (por exemplo, gastando a maior parte do seu tempo de trabalho no que as seções acima discutiram, trabalhando em uma empresa de hardware relevante ou fazendo outro trabalho).

Outros?

Provavelmente perdi de vista alguns tipos de trabalho técnico que podem contribuir para a governança da IA e, entre os tipos de trabalho técnico que identifiquei, provavelmente perdi de vista muitos exemplos de maneiras específicas pelas quais eles podem ajudar.

Possíveis próximos passos se você estiver interessado

Contribuir em qualquer uma dessas áreas geralmente exigirá que você tenha uma iniciativa significativa; ainda não existem canais de carreira muito simplificados para fazer a maior parte desse trabalho com foco em riscos de grande escala. Ainda assim, há muito que você pode fazer; você pode:

Se informar mais sobre esses tipos de trabalho, por exemplo, seguindo os links nas seções acima (bem como este link, que coincide com várias áreas relacionadas a hardware).
Testar sua adequação a essas áreas, por exemplo, fazendo um curso introdutório em engenharia ou segurança da informação, ou tentando um projeto pequeno e relevante (digamos, paralelamente ou em um estágio de pesquisa).
Construir a expertise relevante, por exemplo, estudando extensivamente ou trabalhando em uma área relevante.
- Doadores como o Long-Term Future Fund podem estar interessados em apoiar projetos relevantes de autoeducação.
Conhecer e buscar oportunidades específicas para contribuir, especialmente se você tiver um interesse sério em algum destes trabalhos ou experiência relevante, por exemplo:
- Entre em contato com pessoas que trabalham em áreas relacionadas (por exemplo, envie e-mails para autores de publicações relevantes ou entre em contato em conferências da comunidade).
- Candidate-se a financiamento se tiver uma ideia de projeto.
  - O Centro de Segurança e Tecnologia Emergente (CSET) de Georgetown pode estar interessado em financiar projetos relevantes (embora, especulando com base em um anúncio público do doador relevante, ele possa ter capacidade limitada nesta área nos próximos meses).
- Fique de olho nas vagas em quadros de empregos relevantes.
Sinta-se à vontade para entrar em contato com o seguinte endereço de e-mail se tiver dúvidas ou quiser se coordenar com algumas pessoas que estão fazendo trabalhos relacionados12.
- Technical-ai-governance [arroba] googlegroups [ponto] com

Notas

1. Isso inclui a criação de conhecimento que permite aos tomadores de decisão desenvolver e buscar intervenções de governança da IA mais promissoras (ou seja, não apenas impulsionar as intervenções que já foram decididas).

2. Claro, há muito mais pessoas fazendo a maioria desses tipos de trabalho com outras preocupações, mas esse trabalho pode não ser bem direcionado para abordar as preocupações de muitos neste fórum.

3. Coragem? automotivação? empreendedorismo? juízo crítico? capacidade analítica? criatividade?

4. Para elaborar, uma dificuldade importante (alguns diriam central) com a IA é a necessidade potencial de coordenação entre países ou talvez laboratórios. Na ausência de coordenação, a ação unilateral e a dinâmica de corrida para o fundo do poço podem levar a sistemas de IA altamente capazes sendo implantados de maneiras prejudiciais (às vezes não intencionalmente). Ao entrar em acordos executáveis para abster-se mutuamente de treinamentos ou implementações inseguros, os atores relevantes podem evitar esses problemas. Mesmo que os acordos internacionais sejam inviáveis, a regulamentação interna pode ser uma ferramenta crucial para lidar com os riscos de IA. Um país ou um pequeno grupo de países com ideias semelhantes pode liderar o mundo em IA, caso em que a regulamentação interna desses governos pode ser suficiente para garantir que sistemas de IA altamente capazes sejam desenvolvidos com segurança e bem usados.

5. Para elaborar, os acordos internacionais e os regulamentos internos devem ser executáveis para funcionar. Os reguladores envolvidos devem ser capazes de capturar e penalizar (ou deter) os infratores – com a rapidez, consistência e rigor necessários para evitar violações graves. Mas acordos e regulamentos não precisam “apenas” ser obrigatórios; eles precisam ser executáveis de forma que sejam aceitáveis para os tomadores de decisão relevantes. Por exemplo, os tomadores de decisão provavelmente seriam muito mais abertos a acordos ou regulamentos de IA se sua aplicação (a) não expusesse muitos segredos comerciais, militares ou pessoais e (b) não fosse extremamente cara.

6. Afinal, atualmente não temos métodos de execução bons o suficiente, de modo que algumas pessoas (engenheiros) precisam criá-los. (Você conhece maneiras atualmente existentes e politicamente aceitáveis de saber se os desenvolvedores de IA estão treinando sistemas de IA inseguros em centrais de dados distantes? Eu também não). Claro, também precisamos de outros, por exemplo, diplomatas e analistas de políticas, mas isso está fora do escopo desta postagem. Como analogia motivadora (embora limitada), a Agência Internacional de Energia Atômica conta com uma ampla gama de equipamentos para verificar se os países seguem o Tratado de Não Proliferação de Armas Nucleares.

7. Literalmente “à prova de adulteração” pode ser inviável, mas “proibitivamente caro para adulteração em escala” ou “se autodestrói se adulterado” pode ser bom o suficiente.

8. Isso coincide com a IA cooperativa.

9. Observe que o autor disso agora o considera um pouco desatualizado.

10. Em contraste, algumas outras intervenções parecem ser mais motivadas pela preocupação de que não haverá tempo para descobrir bons métodos de segurança antes que ocorram implementações prejudiciais.

11. Esse trabalho pode ser semelhante ao projeto de pacotes de teste e avaliação para uso pelos reguladores, mencionado na seção de engenharia de software/aprendizado de máquina.

12. Não estou gerenciando este e-mail; um pesquisador relevante que gentilmente concordou em coordenar parte deste trabalho está. Ele tem um plano que considero confiável para verificar regularmente o que essa conta de e-mail recebe.

Publicado originalmente em 5 de setembro de 2022 aqui.

Autor: Mauricio

Tradução:

A governança da IA precisa de trabalho técnico