Índice
Governança
Resolver o alinhamento técnico é apenas parte do quebra-cabeça. Questões de governança em torno do desenvolvimento e da implementação de IGA também precisarão ser resolvidas.
Esta sessão aborda a governança da IA. Até agora, neste curso, nos concentramos em soluções de alinhamento técnico. Também precisamos de soluções estratégicas e políticas para gerenciar a implementação segura de sistemas de IGA potenciais, além de lidar com novas questões e riscos decorrentes da existência da IGA.
A maioria dos recursos desta semana fica em pesquisas estratégicas e na construção de campo, e não no desenvolvimento, defesa ou implementação de políticas específicas. Relativamente pouco trabalho foi feito na implementação de políticas, e preferimos cobrir os princípios da governança da IA. Leia mais sobre a distinção entre estratégia e implementação aqui.
Não podemos alcançar muita profundidade em apenas 1 semana; aqueles interessados em explorar a governança da IA com mais detalhes, incluindo a avaliação de políticas individuais, devem olhar para o nosso currículo do curso de Governança da IA.
Observamos também que o campo da governança da IA é muito mais amplo do que o que abordaremos esta semana. Focamos especificamente em novas considerações que podem precisar ser feitas devido ao desenvolvimento de sistemas de IA avançados. Há danos tangíveis existentes causados por sistemas de IA existentes (que podem muito bem ser exacerbados por sistemas mais poderosos) que também implicam a necessidade de governança da IA, os quais não abordaremos explicitamente.
Até o final da sessão, você deve ser capaz de:
- Explicar e avaliar os riscos envolvidos na implementação de sistemas avançados de IA.
- Explorar as perspectivas das partes interessadas que tomam decisões de IA de alto risco.
- Explicar por que os seguintes tópicos podem ser importantes para a governança da IA avançada
- Governança da computação
- Segurança da informação
- Avaliação de modelo (também chamada de “Normas e Monitoramento”)
Recursos (cerca de 1h 34 min)
Governança da IA: oportunidade e teoria do impacto de Allan Dafoe (2020) [Artigo]
Tempo estimado: 20 min
Dafoe fornece uma visão abrangente da governança da IA e de como ela pode ser importante, focando especialmente em enquadrar a governança da IA como construção de campo. Utilize este recurso para complementar sua compreensão do recurso anterior.
Ele aborda: 3 perspectivas sobre como a IA pode se desenvolver; algumas vias concretas para o risco; e um quadro para pensar sobre como reduzir esses riscos do ponto de vista da governança. Vamos explorar cenários concretos e propostas nos recursos seguintes.
Você também pode se interessar por esta palestra do autor, na qual pontos similares são apresentados em uma apresentação.
Corrida num campo minado: o problema da implementação de IA de Holden Karnofsky (2022) [Blog]
Tempo estimado: 16 min
Karnofsky introduz o problema do desenvolvimento de IA e argumenta a favor da cautela no desenvolvimento de IA ao longo do próximo século.
Ele discute algumas maneiras pelas quais poderíamos fazer isso, a saber: pesquisa de alinhamento, avaliação de ameaças, evitar corridas, compartilhamento seletivo de informações, monitoramento global e implementação defensiva.
Essas são considerações úteis a serem feitas ao pensar sobre como podemos nos orientar em torno do desenvolvimento de IA de forma responsável.
Para ler mais sobre condições de corrida (ou a ausência delas), recomendamos este post.
Para ver a abordagem declarada da OpenAI para o desenvolvimento de IA, veja seu estatuto ou post recente sobre o tema.
Por que e como os governos devem monitorar o desenvolvimento de IA Jess Whittlestone e Jack Clarke (2021) [Artigo]
Tempo estimado: 15 min
Whittlestone e Clarke defendem o monitoramento do desenvolvimento de IA pelos governos. Capacidades de avaliação e monitoramento provavelmente são necessárias para poder verificar se os sistemas de IA estão em conformidade com as normas antes da implementação.
Se executado adequadamente, o monitoramento pode ser um passo importante em direção à implementação segura da IA avançada e provavelmente também seria útil para mitigar danos causados pelos sistemas existentes.
Alavancas da política da IA de Sophie-Charlotte Fischer, Jade Leung, Markus Anderljung et al. (2021) [Artigo]
Tempo estimado: 10 min
O Centro para a Governança de IA (GovAI) apresenta várias “alavancas políticas” disponíveis para o Governo dos EUA regulamentar o desenvolvimento e a implementação de sistemas de IA. Muitas dessas alavancas são generalizáveis para outros governos também.
Uma alavanca política é, de maneira geral, uma ferramenta ou ponto de intervenção que um governo tem à disposição para moldar e aplicar mudanças.
Verificação de regras no treinamento de ML de larga escala por meio do monitoramento de computação de Yonadav Shavit (2023) [Artigo]
Tempo estimado: 20 min
Leia as seções 1, 2 e 3.1.
Este artigo apresenta o plano estratégico mais coerente para regular corridas de treinamento em larga escala por meio de monitoramento de computação, até o momento. Note que ainda há muito trabalho de implementação de políticas a ser feito para realizar este plano.
Incluímos este documento para lhe dar uma ideia de como um plano poderia ser, como um resumo atualizado de coisas com as quais alguns formuladores de políticas de IA ficam entusiasmados, ao pensar em mitigar riscos novos de sistemas de IA geral.
Considerações de segurança da informação para a IA e o futuro de longo prazo de Jeffrey Ladish e Lennart Heim (2022) [Blog]
Tempo estimado: 13 min
Pesos de modelos e algoritmos relacionados à IGA provavelmente terão um alto valor econômico, o que significa que provavelmente haverá uma pressão competitiva substancial para obter esses recursos, às vezes de forma ilegítima.
Poderíamos querer evitar isso devido aos riscos associados à proliferação de modelos de IA poderosos:
- Eles poderiam ser obtidos por atores descuidados ou não cooperativos, levando a um uso descuidado ou malicioso.
- Isso reduz a eficácia de políticas que regulam atores com acesso a modelos de IA poderosos, se os modelos puderem ser obtidos secretamente.
Tradução: Luan Marques
Link para o original.