Índice
Semana 2: Introdução aos potenciais riscos catastróficos da IA
Objetivo da Sessão
Muitos dos principais cientistas e empresários em IA pediram que a mitigação do “risco de extinção advindo da IA” seja tornada “uma prioridade global ao lado de outros riscos de escala social, como pandemias e uma guerra nuclear”. Ainda que os danos da IA não se amplifiquem até a extinção, a IA pode contribuir para o uso indevido, conflitos e acidentes em escala global.
A área está longe de ter consenso sobre a gravidade desses riscos1. Ainda assim, uma formulação responsável de políticas deve ser informada pelas razões pelas quais muitos especialistas estão preocupados. Esse é o foco dos recursos desta semana.
–
1. Pesquisas relevantes incluem: Clarke, et al. (2021); Stein-Perlman, et al. (2022); e Zhang, et al. (2022).
Até o final da semana, você deve ser capaz de:
Explicar o básico das razões pelas quais muitos especialistas estão preocupados com cada um dos seguintes problemas de IA:
- IAs podem viabilizar, cada vez mais, várias formas de uso indevido (p. ex., bioterrorismo, desinformação e entrincheiramento perigoso de valores).
- IAs podem aumentar os riscos de guerra (incluindo guerra nuclear), competição destrutiva e outras formas de conflito.
- Nas próximas décadas, agentes de IA amplamente capazes poderão buscar objetivos não pretendidos.