Blog

Semana 2: Introdução aos potenciais riscos catastróficos da IA

Objetivo da Sessão

Muitos dos principais cientistas e empresários em IA pediram que a mitigação do “risco de extinção advindo da IA” seja tornada “uma prioridade global ao lado de outros riscos de escala social, como pandemias e uma guerra nuclear”. Ainda que os danos da IA não se amplifiquem até a extinção, a IA pode contribuir para o uso indevido, conflitos e acidentes em escala global.

A área está longe de ter consenso sobre a gravidade desses riscos¹. Ainda assim, uma formulação responsável de políticas deve ser informada pelas razões pelas quais muitos especialistas estão preocupados. Esse é o foco dos recursos desta semana.

–

1. Pesquisas relevantes incluem: Clarke, et al. (2021); Stein-Perlman, et al. (2022); e Zhang, et al. (2022).

Até o final da semana, você deve ser capaz de:

Explicar o básico das razões pelas quais muitos especialistas estão preocupados com cada um dos seguintes problemas de IA:

• IAs podem viabilizar, cada vez mais, várias formas de uso indevido (p. ex., bioterrorismo, desinformação e entrincheiramento perigoso de valores).
• IAs podem aumentar os riscos de guerra (incluindo guerra nuclear), competição destrutiva e outras formas de conflito.
• Nas próximas décadas, agentes de IA amplamente capazes poderão buscar objetivos não pretendidos.