[Esta é uma carta aberta publicada em março deste ano pelo Future of Life Institute, uma das principais organizações no mundo focadas na diminuição de riscos catastróficos globais e existenciais. No momento (outubro de 2023), ela possui mais de 30 mil assinaturas, incluindo as de Yoshua Bengio, Stuart Russell, Elon Musk, Steve Wozniak e Yuval Noah Harari.]
Apelamos a todos os laboratórios de IA para pausar imediatamente por pelo menos 6 meses o treinamento de sistemas de IA mais poderosos que o GPT-4.
Sistemas de IA com inteligência competitiva com relação aos humanos podem apresentar riscos profundos à sociedade e à humanidade, conforme demonstrado por extensas pesquisas1 e reconhecido por laboratórios de IA de renome.2 Conforme declarado nos amplamente endossados Princípios de IA de Asilomar, a IA Avançada poderia representar uma profunda mudança na história da vida na Terra e deveria ser planejada e gerida com um cuidado e recursos proporcionais. Infelizmente, esse nível de planejamento e gestão não está acontecendo, embora os últimos meses tenham presenciado laboratórios de IA presos numa corrida descontrolada para desenvolver e implementar mentes digitais cada vez mais potentes que ninguém – nem mesmo seus criadores – conseguem entender, prever ou controlar de forma confiável.
Sistemas de IA contemporâneos agora estão se tornando competitivos com relação aos humanos em tarefas gerais,3 e devemos nos perguntar: devemos deixar as máquinas inundar nossos canais de informação com propaganda e inverdades? Devemos automatizar todos os empregos, inclusive os gratificantes? Devemos desenvolver mentes não humanas que poderiam acabar nos substituindo, nos tornando obsoletos e nos superando em números e inteligência? Devemos arriscar a perda do controle da nossa civilização? Tais decisões não devem ser delegadas a líderes tecnológicos não eleitos. Sistemas de IA poderosos devem ser desenvolvidos somente quando estivermos confiantes que seus efeitos serão positivos e seus riscos serão geríveis. Essa confiança deve ser bem justificada e aumentar com a magnitude dos potenciais efeitos de um sistema. A declaração recente da OpenAI com respeito à inteligência geral artificial declara que “Em algum ponto, pode ser importante ter uma revisão independente antes de começar a treinar sistemas futuros, e que os esforços mais avançados concordem em limitar a taxa de crescimento de poder computacional utilizado para criar novos modelos”. Concordamos. O ponto é agora.
Portanto, apelamos a todos os laboratórios de IA para pausar imediatamente por pelo menos 6 meses o treinamento de sistemas de IA mais poderosos que o GPT-4. Essa pausa deve ser pública e verificável, e incluir todos os atores-chave. Se tal pausa não puder ser feita rapidamente, os governos deverão intervir e instituir uma moratória.
Laboratórios de IA e especialistas independentes devem usar essa pausa para desenvolver e implementar coletivamente um conjunto de protocolos de segurança em comum para o projeto e o desenvolvimento de IA avançada que sejam auditados e supervisionados rigorosamente por especialistas externos independentes. Esses protocolos devem garantir que os sistemas que aderirem a eles são seguros além de uma dúvida razoável.4 Isso não significa pausar o desenvolvimento de IA em geral, mas meramente recuar da perigosa corrida para modelos de caixa-preta imprevisíveis cada vez maiores com capacidades emergentes.
A pesquisa e o desenvolvimento de IA devem ser redirecionados para tornar os sistemas de última geração atuais mais precisos, seguros, interpretáveis, transparentes, resilientes, alinhados, confiáveis e leais.
Paralelamente, os desenvolvedores de IA devem trabalhar com os formuladores de políticas para acelerar dramaticamente o desenvolvimento de sistemas resilientes de governança da IA. Devem no mínimo incluir: autoridades regulatórias novas e capazes especializadas em IA; supervisão e rastreamento de sistemas de IA altamente capazes e de grandes reservatórios de capacidade computacional; sistemas de procedência e marca d´água para ajudar a distinguir o real do sintético e a rastrear vazamentos de modelos; um ecossistema de auditoria e certificação resiliente; responsabilização por danos causados por IA; um financiamento público robusto para a pesquisa técnica em segurança da IA; e instituições bem providas de recursos para lidar com as dramáticas perturbações econômicas e políticas (especialmente à democracia) que a IA causará.
A humanidade pode desfrutar de um futuro próspero com a IA. Tendo tido sucesso em criar poderosos sistemas de IA, podemos agora desfrutar de um “verão da IA” no qual colhemos as recompensas, projetamos esses sistemas para o claro benefício de todos e damos à sociedade a chance de se adaptar. A sociedade já apertou o botão de pausa com outras tecnologias com efeitos potencialmente catastróficos sobre a sociedade.5 Podemos fazer o mesmo aqui. Vamos desfrutar de um longo verão da IA, não nos apressar despreparados para um outono.
Notas:
1. Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?🦜. Em Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).
Bostrom, N. (2016). Superintelligence. Oxford University Press.
Bucknall, B. S., & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. Em Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (pp. 119-129).
Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353.
Christian, B. (2020). The Alignment Problem: Machine Learning and human values. Norton & Company.
Cohen, M. et al. (2022). Advanced Artificial Agents Intervene in the Provision of Reward. AI Magazine, 43(3) (pp. 282-293).
Eloundou, T., et al. (2023). GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models.
Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862.
Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626.
Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.
Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf.
Weidinger, L. et al (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.
2. Ordonez, V. et al. (2023, March 16). OpenAI CEO Sam Altman says AI will reshape society, acknowledges risks: ‘A little bit scared of this’. ABC News.
Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.
3. Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712.
OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
4. Existem abundantes precedentes legais: por exemplo, os amplamente adotados princípios de IA da OCDE requerem que sistemas de IA “funcionem adequadamente e não apresentem um risco de segurança irrazoável”.
5. Exemplos incluem clonagem humana, modificação da linhagem germinativa humana, pesquisa de ganho de função e eugenia.
Publicada em 22 de março de 2023 aqui.
Tradução: Luan Marques.