Blog

Equipe da AI Safety Fundamentals

Ideias fundamentais

Esta cartilha introduz vários aspectos das normas de segurança e regulamentações para o desenvolvimento de IA em escala industrial: o que são, seu potencial e limitações, algumas propostas para seu conteúdo e os recentes desenvolvimentos políticos. As ideias fundamentais são:

• Normas são especificações formais das melhores práticas, que podem influenciar os regulamentos. Regulamentos são requisitos estabelecidos pelos governos.
• O desenvolvimento de IA de ponta está sendo realizado com empresas individuais que gastam mais de 100 milhões de dólares. Essa escala industrial pode permitir uma regulamentação direcionada e aplicável para reduzir os riscos do desenvolvimento de IA de ponta.
• A regulamentação do desenvolvimento de IA em escala industrial enfrenta várias limitações potenciais, incluindo a crescente eficiência dos algoritmos de treinamento de IA e do hardware de IA, a captura regulatória e reguladores com recursos limitados. No entanto, esses desafios não são necessariamente fatais.
• A regulamentação da IA também enfrenta desafios com a aplicação e a competitividade internacional — isso será discutido mais adiante neste curso.
• As atuais propostas para práticas de segurança de IA incluem: avaliações de modelos de IA e restrições associadas, avaliações de planos de treinamento, segurança da informação, implementação protegida e treinamento seguro. No entanto, essas ideias são tecnicamente imaturas em diferentes graus.
• Até agosto de 2023, a China parece próxima de estabelecer regulamentações abrangentes sobre IA generativa voltada para o público, a UE parece próxima de aprovar regulamentações de IA que excluem principalmente a IA generativa, e senadores dos EUA estão tentando avançar na regulamentação da IA.

O que são normas e regulamentos

Normas são especificações formais das melhores práticas. Muitas organizações, incluindo grupos industriais, organizações sem fins lucrativos, agências governamentais e organizações internacionais, publicam normas sobre uma ampla variedade de tópicos. Normas não são automaticamente vinculativas no sentido legal. Ainda assim, elas podem determinar convenções e, às vezes, os governos tornam obrigatória a conformidade com as normas. Os governos também podem estabelecer outros incentivos para a conformidade com as normas, como tornar a conformidade uma condição para contratos governamentais.

Regulamentações são requisitos estabelecidos pelos governos. Nos EUA, Reino Unido e outros países, os legisladores promulgam leis que estabelecem regras de alto nível, e então uma agência governamental geralmente é encarregada de estabelecer os detalhes e garantir a conformidade. A agência, por sua vez, pode incorporar uma norma não governamental à regulamentação.

Por que o desenvolvimento de IA em escala industrial pode ser um bom alvo para a regulamentação

Este artigo utiliza “desenvolvimento de IA em escala industrial” como algo que se refere ao desenvolvimento de IA altamente dispendioso que está se tornando cada vez mais proeminente. Hoje, o desenvolvimento de IA de ponta requer vastos recursos computacionais. Para criar modelos de IA como o GPT-4 (uma versão avançada do ChatGPT), empresas de IA estão gastando mais de $100 milhões, com grande parte dos gastos indo para milhares de chips de computador de ponta especializados em IA. O gasto em IA não parece estar prestes a estagnar em breve; as principais empresas de IA estão levantando bilhões de dólares.

O desenvolvimento de IA em escala industrial pode ser um bom alvo para a regulamentação porque: ele apresenta riscos desproporcionais, e regulá-lo de forma específica pode ser viável.

• O desenvolvimento de IA em escala industrial apresenta riscos desproporcionais.
  • As capacidades dos sistemas de IA tendem a aumentar com a quantidade de recursos computacionais utilizados para desenvolvê-los, às vezes, de maneiras inesperadas. Como resultado, o desenvolvimento de IA em escala industrial tenderá a produzir sistemas de IA que, juntamente com muito potencial, trazem riscos especialmente severos (tanto de uso indevido quanto de desalinhamento).
• O desenvolvimento de IA em escala industrial só pode ser suportado por organizações ricas.
  • Como resultado, regulamentações sobre ele podem evitar afetar pequenas start-ups, a maioria dos acadêmicos e a maioria dos clientes.
• O desenvolvimento de IA em escala industrial é, sem dúvida, um ponto de intervenção especialmente tratável.
  • Pode ser difícil conter os riscos de um modelo de IA perigoso depois de treinado. Nesse ponto, é relativamente fácil fazer muitas cópias do modelo e executá-las, permitindo que um modelo perigoso se prolifere. Além disso, um sistema de IA treinado pode ser roubado e liberado por hackers menos responsáveis.
  • Pode ser viável regulamentar o desenvolvimento de IA em escala industrial por meio da governança do hardware de IA. Estudaremos isso mais detalhadamente nas próximas semanas deste curso.

As regulamentações de IA são aplicáveis, especialmente no âmbito internacional? Os países que regulamentam ficarão para trás?

Fique atento: como esses desafios podem ser abordados será o foco principal das duas semanas seguintes deste curso, após a semana atual.

Limitações da regulamentação do desenvolvimento de IA em escala industrial

Uma limitação da regulamentação do desenvolvimento de IA em escala industrial é que o desenvolvimento de IA em pequena escala também apresenta riscos. O alcance desses riscos pode aumentar ao longo do tempo; o desenvolvimento de IA que é em escala industrial em alguns anos pode se tornar muito menos dispendioso posteriormente, à medida que as empresas continuam a desenvolver algoritmos de treinamento de IA e hardware mais eficientes. Isso pode exigir novas soluções. Ainda assim, regulamentar o desenvolvimento de IA em escala industrial pode criar oportunidades para identificar riscos e criar proteções antes que esse desenvolvimento de IA se prolifere amplamente. Por exemplo, antes que haja uma proliferação em massa de sistemas de IA com perigosas capacidades ofensivas cibernéticas, o uso seguro de capacidades avançadas de IA poderia ajudar a corrigir vulnerabilidades de software.

Outra limitação é que normas e regulamentos são muitas vezes fortemente influenciados pelos interesses da indústria, um fenômeno conhecido como captura regulatória. As empresas podem influenciar políticas fornecendo informações tendenciosas, financiando seus políticos preferidos, estabelecendo relacionamentos com formuladores de políticas e tendo uma “porta giratória” de emprego com legisladores e reguladores. A captura regulatória pode ser mitigada por regras que limitam conflitos de interesses e por partes interessadas sem fins lucrativos se envolvendo extensivamente na formulação de políticas.

Os reguladores também podem enfrentar dificuldades com financiamento insuficiente, capacidade de pessoal e autoridades. Esses problemas podem ser mitigados através de legislaturas que fornecem recursos adequados para as agências.

Para evitar algumas dessas limitações, alguns propuseram a responsabilidade (liability) como uma abordagem para a governança da IA. A ideia é que, em vez de (apenas) regulamentar o que as empresas de IA fazem antecipadamente, as legislaturas podem esclarecer que as empresas de IA têm ampla responsabilidade financeira por danos causados por seus sistemas de IA. Isso ajudaria a incentivar as empresas a evitar esses danos. No entanto, as empresas só são responsabilizadas por quantias que podem pagar, e só são responsabilizadas após os danos ocorrerem, de modo que a responsabilidade não necessariamente impediria os desenvolvedores de IA de causar danos enormes e irreversíveis.

A seguir, consideramos qual poderia ser o conteúdo das normas e regulamentos de segurança da IA.

Algumas propostas existentes para práticas de segurança da IA em escala industrial

Várias ideias foram propostas para o desenvolvimento seguro de IA. Essas ideias poderiam ser concretizadas em ações voluntárias, normas formais e/ou regulamentos. Esta seção descreve algumas propostas proeminentes (várias das quais são cada vez mais vistas como melhores práticas). Como ressalva, nenhuma das propostas abaixo é tecnicamente madura até agosto de 2023, embora haja metodologias pelo menos parcialmente úteis em todas essas áreas.

• (1) Avaliações de modelos e restrições condicionais:
  • Grandes modelos de IA poderiam ser testados por auditores independentes durante o desenvolvimento, antes da implementação e antes de atualizações. As avaliações poderiam testar capacidades perigosas (p. ex., a capacidade de ajudar os usuários a adquirir armas biológicas, ou a capacidade de enganar os usuários) e propensões perigosas (p. ex., a propensão a causar danos ou resistir ao controle).
  • Os resultados desses testes — no contexto dos planos de um desenvolvedor de IA para mitigar riscos — poderiam determinar se e como um modelo pode ser ainda mais treinado ou implementado. (Nota: treinamento adicional pode ser perigoso, mesmo se a implementação for regulamentada, porque um modelo não público pode ser implementado por hackers, ou a equipe pode usar um modelo não público de maneiras perigosas.)
  • Até agosto de 2023, os métodos técnicos para essas avaliações ainda não são maduros, mas há pesquisas em andamento para desenvolver avaliações, especialmente avaliações de capacidades.
• (2) Avaliações de ameaças de pré-desenvolvimento e amplificação gradual: em contraste com as avaliações de modelos de IA, os planos para treinar modelos de IA também poderiam ser avaliados. (Consulte a nota acima para entender por que restrições à implementação pública podem ser insuficientes.) No entanto, as metodologias atuais para avaliações de ameaças de pré-desenvolvimento são tecnicamente imaturas e principalmente ad hoc. Uma base relativamente simples para a avaliação poderia ser a velocidade com que os modelos estão sendo amplificados (em termos de computação de treinamento); uma amplificação muito rápida pode deixar pouco tempo para identificar novos riscos.
• (3) Segurança da informação (p. ex., cibersegurança): desenvolvedores de IA e outras empresas na cadeia de suprimentos de IA poderiam implementar medidas rigorosas para proteger sua propriedade intelectual e seus modelos contra o roubo. Tal roubo poderia proliferar modelos de IA perigosos ou a capacidade de desenvolvê-los. Proteger os desenvolvedores de IA de hackers apresenta enormes desafios, devido a uma superfície de ataque muito ampla e à necessidade potencial de se defender de poderosos atores estatais. Como ponto de partida, os desenvolvedores de IA poderiam se abster de tornar públicos modelos perigosos.
• (4) Implementação monitorada, faseada e protegida: para mitigar riscos na implementação, os desenvolvedores de IA podem implementar a IA por meio de uma API. (Isso significa que os usuários não interagem diretamente com o modelo de IA; em vez disso, eles atuam como intermediários.) A implementação baseada em API permite aos desenvolvedores de IA: monitorar prompts perigosos ou saídas perigosas, limitar a velocidade com que um novo modelo de IA é lançado e bloquear interações perigosas entre usuários e o modelo de IA.
• (5) Métodos seguros de treinamento de IA:
  • Os sistemas de IA poderiam acabar sendo treinados de maneiras que os façam se recusar confiavelmente a ajudar com o uso catastrófico, enquanto também estão alinhados com os interesses humanos.
  • No entanto, como explicou o “padrinho da IA” Yoshua Bengio, “ainda não sabemos como tornar um agente de IA controlável“. Da mesma forma, a OpenAI afirmou que “precisamos de novos avanços científicos e técnicos” para “direcionar ou controlar uma IA potencialmente superinteligente e impedir que ela se torne hostil”. Até que tais avanços sejam feitos, a segurança exigirá não desenvolver e não implementar modelos de IA muito poderosos; em vez disso, os modelos e planos de treinamento podem ser avaliados para que o botão de pausa possa ser apertado quando necessário.

Embora as medidas listadas acima tenham como objetivo melhorar diretamente a segurança, também houve propostas de medidas que poderiam melhorar a segurança indiretamente. Por exemplo, proteção aos delatores, requisitos de licenciamento e divulgações obrigatórias aos reguladores podem facilitar a aplicação das regulamentações de segurança. Além disso, algumas características organizacionais de um desenvolvedor de IA poderiam promover a segurança. Isso inclui equipe com papéis dedicados à segurança (inclusive em níveis seniores), funções de auditoria interna e uma cultura de segurança sólida.

Como veremos a seguir, legisladores nos EUA, na China e na UE têm demonstrado um sério interesse na regulamentação da IA, com a China tendo os planos mais rigorosos para regulamentações de IA generativa até agosto de 2023.

Normas e regulamentos de segurança da IA até o momento: alguns desenvolvimentos de março a agosto de 2023

(Esta lista não é abrangente e pode em breve estar desatualizada. Foi escrita em agosto de 2023.)

EUA:

• O Instituto Nacional de Normas e Tecnologia (NIST), uma agência dos EUA, publicou a Estrutura de Gerenciamento de Risco de IA, uma estrutura voluntária de alto nível para o desenvolvimento de IA.
• O Líder da Maioria do Senado introduziu uma estrutura “SAFE Innovation” para a regulamentação da IA e estabeleceu um grupo bipartidário de senadores com a meta de avançar na regulamentação da IA dentro de “meses“.
• Sete empresas de IA proeminentes fizeram compromissos voluntários com práticas de proteção e segurança da IA, como testes de segurança em modelos avançados de IA antes do lançamento. Esses compromissos foram anunciados pela Casa Branca.

China:

• Seguindo regulamentações anteriores de algoritmos de recomendação de IA e deepfakes, agências do governo chinês publicaram atualizações de regulamentações futuras para IA generativa, incluindo modelos de linguagem.
  • Essas regulamentações se aplicariam apenas a serviços de IA oferecidos ao público; sistemas de IA usados internamente para fins comerciais ou de pesquisa seriam excluídos.
  • As regulamentações incluem uma proibição de conteúdo subversivo e informações falsas, embora eliminar tais resultados de modelos de linguagem seja um problema técnico não resolvido. Além disso, seria necessário que o treinamento de IA respeitasse os direitos de propriedade intelectual e as informações pessoais.
  • Quando violações são identificadas, os serviços devem ser interrompidos “se as correções forem recusadas ou as circunstâncias forem graves”.

UE:

• O Parlamento Europeu aprovou a Lei de IA da UE, que regulamentaria sistemas de IA com base em seu nível de risco classificado:
  • Alguns sistemas de IA, como sistemas de pontuação social, seriam classificados como representando “risco inaceitável” e proibidos.
  • Sistemas de IA de “alto risco”, como os usados para decisões de emprego, seriam “avaliados antes de serem colocados no mercado e também ao longo de seu ciclo de vida”.
  • IA generativa (excluída das categorias acima) e sistemas de IA de “risco limitado” precisariam cumprir requisitos de divulgação. Por exemplo, os serviços de IA generativa precisariam divulgar que seu conteúdo é gerado por IA.
• Embora o Parlamento Europeu tenha aprovado a Lei, há negociações em curso e haverá padronização para determinar os detalhes e a implementação da Lei.
• Para contextualizar, analistas argumentaram que as regulamentações de IA da UE provavelmente terão influência além da UE (um exemplo do “Efeito Bruxelas“). Isso ocorre porque as empresas podem achar mais barato cumprir as regulamentações da UE em todos os lugares do que criar serviços especializados da UE, e porque outras legislaturas podem ver o Regulamento de IA da UE como um exemplo a ser imitado.

Internacional:

• Várias empresas líderes da IA estabeleceram o Fórum do Modelo de Fronteira, uma coalizão com objetivos que incluem “identificar melhores práticas e normas”, especialmente “melhores práticas de segurança”. Esse trabalho pode ajudar a fechar a lacuna atual nas normas de segurança técnica.

Vimos algumas razões para pensar que as normas de segurança e os regulamentos de IA podem ser políticas eficazes, tecnicamente viáveis e politicamente tratáveis. Em suma, as normas e regulamentos podem ser capazes de direcionar de forma eficaz e específica o desenvolvimento de IA em escala industrial, podem depender de vários métodos técnicos e podem se beneficiar do interesse substancial na regulamentação da IA que legisladores em todo o mundo têm demonstrado. Ainda assim, muito trabalho permanece no desenvolvimento de métodos técnicos de segurança e avaliação, na padronização desses métodos e na regulamentação do desenvolvimento de IA em escala industrial.

---

Tradução: Luan Marques

Link para o original