Como normas técnicas de segurança podem promover a segurança da Inteligência Artificial Transformadora - 80.000 Horas: Como fazer a diferença com sua carreira

Índice

Resumo

A definição de normas costuma ser um componente importante da regulamentação de segurança tecnológica. No entanto, suspeitamos que a infraestrutura de definição de normas existente, por padrão, não abordará adequadamente os problemas de segurança da Inteligência Artificial transformadora – IAT (em inglês, transformative artificial intelligence – TAI). Portanto, estamos preocupados que, em nossa trajetória padrão, as práticas recomendadas de segurança da IAT sejam negligenciadas pelos formuladores de políticas devido à falta ou à insignificância de esforços que identificam, refinam, recomendam e legitimam as práticas recomendadas de segurança da IAT a tempo de sua incorporação na regulamentação.

Diante disso, suspeitamos que as comunidades de segurança e governança da IAT devam investir na capacidade de influenciar a definição de normas técnicas para sistemas avançados de IA. Há alguma urgência nesses investimentos, visto que eles se movem em escalas de tempo institucionais. Sugestões concretas incluem aprofundar o envolvimento com organizações de definição de normas (ODNs) relevantes e com a regulamentação da IA, traduzir as práticas recomendadas emergentes de segurança da IAT em normas técnicas de segurança e investigar como seria uma ODN ideal para a segurança da IAT.

Normas ajudam a transformar descobertas técnicas de segurança em requisitos legais de segurança

Um plano abstrato plausível para alcançar a segurança da IAT é (a) identificar medidas técnicas de segurança e proteção de última geração que reduzam a probabilidade de falhas catastróficas de IA e (b) garantir (como por mandato legal) que os atores na fronteira do desenvolvimento e da implementação da IA adotem essas medidas.

Essa estrutura geral de primeiro identificar e depois impor medidas de segurança obviamente não é exclusiva à IA. Como os legisladores escolhem quais medidas de segurança substanciais serão obrigatórias legalmente para outras tecnologias? Várias opções são possíveis e usadas na prática, incluindo codificar tais requisitos diretamente na legislação ou delegar tais decisões a agências reguladoras. Uma estratégia comum é fazer com que a lei incorpore por referência (ou seja, “aponte” para) normas técnicas de segurança existentes³ desenvolvidas anteriormente por organizações de definição de normas (“ODNs”) do setor privado. Outra estratégia, comum na UE, é primeiro aprovar a regulamentação em termos gerais e, posteriormente, operacionalizá-la por meio de normas desenvolvidas pelas ODNs⁴.

A normatização realiza várias coisas importantes. Em primeiro lugar, fornece um processo estruturado para um consenso de especialistas técnicos em segurança para identificar e recomendar as melhores ideias de segurança técnica bem testadas. Como resultado, os formuladores de políticas precisam gastar menos tempo desenvolvendo normas governamentais e exercer menos julgamentos não especializados sobre quais requisitos de segurança devem ser adotados. Digno de nota é que as normas também podem ser atualizadas mais rapidamente do que a regulamentação, devido à menor carga burocrática e legal, permitindo, assim, acompanhar mais a evolução técnica. Em segundo lugar, a normatização considera as práticas de segurança emergentes pouco especificadas ou heterogêneas e as reafirma de uma forma precisa, consistente e sistematizada que seja mais prontamente adotável por novos atores e adequadamente clara para um requisito legal. As ODNs supranacionais fornecem uma infraestrutura rotineira e confiável para facilitar a harmonização e a regulamentação internacional por meio de normas. Finalmente, organizações definidoras de normas (“ODNs”) bem estruturadas operam com base no consenso de várias partes interessadas e, portanto, visam tanto gerar quanto fornecer evidências de normas politicamente viáveis.

Nos EUA, o caminho a partir da normatização geralmente segue aproximadamente um padrão de:

Redes informais e frouxas de especialistas em segurança do setor identificam, desenvolvem e convergem para as práticas recomendadas de promoção da segurança.
As ODNs privadas⁵ elevam algumas dessas práticas recomendadas a normas, por meio de um processo bem definido, orientado por consenso e com várias partes interessadas e proteções processuais (como participação aberta e equitativa, equilíbrio das partes representadas e oportunidades para recurso)⁶.
Supondo que o governo aprove a regulamentação para a qual algumas dessas normas são apropriadas, isso fornece um caminho pelo qual essas normas são incorporadas à legislação doméstica⁷,⁸.
Órgãos internacionais como o ISO tentam harmonizar as normas entre países, bem como entre ODNs; por meio desses mecanismos, as normas desenvolvidas, por exemplo, nos EUA, podem acabar tendo impacto internacional.

Esclarecendo, não pensamos necessariamente que essa seja a melhor maneira de lidar com a regulamentação de tecnologia. Nossa afirmação é principalmente empírica: que as normas desenvolvidas de forma privada são uma das principais (e, nos EUA, legalmente preferidas) fontes de medidas de segurança obrigatórias e provavelmente permanecerão como tal. Existem desvantagens substanciais nessa abordagem, como:

Aumento do risco de captura da indústria, uma vez que os funcionários da indústria estão fortemente representados em ODNs.
Uma incorporada preferência pela uniformidade em detrimento da experimentação e da competição nas abordagens regulatórias.
Processos de normatização lentos e burocráticos (embora menos lentos e burocráticos do que muitos processos governamentais).
Responsabilidade e participação democráticas reduzidas, uma vez que as ODNs são organizações privadas.
Falta de acesso às normas incorporadas, já que geralmente custam centenas de dólares cada uma para acessar⁹. É importante ressaltar que também pensamos que a normatização pode ser uma alavanca útil para a segurança mesmo que essas normas não sejam incorporadas à dura legislação. Normas de segurança estabelecidas podem estabelecer um “piso” normativo natural com base no qual os desenvolvedores de IA (especialmente aqueles representados no processo de definição de normas) podem ser avaliados. Proteções antitruste especiais para legítimas atividades de definição de normas tornam a definição de normas uma maneira menos arriscada para os laboratórios trabalharem em conjunto na segurança¹⁰. A normatização de práticas recomendadas de segurança informais e heterogêneas pode reduzir o custo de adoção de tais práticas, levando a uma cobertura mais ampla¹¹. As normas também podem formar os rudimentos substanciais para a certificação privada e esquemas de auditoria.

O surgimento de práticas recomendadas de segurança da IA por meio do consenso

Parte do que nos deixa animados sobre a normatização como uma abordagem tratável para a governança da IAT é o crescente surgimento de práticas recomendadas em segurança da IA com adesão cada vez mais ampla. Por exemplo, vários atores da indústria, da academia e da sociedade civil parecem endossar e/ou estão dispostos a discutir algumas medidas bastante concretas para melhorar o alinhamento, a segurança e o impacto social ao longo do ciclo de vida da IA, que incluem (mas não se limitam a):

Uma variedade de medidas sociais e técnicas para limitar os danos de grandes modelos de linguagem comercializados
O uso de aprendizado por reforço a partir de feedback humano para alinhar o comportamento de modelos com as preferências humanas¹²
A publicação responsável de avanços em IA, incluindo a discussão de impactos éticos e a divulgação da construção e do comportamento de modelos eticamente relevantes.

Acreditamos que essas medidas podem ser boas candidatas à formalização em normas num futuro próximo. Conforme a pesquisa em segurança e políticas de IA amadurece, ideias atualmente teóricas, vagas ou incipientes podem amadurecer como práticas recomendadas formadas por meio do consenso, aumentando a lista de candidatos à normatização. Obviamente, o objetivo da pesquisa em segurança da IA focada no risco existencial é, finalmente, produzir métodos de treinamento e teste que possam, quando aplicados a um sistema de IA, melhorar de maneira confiável o alinhamento desse sistema com os valores humanos. Esperamos que tais métodos sejam (ou possam ser tornados) suficientemente claros e universalizáveis para serem transformados em normas legalmente apropriadas.

A normatização da IA hoje

A normatização pode ser um próximo passo apropriado para algumas (mas não todas as)¹³ práticas recomendadas formadas por meio do consenso.

Várias ODNs atualmente desenvolvem normas relevantes para a segurança da IA. Por exemplo, a Organização Internacional de Normatização (“ISO”) e a Comissão Eletrotécnica Internacional (“IEC”) administram um subcomitê conjunto sobre IA, que promulgou normas sobre confiabilidade, resiliência, viés e governança da IA. O Instituto de Engenheiros Elétricos e Eletrônicos (“IEEE”) também promulgou uma série de normas de IA. O Instituto Nacional de Normas e Tecnologia dos EUA (“NIST”) está desenvolvendo uma estrutura de gerenciamento de risco de IA.

Práticas recomendadas, a normatização e o processo complementar de avaliação de conformidade estão começando a desempenhar um papel importante na regulamentação da IA. A Comissão Federal de Comércio deu a entender repetidamente que a conformidade com as práticas recomendadas e “normas independentes” em IA ética pode ser exigida por – ou pelo menos pode ajudar a evidenciar a conformidade com – várias leis que ela aplica. Em sua Declaração Conjunta Inaugural, o Conselho de Comércio e Tecnologia dos EUA-UE anunciou a intenção de priorizar a colaboração na definição de normas de IA. As avaliações de normatização e conformidade para certos sistemas de IA de alto risco desempenham um papel importante na proposta de Lei de Inteligência Artificial da UE . Em suma, os governos parecem preparados para confiar fortemente na normatização para a regulamentação da IA.

Implicações práticas para as comunidades de segurança e governança da IAT

Nossa tese central é que normas técnicas de segurança da IA podem e irão ser os blocos de construção para muitas formas de regulamentação da IA no futuro. Apresentamos a defesa disso brevemente acima; mais análise e refinamento dessa tese podem ser valiosos. Se essa tese for verdadeira para as formas mais existencialmente importantes de regulamentação da IA, isso tem implicações importantes e práticas para as comunidades de segurança e governança da IAT, muitas das quais foram identificadas prescientemente por Cihon (2019). Assim, esta postagem serve como um apelo renovado para levar a sério a normatização da segurança da IA. Concretamente, temos várias ideias de como fazer isso a curto e médio prazo.

Primeiro, os profissionais de IA preocupados com a segurança devem considerar promover a normatização das práticas recomendadas de segurança relevantes à IAT. Embora apreciemos e estejamos cientes de vários indivíduos preocupados com a IAT que participaram da definição de normas de segurança da IA, suspeitamos que as perspectivas com foco na IAT ainda tenham baixa representação nos processos das várias ODNs que já desenvolvem normas de segurança, proteção e governança da IA. Embora isso possa não ser um problema hoje, se essas normas forem cada vez mais utilizados pelos formuladores de políticas para uma regulamentação substancial da IA, perspectivas e prioridades de IAT podem não ser adequadamente representadas ou consideradas legítimas, e não teremos caminhos para promover as práticas recomendadas de segurança da IAT, uma vez descobertas. Portanto, renovamos o apelo de Cihon (2019) para o diálogo estratégico entre as comunidades de segurança da IAT e ODNs de IA. Por exemplo, (mais) pesquisadores em segurança da IA podem considerar ser membros de tais ODNs e servir em comitês relevantes¹⁴.

Por motivos semelhantes, os pesquisadores e profissionais de segurança da IAT devem considerar um envolvimento sério com esforços regulatórios em jurisdições onde a regulamentação normalmente precede as normas. Isso inclui, principalmente, a futura regulamentação da IA da UE e os processos de definição de normas que a acompanham, especialmente se esperarmos que essa regulamentação se difunda globalmente.

Conforme a comunidade de segurança da IAT converge nas práticas recomendadas para sistemas de fronteira, devemos proativamente fazer pressão para que elas sejam refinadas em normas técnicas. Uma etapa intermediária aqui pode ser a criação de fóruns onde os profissionais de segurança de todas as organizações possam facilmente compartilhar e refinar as práticas recomendadas de segurança e outras lições aprendidas¹⁵ e, em seguida, compartilhá-las publicamente de forma concreta.

Também incentivamos a análise adequada da adequação das atuais ODNs relevantes à IA. Se parecer que elas podem ser inadequadas para lidar com questões de segurança da IAT, deveremos começar a trabalhar investigando como podem ser as novas ODNs adaptadas a questões de segurança da TAI. As características ideais de tal ODN provavelmente incluiriam:

Foco disciplinado em questões de segurança da IAT, com regras institucionais de apoio (p. ex., estatutos) e liderança alinhada para manter esse foco.
Transparência e acessibilidade excepcionalmente altas (p. ex., normas técnicas são disponibilizadas gratuitamente, inclusive em vários idiomas relevantes, para fácil uso, referência e crítica)¹⁶.
Capacidade de iniciar ou atualizar normas muito rapidamente.
Comunicação calibrada do valor de segurança das normas (ou seja, comunicar por quanto tal norma, quando aplicada corretamente, reduz os riscos de pior cenário).
Projeto de várias camadas de normas, incluindo normas de nível organizacional e processual (p. ex., exigi-se que as organizações façam esforços extensivos sinceros para identificar e remediar problemas de segurança e não se permite que infiram que seus sistemas são seguros apenas porque elas verificaram uma lista de requisitos do sistema a nível de objeto).
Baixos custos de implementação de normas de segurança, como por meio do fornecimento de guias de instruções para implementação.
Credenciamento do ANSI [Instituto Nacional de Normas dos EUA], por razões de credibilidade e legitimidade.

Como muitas coisas na governança, aprender a influenciar e implementar bem a normatização exigirá iteração e experiência. Não devemos presumir que possamos simplesmente “adicionar” a normatização depois de descobrir soluções de segurança da IA. Suspeitamos que tais soluções sejam adotadas de maneira mais consistente, rápida e tranquila e, finalmente, codificadas legalmente se já houver uma infraestrutura de normatização ágil, que funcione bem, respeitada, legítima e orientada à IAT para traduzir nossas melhores medidas de segurança coletiva em normas. A criação dessa infraestrutura levará tempo, mas parece tratável se investirmos nossos esforços de forma eficiente e estratégica nesse espaço.

Conclusão

Para resumir:

Normas técnicas formam os blocos de construção fundamentais de muitos regimes de regulamentação de tecnologia e poderiam, de forma plausível, formar os blocos de construção fundamentais da regulamentação relevante à IAT.
Tendo em vista (1), as comunidades de segurança e governança da IAT devem garantir que existam ODNs que possam elevar com eficiência as práticas recomendadas de segurança da IA a normas técnicas que sejam, em substância e forma, apropriadas para o uso legal e regulatório.
Não está claro se as prioridades de segurança de longo prazo estão bem representadas nos esforços existentes de definição de normas de IA ou se a estrutura e os procedimentos atuais de ODNs relevantes à IA são apropriados para os desafios que a IAT pode criar.
Se as ODNs existentes forem inadequadas, devemos ter um plano para melhorar as existentes ou criar novas, especialmente para garantir que elas sejam focadas nos desafios em evolução da segurança da IA avançada, e ágeis para responder a eles. Isso levaria vários anos.
Podemos, portanto, querer começar a investir em responder (3) — e possivelmente trabalhar em (4) — em breve.

Os passos concretos que propomos incluem:

Pesquisadores e profissionais de segurança da IAT devem considerar ingressar em ODNs relevantes à IAT existentes, bem como influenciá-las, tanto pelo motivo de nível de objeto de melhorar a definição de normas de segurança da IA quanto com o objetivo de aprender mais sobre a definição de normas de segurança da IA.
Por motivos semelhantes, os pesquisadores e profissionais de segurança da IAT devem considerar o envolvimento com esforços regulatórios em jurisdições onde a regulamentação normalmente precede as normas.
Os pesquisadores de segurança da IAT devem buscar ativamente a convergência sobre quais são as práticas recomendadas de segurança para sistemas de fronteira e refinar essas práticas recomendadas em normas técnicas que seriam adequadas para a integração na lei.
Pesquisadores e profissionais de segurança e governança da IAT devem analisar se ODNs de IA existentes são adequadas às necessidades de definição de normas da IAT, incluindo a análise de quais processos de normatização será mais importantes influenciar hoje¹⁷. Se os esforços existentes parecerem inadequados, devemos projetar e possivelmente construir uma nova infraestrutura de definição de normas. Se você está interessado em trabalhar nisso e acha que podemos ajudar ou tem informações valiosas sobre a definição de normas de segurança da IA, entre em contato conosco em tai-standards[at]googlegroups.com

Notas

Obrigado a Jonas Schuett, Joslyn Barnhart, Miles Brundage e Will Hunt pelos comentários sobre rascunhos anteriores desta postagem. Todas as opiniões e erros são nossos.
Esta postagem foi escrita em nossas capacidades individuais, e não em nossas capacidades de emprego ou afiliação com organizações específicas.
“Normatização” é definida como “[u]so comum e repetido de regras, condições, diretrizes ou características para produtos ou processos relacionados e métodos de produção e práticas de sistemas de gestão relacionadas”. Off. of Mgmt. & Budget, Exec. Off. of the President, OMB Circ. No. A-119, Federal Participation in the Development and Use of Voluntary Consensus Standards and in Conformity Assessment Activities § 3(a) (1998) (doravante, “Circular A-119 de 1998”), https://perma.cc/Y32D -R2JQ. Normas podem incluir “[a] definição de termos; classificação de componentes; delineamento de procedimentos; especificação de dimensões, materiais, desempenho, designs ou operações; medição de qualidade e quantidade na descrição de materiais, processos, produtos, sistemas, serviços ou práticas; métodos de teste e procedimentos de amostragem; ou descrições de ajuste e medidas de tamanho ou força”. Id. Estamos aqui focados principalmente em normas que tentam melhorar a segurança. Outras normas (talvez a maioria delas) estão focadas em promover a interoperabilidade ou reduzir custos de informação.
Na UE, essa responsabilidade geralmente recai sobre as “Organizações Européias de Normatização” (ESOs), algumas das quais trabalham a partir de solicitações da Comissão da UE, por exemplo, na preparação de regulamentos futuros, como a Lei de IA. Os mais importantes são o Cometê Europeu de Normatização (CEN), o Comitê Europeu de Normatização Eletrotécnica (CENELEC) e o Instituto Europeu de Normatização em Telecomunicações (ETSI). A recente Estratégia de Normatização da UE é um bom lugar para obter uma visão geral da definição de normas da UE e da sua abordagem ao diálogo com ODNs internacionais.
Em alguns outros países, os governos assumem um papel muito mais ativo na definição de normas.
Alguns podem se preocupar com o fato de que esses requisitos de devido processo representem um possível risco como fonte de distração, ofuscação ou atraso na definição de normas de segurança da IAT. Compartilhamos essa preocupação, e é por isso que propomos investigar a criação de uma nova ODN que possa manter um forte foco na IAT, com a aplicação correspondente de outros requisitos de devido processo (como tempos de resposta mais rápidos do que os alcançados pela maioria das ODNs).
Veja também Off. of Mgmt. & Budget, Exec. Off. of the President, OMB Circ. No. A-119, Federal Participation in the Development and Use of Voluntary Consensus Standards and in Conformity Assessment Activities § 2(e) (2016) (doravante, “Circular A-119 de 2016″), htt p s://perma.cc/KUV8 -VWN8 ; National Technology Transfer And Advancement Act Of 1995, Pub. L. No. 104–113, 110 Stat. 775 (1996).
Esclarecendo, o governo federal dos EUA mantém a opção de desenvolver suas próprias normas fora dessa estrutura. Veja a Circular A-119 de 2016 § 5(c).
As ODNs defendem os custos de acesso conforme necessários para recuperar os custos de desenvolvimento e manutenção de normas. As normas incorporadas por referência nos regulamentos dos EUA podem ser visualizadas gratuitamente. Um objetivo importante para as comunidades de segurança e governança da IAT é garantir que normas de segurança da IA existencialmente importantes estejam disponíveis gratuitamente, ao contrário da maioria das normas de segurança.
Veja 15 USC § 4302.
Por exemplo, as empresas podem reduzir a quantidade de descobertas e ajustes necessários para atingir algum objetivo fazendo referência a uma norma apropriada. Normas consistentes também podem promover um ecossistema de atores especializados nas normas relevantes, que podem transferir essas habilidades para outros contextos apropriados.
P. ex., na Anthropic, DeepMind, OpenAI e em outros lugares.
Em particular, a definição de normas é um processo caro e demorado. Esses custos nem sempre compensam os benefícios da normatização.
Esclarecendo, não consideramos tal envolvimento como um bem puro e óbvio. O tempo dos pesquisadores e engenheiros de segurança da IA é muito valioso e eles não devem realocá-lo levianamente.
Ao fazê-lo, terão de tomar cuidado para não infringir leis antitruste.
Note bem: esse não é o caso da maioria das ODNs existentes!
Questões relevantes incluem: quais normas provavelmente serão mais relevantes para futuros sistemas de fronteira? Em que ordem serão lançadas as normas de órgãos de definição de normas influentes? Quais normas é mais provável que tenham uma difusão global? Por exemplo, a Lei de IA da UE e suas normas complementares se difundirão globalmente? Devemos esperar que o NIST AI Risk Management Framework afete os padrões relevantes da ISO, da IEC ou da ESO?

Publicado originalmente 8 de agosto de 2022 aqui.

Autores: Cullen O’Keefe, Jade Leung, Markus Anderljung¹,²

Tradução: Luan Marques.