Blog

Resumo

• Se os governos pudessem regulamentar a utilização em larga escala de “chips de IA”, isso provavelmente permitiria aos governos governar o desenvolvimento da IA de fronteira: decidir quem o faz e sob que regras.
  • Neste artigo, usaremos o termo “chips de IA” para nos referirmos a chips de computador de última geração especializados em IA (como A100 e H100 da NVIDIA ou TPUv4 da Google).
  • Os modelos de IA de fronteira, como o GPT-4, já são treinados usando dezenas de milhares de chips de IA, e as tendências sugerem que uma IA mais avançada exigirá ainda mais poder computacional.
• Os governos provavelmente poderão regulamentar o uso em larga escala de chips de IA.
  • Seria difícil impor regulamentações sobre coisas como dados ou algoritmos, porque é muito fácil copiá-los, transmiti-los ou armazená-los. Em contraste, os chips de IA são de natureza física, de modo que os governos podem rastrear e restringir mais facilmente o acesso a eles. Como resultado, a regulamentação dos chips de IA é relativamente viável.
  • Os chips de IA são fabricados através de uma cadeia de suprimentos global extremamente complexa, na qual um pequeno número de empresas e países dominam etapas importantes. Como resultado, coalizões de apenas alguns atores poderiam exigir que outros atores cumprissem as normas de segurança para importar chips de IA. Qualquer Estado provavelmente acharia extremamente difícil fabricar chips de IA por conta própria.
  • Como os chips de IA são tão especializados, eles podem ser regulamentados sem se regulamentar a grande maioria dos chips de computador.
• Por causa do acima exposto, os governos provavelmente podem governar o desenvolvimento da IA de fronteira regulamentando os chips de IA. No entanto, a governança de um grande número de chips de IA enfrenta grandes limitações potenciais:
  • Devido ao progresso do hardware e aos avanços algorítmicos, o número e a sofisticação dos chips necessários para treinar um modelo de IA de uma determinada capacidade diminuem a cada ano. Como resultado, a regulamentação dos chips de IA só pode regulamentar temporariamente o desenvolvimento de modelos de IA potencialmente perigosos. No entanto, mesmo medidas temporárias podem ganhar tempo que é crucial para a segurança.
  • Atores com bons recursos poderão ser capazes de sustentar o desenvolvimento de IA de ponta sem depender de chips de IA de ponta, gastando substancialmente mais. Se assim for, então as estratégias que dependem da exclusão desses Estados do desenvolvimento da IA de fronteira ​​podem ser inviáveis.
  • A cadeia de suprimentos de computação poderá se tornar mais distribuída no futuro (p. ex., devido a novos paradigmas de hardware), dificultando a aplicação de restrições.
• Os governos já tomaram medidas importantes para regulamentar os chips de IA: os EUA e aliados restringiram a exportação de chips de IA (e o equipamento necessário para os produzir) para a China.
• A regulamentação dos chips de IA também poderia promover a cooperação internacional em matéria de segurança da IA, permitindo, p. ex., a verificação de acordos internacionais sobre o desenvolvimento da IA.
• Além de regulamentar os chips de IA, pode ser viável e eficaz regulamentar outro tipos de hardware especializado usados para o desenvolvimento da IA de fronteira, como equipamentos de rede em centrais de dados; tem havido muito pouca pesquisa sobre isso.

(A estrutura de abstrata deste artigo baseia-se em parte de um artigo futuro de Brundage et al.: “Computing Power and the Governance of Artificial Intelligence”.)

O desenvolvimento da IA de fronteira usa dezenas de milhares de chips de IA

Muitas tecnologias, como os automóveis, são amplamente regulamentadas no ponto de utilização. No entanto, tecnologias particularmente perigosas, como os reactores nucleares ou os agentes químicos, exigem restrições não só do produto final, mas também dos vários componentes utilizados para os produzir. Da mesma forma, devido à escala potencialmente catastrófica de danos causados ​​por modelos avançados de IA, a proteções sobre esses modelos pode exigir a regulamentação dos seus ingredientes.

Os chips de computador especializados em IA são importantes para a política de IA porque são provavelmente um ingrediente crucial e governável do desenvolvimento da IA de fronteira. Começaremos discutindo a primeira parte disso: o papel crucial que esses chips desempenham no desenvolvimento da IA de ponta, agora e no futuro.

Para treinar um modelo de IA de ponta, os dispositivos de computação precisam realizar um grande número de operações (como multiplicar números). Por exemplo, o GPT-3 (um precursor do ChatGPT) foi treinado com aproximadamente 3e24 (isto é, 3.000.000.000.000.000.000.000.000) operações de computador.

Como será familiar para alguns leitores, os dispositivos que realizam operações de computador são chamados de chips de computador. Existem chips de computador em tudo, desde notebooks até micro-ondas, mas os chips usados ​​para o desenvolvimento de IA de ponta são chips altamente especializados e são operados em grande número em edifícios especializados conhecidos como centrais de dados.

Alguns chips (“chips de IA”) são muito mais eficientes do que outros para o desenvolvimento de IA. Um relatório do Centro de Segurança e Tecnologia Emergente de Georgetown explica:

Treinar um algoritmo de IA na liderança pode exigir um mês de tempo de computação e custar US$ 100 milhões. Esse enorme poder computacional é fornecido por chips de computador que não apenas contêm o número máximo de transistores – dispositivos computacionais básicos que podem ser alternados entre os estados ligado (1) e desligado (0)⁠ –, mas que também são feitos sob medida para realizar com eficiência cálculos específicos exigidos pelos sistemas de IA. Esses “chips de IA” especializados e de ponta são essenciais para a implementação da IA em escala e com boa relação custo-benefício; tentar entregar o mesmo aplicativo de IA usando chips de IA mais antigos ou chips de uso geral pode custar dezenas a milhares de vezes mais caro.

Nos últimos anos, o desenvolvimento de IA de ponta foi feito com dezenas de milhares de chips de IA. Sem acesso a um grande número desses chips, esse treinamento de IA levaria vários anos ou décadas para ser concluído. Alternativamente, chips menos avançados poderiam ser usados ​​em quantidades muito maiores.

Mais algum contexto sobre chips de IA:

• Em 2023, alguns exemplos de chips de IA (quase) de ponta são A100s, TPUs e H100s. A maioria dos chips de IA de última geração são versões especializadas de uma categoria mais ampla de chips de IA, chamados GPUs, e os chips especializados em IA são chamados de aceleradores de IA.
• Os chips de computador têm se tornado rapidamente mais eficientes há décadas. Pesquisadores da Epoch AI estimam que, nas últimas décadas, o número de operações de GPU que um dólar pode comprar dobrou a cada 2,5 anos aproximadamente.
• Outro termo para operações de computação é “compute”. Da mesma forma, o subcampo de pesquisa e política focado em governar chips de IA é frequentemente chamado de “governança de compute” [NT: daqui para frente, governança computacional].
• Treinar um modelo de IA do zero requer muito mais computação do que executar uma cópia dele depois de treinado.
  • No entanto, fornecer um serviço de IA a milhões de utilizadores requer a execução de muitas cópias de um modelo de IA. Os custos computacionais disso podem facilmente superar os de treinamento do modelo.
  • Uma IA treinada pode ser “ajustada”: treinada um pouco mais. O ajuste fino pode ser feito para alterar o formato ou estilo da saída de um modelo de IA, para ensinar uma nova habilidade à IA ou para especializá-la para uma tarefa específica. O ajuste fino normalmente requer computação considerável: muito menos do que o treinamento inicial (“pré-treinamento”), porém mais do que executar uma cópia dele.

O desenvolvimento da IA de fronteira já requer muito poder computacional; a seguir, examinaremos por que é provável que essa tendência se torne ainda mais extrema. 

As tendências sugerem que a IA mais avançada será treinada com ainda mais poder computacional

Quando um modelo de IA é treinado com mais poder computacional, ele tende a ter capacidades mais avançadas. Por exemplo, um modelo de IA treinado com mais poder computacional tende a ser mais bem-sucedido na previsão da próxima palavra em uma frase ou melhor na obtenção de pontuações altas em jogos. Essas tendências são tão consistentes que têm sido usadas para fazer previsões verificadas e podem ser descritas matematicamente pelo que é conhecido como “leis de amplificação”. (No entanto, não está claro até que ponto as “leis de amplificação” serão generalizadas, e suas previsões numéricas podem ser difíceis de interpretar qualitativamente.) Um exemplo visual de uma tendência de amplificação é o gráfico a seguir, da OpenAI, que mostra erros de previsão diminuindo à medida que o poder computacional aumenta :

A importância do poder computacional para as capacidades de IA reflete-se na história moderna da IA. A Epoch AI estima que, desde 2010, a quantidade de poder computacional usado para treinar sistemas de IA de históticos cresceu cerca de 4x a cada ano. Os desenvolvedores de IA alcançaram esse crescimento usando chips cada vez mais especializados, em números crescentes, por longos períodos de tempo. O aumento do poder computacional permite que os desenvolvedores treinem modelos de IA mais complexos com mais exemplos de treinamento. O uso crescente de poder computacional trouxe custos crescentes, o que fez com que o desenvolvimento de IA de fronteira deixasse de ser dominado pela academia para ser dominado pela indústria.

Uma hipótese proeminente é que capacidades de IA muito avançadas não exigirão grandes avanços em algoritmos; em vez disso, o principal obstáculo é a amplificação do poder computacional. Embora isso possa não ser intuitivo, muitas capacidades de IA qualitativamente novas foram alcançadas nos últimos anos, principalmente através da amplificação dos designs de IA existentes, em vez de profundos insights da pesquisa.

Vimos que um grande número de chips de IA é crucial para o desenvolvimento da IA de fronteira, e que o futuro desenvolvimento da IA de fronteira provavelmente dependerá de ainda mais chips de IA que são ainda mais especializados. Isso implica que, se os governos pudessem regulamentar a utilização de um grande número de chips de IA, isso lhes permitiria regulamentar o desenvolvimento da IA de fronteira. Como veremos a seguir, os governos podem de fato (provavelmente) regulamentar a forma como um grande número de chips de IA são utilizados, permitindo a regulamentação do desenvolvimento da IA de fronteira.

Os governos provavelmente podem regulamentar a forma como grandes quantidades de chips de IA são usadas

As propriedades inerentes dos chips facilitam a regulamentação. Seria difícil impor regulamentações sobre coisas como dados ou algoritmos; é um desafio monitorar a sua proliferação, pois podem ser facilmente distribuídos. Em contraste, os chips de IA são objetos físicos, não informação, de modo que é mais viável para os governos monitorar e regulamentar a sua distribuição.

Para além das propriedades inerentes aos chips, a cadeia de suprimentos de chips de IA facilita ainda mais a regulamentação, porque as principais etapas da cadeia de suprimentos global são dominadas por alguns países (especialmente os EUA e os seus aliados). Além disso, nenhum ator poderia facilmente deixar de depender dessa cadeia de suprimentos global; analistas descobriram que seria “incrivelmente difícil e dispendioso para qualquer país” fabricar chips de IA por conta própria – mesmo os Estados Unidos ou a China. Como resultado, alguns países têm uma influência descomunal sobre a forma como a IA é desenvolvida a nível mundial; eles podem estabelecer condições para exportações de tecnologia.

Para ver o quão concentrada está a cadeia de suprimentos de chips de IA, considere a seguinte visão geral (simplificada) da cadeia de suprimentos de chips de IA e das funções que diferentes países desempenham. A visão geral a seguir é baseada em um relatório do Centro de Segurança e Tecnologia Emergente de Georgetown.

1. Projetar chips de IA.
   • As empresas dos EUA dominam este mercado. Os modelos de ponta de hoje são  treinados exclusivamente  em chips projetados pela NVIDIA e pela Google, ambas empresas dos EUA.
2. Fabricar as máquinas que fabricam chips de IA (“equipamentos de fabricação de semicondutores”).
   • Todos os equipamentos mais avançados para uma etapa importante da fabricação são produzidos por uma única empresa na Holanda, a ASML. (Este equipamento é conhecido como equipamento de “litografia EUV” .) Esse monopólio deve-se à extrema complexidade técnica e logística do trabalho da ASML. Além da litografia, a Holanda, os EUA e o Japão têm papéis importantes em outros equipamentos de fabricação de semicondutores.
3. Fabricar chips de IA.
   • Conforme resumido em um artigo da Forbes, “Existem apenas três empresas no mundo que podem construir chips avançados perto da tecnologia de semicondutores mais avançada da atualidade: A TSMC [uma empresa taiwanesa], a Samsung [uma empresa sul-coreana] e a Intel [ uma empresa dos EUA] . Dessas três, apenas uma [a TSMC] pode construir de forma confiável os chips mais avançados, incluindo chips como as GPUs H100 da Nvidia, que alimentarão a próxima geração de inteligência artificial.” [Negrito adicionado.]
4. Montar chips de IA.
   • Após a fabricação dos componentes principais, eles são montados em um chip acabado, testados e embalados. Análises anteriores não identificaram esta etapa como um ponto de estrangulamento da cadeia de abastecimento, descobrindo, em vez disso, que é frequentemente externalizada e que a China detém uma minoria significativa da quota de mercado. Ainda assim, algumas tecnologias de embalagem, segundo relatos, causaram obstáculos na cadeia de suprimentos em meio à crescente demanda por chips.
5. Vender acesso a chips de IA pela Internet (“provedores de computação em nuvem”).
   • As empresas dos EUA lideram, com três empresas dos EUA – a Amazon Web Services, a Microsoft Azure e a Google Cloud – detendo uma participação de mercado combinada de aproximadamente 65%.

O relatório do Centro de Segurança e Tecnologia Emergente também fornece uma tabela de resumo (para nossos propósitos, não há necessidade de se preocupar com os detalhes).

Aqui estão mais alguns detalhes que ilustram a sofisticação e as despesas da cadeia de suprimentos de chips de IA, e as dificuldades que um país enfrentaria na fabricação de chips de IA por conta própria:

• “A cadeia de suprimentos de semicondutores de meio trilhão de dólares é uma das mais complexas do mundo. A produção de um único chip de computador muitas vezes requer mais de 1.000 etapas, passando pelas fronteiras internacionais 70 ou mais vezes antes de chegar ao cliente final” (Khan et al., 2021) .
• Como uma etapa nas máquinas da ASML, gotas microscópicas de estanho são vaporizadas à medida que caem, ao serem atingidas por um laser 50 mil vezes por segundo.
• “Para uma maior noção de escala, os subsídios de chips a nível nacional da China de 18,8 mil milhões de dólares até 2018 são ofuscados apenas pelo investimento de 34 mil milhões de dólares da TSMC em novas fábricas. A escala descomunal da indústria de chips desafia até mesmo o apetite da China por subsídios industriais” (Khan e Flynn, 2020) .
• “Dada a complexidade e os custos de fabricação de chips de última geração, apenas algumas fábricas de fabricação de chips (“fabs”) podem operar lucrativamente no estado da arte ou próximo a ele. […] As fábricas de chips de última geração custam agora mais de US$ 10 bilhões para serem construídas, o que as torna as fábricas mais caras já construídas” (Khan e Flynn, 2020) .

Vimos evidências de duas premissas. Anteriormente, vimos que um grande número de chips de IA provavelmente continuará a ser crucial para o desenvolvimento de IA. Aqui, vimos que um grande número de chips de IA são provavelmente governáveis. Juntas, essas premissas sugerem que os governos podem provavelmente governar o desenvolvimento da IA de fronteira, governando os chips de IA. (Esta palestra apresenta algumas opções potenciais para governar os chips de IA.) A seguir, consideraremos as possíveis limitações da governança computacional.

Três limitações potenciais da governança computacional

Mesmo que houvesse vontade política para que os governos relevantes implementassem formas ambiciosas de governança computacional, existem várias formas como esses esforços poderiam não alcançar os seus objetivos:

1. Pequenas quantidades de poder computacional podem apresentar graves ameaças à segurança.
   1. Para uma determinada capacidade de IA, os engenheiros tendem a encontrar maneiras de alcançá-la com cada vez menos poder computacional ao longo do tempo. Essa tendência é o “progresso algorítmico”. A Epoch AI estima que os requisitos de computação para que os modelos de IA alcancem uma determinada precisão no reconhecimento de imagens caíram por um fator de aproximadamente 2,5 por ano desde 2015. (Tem havido pouco trabalho público para quantificar tendências semelhantes em outros domínios.)
   2. Se as tendências mencionadas acima continuarem (como seria de esperar, dada a inovação contínua e os incentivos para reduzir os custos do poder computacional), então acabará sendo viável treinar modelos de IA com capacidades perigosas, sem depender de chips de última geração.
   3. Além disso, à medida que o hardware de ponta se torna mais barato, ele tende a se tornar mais amplamente utilizado (por exemplo, em computadores pessoais), tornando mais difícil, do ponto de vista logístico e político, a sua regulamentação.
   4. Como resultado, provavelmente será mais difícil a cada ano regulamentar modelos de IA de qualquer nível de capacidade.
      1. Apesar disso, a regulamentação da IA ​​de fronteira ainda pode ser valiosa; a regulamentação da IA de fronteira poderia tornar possível preparar-se para a proliferação de capacidades de IA avançada. Por exemplo, antes que os modelos de IA com capacidades avançadas de hackeamento estejam amplamente acessíveis, os mesmos modelos de IA poderiam ser usados ​​para fortalecer as defesas contra hackers. De um modo mais geral, a regulamentação poderia garantir que a primeira utilização dos sistemas de IA de fronteira seja para desenvolver tecnologias defensivas, evidências sobre riscos e métodos de treinamento seguros, em preparação para a proliferação posterior. No entanto, não está claro se o trabalho de segurança poderia ser realizado com rapidez suficiente – antes que modelos perigosos de IA proliferassem.
   5. (Esta questão é discutida mais detalhadamente nesta entrevista em podcast.)
2. Estados com bons recursos podem continuar com o desenvolvimento de IA avançada sem chips de ponta especializados em IA.
   1. Os Estados com bons recursos poderiam comprar um grande número de chips especializados em IA da geração mais antiga e utilizá-los para treinar modelos avançados de IA, apesar de não terem acesso a hardware mais eficiente e mais recente.
   2. Como resultado, as estratégias que dependem da exclusão de Estados com bons recursos do desenvolvimento de IA avançada podem ser inviáveis. Estratégias de governança computacional que não dependem disso ainda podem funcionar.
3. Mudanças drásticas na fabricação de chips de IA podem inviabilizar as restrições à exportação.
   1. Existem alguns trabalhos que visam substituir a abordagem atualmente dominante à construção de chips de IA por abordagens muito diferentes, como hardware inspirado no cérebro (computação neuromórfica) ou hardware que utiliza luz em vez de elétrons (computação ótica). No entanto, essas abordagens enfrentam dificuldades para competir com a imensa quantidade de inovação que entrou na atual cadeia de suprimentos de chips de IA. Ainda assim, o sucesso de um paradigma de hardware alternativo pode significar que uma pequena quantidade de hardware, ou hardware que muitos países possam desenvolver por si próprios, seria suficiente para um desenvolvimento perigoso de IA. 

Governos já tomaram medidas importantes com relação a chips de IA: restringindo a sua exportação para a China

De 2020 a 2023, os EUA e os seus aliados impuseram restrições crescentes à exportação de chips de IA (e das máquinas que os fabricam) para a China. Essa história é relevante tanto pelo seu impacto na IA quanto também como exemplo de como os EUA (com aliados, bem como unilateralmente) podem exercer influência internacional na IA.

• Em 2020, o governo holandês, supostamente sob pressão dos EUA, recusou-se a renovar a licença da ASML para exportar as suas máquinas de fabricação de chips mais avançadas para a China.
• Em 2022, o governo dos EUA estabeleceu unilateralmente restrições abrangentes à exportação de tecnologia de chips de IA para a China. Ao estabelecer essas restrições, os EUA afirmaram autoridade sobre algumas empresas não sediadas nos EUA, alegando que utilizavam software e equipamento fabricados nos EUA ou funcionários dos EUA.
• Embora os controles de exportação de chips de IA dos EUA tenham sido inicialmente unilaterais, vários aliados dos EUA com papéis importantes na cadeia de suprimentos de chips de IA – a saber, os Países Baixos e o Japão – impuseram desde então controles de exportações relacionados. Além disso, a Alemanha está supostamente em negociações para impor os seus próprios controles às exportações relevantes para a China. Um relatório do CSIS argumenta que os controles de exportações dos aliados são cruciais para a eficácia dos controles de exportações dos EUA; caso contrário, algumas tecnologias que os EUA se recusaram a exportar para a China seriam simplesmente fornecidas por fornecedores não norte-americanos.

De forma mais ampla, a governança computacional pode retardar a proliferação da capacidade de desenvolver IA de ponta ou de implantá-la em grande escala, limitando idealmente o acesso de atores mal-intencionados ou imprudentes.

A governança computacional poderia permitir a cooperação internacional

Embora a política de chips de IA até agora tenha ocorrido em grande parte no contexto adversário dos controles de exportações, essa não é a única possibilidade de governar os chips de IA. Os chips de IA também podem ser usados ​​para verificar a conformidade com acordos internacionais sobre a IA ou para promover a cooperação de outra forma. Por exemplo, mecanismos construídos sobre o hardware de IA podem ser capazes de verificar e impor a conformidade com regulamentos ou acordos de IA, de uma forma que preserve a privacidade. Essas possibilidades são apresentadas com mais detalhes em dois outros artigos que também são leituras centrais deste curso (em agosto de 2023):

• Introdução à governança computacional (Heim, 2023)
• O que é preciso para pegar uma chinchila? (Shavit, 2023)

Como terceira aplicação potencial da governança da IA ​​– além de restringir o acesso e facilitar a cooperação – os subsídios à computação podem promover projetos de IA benéficos, como a investigação sobre segurança.

A regulamentação de centrais de dados ou equipamentos de rede pode ser promissora

Até agora, concentramo-nos em como os chips de IA podem permitir a governança da IA. Ainda assim, também pode ser útil regulamentar partes para além dos chips das centrais de dados (grandes instalações onde muitos chips são operados). Por exemplo, talvez os proprietários de centrais de dados relevantes para a IA possam ser obrigados a verificar a conformidade dos utilizadores com os regulamentos da IA, utilizando mecanismos incorporados em equipamentos de rede (equipamentos que coordenam a utilização de múltiplos chips). Em agosto de 2023, havia pesquisas mínimas sobre a viabilidade técnica disso.

Existem vantagens potenciais em regulamentar centrais de dados de IA ou equipamentos de rede sem regulamentar chips de IA. Fazer isso pode se revelar mais viável em termos técnicos e pode ser politicamente mais fácil do que supervisionar todos os chips de IA. Um fator é que o mercado de centrais de dados de IA está cada vez mais centralizado; mais empresas de IA estão acessando remotamente centrais de dados de propriedade de algumas grandes empresas de tecnologia (“computação em nuvem”). No entanto, a eficácia de tais regulamentações é uma questão em aberto. Por um lado, presumindo a viabilidade técnica, as regulamentações das centrais de dados poderiam aumentar os custos do desenvolvimento perigoso de IA, ao exigir que os infratores nos países reguladores construíssem secretamente centrais de dados. As regulamentações também podem ter efeitos internacionais, se existirem “pontos de estrangulamento” governáveis ​​na cadeia de suprimentos de equipamentos das centrais de dados (além dos chips). Ainda assim, não está claro se esses custos excederiam os incentivos para violar os regulamentos.

Publicado originalmente em 2023 aqui.

Autor: BlueDot Impact

Tradução: Luan Marques