Pode haver um progresso significativo na IA neste século, levando ao que foi descrito como IA transformadora ou mesmo Inteligência Geral Artificial (IGA). Isso envolveria riscos substanciais, pois sistemas de IA capazes podem ser difíceis de controlar e podem ter efeitos devastadores na sociedade se usados por agentes mal-intencionados. Potencialmente, formas avançadas de IA podem constituir um risco existencial [NT: definição] para a humanidade. O tema, portanto, merece muito mais atenção, tanto os aspectos técnicos de como criar sistemas seguros (alinhamento da IA) quanto sua governança (governança da IA [NT: definição]).
Recursos computacionais (compute) referem-se à infraestrutura computacional necessária para executar treinamento e inferência de IA e é, portanto, uma necessidade para a IA.
Devido às suas propriedades únicas (quantificabilidade, rivalidade, excluibilidade) e estado de coisas, como uma cadeia de suprimentos concentrada, a computação pode ser um dos nós mais promissores para orientar o desenvolvimento de IA benéfica e segura.
Eu coloquei as leituras nas seguintes categorias:
-
Computação na função de produção de IA: por que o poder computacional é importante para a IA
- O poder computacional é um dos principais impulsionadores do progresso da IA.
- Panorama do suprimento de poder computacional: como os chips são produzidos e usados
-
Governança computacional: como podemos governar o poder computacional para alcançar resultados de IA benéficos?
- Usar o poder computacional como um nó de controle (a) monitorando, (b) restringindo ou (c) promovendo o acesso.
-
Previsão da IA transformadora baseada em poder computacional:
- De quanto poder computacional podemos precisar para alcançar certas capacidades transformadoras e potencialmente perigosas
- Quanto poder computacional teremos no futuro e quais paradigmas de computação dominarão.
- Outros: Livros, questões de pesquisa, tópicos relacionados, boletins informativos, podcasts, conselhos de carreira, previsões
A intenção desta lista de leitura não é “leia tudo nesta ordem”, mas sim “aqui estão alguns documentos e artigos selecionados sobre tópicos relacionados a IA e poder computacional ”.
Visão geral
Artigos que cobrem todos os domínios abaixo:
- Podcast: Lennart Heim fala sobre a era da governança computacional e o que vem depois, 80.000 Hours Podcast, 2023.
- Um amplo panorama sobre a motivação por trás da governança computacional, o que aconteceu recentemente e muitas outras perguntas frequentes sobre o assunto.
-
IA transformadora e poder computacional [Resumo] (11 min), Heim, 2021
- Ao lado de algoritmos e dados, os recursos computacionais (compute) são um input importante no avanço da IA. Com os sistemas de IA dobrando o uso do poder computacional aproximadamente a cada seis meses, a amplificação do computacional tem sido indiscutivelmente um dos principais impulsionadores do progresso recente. Entender esse input pode nos ajudar a prever desenvolvimentos futuros e quantificar o progresso e as capacidades dos sistemas de IA. Como o poder computacional tem propriedades e estados de coisas únicos, ele pode apresentar uma oportunidade promissora para a governança da IA no longo prazo. Essa área é chamada de governança computacional.
-
Poder computacional e o impacto social da inteligência artificial, Hwang, 2018
- Alguns trabalhos iniciais sobre a conexão entre poder computacional e IA. Fornece um bom panorama, mas está um pouco desatualizado.
- Palestra Virtual: Introdução à governança computacional, Heim, 2023
- Nesta palestra, apresento a ideia de usar recursos computacionais (short compute) como um nó para a governança da IA. Primeiro, começarei falando sobre eventos recentes em poder computacional e IA e como eles se relacionam com a governança computacional. Em seguida, discutirei as propriedades exclusivas e o estado de coisas do poder computacional que o tornam um nó particularmente governável para a governança da IA e como isso se relaciona com a cadeia de suprimentos de poder computacional e outros conceitos. Posteriormente, exploraremos a ideia de mecanismos capacitados por hardware e como eles podem ser usados para fornecer garantias e outros objetivos de governança da IA. Por fim, apresentarei nosso trabalho de políticas e encerrarei com um resumo.
- Discussão com Lennart Heim (sou eu) sobre a Tríade da IA e Governança Computacional no Future of Life Podcast, 2023
-
Lennart Heim fala sobre a tríade da IA: computação, dados e algoritmos
- Os tópicos incluem: Como podemos prever o progresso da IA pesquisando sobre hardware de IA, A Tríade da IA, Produção moderna de chips, Previsão de IA com poder computacional, Ficando sem dados?, Três eras de treinamento de IA, Próximo paradigma de chip, Velocidades de decolagem da IA
-
Lennart Heim fala sobre governança computacional
- Opções para controlar o poder computacional usado pelos laboratórios de IA e possíveis problemas com essa abordagem à segurança de IA.
- Os tópicos incluem: Risco de IA, Por que focar em computação?, Monitoramento de computação, Restrição de computação, Subsídio à computação, Computação como um gargalo, EUA e China, Consequências não intencionais, A IA será como a energia nuclear?
-
Lennart Heim fala sobre a tríade da IA: computação, dados e algoritmos
1 Poder computacional na função de produção de IA
Artigos que cobrem o papel do poder computacional no desenvolvimento de sistemas de IA mais poderosos
● Chips de IA: o que são e por que são importantes, CSET, Khan, 2020
○ O treinamento de IA moderno requer hardware especializado. Esses chips de IA superam os chips de uso geral (CPUs) em velocidade de dez a mil vezes para aplicações de aprendizado de máquina e, portanto, são muito mais eficientes em termos de energia. Devido ao seu alto custo, o treinamento de um modelo grande pode custar até US$ 1 milhão. As principais vantagens dos chips AI sobre as CPUs são a computação paralela e o acesso mais rápido à memória. O relatório descreve ainda mais os tipos de chips de IA e as tendências atuais.
1.1 O poder computacional como um input para sistemas AI
● A tríade da IA e o que isso significa para a estratégia de segurança nacional, CSET, Buchanan, 2020
○ “Três componentes fazem o aprendizado profundo acontecer: dados, algoritmos e poder computacional. Juntos, chamo esses componentes de tríade da IA.”
1.2 Tendências de uso de poder computacional na IA
● Tendências de poder computacional em três eras do aprendizado de máquina, Sevilla et al., 2022
○ Resumo no Fórum do Alinhamento
○ Resumo no Twitter
○ Banco de dados: Tendências de parâmetros, poder computacional e dados no aprendizado de máquina
● IA e poder computacional OpenAI, Amodei & Hernandez, 2020
● Tendência do poder computacional — Comparação com “IA e poder computacional” da OpenAI, LessWrong, Heim et al., 2022
○ Compara as duas análises acima
1.3 Leis de amplificação
Explorar a conexão entre o poder computacional com as capacidades de sistemas de IA.
● Hipótese da amplificação, Gwern.net
○ Introdução à hipótese da amplificação, de que os sistemas de IA continuarão a se tornar mais poderosos por meio do aumento do seu input de poder computacional
● Leis de amplificação para modelos de linguagem neural, Kaplan et al. (OpenAI), 2020
○ Estuda a alocação ideal de um orçamento de poder computacional fixo e deriva leis para amplificação do poder computacional.
● Treinar grandes modelos de linguagem ótimos em termos de poder computacional, Hofman et al. (DeepMind), 2022
○ Atualização em que os dados são relativamente mais importantes do que Kaplan et al, 2020 acima acharam
● Novas leis de amplificação para grandes modelos de linguagem, LessWrong, 1a3orn, 2022
○ Resumo e comparação dos artigos acima
● Implicações extravagantes das chinchillas, LessWrong, nostalgebraist, 2022
○ As novas leis de amplificação propostas pela DeepMind são uma grande atualização em direção ao poder computacional ser relativamente menos importante e os dados serem potencialmente um gargalo para a construção de sistemas maiores.
● Extrapolando o desempenho do GPT-N – AI Alignment Forum, Finnveden, 2020
● Leis de amplificação para outros domínios
○ Leis de amplificação para modelagem generativa autorregressiva, OpenAI, Henighan et al., 2020
○ Ficaremos sem dados de aprendizado de máquina? Evidências da projeção de tendências de tamanho de conjunto de dados, Epoch, Villalobos et al., 2022
1.4 Eficiência de poder computacional
As melhorias algorítmicas nos permitem obter capacidades semelhantes com menos pder computacional. Portanto, monitorá-las informa a priorização do poder computacional.
● IA e Eficiência, OpenAI, Hernandez & Brown, 2020
● Revisitando o progresso algorítmico, Epoch, Erdil & Besiroglu, 2022
1.5 Como usar o poder computacional de forma eficiente
● Panorama da OpenAI sobre como os modelos conversacional são feitos (vídeo, 42 min), Andrey Karpathy
2 Panorama do suprimento de poder computacional
● Explorador da Cadeia de Suprimentos, CSET, Emerging Technology Observatory, 2022
○ Resumo interativo da cadeia de suprimentos de poder computacional, ótimo para avaliar sua complexidade e aprender sobre inputs específicos
○ Uma postagem de blog sobre os principais tópicos
● A geopolítica dos chips de IA definirá o futuro da IA, Forbes, Rob Toews
2.1 Cadeia de suprimentos de semicondutores
Por semicondutores, geralmente me refiro à produção de chips – principalmente à cadeia de suprimentos de semicondutores.
● Gráficos de introdução rápida à indústria de semicondutores, Twitter, Leandro, 2022
○ A primeira página cobre os tipos de chips e como eles são feitos; a segunda continua com a produção, discute a lei de Moore e faz uma breve introdução à história da indústria
● O grande empreendimento de produzir um ínfimo microchip, NYT, Clark, 2022
○ Breve introdução à produção de chips com muitas fotos. Fabs (fábricas produtoras de chips) são instalações sofisticadas com grandes salas limpas com condições controladas para produzir chips microscopicamente precisos. A construção custa bilhões e precisa de vários equipamentos especializados.
● A cadeia de suprimentos de semicondutores, CSET, Khan, 2020
○ Resume cada componente da cadeia de suprimentos de semicondutores e onde os Estados Unidos e seus aliados possuem a maior influência
● China, semicondutores e o impulso para a independência – Parte 1, Substack, Li, 2021
● Desacoplamento em tecnologias estratégicas, CSET, Hwang & Weinstein, 2022
● O segredo da ASML: Uma visão exclusiva de dentro da gigante global de semicondutores | VPRO Documentário, Documentário, 2022
○ A ASML é a única empresa no mundo capaz de produzir as máquinas de litografia necessárias para fabricar chips avançados em escala. Ela investe continuamente no desenvolvimento da próxima geração de máquinas de litografia, que podem ser usadas para fabricar chips ainda mais eficientes.
● Como Taiwan se tornou a economia indispensável, Nikkei Asia, 2023
● Mapeando a cadeia de suprimentos de semicondutores: o papel crucial da região indo-pacífica, CSET, Thadani & Allen, 2023
2.2 Computação de alto desempenho (HPC) e IA
● Reinventando a computação de alto desempenho: desafios e oportunidades, Reed et al., 2022
○ Resumo no Twitter
○ Acho que este documento fornece uma visão geral decente da HPC e desafios futuros (entre outros para IA).
● Um roteiro para Grande Modelo (retirado, versão mais antiga aqui), Yuan et al, 2022
○ Artigo da China apresentando um roteiro para a criação de grandes modelos. A Seção 4 apresenta algumas considerações importantes para computar e treinar tais “grandes modelos”. Embora este artigo tenha sido acusado de plágio, ainda acho que ele fornece uma visão geral decente dos desafios para o poder computacional de de IA.
● Desafios da tecnologia de computação em exaescala, Shalf et al., 2011
○ À medida que o aumento da velocidade do relógio se torna mais difícil devido aos limites físicos do tamanho do transistor, a paralelização no chip pode fornecer ganhos adicionais de desempenho. O artigo explora desafios conectados.
2.3 Tendências em hardware de computação
● Lei de Moore, IA e o ritmo do progresso, LessWrong, Veedrac, 2021
○ Alguns insights sobre as tendências recentes de hardware e por que elas (não) são importantes para a IA.
● A grande questão de quão pequenos chips podem chegar a ser | Financial Times, Bradshaw & Gross, 2023
● Referenciais (não necessariamente uma “leitura”, mas sim um recurso)
○ Os referenciais são úteis para medir o progresso no hardware de computação. Encontre abaixo alguns referenciais comumente usados para cargas de trabalho específicas de computação de alto desempenho e apredizado de máquina. Observe que várias ressalvas se aplicam.
○ TOP500 / Graph500 / Green500
■ O referencial TOP500 não é um referencial de aprendizado de máquina e usa diferentes esquemas de computação (FP64 etc.). Alguns deles têm GPUs, outros não. Deve-se esperar que novos sistemas tenham GPUs e sejam utilizáveis para cargas de trabalho de IA.
○ ML Commons Training HPC
■ Conjunto de refererenciais para treinamento de aprendizado de máquina
○ Tendências em desempenho-preço de GPUs, Epoch, Hobbhahn e Besiroglu, 2022
● Prevendo o desempenho de GPUs, Epoch, Hobbhahn & Besiroglu, 2022
2.4 Onde está toda o poder computacional?
● A distribuição mundial de computação (descobertas iniciais) – Machine Intelligence Research Institute, MIRI, Naik, 2014
● [Observe que eu estaria interessado em uma investigação atualizada sobre isso. Tenho algumas ideias sobre como fazer isso.]
2.4.1 China
● Livro branco sobre o poder computacional da China, ChinAI, 2023
2.5 O que vem a seguir na computação?
● Há muito espaço no topo: o que impulsionará o desempenho dos computadores após a lei de Moore?, Leiserson et ai. 2020
○ Embora a lei de Moore tenha diminuído nos últimos anos, mais avanços na computação podem ser obtidos por meio de melhores algoritmos, códigos e hardware especializado.
● A loteria do hardware, Hooker, 2020
○ Nossos paradigmas de hardware atuais estão ditando quais inovações de IA serão bem-sucedidas.
● O declínio dos computadores como tecnologia de uso geral, Communications of the ACM, Thompson, 2021
○ Veremos chips mais especializados no futuro – primeiro os especializados para IA e depois até mesmo para diferentes cargas de trabalho de IA (como inferência e treinamento).
● Além do CMOS: o futuro dos semicondutores, IEEE IRDS, 2018
● A parede do acelerador: limites da especialização de chips, Fuchs & Wntzlaff, 2019
3 Governança computacional
As leituras anteriores estabeleceram a base técnica da IA e do poder computacional. A Governança Computacional se concentra no poder computacional como uma alavanca de governança, monitorando, restringindo ou promovendo o acesso.
3.1 Motivação
● Governança da IA: oportunidade e teoria do impacto, Allen Dafoe (Centre for the Governance of AI), 2020
○ Motivação geral para governar os sistemas avançados de IA para limitar os riscos à sociedade provenientes de diferentes aspectos da tecnologia
● Seção 6 em Governança Computacional e Conclusões – IA Transformadora e Computação [3/4], Heim, 2021
○ O poder computacional é um input singularmente governável em sistemas de IA porque é especializado, caro, altamente centralizado e requer espaço físico e energia para ser implementado. Isso significa que as restrições sobre o poder computacional podem ser aplicadas com mais facilidade do que as restrições sobre os dados ou os algoritmos.
● Poder computacional e antitruste, Verfassungsblog, Haydn Belfield e Shin-Shin Hua, 2022
○ Argumentamos que a literatura antitruste e regulatória até o momento não deu atenção suficiente ao poder computacional, apesar de ele ser um input fundamental para o progresso e serviços de IA, o poder de mercado potencialmente substancial das empresas na cadeia de suprimentos e as vantagens do poder computacional como uma “unidade” de regulamentação em termos de detecção e remédios.
● Os princípios de contabilidade computacional podem ajudar a reduzir os riscos de IA, Jackson et al., 2023
● Controle de armas para a inteligência artificial – revisão de segurança nacional do Texas, Lamberth & Scharre, 2023
3.2 Trabalho de política existente relevante para a Governança Computacional
● Revisão do futuro do poder computacional do Reino Unido (2022)
○ O governo do Reino Unido pede propostas para estabelecer uma estratégia nacional de poder computacional
○ Revisão do futuro do poder computacional – envio de evidências, CLTR, Whittlestone et al., 2022
■ Sugere permitir mais acesso ao poder computacional para a academia e começar a monitorar (IA) o poder computacional.
○ Resposta do GovAI à revisão do futuro do poder computacional do Reino Unido – Chamada para evidências, Heim & Anderljung, 2022
■ Sugere acesso estruturado ao poder computacional de IA favorecendo a pesquisa focada em interpretabilidade e segurança e garantindo que atores irresponsáveis não tenham acesso.
■ Resposta à revisão do futuro do poder computacional do Reino Unido: uma oportunidade perdida de liderar em governança computacional, CLTR & GovAI e outros, 2022
● Solicitação de informações do recurso nacional de pesquisa de IA dos EUA (NAIRR) (2022)
○ Relevante para qualquer discussão sobre dar mais poder compuatacional aos acadêmicos e estabelecer centros de computação (inter)nacionais.
○ Envio à Requisição de Informações (RFI) sobre a Implementação de Constatações e Recomendações Iniciais da Força-Tarefa NAIRR, GovAI, Heim & Anderljung, 2022
■ Sugere dar à academia acesso a modelos pré-treinados por meio de um API, garantindo que a pesquisa esteja ciente das preocupações de segurança e favorecendo os atores que fazem pesquisas relevantes para a segurança.
● Um plano para a construção de capacidade de computação nacional para inteligência artificial, OCDE AI, 2023
3.3 Promoção de acesso por meio de fundos de computação
À medida que os modelos de aprendizado de máquina ficam cada vez maiores, a pesquisa requer acesso a grandes quantidades de poder computacional. Consequentemente, tem havido apelos para estabelecer fundos de computação para fornecer acesso subsidiado para a academia.
● Livro Branco | Construindo um recurso nacional de pesquisa em IA, Stanford HAI, Ho et al., 2021
○ Propõe um projeto nacional dos EUA para dar acesso acadêmico ao poder computacional para garantir que ela possa trabalhar em modelos de IA de última geração.
● Fundos de computação de modelos pré-treinados, GovAI, Anderljung et al., 2022
○ Sugere dar acesso acadêmico a grandes modelos de IA por meio de acesso estruturado
○ Resumo do Twitter
■ Com base na recomendação acima, fizemos envio à força-tarefa dos EUA National AI Research Resources (NAIRR) (consulte a seção acima)
3.4 Medindo poder computacional
Medir o poder computacional é crucial para entender as capacidades de IA de atores relevantes. Também é um pré-requisito para regulamentar ou alocar poder computacional.
● Computação em larga escala: a defesa de uma maior coordenação do Reino Unido, Governo do Reino Unido, 2021
○ Descreve o valor econômico da infraestrutura de poder computacional e sugere mais investimento público
● Medindo a capacidade computacional nacional para Inteligência Artificial (IA): ferramentas de medição existentes e descobertas preliminares, OCDE, 2022 (ainda não está fora de sigilo)
○ Postagens de blog relacionadas
■ Medindo a capacidade de poder computacional: uma etapa crítica para capturar todo o potencial econômico da IA, OECD.AI, Strier et al., 2022
● A maioria dos países não sabe quanto poder computacional eles têm. Como o poder computacional é um fator-chave para a inovação, eles precisarão medi-lo para tomar decisões informadas. Para se manterem competitivos, os países precisarão investir em recursos computacionais nacionais.
■ Reduzir as emissões de carbono da IA, OECD.AI, Patterson, 2022
● Sugere a redução das emissões de carbono do treinamento de IA, apoiando mais ganhos de eficiência em algoritmos e hardware e incentivando o uso de energia verde.
3.4.1 Monitoramento computacional
● Por que e como os governos devem monitorar o desenvolvimento da IA, Whittlestone & Clark, 2021
○ Os governos já enfrentam desafios em relação a governar a IA. Eles ficarão mais graves à medida que os sistemas avançam. Para tomar decisões informadas e perceber tendências com antecedência, eles devem estabelecer mecanismos para monitorar diferentes aspectos dos desenvolvimentos da IA, bem como seus impactos.
● Artigos mencionando e discutindo o monitoramento computacional
○ Rumo ao desenvolvimento de IA confiável: mecanismos de apoio a reivindicações verificáveis, Brundage et al. (OpenAI), 2020
■ 4.2: A falta de normas é um obstáculo para relatórios mais difundidos de poder compational usado para treinamento de sistemas de IA. Os laboratórios de IA devem começar a relatar suas especificações de sistema com mais detalhes para incentivar uma ampla adoção do procedimento.
○ Problemas abertos em IA cooperativa, DeepMind, Dafoe et al., 2020
3.4.2 Verificação
Verificar e provar a quantidade de poder computacional que se tem.
● Experimentos de verificação conjunta, Arms Control Wonk, Krepon, 2011
○ [requer explicação]
3.5 Restrições à exportação
No momento, isso está se concentrando principalmente na cadeia de suprimentos de semicondutores.
● Todas as publicações de hardware e computação da CSET:
○ Banido em Washington – Examinando abordagens governamentais para ameaças tecnológicas estrangeiras, CSET, Corrigan et al., 2022
○ Protegendo cadeias de suprimentos de semicondutores, CSET, Khan, 2021
● Retardando a lei de Moore: como isso poderia acontecer, Gwern, Branwen, 2017
● Digitalização de controles de exportação: uma pilha de tecnologia de conformidade comercial?, Centro de Estudos Estratégicos e Internacionais (CSIS), Reinsch & Benson, 2021
● Comentário da Microsoft e da OpenAI para a BIS, O’Neal & Clark, 2020
○ Defende controles de exportação “inteligentes”
● Filha do CoCom?, CSET, Weinstein & Wolf, 2022 discute o potencial para novos controles multilaterais de exportação.
○ Uma apresentação associada
3.5.1 Restrições de exportações dos EUA a partir de outubro de 2022
O governo Biden restringiu a exportação para a China (e a Rússia) de hardware, ferramentas e software de IA avançados necessários para construí-la em setembro de 2022. (Aqui está o PDF oficial).
● Sufocando o acesso da China ao futuro da IA, CSIS, Allen, 2022
● Resumos da mídia:
○ SemiAnalysis: China e EUA estão oficialmente em guerra econômica – visão geral da restrição tecnológica
○ NYT: Administração Biden reprime o acesso da China à tecnologia de chips
● South China Morning Post: Guerra tecnológica: as restrições de chips dos EUA podem custar 0,6% do PIB da China e pesar no yuan, de acordo com o relatório do Barclays
● Congele em cas: o impacto dos controles tecnológicos dos EUA sobre a China, Rhodium Group, Goujon et al., 2022
● Novos controles de exportações de chips e a doutrina tecnológica de Sullivan com Kevin Wolf, China Talk, Schneider e Zhang, 2022 Uma bomba para relações tecnológicas EUA-China, NOEMA, Jordan Schneider, 2022
● O bloqueio da IA, The Wire China, 2023 (versão em pdf)
● Japão e Holanda anunciam planos para novos controles de exportações de equipamentos semicondutores, CSIS, Allen & Benson, 2023
3.6 Verificando o uso do poder computacional
● O que é preciso para pegar uma chinchila? Verificação de regras em treinamento de rede neural em larga escala por meio de monitoramento de computação, Yondav Shavit, 2023
○ Mecanismos baseados em hardware em aceleradores de IA podem registrar periodicamente fotografias instantâneas com hash dos pesos do modelo em sua memória. Isso pode ser usado para verificar afirmações sobre especificações de treinamento, permitindo que governos ou organizações internacionais imponham regras de desenvolvimento responsável de IA.
○ Uma das propostas mais completas de um regime de monitoramento de computação
3.7 Segurança de Hardware
● Verificação de IA: mecanismos para garantir a conformidade com o controle de armas de IA, CSET, Mittelsteadt, 2021
● O uso malicioso de inteligência artificial: previsão, prevenção e mitigação, maliciosoaireport.com, Brundage et al., 2018
○ Veja as recomendações de hardware seguro
● Considerações de pesquisa de IA para segurança existencial humana, Critch & Krueger, 2022
○ Veja as recomendações de hardware seguro
● Acesso estruturado: um paradigma emergente para implementação segura de IA, Shevlane, 2022
○ Consulte a discussão sobre os mecanismos de nível de hardware para controlar o acesso aos modelos
● Alguns artigos técnicos específicos sobre os mecanismos acima:
○ Proteção de propriedade intelectual assistida por hardware de modelos de aprendizado profundo, IEEE, Chakraborty et al., 2020
○ Trava profunda: autorização segura para redes neurais profundas, Alam et al., 2020
○ AdvParams: uma técnica ativa de proteção de propriedade intelectual de redes neurais profundas via perturbações adversárias baseadas em encriptação de parâmetros, Xue et al., 2021
● Habilitando rastreabilidade IC via blockchain atrelada a PUF incorporado, Islam & Kundu, 2019
3.8 Provedores de poder computacional
Os provedores de poder computacional estão no final da cadeia de suprimentos e fornecem acesso à computação como serviço. Como eles poderiam ser governados?
● Acesso estruturado: um paradigma emergente para implementação segura de IA, Shevlane
○ Postagem de blog resumindo
3.9 Centrais de dados
● Computação em escala: uma ampla investigação sobre a indústria de centrais de dados, Pilz & Heim, 2023
○ Fornece uma visão geral de como o setor funciona, quais são seus principais inputs e tira algumas conclusões para a governança da IA, enfatizando a importância das centrais de dados na cadeia de suprimentos de computação de IA e seu papel no treinamento e implementação de sistemas avançados de IA. Descreve os principais recursos das centrais de dados, como consumo de energia, requisitos de refrigeração e infraestrutura, ao mesmo tempo que discute o tamanho e o crescimento do mercado, principais participantes e possíveis gargalos.
○ Consulte Uma avaliação da função da infraestrutura da central de dados na governança da IA, Pilz, 2023 para obter uma interpretação das principais descobertas e alguns modelos úteis sobre como pensar sobre as centrais de dados.
3.10 Governança computacional corporativa
O que os atores que fornecem computação, como empresas de hardware de IA, podem fazer pela segurança da IA?
● [breve]
4 Previsão da IA transformadora (IAT) baseada em poder computacional
4.1 Previsão da IAT
● Atualizações e lições da previsão da IA, Steinhardt, 2021
● Mais é diferente para IA, Alignment Forum, Steinhardt, 2022
● Linhas do tempo da IA: onde os argumentos e os “especialistas” se encontram, Cold Takes, Karnofsky, 2021
○ Visão geral das tentativas atuais de previsão da IA
○ Entendendo intuitivamente “a previsão da IAT com âncoras biológicas”, LessWrong, Ho, 2022
■ Resumo bem escrito e visualizado do relatório de bioâncoras
4.2 Previsão do poder computacional
Prevendo de quanto poder computacional podemos precisar e quanto teremos.
● Rascunho do relatório sobre linhas do tempo da IA, Alignment Forum, Cotra, 2021
○ Divido em dois aspectos: (I) de quanto poder computacional podemos precisar com base em âncoras biológicas e (II) quanta poder computacional pode estar disponível.
● Prevendo o poder computacional – IA transformadora e poder computacional [2/4], EA Forum, Heim, 2021
● Projetando tendências do poder computacional em aprendizado de máquina, Epoch, AI Alignment Forum, Besiroglu et al., 2022
● Tendências do poder computacional em três eras do aprendizado de máquina, Sevilla et al., 2022
4.2.1 Interpretando tendências do poder computacional de IA e os limites
● Interpretando tendências do poder computacional de IA, AI Impacts, Carey, 2018
● Reinterpretando “IA e poder computacional”, AI Impacts, Garfinkel, 2018
● Os limites computacionais do aprendizado profundo, Thompson, 2020
○ Não concordo com seus números exatos e como eles fazem a comparação; no entanto, acho que a mensagem principal ainda é válida.
● Por quanto tempo o poder computacional pode impulsionar o progresso da inteligência artificial?, CSET, Lohn & Musser, 2022
○ Observe que o modelo deles presume que o custo da computação permanece constante. Além disso, eles presumem um tempo de duplicação de 3,4 meses, que não está mais atualizado.
4.3 Cenários de decolagem e poder computacional
● O custo de inferência limita o impacto de modelos cada vez maiores, LessWrong, Mindermann, 2021
● Definição de excedente de hardware em AI Impacts
4.4 Comparações e analogias com o cérebro
● Eficiência cerebral: muito mais do que você queria saber, LessWrong, Canell, 2022
● Quanto poder computacional é necessário para se igualar ao cérebro humano, Open Philanthropy, Carlsmith, 2021
5 outros
Qualquer coisa que não se encaixe nas categorias acima.
5.1 Livros
● Guerra dos Chips, Christopher Miller, 2022
○ Oferece um amplo panorama da história dos semicondutores e dos conflitos em torno deles, esclarecendo muitas questões contemporâneas e a geopolítica dos chips.
5.2 Questões de pesquisa
● Algumas ideias de pesquisa de governança da IA, Anderljung & Carlier, 2021
● A governança da IA precisa de trabalho técnico, EA Forum, Baker, 2022
5.3 Arquitetura de chip AI
Se você deseja ter uma compreensão mais aprofundada dos aceleradores de IA, aqui está uma ótima série. Meu melhor palpite é que isso provavelmente não é relevante para a maioria dos projetos. No entanto, algum entendimento pode ser útil na categorização de novas inovações.
● Aceleradores de IA — Parte I: Introdução, Medium, Fuchs, 2022.
○ Entrevista e resumo no Youtube: tudo sobre aceleradores de IA: GPU, TPU, fluxo de dados, memória próxima, ótica, neuromórfica e mais (com autor)
● Tutorial sobre aceleradores de hardware para redes neurais profundas, de Emer et al., MIT/ Nvidia
● Interconexão [explicar]
○ Uma visão geral sobre redes de interconexão eficientes para aceleradores de redes neurais profundas, IEEE, Nabavinejad et al., 2020
5.4 Poder computacional e emissões de carbono
Ao falar sobre poder computacional, muitas pessoas estão preocupadas com as pegadas de carbono. Infelizmente, houve alguns números errados por aí, e acho que esse aspecto é menos importante do que costuma ser afirmado. Ainda assim, saber um pouco sobre isso é útil. Além disso, fornece alguns insights sobre a economia e a distribuição de cargas de trabalho de IA em centrais de dados.
● A pegada de carbono do treinamento de aprendizado de máquina vai se estabilizar, depois encolher, Paterson et al., 2022
○ Documento predecessor: Emissões de carbono do treinamento de grandes redes neurais, Patterson et al., 2021
5.5 Episódios de podcast
● Danny Hernandez sobre previsões e os impulsionadores do progresso da IA, 80,000 Hours
● Mergulho na TSMC com o Asianometry, Compounding Curiosity, 2022
○ Alguns insights interessantes sobre Taiwan e sua seita da TSMC.
● The Asianometry Podcast (versão em áudio do canal do YouTube no link abaixo)
○ Semicondutores: tudo o que você queria saber
● Markus Anderljung sobre a política de IA, The Inside View, 2022
○ Abrange parte do nosso trabalho na GovAI sobre governança computacional.
● Lennart Heim (sou eu!) em AI Compute 101: The Geopolitics of Giant models, ChinaTalk, 2023
○ AI Compute 101: a geopolítica das GPUs
○ Computação e o futuro das relações EUA-China
● Como a ascensão da IA afetará a indústria de semicondutores de Taiwan, Startup Island, 2023
○ Bom resumo das tendências atuais em semicondutores, com forte foco em Taiwan
5.6 Aconselhamento de carreira
● O que significa se tornar um especialista em hardware de IA?, AI Fórum, Fenícia 2021
● Especialista em hardware de IA – Revisão de carreira, 80,000 Hours, 2021
5.7 Boletins informativos
● Às vezes toca em hardware/computação
5.8 Canais do YouTube
5.9 Plataformas de previsão
● O INFER Pub tem muitas perguntas de previsão sobre microeletrônica em relação à China e aos EUA
● O Metaculus tem muitas perguntas relacionadas poder computacional e linhas do dempo da IAT
5.10 Bônus: Segurança da Informação/Computação
Acho que a segurança da informação está relacionada à governança computacional. Simplificando, não poderemos restringir o acesso ao poder computacional se você simplesmente invadir o cluster e fizer mau uso dele.
● Segurança da informação em áreas de alto impacto – Revisão de carreira, 80,000 Hours, 2023
● Considerações de segurança da informação para IA e o futuro a longo prazo, EA Forum, Ladish & Heim, 2022
● Podcast: Nova DasSarma sobre por que a segurança da informação pode ser crucial para o desenvolvimento seguro de sistemas de IA, 80,000 Hours, 2022
Traduzido a partir da atualização de maio de 2023. Clique aqui para o original.
Autor: Lennart Heim (lennart@heim.xyz) (com muita ajuda e resumos de Konstantin Pilz)
Tradução: Luan Marques