A corrida num campo minado: o problema da implementação de IA - 80.000 Horas: Como fazer a diferença com sua carreira

De Holden Karnofsky. 22 de dezembro de 2022.

Em artigos anteriores, argumentei que há um risco real e grande de os sistemas de IA desenvolverem seus próprios objetivos perigosos e derrotarem toda a humanidade — pelo menos na ausência de esforços específicos para impedir que isso aconteça. Discuti por que pode ser difícil construir sistemas de IA sem esse risco e como isso poderia ser viável.

O “problema do alinhamento da IA” refere-se¹ a um problema técnico: como podemos projetar um sistema de IA poderoso que se comporte conforme o pretendido, em vez de formar seus próprios objetivos perigosos? Este post vai delinear um problema político/estratégico mais amplo, o “problema da implementação”: se você é alguém que pode estar prestes a desenvolver sistemas de IA extremamente poderosos (e talvez perigosos), o que você deveria… fazer?

O desafio básico é este:

Se você avançar com a construção e o uso de poderosos sistemas de IA o mais rápido possível, poderá causar uma catástrofe global (consulte os links acima).
Se você se mover muito devagar, porém, pode estar apenas esperando para que outra pessoa menos cautelosa desenvolva e implemente sistemas de IA poderosos e perigosos.
E se você conseguir chegar ao ponto em que seus próprios sistemas são poderosos e seguros… e aí? Outras pessoas ainda podem estar construindo sistemas perigosos com menos cautela — o que deveríamos fazer a respeito disso?

Minha analogia atual para o problema da implementação é uma corrida num campo minado: cada jogador tem a esperança de estar à frente dos outros, mas alguém se movendo rápido demais pode causar um desastre. (Nesse campo minado, uma única mina é grande o suficiente para colocar em perigo todos os corredores).

Esta postagem fornece uma síntese abstrata de como vejo os tipos de desenvolvimento que podem levar a um bom resultado, apesar da dinâmica de “corrida num campo minado”. É uma destilação de um post mais detalhado no Fórum do Alinhamento.

Primeiro, detalharei como vejo o desafio que estamos enfrentando, com base nas premissas acima.

A seguir, listarei uma série de coisas que espero que “agentes cautelosos” (empresas de IA, governos, etc.) possam fazer para evitar uma catástrofe.

Muitas das ações que estou imaginando não são o tipo de coisa à qual incentivos normais de mercado e comércio levariam e, dessa forma, acho que há espaço para um monte de variação se o desafio da “corrida num campo minado” for bem tratado. Poderia ser crucial se os principais tomadores de decisão entendem coisas como a defesa do risco de desalinhamento (e, em particular, por que ele pode ser difícil de medir) e se estão dispostos a diminuir suas próprias chances de “ganhar a corrida” para melhorar as chances de um bom resultado para todos.

Índice

As premissas básicas da “corrida num campo minado”

Este artigo vai se apoiar em artigos anteriores e presumir todas as seguintes coisas:

IA transformadora em breve. Neste século, algo como o PASTA poderia ser desenvolvido: sistemas de IA que podem efetivamente automatizar tudo o que os humanos fazem para avançar a ciência e a tecnologia. Isso traz o potencial para um progresso explosivo em ciência e tecnologia, levando-nos mais rapidamente do que a maioria das pessoas imagina a um futuro profundamente estranho. Defendi essa possibilidade na série do Século Mais Importante.
Risco de desalinhamento. Como argumentei anteriormente, há um risco significativo de que esses sistemas de IA possam acabar com seus próprios objetivos desalinhados, levando-os a derrotar toda a humanidade. E pode ser necessário um considerável esforço extra para tornar os sistemas de IA seguros.
Ambiguidade. Conforme argumentei anteriormente, pode ser difícil saber se sistemas de IA estão perigosamente desalinhados, por vários motivos. Em particular, quando treinamos sistemas de IA para não se comportarem perigosamente, podemos sem querer treiná-los para esconder seu potencial perigoso dos humanos e realizar ações perigosas apenas quando os humanos não seriam capazes de detê-los. Ao mesmo tempo, prevejo que sistemas de IA poderosos apresentem enormes oportunidades para ganhar dinheiro e poder, de modo que muitas pessoas queiram avançar com a sua construção e implementação o mais rápido possível (talvez mesmo que acreditem que fazer isso é arriscado para o mundo!)

Assim, pode-se imaginar um cenário onde alguma empresa se encontra na seguinte situação:

Ela tem boas razões para pensar que está prestes a desenvolver sistemas de IA extraordinariamente poderosos.
Se implementar tais sistemas apressadamente, isso poderia resultar num desastre global.
Mas, se for muito lenta, outros atores menos cautelosos podem implementar seus próprios sistemas perigosos.

Essa parece ser uma situação suficientemente difícil, de alto risco e provável para que valha a pena pensar em como devemos lidar com ela.

Uma maneira simplificada de pensar sobre esse problema:

Podemos classificar os “atores” (empresas, projetos governamentais, o que quer que possa desenvolver sistemas de IA poderosos ou desempenhar um papel importante na forma como são implementados) como cautelosos (que levam o risco de desalinhamento muito a sério) ou incautos (nem tanto).
Nossa esperança básica é que, a qualquer momento, atores cautelosos coletivamente tenham o poder de “conter” atores incautos. Por “conter” quero dizer: impedi-los de implementar sistemas de IA desalinhados e/ou impedir que sistemas desalinhados causem uma catástrofe.
É importante ressaltar que pode ser importante que atores cautelosos usem sistemas de IA poderosos para ajudar na “contenção” de uma forma ou de outra. Se os atores cautelosos se abstiverem totalmente do desenvolvimento de IA, parece provável que os atores incautos acabem com sistemas mais poderosos do que os cautelosos, o que não parece bom.

Nessa configuração, os atores cautelosos precisam se mover rápido o suficiente para não serem dominados pelos sistemas de IA dos outros, mas devagar o suficiente para não causarem desastres. Daí a analogia da “corrida num campo minado”.

Como se parece o sucesso

Num artigo fora do Cold Takes, exploro as possíveis ações disponíveis para atores cautelosos para vencer a corrida num campo minado. Esta seção irá resumir as categorias gerais — e, fundamentalmente, por que não devemos esperar que empresas, governos, etc., façam a coisa certa simplesmente por meio de incentivos naturais (comerciais e outros).

Vou passar por cada um dos seguintes:

Alinhamento (traçar um caminho seguro pelo campo minado). Colocar muito esforço no trabalho técnico para reduzir o risco da IA desalinhada.
Avaliação de ameaças (alertar os outros sobre as minas). Colocar muito esforço para avaliar o risco da IA desalinhada e potencialmente também demonstrá-lo (para outros atores).
Evitar corridas (para se mover com mais cautela pelo campo minado). Se diferentes atores estão correndo para implementar poderosos sistemas de IA, isso pode tornar desnecessariamente difícil ser cauteloso.
Compartilhamento seletivo de informações (para que os incautos não nos alcancem). Compartilhar algumas informações amplamente (p. ex., insights técnicos sobre como reduzir o risco de desalinhamento), algumas seletivamente (p. ex., demonstrações de quão poderosos e perigosos sistemas de IA podem ser) e outras absolutamente nunca (p. ex., o código específico que, se acessado por um hacker, lhe permitiria implementar sistemas de IA potencialmente perigosos).
Monitoramento global (perceber pessoas prestes a pisar em minas e impedi-las). Trabalhar em esforços de monitoramento liderados por Estados em todo o mundo para identificar e deter projetos “incautos” correndo em direção à implementação de sistemas de IA perigosos.
Implementação defensiva (ficar à frente na corrida). Implementar sistemas de IA apenas quando é improvável que causem uma catástrofe, mas também implementá-los com urgência quando forem seguros, a fim de ajudar a impedir problemas de sistemas de IA desenvolvidos por atores menos cautelosos.

Alinhamento (traçar um caminho seguro pelo campo minado)²

Escrevi anteriormente sobre algumas das maneiras como podemos reduzir os perigos de sistemas de IA avançada. Em geral:

Atores cautelosos podem tentar construir principalmente sistemas de IA limitados: sistemas de IA que carecem do tipo de objetivos ambiciosos que levam ao perigo. Eles podem acabar usando esses sistemas de IA para fazer coisas como automatizar mais pesquisas de segurança, tornando mais seguros os sistemas futuros menos limitados.
Atores cautelosos podem usar freios e contrapesos de IA: isto é, usar alguns sistemas de IA para supervisionar, criticar e identificar comportamentos perigosos em outros, com cuidado especial para dificultar a coordenação entre os sistemas de IA contra humanos.
Atores cautelosos podem usar uma variedade de outras técnicas para tornar os sistemas de IA mais seguros: particularmente técnicas que incorporam “neurociência digital“, avaliando a segurança de um sistema de IA “lendo sua mente” em vez de simplesmente estar atento a comportamentos perigosos (esta última estratégia pode ser inconfiável, conforme observado acima).

Um ponto-chave aqui é que tornar sistemas de IA seguros o suficiente para a comercialização (com algum sucesso inicial e lucros) poderia necessitar de muito menos (e um diferente) esforço que torná-los resilientemente seguros (sem risco de catástrofe global à espreita). As razões básicas para isso são abordadas em minha postagem anterior sobre as dificuldades com a pesquisa de segurança da IA. Resumindo:

Se os sistemas de IA se comportarem perigosamente, podemos eliminar esse comportamento por treinamento fornecendo reforço negativo para ele.
A preocupação é que ao fazermos isso podemos estar treinando sem querer sistemas de IA para ocultar seu potencial perigoso dos humanos e realizar ações perigosas apenas quando os humanos não forem capazes de detê-los. (Chamo isso de “problema do Rei Lear: é difícil saber como alguém vai se comportar quando tem poder sobre você, com base apenas na observação de como se comporta quando não tem”.)
Assim, podemos acabar com sistemas de IA que se comportam de forma segura e prestativa pelo que sabemos em circunstâncias normais, embora tenham “objetivos” ambiciosos e perigosos que buscam quando se tornam poderosos o suficiente e têm as oportunidades certas.

Empresas de IA bem-intencionadas com conselhos de ética ativos podem fazer muito trabalho de segurança da IA, treinando IAs para não se comportarem de maneiras inúteis ou perigosas. Mas se quiserem lidar com os riscos nos quais foco aqui, isso pode exigir medidas de segurança que parecem muito diferentes: p. ex., medidas mais dependentes de “freios e contrapesos” e “neurociência digital”.

Avaliação de ameaças (alertar os outros sobre as minas)

Além de tornar os sistemas de IA mais seguros, os atores cautelosos também podem se esforçar para medir e demonstrar o quão perigosos eles são (ou não são).

Pelas mesmas razões apresentadas na seção anterior, pode ser necessário um esforço especial para encontrar e demonstrar os tipos de perigos que venho discutindo. Simplesmente monitorar sistemas de IA no mundo real em busca de mau comportamento pode não funcionar. Pode ser necessário examinar (ou manipular) seus cérebros digitais³, projetar sistemas de IA especificamente para auditar outros sistemas de IA em busca de sinais de perigo; treinar deliberadamente sistemas de IA para demonstrar padrões perigosos específicos (embora não devam ser muito perigosos!); etc.

Descobrir e demonstrar que o perigo é alto pode ajudar a convencer muitos atores a se moverem de forma mais lenta e cautelosa. Descobrir que o perigo é baixo pode diminuir alguns dos difíceis perde-ganhas aqui e permitir que atores cautelosos avancem de forma mais decisiva com o desenvolvimento de sistemas de IA avançada; acho que isso pode ser bom em termos de quais tipos de atores lideram o caminho da IA transformadora.

Evitar corridas (para se mover com mais cautela pelo campo minado)

Aqui está uma dinâmica com a qual eu ficaria triste:

Empresa A está chegando perto de construir sistemas de IA muito poderosos. Ela adoraria se mover devagar e ter cuidado com essas IAs, mas teme que, se for devagar demais, Empresa B chegue lá primeiro, tenha menos cautela e faça uma combinação de “causar perigo ao mundo” e “derrotar Empresa A se as IAs acabarem sendo seguras.”
Empresa B está chegando perto de construir sistemas de IA muito poderosos. Ela adoraria se mover devagar e ter cuidado com essas IAs, mas teme que, se for devagar demais, Empresa A chegue lá primeiro, tenha menos cautela e faça alguma combinação de “causar perigo ao mundo” e “derrotar empresa B se as IAs acabarem sendo seguras.”

(Dinâmicas semelhantes podem se aplicar a País A e País B, com projetos nacionais de desenvolvimento de IA).

Se Empresas A e Empresa B “adoraria[m] se mover devagar e ter cuidado” se pudessem, é uma pena que ambas estejam correndo para derrotar uma à outra. Talvez haja uma maneira de evitar essa dinâmica. Por exemplo, talvez Empresa A e Empresa B possam fazer um acordo: qualquer coisa desde “colaboração e compartilhamento de informações relacionadas à segurança” até uma fusão. Isso poderia permitir que ambas se concentrassem mais em medidas de precaução do que em derrotar uma à outra. Outra forma de evitar essa dinâmica é discutida abaixo, em normas e monitoramento.

“Encontrar maneiras de evitar uma corrida furiosa” não é o tipo de dinâmica que surge naturalmente a partir de mercados! Na verdade, trabalhar em conjunto nesse sentido teria de ser algo bem planejado para evitar entrar em conflito com a regulamentação antitruste.

Atores cautelosos podem querer compartilhar certos tipos de informações bem amplamente:

Pode ser crucial aumentar a conscientização sobre os perigos da IA (que, como argumentei, não serão necessariamente óbvios).
Eles também poderiam querer compartilhar amplamente informações que podem ser úteis para reduzir os riscos (p. ex., técnicas de segurança que funcionassem bem).

Ao mesmo tempo, enquanto houver atores incautos por aí, informações também podem ser perigosas:

Informações sobre o que os sistemas de IA de ponta podem fazer — especialmente se forem poderosos e impressionantes — podem estimular atores incautos a correr mais para desenvolver sua própria IA poderosa (ou lhes dar uma ideia de como construir sistemas poderosos, dando-lhes uma ideia de quais tipos de capacidade visar).
Os “pesos” de uma IA (você pode pensar nisso como o seu código-fonte, embora não exatamente⁴) são potencialmente muito perigosos. Se hackers (inclusive do programa de guerra cibernética de um Estado) obtiverem acesso não autorizado aos pesos de uma IA, isso pode equivaler a roubar o sistema de IA, e o ator que rouba o sistema pode ser muito menos cauteloso do que o ator que o construiu. Alcançar um nível de segurança cibernética que exclua isso pode ser extremamente difícil e pode estar muito além do que normalmente visamos num contexto comercial.

As linhas entre essas categorias de informação podem acabar sendo difusas. Algumas informações podem ser úteis para demonstrar os perigos e as capacidades de sistemas de ponta, ou úteis para tornar os sistemas mais seguros e para construí-los em primeiro lugar. Portanto, pode haver muitos julgamentos difíceis de fazer aqui.

Essa é outra área em que me preocupo que os incentivos comerciais não sejam suficientes por si sós. Por exemplo, geralmente é importante que um projeto comercial tenha algum nível razoável de segurança contra hackers, mas não que necessariamente seja capaz de resistir a tentativas com bons recursos feitas por Estados de roubar sua propriedade intelectual.

Monitoramento global (perceber pessoas prestes a pisar em minas e impedi-las)

Idealmente, atores cautelosos descobririam todos os casos em que alguém estivesse construindo um sistema de IA perigoso (por querer ou sem querer) e seriam capazes de interromper o projeto. Se isso fosse feito de forma confiável o suficiente, poderia acabar com o perigo da ameaça; uma versão parcial poderia ganhar tempo.

Aqui está uma visão de como esse tipo de coisa pode acontecer:

Nós (a humanidade) desenvolvemos um conjunto razoável de testes para saber se um sistema de IA pode ser perigoso.
As principais empresas de IA de hoje se autorregulamentam, comprometendo-se a não construir ou implementar um sistema que seja perigoso de acordo com tal teste (p. ex., consulte a declaração da Google de 2018: “Não projetaremos ou implementaremos IA em armas ou outras tecnologias cujo principal objetivo ou implementação seja causar ou facilitar diretamente danos às pessoas”). Mesmo que algumas pessoas nas empresas queiram fazê-lo, é difícil fazer isso depois que a empresa se comprometeu a não fazer.
Conforme mais empresas de IA são iniciadas, elas sentem uma leve pressão para fazer uma autorregulamentação semelhante, e recusar-se a fazê-lo é desagradável para potenciais funcionários, investidores, etc.
Finalmente, princípios semelhantes são incorporados em vários regulamentos governamentais e tratados aplicáveis.
Governos poderiam monitorar projetos perigosos usando regulamentações e até mesmo operações no exterior. Hoje os EUA, p. ex., monitoram (sem permissão) vários sinais de que outros Estados possam estar desenvolvendo armas nucleares e podem tentar impedir esse desenvolvimento com métodos que vão desde ameaças de sanções até guerra cibernética ou mesmo ataques militares. O país poderia fazer algo semelhante para qualquer projeto de desenvolvimento de IA que esteja usando grandes quantidades de poder computacional e não tenha fornecido informações voluntárias sobre suas práticas de segurança.

Se a situação se tornar muito terrível — ou seja, se parecer que há um alto risco de uma IA perigosa ser implementada iminentemente —, vejo o último ponto como uma das principais esperanças em potencial. Nesse caso, os governos podem ter que tomar medidas drásticas para monitorar e interromper projetos perigosos, com base em informações limitadas.

Implementação defensiva (ficar à frente na corrida)

Enfatizei a importância da cautela: não implantar sistemas de IA quando não podemos ter certeza de que são seguros.

Mas quando a confiança pode ser alcançada (quanta confiança? Consulte a nota de rodapé⁵), uma IA poderosa e segura pode ajudar a reduzir os riscos de outros atores de muitas maneiras possíveis.

Parte disso seria ajudando com todos os itens acima. Uma vez que sistemas de IA podem fazer uma fração significativa das coisas que os humanos podem fazer hoje, eles podem contribuir para cada uma das atividades que listei até agora:

Alinhamento. Sistemas de IA podem contribuir para a pesquisa de segurança da IA (como fazem os humanos), produzindo técnicas cada vez mais resilientes para reduzir riscos.
Avaliação de ameaças. Sistemas de IA podem ajudar a produzir evidências e demonstrações sobre riscos potenciais. Eles podem ser potencialmente úteis para tarefas como “Produzir explicações detalhadas e demonstrações de possíveis sequências de eventos que podem levar IAs a causar danos”.
Evitar corridas. Projetos de IA podem fazer acordos nos quais, p. ex., cada projeto tem permissão para usar seus sistemas de IA para monitorar sinais de risco dos outros (idealmente, esses sistemas seriam projetados para compartilhar apenas informações relevantes).
Compartilhamento seletivo de informações. Sistemas de IA podem contribuir para uma segurança forte (p. ex., encontrando e corrigindo brechas de segurança) e para a disseminação (inclusive ajudando a comunicar melhor o nível de risco e as melhores maneiras de reduzi-lo).
Monitoramento global. Sistemas de IA podem ser usados (p. ex., por governos) para monitorar sinais de projetos perigosos de IA em todo o mundo e até mesmo para interferir nesses projetos. Eles também podem ser usados como parte de grandes projetos voluntários de autorregulamentação, na linha do que escrevi logo acima em “Evitar corridas”.

Além disso, se sistemas de IA seguros estiverem em amplo uso, pode ser mais difícil que sistemas de IA perigosos (igualmente poderosos) causem danos. Isso pode ocorrer por meio de uma ampla variedade de mecanismos. Por exemplo:

Se houver um uso generalizado de sistemas de IA para corrigir e encontrar brechas de segurança, sistemas de IA com nível de poder semelhante podem ter mais dificuldade em encontrar brechas de segurança para causar problemas com elas.
Sistemas de IA desalinhados podem ter mais problemas para ganhar dinheiro, ganhar aliados, etc., em mundos onde estejam competindo com sistemas de IA igualmente poderosos, porém seguros.

E aí?

Entrei em alguns detalhes sobre por que podemos ter uma situação desafiadora (“corrida num campo minado”) se poderosos sistemas de IA (a) forem desenvolvidos em breve; (b) apresentarem um risco significativo de desalinhamento levando à derrota da humanidade; (c) não forem particularmente fáceis de medir em termos de segurança.

Também falei sobre o que vejo como algumas das principais maneiras como “atores cautelosos” preocupados com a IA desalinhada podem navegar essa situação.

Falo sobre algumas das implicações em meu artigo mais detalhado. Aqui, vou apenas citar algumas observações que saltam aos meus olhos a partir desta análise.

Isso parece difícil. Se acabarmos no futuro previsto neste artigo, imagino que isso seja extremamente estressante e difícil. Estou imaginando um mundo em que muitas empresas, e até mesmo governos, podem ver o enorme poder e lucro que podem obter com a implementação de poderosos sistemas de IA antes de outras, mas ficamos à espera de que elas, em vez disso, se movam com cautela (mas não com cautela demais!), realizem os tipos de ações descritos acima e que os atores cautelosos acabem “ganhando a corrida” contra os menos cautelosos.

Mesmo que o alinhamento da IA acabe sendo relativamente fácil — de modo que um determinado projeto de IA possa criar sistemas seguros e poderosos com cerca de 10% a mais de esforço do que criar sistemas perigosos e poderosos —, a situação ainda parece bastante estressante, por causa de quantos jogadores diferentes podem acabar tentando construir seus próprios sistemas sem investir esses 10%.

Muitas das ações mais úteis podem ser “fora do comum”. Ao correr num campo minado, espero que os principais atores:

Coloquem mais esforço no alinhamento, na avaliação de ameaças e na segurança do que o exigido pelos incentivos comerciais;
Considerem medidas para evitar corridas e para o monitoramento global que poderiam ser muito incomuns, até sem precedentes.
Façam tudo isso na possível presença de informações ambíguas e confusas sobre os riscos.

Sendo assim, pode ser muito importante se os principais tomadores de decisão (em empresas e governos) entenderão os riscos e estarão preparados para agir com base neles. Atualmente, acho que infelizmente estamos muito longe de um mundo onde isso seja verdade.

Além disso, acho que os projetos de IA podem e devem tomar medidas hoje para tornar mais práticas no futuro as medidas incomuns, porém importantes. Isso pode incluir coisas como:

Obter prática com o compartilhamento seletivo de informações. Por exemplo, construir processos internos para decidir se a pesquisa deve ser publicada, em vez de ter uma regra de “Publique tudo; somos como uma universidade de pesquisa” ou “Não publique nada; não queremos que os concorrentes vejam”.
- Prevejo que as primeiras tentativas muitas vezes sejam desajeitadas e cometam erros!
Obter prática com maneiras como as empresas de IA podem evitar corridas.
Obter prática com a avaliação de ameaças. Mesmo que os sistemas de IA de hoje não pareçam ser perigosos ainda… quão certos estamos e como sabemos?
Priorizar a construção de sistemas de IA que possam fazer coisas especialmente úteis, como contribuir para pesquisas de segurança da IA, a avaliação de ameaças e a correção de brechas de segurança.
Estabelecer uma governança capaz de tomar decisões difíceis e não comercialmente ideais para o bem da humanidade. Uma corporação-padrão pode ser processada por não implementar uma IA que apresente um risco de catástrofe global — se isso significar um sacrifício para a sua rentabilidade. E muitas das pessoas que tomam a decisão final nas empresas de IA podem estar pensando principalmente em seus deveres para com os acionistas (ou simplesmente desconhecem os riscos potenciais de sistemas de IA suficientemente poderosos). Estou entusiasmado com as empresas de IA que estão investindo pesado na criação de estruturas de governança — e investindo em executivos e membros do conselho — capazes de tomar as decisões difíceis bem.

Notas

1. Geralmente, ou pelo menos é a isso que eu gostaria que se referisse.

2. Obrigado ao leitor beta Ted Sanders por sugerir essa analogia no lugar da antiga: “remover minas do campo minado”.

3. Um tipo de teste que pode ser interessante: manipular o “cérebro digital” de um sistema de IA para simular circunstâncias nas quais ele tenha a oportunidade de dominar o mundo e ver se ele faz isso. Essa poderia ser uma maneira de lidar com o problema do Rei Lear. Mais aqui.

4. Sistemas modernos de IA tendem a ser treinados com muita tentativa e erro. O código real usado para treiná-los pode ser bastante simples e não muito valioso por si próprio; mas um processo de treinamento caro gera um conjunto de “pesos” que são praticamente tudo o que é preciso para fazer uma cópia relativamente barata e totalmente funcional do sistema de IA.

5. Digo, isso faz parte do desafio. Na teoria, você deve implementar um sistema de IA se os riscos de não fazer isso forem maiores do que os riscos de fazer. Isso vai depender de informações difíceis de avaliar sobre quão seguro é o seu sistema e quão perigosos e iminentes são os dos outros, e será fácil ser tendencioso a favor de “Meus sistemas são mais seguros do que os dos outros; eu deveria ir em frente”. Parece difícil.

Tradução: Luan Marques

Link para o original