Ao longo da história humana, as novas tecnologias ofereceram oportunidades sem precedentes, mas também representaram sérios riscos. Combinado com uma preocupação insuficiente com o bem-estar dos demais, o progresso tecnológico às vezes tem causado grandes sofrimentos. Embora existam boas razões para pensar que esses danos serão temporários, isso pode nem sempre ser sempre o caso.

A tecnologia futura provavelmente dará à humanidade um poder sem precedentes, potencialmente nos permitindo transformar todo o universo. Mas se esse poder recém-descoberto for usado de forma irresponsável, poderá levar ao sofrimento em uma escala astronômica. Tais riscos de sofrimento astronômico também são chamados de riscos de sofrimento ou, abreviadamente, riscos-s.

Embora em um primeiro momento esses cenários possam parecer absurdos, temos boas razões para acreditar que a probabilidade de ocorrerem não é desprezível. As pessoas que desejam ajudar aos outros da maneira mais eficaz possível devem, portanto, considerar a redução dos riscos-s como prioridade máxima – especialmente se entenderem que tais riscos tem sido na prática muito negligenciados, ou por outros motivos morais.

Existem três maneiras amplas de reduzir efetivamente os riscos-s:

  • Tentar moldar o desenvolvimento de novas tecnologias cruciais, implementando medidas de precaução contra os riscos-s.
  • Melhorar os valores e as instituições sociais, o que aumenta a probabilidade de que as gerações futuras trabalhem para prevenir (ou pelo menos não causar) riscos-s.
  • Concentrar-se em abordagens que estejam um nível acima, tal como aumentar a conscientização e pesquisa quanto a melhor forma de reduzir os riscos-s.

Introdução

A maioria das pessoas que deseja melhorar o mundo tende a focar em como ajudar as pessoas que hoje estão vivas. As pessoas simpatizam mais facilmente com o sofrimento daqueles que estão hoje vivos do que daqueles que existirão daqui a mil ou um milhão de anos.

No entanto, não podemos justificar o desdém com indivíduos ainda não existentes. De uma perspectiva imparcial, o fato de vivermos em um determinado tempo não confere a esse tempo nenhum significado ético especial. Reduzir o sofrimento no futuro não é menos significativo do que reduzir o sofrimento hoje. Na verdade, muitas pessoas argumentam que devemos nos concentrar em melhorar o futuro distante porque este provavelmente contará com uma população muito maior.1

Imagine as futuras gerações de humanos olhando para os dias de hoje. Que avanços eles julgariam terem sido mais importantes? O que eles gostariam que tivéssemos dado mais foco? Para começar a responder a essas perguntas, primeiro vamos dar uma olhada no passado.

A tecnologia na história da humanidade

Ao longo da história, o surgimento de novas tecnologias muitas vezes teve um impacto transformador. Por exemplo, a agricultura foi um desenvolvimento chave na ascensão da civilização porque permitiu maiores densidades populacionais e rotas comerciais entre diferentes regiões. Mais recentemente, a revolução industrial revolucionou os modos de vida tradicionais e moldou o curso dos séculos XIX e XX.

Colhemos os frutos do progresso tecnológico todos os dias. Vivemos mais, conseguimos erradicar doenças e estamos, pelo menos em média, mais ricos do que nunca. O outro lado da história, no entanto, é que essas mesmas tecnologias permitiram o surgimento da guerra industrial, que trouxe consigo armas químicas e a guerra total.2

Os riscos das novas tecnologias são ainda piores se estendermos nosso círculo moral a todos os seres sencientes, incluindo animais não humanos. A industrialização multiplicou o número de animais que são criados e mortos – em fazendas industriais e muitas vezes em condições deploráveis ​​– para consumo de carne.3

A pecuária industrial é o resultado de incentivos econômicos e viabilidade tecnológica, não de maldade humana ou de más intenções. A maioria dos humanos não aprova o sofrimento dos animais em si – obter comida saborosa acidentalmente envolve o sofrimento dos animais. Ou seja, a capacidade tecnológica somada à indiferença já são suficientes para causar sofrimento inimaginável​. Isso deve nos servir de alerta para a possibilidade de que tecnologias futuras levem a uma catástrofe moral semelhante.

Novas tecnologias e riscos astronômicos

Exceto pela nossa extinção ou pelo colapso civilizacional, o progresso tecnológico provavelmente continuará. Isso significa que as novas tecnologias dotarão a humanidade de um poder sem precedentes. Semelhante às tecnologias do passado, elas darão origem  a enormes oportunidades e graves riscos. Se tais avanços nos permitirem colonizar outros planetas, o que estará em jogo será algo verdadeiramente astronômico – o universo observável contém mais sistemas estelares do que todos os grãos de areia da Terra. Isso torna ainda mais importante que usemos esse poder recém-descoberto com responsabilidade.

Como vimos, a capacidade tecnológica combinada com a indiferença moral pode levar a uma catástrofe moral. Um desenvolvimento futuro semelhante à pecuária industrial poderia causar sofrimento em escala astronômica, excedendo em muito tudo o que fizemos até agora. Tais eventos são chamados de riscos-s (uma abreviação para “riscos de sofrimento” ou “riscos de sofrimento astronômico”).

Como os riscos-s podem surgir

Veja também:  Uma tipologia de riscos-s

É sempre difícil imaginar que tipo de avanços o futuro nos reserva. Os cavaleiros da Idade Média não seriam capazes de imaginar a bomba atômica. Deste modo, os exemplos a seguir são meramente uma especulação bem-informada.

Muitos riscos-s envolvem a possibilidade de que sistemas artificiais avançados possam desenvolver senciência se forem suficientemente complexos e programados de uma certa maneira.4 Se tais seres artificiais vierem a existir, eles também terão importância moral5, mas é bem possível que as pessoas não se importem (ao menos suficientemente) com o seu bem-estar.

Mentes artificiais provavelmente serão muito estranhas para nós, dificultando termos empatia com elas. Além disso, a humanidade pode ser incapaz de reconhecer a senciência digital, tal como muitos filósofos e cientistas falharam em reconhecer a senciência animal por milhares de anos. Ainda não temos uma maneira confiável de “detectar” a senciência, especialmente em sistemas que são muito diferentes dos cérebros humanos.6

Comparável ao modo como um grande número de animais não humanos tem sido criado por conveniência econômica, é concebível que um grande número de mentes artificiais seja criado no futuro. Elas provavelmente desfrutarão de várias vantagens sobre as mentes biológicas, o que as tornará economicamente úteis. Essa combinação de um grande número de mentes sencientes e a previsível falta de consideração moral para com elas representa um grave risco-s. Na verdade, essas condições parecem muito semelhantes às da pecuária industrial.

Vários pensadores também exploraram cenários mais concretos. Nick Bostrom cunhou o termo crime mental para a ideia de que os processos de pensamento de uma IA superinteligente podem conter e potencialmente prejudicar simulações sencientes. Outra possibilidade é sofrer sub-rotinas: os cálculos podem envolver algoritmos instrumentalmente úteis suficientemente semelhantes às partes de nossos próprios cérebros que levam à dor.

Todos esses são exemplos de riscos-s incidentais, onde uma solução eficiente para um problema envolve muito sofrimento. Uma classe diferente de riscos-s – os riscos-s agenciais – surge quando um agente quer ativamente causar danos, seja por sadismo ou como parte de um conflito maior. Por exemplo, guerra e terrorismo com tecnologia avançada podem facilmente representar um risco-s, ou um agente malicioso pode extorquir alguém ameaçando torturar cópias simuladas dessa pessoa.

É importante lembrar que a tecnologia é, por si só, neutra, e também pode ser usada para reduzir o sofrimento. Um exemplo disso é a carne cultivada, que tem o potencial de tornar obsoleta a pecuária convencional. Uma tecnologia mais avançada também poderá facilitar intervenções para reduzir o sofrimento dos animais na natureza ou até mesmo abolir completamente o sofrimento.7 Se as novas tecnologias serão, em geral, boas ou ruins, dependerá de nós. No entanto, com tanta coisa em jogo, faz sentido considerar a possibilidade de resultados ruins de modo a garantir que seremos capazes de evitá-los.

Por que devemos levar os riscos-s a sério?

Os riscos-s não são extremamente improváveis

Pode-se ter a impressão de que os riscos-s são apenas especulações infundadas. Se a probabilidade de riscos-s for insignificante, então muitas pessoas pensariam ser contraintuitivo sugerir que devemos nos concentrar na prevenção de tais riscos simplesmente por causa dos riscos (supostamente) astronômicos.8 No entanto, essa objeção é equivocada, pois temos boas razões para acreditar que a probabilidade de riscos-s ocorrerem não é tão desprezível, afinal.

Primeiro, os riscos-s são desassociados. Eles podem se materializar de várias maneiras não relacionadas. De um modo geral, é difícil prever o futuro e o leque de cenários que podemos imaginar é limitado. Portanto, é plausível que cenários imprevistos – conhecidos como cisnes negros – representem uma fração significativa dos riscos-s. Portanto, mesmo que qualquer cenário distópico específico que possamos conceber seja altamente improvável, a probabilidade de algum risco-s ocorrer ainda pode ser não desprezível.

Em segundo lugar, embora os riscos-s possam parecer, a princípio, especulativos, todas as suposições abaixo são plausíveis:

  • Exceto na ocorrência de eventos globalmente desestabilizadores, não temos motivos para esperar que o progresso tecnológico seja interrompido em breve.9 Assim, a colonização espacial provavelmente se tornará viável em algum momento, introduzindo questões verdadeiramente astronômicas em jogo.
  • Tecnologias avançadas tornarão mais fácil criar quantidades sem precedentes de sofrimento, intencionalmente ou não.10
  • É pelo menos possível que aqueles que estiverem no poder não se importarão (o suficiente) com o sofrimento de seres menos poderosos. Mesmo um pouco de benevolência humana pode produzir bons frutos, mas isso não será capaz de eliminar completamente os riscos-s.

Terceiro, existem precedentes históricos. A pecuária industrial, por exemplo, é estruturalmente semelhante aos riscos-s (acidentais), embora em menor escala. Em geral, a humanidade possui um histórico ambíguo com relação ao uso responsável de novas tecnologias, então dificilmente teremos certeza de que futuros riscos tecnológicos serão tratados com o cuidado e consideração adequados.

Cabe esclarecer que todos esses argumentos são consistentes com a crença de que a tecnologia também pode nos beneficiar, ou que provavelmente melhorará a qualidade de vida humana a níveis sem precedentes. Trabalhar com riscos-s não requer uma visão particularmente pessimista da trajetória futura da humanidade. Para se preocupar com os riscos-s, basta acreditar que a probabilidade de um resultado ruim não é desprezível, o que é consistente com a crença de que um futuro utópico livre de sofrimento também é bem possível. Me concentro nos riscos-s por razões normativas, ou seja, porque penso que reduzir o sofrimento (severo) é moralmente mais urgente.11    

Quando comparado ao sofrimento hoje existente, os riscos-s são maiores

Uma boa medida da gravidade dos riscos é o seu valor esperado, ou seja, multiplicando seu tamanho pela probabilidade de sua ocorrência. O tamanho dos riscos-s seria muito maior12 do que as fontes atuais de sofrimento, como a pecuária industrial ou o sofrimento dos animais selvagens. Combinado com uma probabilidade não desprezível de que venham a ocorrer, isso significa que o sofrimento estimado – causado pelos riscos-s –plausivelmente superaria o sofrimento que hoje ocorre no mundo.

Os riscos-s são negligenciados

Até agora, poucas pessoas trabalham ativamente na redução dos riscos-s. Isso não deveria ser uma surpresa, dado que os riscos-s são baseados em considerações abstratas sobre o futuro distante que pouco tocam nossos corações.13 Mesmo as pessoas que se preocupam com resultados de longo prazo geralmente se concentram em alcançar resultados utópicos. Embora estes sejam certamente esforços que valem a pena, isso também implica que relativamente poucos recursos estão sendo investidos na redução dos riscos-s. Por outro lado, isso significa que ainda podemos encontrar alguns frutos fáceis de serem colhidos – ou seja, o valor marginal de trabalhar na redução dos riscos-s pode ser particularmente alto.

Como podemos evitar os riscos-s?

Intervenções estritas

A maneira mais direta de evitar os riscos-s é trabalhando diretamente nas novas tecnologias cruciais, tentando implementar medidas de precaução. Um exemplo de tecnologia potencialmente transformadora é a IA avançada, que especialistas afirmam que pode ser desenvolvida ainda neste século. Como a inteligência é a chave para moldar o mundo, o surgimento de sistemas de IA com níveis de inteligência sobre-humanos faria surgir um novo poder – para melhor ou para pior.

Lukas Gloor propõe trabalhar em mecanismos de segurança para sistemas de IA que  visam prevenir riscos-s, em vez de buscar o melhor resultado. Não está claro a melhor forma de prevenir os riscos-s associados a IA, portanto, mais pesquisas neste tópico seriam valiosas. (Leia mais sobre as áreas para se dedicar nos piores cenários envolvendo a IA para possíveis linhas de pesquisa).

Para lidar com os riscos-s agenciais, poderíamos pesquisar como a dinâmica de jogos de soma negativa – tal como a extorsão ou a escalada de conflito – pode ser evitada. Essa pesquisa pode se concentrar nos fundamentos teóricos da teoria dos jogos e da teoria da decisão ou então em encontrar as melhores maneiras de mudar as circunstâncias empíricas que levam a jogos de soma negativa de tal modo que eles possam ser evitados.

Intervenções amplas

Outra classe de intervenções concentra-se na melhoria mais ampla de valores sociais, normas ou instituições. Isso aumentaria a probabilidade de que as gerações futuras usem seu poder com responsabilidade, mesmo que não possamos prever com precisão como o mundo mudará. A promoção do antiespecismo, por exemplo, provavelmente levará a menos sofrimento animal no futuro.

Aqui estão alguns exemplos de intervenções amplas promissoras:

Pesquisa e construção do movimento

Qual de todas essas intervenções é mais eficaz? Dada a nossa incerteza sobre isso, a maneira mais eficaz de reduzir os riscos-s pode ser pesquisar a melhor forma de reduzir os riscos-s. Mais especificamente, poderíamos tentar descobrir quais riscos-s são mais prováveis, mais tratáveis ​​ou de maior magnitude – informações que forneceriam insights valiosos em como ajudar a reduzir os riscos-s de forma mais eficaz.

Outra intervenção simples, mas potencialmente muito eficaz, é aumentar a conscientização sobre os riscos-s. Se mais pessoas se preocuparem em reduzir os riscos-s, será muito mais fácil implementar medidas de precaução na prática.

Por fim, gostaríamos de enfatizar que devemos proceder com cautela e buscar cooperar com outros sistemas de valores ao reduzir os riscos-s. Por exemplo, tentar deter o progresso tecnológico apenas levaria a brigas de soma zero com aqueles que querem colher os benefícios da tecnologia avançada.14 Trabalhar em prol de um futuro que todos aprovariam é provavelmente mais produtivo.

Leituras adicionais

Reconhecimentos

Agradeço a Max Daniel, Ruairi Donnelly, David Althaus, Stefan Torges e Adrian Rorheim pelos valiosos comentários e sugestões.

Notas de rodapé

1. Eu não acho, no entanto, que o futuro distante seja muitas ordens de magnitude mais importante. Veja aqui aqui para detalhes.

2. Isso não quer dizer que a guerra industrial seja necessariamente pior do que as formas anteriores de guerra. Em seu livro The Better Angels of Our Nature, Steven Pinker argumenta que o número de baixas militares (per capita) diminuiu ao longo do tempo.

3. Pode-se argumentar que o progresso tecnológico em geral reduziu o sofrimento dos animais porque a expansão da civilização humana reduziu os habitats naturais e, portanto, reduziu o sofrimento dos animais selvagens. Mas esse efeito parece puramente incidental, então não diz muito sobre as ramificações da tecnologia futura.

4. Isso não é de forma alguma uma certeza, mas pelo menos em teoria a maioria dos especialistas concorda que a senciência digital é possível. Além disso, observe que isso levanta questões filosóficas que estão além do escopo deste texto. Veja aqui para mais detalhes.

5. Desconsiderar os seres digitais seria “discriminação baseada no substrato”. Semelhante ao antiespecismo, a ideia do antisubstratismo é a de que devemos rejeitar essa ideia por ser uma forma de discriminação arbitrária, baseada em uma característica eticamente irrelevante (o substrato).

6. O relatório de Open Phil sobre consciência e paciência moral fornece uma análise aprofundada da questão incômoda de quais seres merecem consideração moral. Também discute questões filosóficas relacionadas, como o que significa “consciência” ou “senciência”, ou como podemos “detectá-la”. 

7. Veja também o artigo de Brian Tomasik sobre Por que não me concentro no imperativo hedonista.

8. A ideia de que devemos nos preocupar quando coisas extremamente importantes estão em jogo independente de sua pequena probabilidade de ocorrer é discutida sob o termo “aposta de Pascal”, e a maioria das pessoas considera o raciocínio pascaliano duvidoso. Mas as pessoas também muitas vezes erroneamente rejeitam um argumento como “pascaliano”, mesmo que não seja realmente baseado em probabilidades minúsculas – a chamada falácia da aposta de Pascal.

9. A extinção ou o colapso da civilização são possíveis, mas isso também não parece muito provável. O Projeto de Prioridades Globais coloca uma probabilidade de 19% disso ocorrer em seu relatório de risco existencial.

10. É claro que a tecnologia avançada tornará tudo mais fácil, então isso não prova nada a menos que combinado com motivação (a qual abordo em outro lugar). Veja a Falácia do cheesecake gigante

11. Isso toca na espinhosa questão da ética populacional, que está além do escopo deste texto. Se alguém vê os riscos existenciais ou os riscos-s como mais urgentes depende de julgamentos morais complicados em relação à ética populacional.

12. Não é necessariamente muitas ordens de magnitude maior, no entanto. Veja aqui e aqui detalhes sobre este ponto.

13. David Althaus e Lukas Gloor argumentam que muitas pessoas evitam imaginar a possibilidade de resultados ruins por razões psicológicas.

14. Pelo menos não devemos tentar unilateralmente pará-lo. É concebível que o progresso tecnológico mais lento possa ser parte de um compromisso político.


Autor: Tobias Baumann
Tradução: Fernando Moreno
Revisão: Letícia Trevisan

Publicado originalmente aqui.