De Luke Muehlhauser e Anna Salamon. 2012

3. Da IA à superinteligência de máquina

Parece improvável que os humanos estejam perto do teto de inteligências possíveis, em vez de serem simplesmente a primeira inteligência tal a evoluir. Os computadores superam de longe os humanos em muitos nichos restritos (p. ex., aritmética, xadrez, tamanho da memória), e há razões para acreditar que grandes melhorias semelhantes no desempenho humano são possíveis para o raciocínio geral, design de tecnologia e outras tarefas de interesse. Como escreveu o crítico ocasional de IA Jack Schwartz (1987):

Se inteligências artificiais podem sequer ser criadas, há poucas razões para acreditar que os sucessos iniciais não possam levar rapidamente à construção de superinteligências artificiais capazes de explorar alternativas matemáticas, científicas ou de engenharia significativas a uma velocidade que exceda em muito a capacidade humana, ou de gerar planos e agir de acordo com eles com uma velocidade igualmente avassaladora. Dado que o quase monopólio do homem sobre todas as formas superiores de inteligência tem sido um dos fatos mais básicos da existência humana ao longo da história passada deste planeta, tais acontecimentos criariam claramente uma nova economia, uma nova sociologia e uma nova história.

Por que a IA poderia “levar rapidamente” à superinteligência de máquina? Abaixo consideramos algumas razões.

3.1. Vantagens da IA

Abaixo listamos algumas vantagens da IA que podem permitir que as IAs se tornem não apenas muito mais inteligentes do que qualquer ser humano, mas também mais inteligentes do que toda a humanidade biológica (Sotala 2012; Legg 2008). Muitas delas são exclusivas à inteligência de máquina, e é por isso que focamos na explosão de inteligência a partir da IA, e não no aprimoramento cognitivo biológico (Sandberg 2011).

Aumento de recursos computacionais. O cérebro humano usa de 85 a 100 bilhões de neurônios. Esse limite é imposto por restrições produzidas pela evolução no volume cerebral e no metabolismo. Em contraste, uma inteligência de máquina poderia utilizar recursos computacionais amplificáveis (imagine um “cérebro” do tamanho de um armazém). Apesar de que os algoritmos precisariam ser alterados para ser amplificados de forma útil, talvez se possa ter uma noção aproximada do impacto potencial aqui, observando que os humanos têm cerca de 3,5 vezes do tamanho do cérebro dos chimpanzés (Schoenemann 1997), e que o tamanho do cérebro e o QI correlacionam-se positivamente nos humanos, com um coeficiente de correlação de cerca de 0,35 (McDaniel 2005). Um estudo sugeriu uma correlação parecida entre o tamanho do cérebro e a capacidade cognitiva em ratos e camundongos (Anderson 1993).¹⁵

Velocidade de comunicação. Os axônios transportam sinais de pico a 75 metros por segundo ou menos (Kandel, Schwartz e Jessell 2000). Essa velocidade é uma consequência fixa da nossa fisiologia. Em contraste, mentes de software poderiam ser transportadas para um hardware mais rápido e, portanto, processar informações mais rápido. (É claro que isso também depende da eficiência dos algoritmos em uso; um hardware mais rápido compensa um software menos eficiente.)

Maior profundidade serial. Devido à lenta velocidade de disparo dos neurônios, o cérebro humano depende de uma enorme paralelização e é incapaz de executar rapidamente qualquer cálculo que exija mais de 100 operações sequenciais (Feldman e Ballard 1982). Talvez haja tarefas cognitivas que possam ser executadas de forma mais eficiente e precisa se a capacidade do cérebro de suportar algoritmos paralelizáveis de correspondência de padrões fosse complementada pelo suporte para processos sequenciais mais longos. De fato, existem muitos algoritmos conhecidos para os quais a melhor versão paralela utiliza muito mais recursos computacionais do que o melhor algoritmo serial, devido à sobrecarga da paralelização.¹⁶

Duplicabilidade. Nosso colega de pesquisa Steve Rayhawk gosta de descrever a IA como: “inteligência instantânea; só adicionar hardware!” O que Rayhawk quer dizer é que, embora seja necessária uma extensa pesquisa para projetar a primeira IA, criar IAs adicionais é só questão de copiar software. A população de mentes digitais pode assim se expandir para preencher a base de hardware disponível, ultrapassando talvez rapidamente a população de mentes biológicas.

A duplicabilidade também permite que a população de IAs seja rapidamente dominada por IAs recém-construídas, com novas habilidades. Como as competências de uma IA são armazenadas digitalmente, o seu estado atual exato pode ser copiado,¹⁷ incluindo memórias e competências adquiridas – de modo semelhante à forma como um “estado de sistema” pode ser copiado por programas de emulação de hardware ou programas de backup do sistema. Um ser humano que recebe educação aumenta apenas o seu próprio desempenho, mas uma IA que se torna 10% melhor em ganhar dinheiro (por dólar de hardware alugável) do que outras IAs pode ser usada para substituir as outras em toda a base de hardware, tornando cada cópia 10 % mais eficiente.¹⁸

Editabilidade. A digitalidade abre mais parâmetros para a variação controlada do que é possível com os humanos. Podemos submeter humanos a programas de treinamento profissional, mas não podemos realizar neurocirurgias precisas e replicáveis neles. Trabalhadores digitais seriam mais editáveis do que trabalhadores humanos. Consideremos primeiro as possibilidades da emulação cerebral integral. Sabemos que a estimulação magnética transcraniana (EMT) aplicada a uma parte do córtex pré-frontal pode melhorar a memória de trabalho (Fregni et al. 2005). Como a EMT funciona diminuindo ou aumentando temporariamente a excitabilidade de populações de neurônios, parece plausível que diminuir ou aumentar o parâmetro de “excitabilidade” de certas populações de neurônios (virtuais) numa mente digital melhoraria o desempenho. Poderíamos também modificar experimentalmente dezenas de outros parâmetros de emulação cerebral integral, como níveis de glicose simulados, células-tronco indiferenciadas (virtuais) enxertadas em módulos cerebrais específicos, como o córtex motor, e conexões rápidas entre diferentes partes do cérebro.¹⁹ Em segundo lugar , uma IA modular e transparente poderia ser editável ainda mais diretamente do que uma emulação cerebral integral – possivelmente por meio de seu código-fonte. (É claro que tais possibilidades levantam questões éticas.)

Coordenação de objetivos. Chamemos um conjunto de cópias ou quase cópias de IA de “clã de cópias”. Dados os objetivos compartilhados, um clã de cópias não enfrentaria certos problemas de coordenação de objetivos que limitam a eficácia humana (JW Friedman 1994). Um ser humano não pode usar um aumento de cem vezes no salário para adquirir um aumento de cem vezes nas horas produtivas por dia. Mas um clã de cópias, se suas tarefas forem paralelizáveis, poderia fazer exatamente isso. Quaisquer ganhos obtidos por tal clã de cópias, ou por um humano ou organização humana que controle esse clã, poderiam ser investidos no desenvolvimento adicional da IA, permitindo que as vantagens iniciais se acumulem.

Aprimoramento da racionalidade. Alguns economistas modelam os humanos como Homo economicus: agentes racionais com interesses próprios que fazem o que acreditam que maximizará o cumprimento dos seus objetivos (M. Friedman 1953). No entanto, com base em estudos comportamentais, Schneider (2010) salienta que somos mais parecidos com Homer Simpson: somos seres irracionais que carecem de objetivos consistentes e estáveis (Schneider 2010; Cartwright 2011). Mas imagine se você fosse um exemplo do Homo economicus. Você poderia manter uma dieta, passar o tempo ideal aprendendo quais atividades atingirão seus objetivos e, então, seguir um plano ideal, por mais tedioso que seja executá-lo. Poderiam ser escritas inteligências de máquina de vários tipos para serem muito mais racionais do que os humanos e, assim, acumularem os benefícios do pensamento e da ação racional. O modelo do agente racional (usando a teoria da probabilidade bayesiana e a teoria da utilidade esperada) é um paradigma maduro no design atual da IA (Hutter 2005; Russell e Norvig 2010, cap. 2).

Essas vantagens da IA sugerem que as IAs serão capazes de superar em muito as capacidades cognitivas e o poder de otimização da humanidade como um todo, mas estarão elas motivadas a fazer isso? Embora seja difícil prever as motivações específicas das IAs avançadas, podemos fazer algumas previsões sobre objetivos instrumentais convergentes, objetivos instrumentais úteis para a satisfação de quase todos os objetivos finais.

3.2. Metas Instrumentalmente Convergentes

Omohundro (2007, 2008, 2012) e Bostrom (no prelo) argumentam que existem vários objetivos instrumentais que serão buscados por quase qualquer inteligência avançada porque esses objetivos são intermediários úteis para a realização de quase qualquer conjunto de objetivos finais. Por exemplo:

1. Uma IA irá querer se preservar porque se for destruída não conseguirá agir no futuro para maximizar a satisfação dos seus objetivos finais presentes.
2. Uma IA irá querer preservar o conteúdo dos seus objetivos finais atuais porque, se o conteúdo dos seus objetivos finais for alterado, será menos provável que haja no futuro para maximizar a satisfação dos seus objetivos finais atuais.²⁰
3. Uma IA irá querer melhorar a sua própria racionalidade e inteligência porque isso melhorará a sua tomada de decisões e, assim, aumentará a sua capacidade para atingir os seus objetivos.
4. Uma IA desejará adquirir tantos recursos quanto possível, para que possam ser transformados e colocados em funcionamento para a satisfação dos seus objetivos finais e instrumentais.

Mais tarde veremos porque é que esses objetivos instrumentais convergentes sugerem que o resultado-padrão da IA avançada é a extinção humana. Por enquanto, examinaremos a mecânica do autoaperfeiçoamento da IA.

3.3. Explosão de Inteligência

A meta instrumental convergente de autoaperfeiçoamento tem uma consequência especial. Uma vez que os programadores humanos construam uma IA com uma capacidade melhor do que a humana de design de IA, o objetivo instrumental do autoaperfeiçoamento pode motivar um ciclo de feedback positivo de autoaperfeiçoamento.²¹ Ora, quando a inteligência da máquina se aperfeiçoa, ela melhora a inteligência que faz a melhoria. Assim, se os meros esforços humanos bastarem para produzir inteligência de máquina neste século, uma grande população de inteligências de máquina superiores à humana poderá ser capaz de criar uma rápida cascata de ciclos de autoaperfeiçoamento, permitindo uma rápida transição para a superinteligência de máquina. Chalmers (2010) discute esse processo com algum detalhe; por isso apresentamos aqui apenas alguns pontos adicionais.

Os termos “auto” e “se”, em expressões como “autoaperfeiçoamento recursivo” ou “quando a inteligência da máquina se aprimora”, são um tanto impróprios. É concebível que a inteligência da máquina pudesse editar o seu próprio código enquanto ele está em execução (Schmidhuber 2007; Schaul e Schmidhuber 2010), mas também poderia criar novas inteligências que funcionassem de forma independente. Alternativamente, várias IAs (talvez incluindo WBEs) poderiam trabalhar em conjunto para projetar a próxima geração de IAs. A explosão de inteligência pode ocorrer através do “auto”aperfeiçoamento ou através do aperfeiçoamento de outra IA.

Uma vez iniciado o autoaperfeiçoamento sustentável das máquinas, o desenvolvimento da IA não precisa prosseguir no ritmo normal da inovação tecnológica humana. Há, no entanto, um debate significativo sobre quão rápida ou local seria essa “decolagem” (Hanson e Yudkowsky 2008; Loosemore e Goertzel 2011; Bostrom, no prelo), e também sobre se a explosão de inteligência resultaria num equilíbrio estável de múltiplas superinteligências de máquina ou, em vez disso, num “singleton” de máquina (Bostrom 2006). Não discutiremos essas questões complexas aqui.

4. Consequências da superinteligência de máquina

Se as máquinas ultrapassarem em muito os níveis humanos de inteligência — isto é, ultrapassarem a capacidade da humanidade para uma otimização eficiente entre domínios —, poderemos nos encontrar numa posição análoga à dos macacos que observaram enquanto os humanos inventavam fogo, agricultura, escrita, ciência, armas e aviões, e depois dominaram o planeta. (Uma diferença notável seria que nenhum macaco testemunhou toda a saga, embora possamos testemunhar uma mudança para o domínio da máquina dentro de uma única vida humana.) Essas máquinas seriam superiores a nós na fabricação, colheita de recursos, descoberta científica, aptidão social e ação estratégica, entre outras capacidades. Não estaríamos em posição de negociar com elas, assim como nem os chimpanzés, nem os golfinhos estão em posição de negociar com os humanos.

Além disso, a inteligência pode ser aplicada na busca de qualquer objetivo. Como argumenta Bostrom (2012), tornar as IAs mais inteligentes não as fará querer mudar os seus sistemas de objetivos — na verdade, as IAs serão motivadas a preservar os seus objetivos iniciais. Tornar as IAs mais inteligentes apenas as tornará mais capazes de atingir os seus objetivos finais originais, quaisquer que sejam.²²

Isso nos leva à característica central do risco da IA: a menos que uma IA seja especificamente programada para preservar o que os humanos valorizam, ela poderá destruir essas estruturas valoradas (incluindo os humanos) incidentalmente. Como Yudkowsky (2008a) o coloca, “A IA não ama você, tampouco odeia, mas você é feito de átomos que ela pode usar para outra coisa”.

4.1. Alcançando uma explosão de inteligência controlada

Como, então, podemos dar às IAs objetivos desejáveis antes que elas se autoaperfeiçoem para além da nossa capacidade de controlá-las ou negociar com elas?²³ WBEs e outras IAs inspiradas no cérebro que rodam em “código de espaguete” de origem humana podem não ter um “slot” claro no qual possamos especificar metas desejáveis (Marcus 2008). O mesmo também pode ser verdade para outros designs de IA “opacos”, como os produzidos por algoritmos evolutivos, ou mesmo para designs de IA mais transparentes. Mesmo que uma IA tivesse um design transparente com uma função de utilidade claramente definível,²⁴ saberíamos como lhe atribuir objetivos desejáveis? Infelizmente, especificar o que os humanos valorizam pode ser extraordinariamente difícil, dada a complexidade e fragilidade das preferências humanas (Yudkowsky 2011; Muehlhauser e Helm 2012), e permitir que uma IA aprenda objetivos desejáveis a partir de recompensa e punição pode não ser mais fácil (Yudkowsky 2008a). Se isso estiver correto, então a criação de uma IA autoaprimorável pode ser prejudicial por padrão, a menos que primeiro resolvamos o problema de como construir uma IA com uma função de utilidade estável e desejável: uma “IA Amigável” (Yudkowsky 2001).²⁵

Mas suponhamos que seja possível construir uma IA Amigável (IAA) capaz de um autoaperfeiçoamento radical. As projeções normais de crescimento econômico permitem que acabem sendo feitas grandes descobertas relevantes para o bem-estar humano, mas uma IA Amigável poderia fazer essas descobertas muito mais cedo. Uma superinteligência de máquina benevolente poderia, como escreve Bostrom (2003), “criar oportunidades para aumentarmos enormemente nossas próprias capacidades intelectuais e emocionais, e poderia nos ajudar a criar um mundo experiencial altamente atraente no qual poderíamos viver vidas dedicadas [a] jogarmos alegremente, relacionarmo-nos uns com os outros, vivenciarmos, crescermos pessoalmente e vivermos mais perto de nossos ideais”.

Notas

15. Observe que, dada a definição de inteligência que estamos utilizando, maiores recursos computacionais não dariam a uma máquina mais “inteligência”, mas sim mais “poder de otimização”.

16. Por exemplo, veja Omohundro (1987).

17. Se as primeiras IAs autoaperfeiçoadas exigirem, pelo menos parcialmente, computação quântica, os estados de sistema dessas IAs podem não ser diretamente copiáveis devido ao teorema da não clonagem (Wootters e Zurek 1982).

18. Algo semelhante já é feito com processos empresariais capacitados pela tecnologia. Quando a cadeia de farmácias CVS melhora o seu sistema de encomenda de receitas, ela pode copiar essas melhorias para mais de 4.000 das suas lojas, para obter ganhos imediatos de produtividade (McAfee e Brynjolfsson 2008).

19. Muitos suspeitam que a lentidão das ligações entre cérebros tem sido um fator importante que limita a utilidade de cérebros grandes (Fox 2011).

20. Bostrom (2012) lista alguns casos especiais em que uma IA pode desejar modificar o conteúdo dos seus objetivos finais.

21. Quando a IA consegue executar 10% das tarefas de design de IA e fazê-las a uma velocidade sobre-humana, os restantes 90% das tarefas de design de IA funcionam como gargalos. No entanto, se as melhorias permitirem que a IA execute 99% das tarefas de design de IA em vez de 98%, essa mudança produzirá um impacto muito maior do que quando as melhorias permitiram que a IA executasse 51% das tarefas de design de IA em vez de 50% (Hanson 1998). E quando a IA consegue executar 100% das tarefas de design de IA em vez de 99% delas, isso elimina completamente o gargalo das tarefas realizadas em velocidades humanas lentas.

22. Isto pode ser menos verdadeiro para os WBE das primeiras gerações, mas Omohundro (2007) argumenta que as IAs convergirão para serem agentes otimizadores, que apresentam uma divisão estrita entre objetivos e capacidade cognitiva.

23. Hanson (2012) reestrutura o problema, dizendo que “devemos esperar que uma simples continuação das tendências históricas acabará [produzindo] um cenário de ‘explosão de inteligência’. Portanto, há pouca necessidade de considerar os argumentos mais específicos [de Chalmers] para tal cenário. E os conflitos intergeracionais que preocupam Chalmers nesse cenário são conflitos genéricos que surgem numa vasta gama de cenários passados, presentes e futuros. Sim, estes são conflitos que vale a pena ponderar, mas Chalmers não oferece razões pelas quais sejam interessantemente diferentes num contexto de ‘singularidade’.” Oferecemos brevemente apenas uma razão pela qual os “conflitos intergeracionais” decorrentes de uma transição de poder dos humanos para máquinas superinteligentes são interessantemente diferentes dos conflitos intergeracionais anteriores: como observa Bostrom (2002), a singularidade pode causar a extinção, não apenas de grupos de pessoas, mas de toda a espécie humana. Para mais respostas a Hanson, veja Chalmers (2012).

24. Uma função de utilidade atribui utilidades numéricas a resultados de modo que resultados com utilidades mais altas são sempre preferidos a resultados com utilidades mais baixas (Mehta 1998).

25. Também pode ser uma opção restringir as primeiras IAs autoaperfeiçoadas apenas o tempo suficiente para desenvolver uma IA Amigável antes que causem muitos danos.

Referências

Anderson, Britt. 1993. “Evidence from the Rat for a General Factor That Underlies Cognitive Performance and That Relates to Brain Size: Intelligence?” Neuroscience Letters 153 (1): 98–102. doi:10. 1016/0304-3940(93)90086-Z. 

Bostrom, Nick. No prelo. Superintelligence: A Strategic Analysis of the Coming Machine Intelligence Revolution. Manuscript, in preparation.

____________. 2002. “Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards.” Journal of Evolution and Technology 9. http://www.jetpress.org/volume9/risks.html. 

____________. 2003. “Ethical Issues in Advanced Artificial Intelligence.” Em Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence, edited by Iva Smit and George E. Lasker, 2:12–17. Windsor, ON: International Institute for Advanced Studies in Systems Research / Cybernetics. 

____________. 2006. “What is a Singleton?” Linguistic and Philosophical Investigations 5 (2): 48–54.

____________. 2012. “The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents.” In “Theory and Philosophy of AI,” edited by Vincent C. Müller, special issue, Minds and Machines 22 (2): 71–85. doi:10.1007/s11023-012-9281-3.

Cartwright, Edward. 2011. Behavioral Economics. Routledge Advanced Texts in Economics and Finance. New York: Routledge

Chalmers, David John. 2010. “The Singularity: A Philosophical Analysis.” Journal of Consciousness Studies 17 (9–10): 7– 65. http://www.ingentaconnect.com/content/imp/jcs/2010/00000017/f0020009/ art00001.

____________________. 2012. “The Singularity: A Reply to Commentators.” Journal of Consciousness Studies 19 (7-8): 141–167. http://ingentaconnect.com/content/imp/jcs/2012/00000019/F0020007/ art00014

Feldman, J. A., and Dana H. Ballard. 1982. “Connectionist Models and Their Properties.” Cognitive Science 6 (3): 205–254. doi:10.1207/s15516709cog0603_1

Fox, Douglas. 2011. “The Limits of Intelligence.” Scientific American, July, 36–43.

Fregni, Felipe, Paulo S. Boggio, Michael Nitsche, Felix Bermpohl, Andrea Antal, Eva Feredoes, Marco A. Marcolin, et al. 2005. “Anodal Transcranial Direct Current Stimulation of Prefrontal Cortex Enhances Working Memory.” Experimental Brain Research 166 (1): 23–30. doi:10.1007/s00221- 005-2334-6

Friedman, James W., ed. 1994. Problems of Coordination in Economic Activity. Recent Economic Thought 35. Boston: Kluwer Academic.

Friedman, Milton. 1953. “The Methodology of Positive Economics.” Em Essays in Positive Economics, 3– 43. Chicago: University of Chicago Press.

Hanson, Robin. 1998. “Economic Growth Given Machine Intelligence.” Manuscrito não publicado. Acessado em 15 de maio de 2013. http://hanson.gmu.edu/aigrow.pdf

_____________. 2012. “Meet the New Conflict, Same as the Old Conflict.” Journal of Consciousness Studies 19 (1–2): 119–125. http://www.ingentaconnect.com/content/imp/jcs/2012/00000019/ F0020001/art00008.

Hanson, Robin, and Eliezer Yudkowsky. 2008. “The Hanson-Yudkowsky AI-Foom Debate.” Less Wrong Wiki. Acessado em 13 de março de 2012. http : / / wiki . lesswrong . com / wiki / The _ Hanson – Yudkowsky_AI-Foom_Debate. 

Hutter, Marcus. 2005. Universal Artificial Intelligence: Sequential Decisions Based On Algorithmic Probability. Texts in Theoretical Computer Science. Berlin: Springer. doi:10.1007/b138233. 

Kandel, Eric R., James H. Schwartz, and Thomas M. Jessell, eds. 2000. Principles of Neural Science. New York: McGraw-Hill.

Legg, Shane, and Marcus Hutter. 2007. “A Collection of Definitions of Intelligence.” Em Advances in Artificial General Intelligence: Concepts, Architectures and Algorithms—Proceedings of the AGI Workshop 2006, edited by Ben Goertzel and Pei Wang, 17–24. Frontiers in Artificial Intelligence and Applications 157. Amsterdam: IOS. 

Loosemore, Richard, and Ben Goertzel. 2011. “Why an Intelligence Explosion is Probable.” H+ Magazine, March 7. http : / / hplusmagazine . com / 2011 / 03 / 07 / why – an – intelligence – explosion-is-probable/.

McAfee, Andrew, and Erik Brynjolfsson. 2008. “Investing in the IT That Makes a Competitive Difference.” Harvard Business Review, July. http://hbr.org/2008/07/investing- in- the- itthat-makes-a-competitive-difference. 

McDaniel, Michael A. 2005. “Big-Brained People are Smarter: A Meta-Analysis of the Relationship between In Vivo Brain Volume and Intelligence.” Intelligence 33 (4): 337–346. doi:10.1016/j. intell.2004.11.005.

Mehta, Ghanshyam B. 1998. “Preference and Utility.” Em Handbook of Utility Theory, Volume I, edited by Salvador Barbera, Peter J. Hammond, and Christian Seidl, 1–47. Boston: Kluwer Academic

Muehlhauser, Luke, and Louie Helm. 2012. “The Singularity and Machine Ethics.” Em Eden, Søraker, Moor, and Steinhart 2012

Omohundro, Stephen M. 1987. “Efficient Algorithms with Neural Network Behavior.” Complex Systems 1 (2): 273–347. http://www.complex-systems.com/abstracts/v01_i02_a04.html. 

_____________________. 2007. “The Nature of Self-Improving Artificial Intelligence.” Artigo apresentado no Singularity Summit 2007, San Francisco, CA, 8-9 de setembro. http : / / selfawaresystems . com / 2007 / 10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/. 

_____________________. 2008. “The Basic AI Drives.” In Wang, Goertzel, and Franklin 2008, 483–492. 

_____________________. 2012. “Rational Artificial Intelligence for the Greater Good.” In Eden, Søraker, Moor, and Steinhart 2012.

Russell, Stuart J., and Peter Norvig. 2010. Artificial Intelligence: A Modern Approach. 3rd ed. Upper Saddle River, NJ: Prentice-Hall.

Sandberg, Anders. 2011. “Cognition Enhancement: Upgrading the Brain.” In Enhancing Human Capacities, edited by Julian Savulescu, Ruud ter Meulen, and Guy Kahane, 71–91. Malden, MA: Wiley-Blackwell. 

Schaul, Tom, and Jürgen Schmidhuber. 2010. “Metalearning.” Scholarpedia 5 (6): 4650. doi:10.4249/ scholarpedia.4650.

Schmidhuber 2007. “Gödel Machines: Fully Self-Referential Optimal Universal Self-Improvers.” In Goertzel and Pennachin 2007, 199–226.

Schneider, Stefan. 2010. Homo Economicus—or More like Homer Simpson? Current Issues. Deutsche Bank Research, Frankfurt, June 29. http : / / www . dbresearch . com / PROD / DBR _ INTERNET _ EN – PROD/PROD0000000000259291.PDF

Schoenemann, Paul Thomas. 1997. “An MRI Study of the Relationship Between Human Neuroanatomy and Behavioral Ability.” PhD diss., University of California, Berkeley. http://mypage.iu.edu/ ~toms/papers/dissertation/Dissertation_title.htm. 

Schwartz, Jacob T. 1987. “Limits of Artificial Intelligence.” Em Encyclopedia of Artificial Intelligence, edited by Stuart C. Shapiro and David Eckroth, 1:488–503. New York: John Wiley & Sons. 

Sotala, Kaj. 2012. “Advantages of Artificial Intelligences, Uploads, and Digital Minds.” International Journal of Machine Consciousness 4 (1): 275–291. doi:10.1142/S1793843012400161

Wootters, W. K., and W. H. Zurek. 1982. “A Single Quantum Cannot Be Cloned.” Nature 299 (5886): 802–803. doi:10.1038/299802a0. 

Yudkowsky, Eliezer. 2001. Creating Friendly AI 1.0:The Analysis and Design of Benevolent Goal Architectures. The Singularity Institute, San Francisco, CA, June 15. http://intelligence.org/files/CFAI. pdf. 

________________. 2008a. “Artificial Intelligence as a Positive and Negative Factor in Global Risk.” Em Bostrom and Ćirković 2008, 308–345. 

________________. 2011. “Complex Value Systems in Friendly AI.” Em Schmidhuber, Thórisson, and Looks 2011, 388–393. 

---

Tradução: Luan Marques

Link para o original