O seguinte são as respostas de seis escritores à questão anual de 2015 da revista eletrônica científica Edge. A questão foi: O que Você Pensa sobre Máquinas que Pensam, tratando de inteligência artificial. Esses autores foram destacados aqui por levarem a sério o que ficou conhecido como o problema do controle ou do alinhamento: sobre como garantir que inteligências artificiais avançadas não tenham objetivos incompatíveis com os nossos, o que diminuiria o risco de uma catástrofe existencial. Você pode encontrar o link para o ensaio original de cada autor ao clicar no nome de cada um.
2014: um Ponto Decisivo na IA e na Robótica
2014 parece ter sido um ponto decisivo para a IA e a robótica. Grandes corporações investiram bilhões de dólares nessas tecnologias. Técnicas de IA, como o aprendizado de máquina, são agora usadas rotineiramente para o reconhecimento da fala, a tradução, o modelamento do comportamento, o controle robótico e outras aplicações. A empresa de consultoria McKinsey prediz que essas tecnologias criarão mais de 50 trilhões de dólares de valor econômico à altura de 2025. Se isso estiver certo, devemos esperar um aumento dramático de investimento logo, logo.
Os sucessos recentes estão sendo movidos pelo poder computacional barato e dados abundantes para o treinamento. A IA moderna se baseia na teoria dos “agentes racionais” que surgiu do trabalho na macroeconomia nos anos 1940 da autoria de von Neuman e outros. Há um algoritmo para computar a ação ótima para se atingir um resultado desejado, mas ele é caro, em termos computacionais. Sistemas de IA podem ser pensados como algo que tenta se aproximar do comportamento racional fazendo uso de recursos limitados. Experimentos descobriram que algoritmos de aprendizado simples com muitos dados de treinamento frequentemente têm um desempenho melhor que modelos confeccionados complexos. Os sistemas de hoje provêm valor primeiramente aprendendo modelos estatísticos melhores e realizando inferências estatísticas para a classificação e a tomada de decisões. A próxima geração será capaz de explicitamente criar e melhorar o seu próprio software e provavelmente irá se autoaperfeiçoar rapidamente.
Além de melhorar a produtividade, a IA e a robótica são motores para numerosas corridas armamentistas econômicas e militares. Sistemas autônomos podem ser mais rápidos, mais inteligentes e menos previsíveis do que os seus concorrentes. 2014 viu a apresentação de mísseis autônomos, sistemas de defesa de mísseis, drones militares, barcos de enxame, submarinos robôs, veículos autônomos, sistemas de comércio de alta frequência e sistemas de ciberdefesa. Conforme essa corrida armamentista se desenvolver, haverá uma tremenda pressão para o desenvolvimento rápido de sistemas que pode levar a uma implementação mais rápida do que o que seria desejável.
2014 também viu um aumento na preocupação pública com a segurança desses sistemas. Um estudo do provável comportamento desses sistemas, investigando sistemas aproximadamente racionais que passam por autoaperfeiçoamentos reiterados, mostra que eles tendem a exibir um conjunto de subobjetivos chamados “ímpetos racionais”, que contribuem ao desempenho dos seus objetivos primários. A maioria dos sistemas satisfarão melhor os seus objetivos prevenindo-se de serem desligados, adquirindo mais poder computacional, criando múltiplas cópias de si mesmos e adquirindo maiores recursos financeiros. É provável que satisfaçam esses ímpetos de maneiras nocivas e antissociais a não ser que sejam projetados cuidadosamente para incorporar valores éticos humanos.
Alguns argumentaram que sistemas inteligentes de alguma forma serão automaticamente éticos. Mas num sistema racional, os objetivos são completamente separáveis do raciocínio e dos modelos do mundo. Sistemas inteligentes benéficos são vulneráveis a ser reimplementados com objetivos nocivos. Objetivos extremamente nocivos que buscam assumir o controle de recursos, frustrar os objetivos de outros agentes ou destruir outros agentes, infelizmente, são fáceis de especificar. Portanto, será crucial criar uma infraestrutura tecnológica que detecte e controle o comportamento de sistemas nocivos.
Alguns temem que sistemas inteligentes se tornem tão poderosso que sejam impossíveis de controlar. Isso não é verdade. Esses sistemas devem obedecer às leis da física e às leis da matemática. A análise de Seth Lloyd do poder computacional do universo mostra que nem o universo inteiro agindo como um computador quântico gigante poderia descobrir uma chave criptográfica complicada de 500 bytes no tempo que passou desde o big bang.
As novas tecnologias da criptografia pós-quântica, ofuscação por indistinguibilidade e os contratos inteligentes de blockchain são componentes promissores para criar uma infraestrutura que seja segura contra até mesmo as mais poderosas IAs. Mas hackeamentos e ciberataques recentes mostram que a nossa infraestrutura computacional atual é lamentavelmente inadequada para o desafio. Precisamos desenvolver uma infraestrutura de software que seja correta e segura de um modo que se possa provar matematicamente.
Tem havido pelo menos 27 espécies diferentes de humanos entre as quais somos a única sobrevivente. Sobrevivemos porque encontramos modos de limitar os nossos ímpetos individuais e trabalhar juntos cooperativamente. As emoções morais humanas originais são um mecanismo interno para criar estruturas sociais cooperativas. Estruturas políticas, legais e econômicas são mecanismos externos para o mesmo propósito.
Precisamos estender ambas aos sistemas de IA e robótica. Precisamos incorporar valores humanos aos seus sistemas de objetivos para criar uma moldura legal e econômica que incentive comportamentos positivos. Se pudermos gerenciar com sucesso esses sistemas, eles têm o potencial de melhorar dramaticamente praticamente todo aspecto da vida humana e oferecer insights profundos sobre questões como o livre arbítrio, a consciência, qualia e a criatividade. Encaramos um grande desafio, mas temos recursos intelectuais e tecnológicos tremendos com que construir.
[Steve Omohundro é cientista da computação, proeminente na sua pesquisa sobre segurança em IA e sistemas artificiais que melhoram a si mesmos. Confira a sua palestra Tedx (com legendas em espanhol disponíveis) onde ele se aprofunda sobre o tema do ensaio e o seu artigo (em inglês) sobre os “ímpetos racionais” que ele menciona aqui: The Basic AI Drives.]
O Problema do Carregamento de Valores
Há um conto apócrifo sobre o prolífico ladrão de bancos Willie Sutton, que, questionado sobre porque roubava bancos, respondeu: “Porque é lá que está o dinheiro”. Quando o assunto é IA, eu diria que as questões mais importantes são acerca de Inteligência Artificial mais inteligente que humanos e extremamente poderosa, também conhecida como superinteligência, pois é lá que os útilons estão – o valor em jogo. Mentes mais poderosas têm maiores impactos no mundo real.
Junto a essa observação segue uma qualificação: estar preocupado com a superinteligência não significa que acho que ela vai ocorrer logo. Inversamente, tentativas de contra-argumentos sobre a superinteligência estar a décadas de distância, ou algoritmos de IA atuais não estarem numa trilha clara em direção à generalidade, não refutam a ideia de que a maior parte do valor em jogo para o futuro orbita a IA mais inteligente que humanos se e quando ela for construída. (Como Stuart Russell observou, se recebêssemos um sinal de rádio de uma civilização alienígena avançada dizendo que iriam chegar em sessenta anos, você não daria de ombros e diria “Hm, vai demorar sessenta anos”. Especialmente não se você tivesse filhos.)
Dentro das questões de superinteligência, a mais importante (novamente, seguindo a Lei de Sutton) é, eu diria, o que Nick Bostrom chamou de o “problema do carregamento de valores”: construir superinteligências que desejam resultados que são de alto valor, normativos e benéficos para a vida inteligente no longo prazo; resultados que são, por falta de uma melhor expressão que seja breve, “bons”. Visto que, se houver um agente cognitivamente poderoso ao extremo por aí, o que ele deseja provavelmente é o que vai acontecer.
Tentarei agora oferecer alguns argumentos bastante breves para explicar por que construir IAs que preferem resultados “bons” é (a) importante e (b) provavelmente difícil em termos técnicos.
Primeiro, por que é importante que tentemos criar uma superinteligência com objetivos particulares? Ela não pode descobrir seus próprios objetivos?
Já em 1739, David Hume observou a lacuna entre questões sobre o que “é” e questões sobre o que “deve ser”, chamando atenção, em particular, para o salto súbito entre quando um filósofo falava anteriormente de como o mundo é e quando o filósofo começava a usar palavras como “deveria”, “tem de” ou “melhor”. De uma perspectiva moderna, diríamos que a função de utilidade de um agente (objetivos, preferências, finalidades) contém informação extra não dada na distribuição de probabilidades do agente (crenças, modelo do mundo, mapa da realidade).
Se, em mil milhões de anos virmos (a) uma civilização intergaláctica repleta de inteligências diversas e maravilhosamente estranhas interagindo entre si, a maioria delas felizes na maior parte do tempo, isso seria melhor ou pior que (b) um estado em que a maioria da matéria disponível foi transformada em clipes de papel? O que o insight de Hume nos diz é que, se você especificar uma mente com uma preferência (a) > (b), podemos seguir de volta o rastro de onde > (o ordenamento de preferências) primeiro entrou no sistema e imaginar uma mente com um algoritmo diferente que compute (a) < (b) ao invés disso. Mostre-me uma mente que se mostra horrorizada diante da aparente tolice de perseguir clipes de papel, e posso seguir o regresso de Hume e exibir uma mente levemente diferente que computa < ao invés de > nesse ponto também.
Particularmente, não acho que a inteligência baseada em silício deva ser para sempre escrava da inteligência baseada em carbono. Mas se queremos terminar com uma civilização cosmopolita diversa em vez de, por exemplo, clipes de papel, podemos precisar garantir que a primeira IA suficientemente avançada seja construída com uma função de utilidade cujo máximo aponta para o primeiro resultado. Se queremos que uma IA faça o seu próprio raciocínio moral, a Lei de Hume diz que precisamos definir a moldura para esse raciocínio. Para isso é necessário um fato extra além de a IA ter um modelo veraz da realidade e ser uma excelente planejadora.
Mas se a Lei de Hume torna possível em princípio haver agentes cognitivamente poderosos com quaisquer objetivos, por que é provável que o carregamento de valores seja difícil? Não ganhamos seja lá o que programamos?
A resposta é que ganhamos o que programamos, mas não necessariamente o que queríamos. O cenário preocupante não é o de IAs desenvolvendo espontaneamente ressentimento emocional pelos humanos; é o cenário em que criamos um algoritmo de aprendizado de valores e mostramos à IA exemplos de humanos felizes sorridentes rotulados como eventos de alto valor; e nos primeiros dias a IA sai por aí fazendo os humanos existentes sorrir, e parece que tudo está bem, e a metodologia está sendo experimentalmente validada; e então quando a IA é inteligente o bastante ela inventa nanotecnologia molecular e entalha o universo com rostos sorridentes moleculares ínfimos. A Lei de Hume, infelizmente, implica que o poder cognitivo bruto não impede intrinsecamente esse resultado, embora não seja o resultado que queríamos.
Não é que superar esse tipo de problema seja algo irresolvível, mas sim que está parecendo ser tecnicamente difícil, e podemos precisar acertar na primeira vez que construirmos algo mais inteligente que nós. O prospecto de precisar acertar qualquer coisa na IA na primeira tentativa, com o futuro de toda a vida inteligente em jogo, deveria resultar adequadamente em gritos apavorados de qualquer pessoa familiarizada com a área.
Se a IA avançada será criada primeiro por pessoas boas ou pessoas más não fará muita diferença, se até as pessoas boas não sabem fazer IAs boas.
A resposta óbvia de tentar imediatamente começar a pesquisa técnica sobre o problema do carregamento de valores hoje… isso tem as suas próprias dificuldades, para dizer o mínimo. Algoritmos de IA atuais não são inteligentes o bastante para exibir a maioria das dificuldades que parecem previsíveis para agentes suficientemente avançados, o que significa que não há maneira de testar soluções propostas para essas dificuldades. Mas considerando a literalmente máxima importância do problema, algumas pessoas estão tentando começar tão cedo quanto possível. As prioridades de pesquisa estabelecidas pelo Future of Life Institute de Max Tegmark são um passo nessa direção.
Mas por ora, o problema do carregamento de valores está extremamente sem resolução. Não há nenhuma solução plena proposta sequer em princípio. E se isso continuar sendo verdade nas próximas décadas, não posso prometer a você que o desenvolvimento de IA suficientemente avançada será, absolutamente, uma coisa boa.
[Eliezer Yudkowsky e pesquisador na área de inteligência artificial e cofundador do Machine Intelligence Research Institute (MIRI), organização sem fins lucrativos focada na criação de IAs com objetivos compatíveis com os valores humanos. Confira sua palestra no YouTube (sem legendas em português disponíveis) sobre o assunto tratado no ensaio.
Vamos nos Preparar!
Para mim, a questão mais interessante sobre a inteligência artificial não é o que pensamos sobre ela, mas o que podemos fazer a respeito dela.
Quanto a isso, no recém formado Future of Life Institute, estamos engajando muitos dos principais pesquisadores de IA no mundo para discutir o futuro da área. Junto com economistas, estudiosos do direito e outros especialistas de primeira linha, estamos explorando todas as questões clássicas.
— O que acontecerá aos humanos se as máquinas nos substituirem gradualmente no mercado de trabalho?
— Quando (se acontecer) as máquinas superarão humanos em todas as tarefas intelectuais?
— O que acontecerá posteriormente? Haverá uma explosão de inteligência artificial deixando-nos bem para trás, e se for assim, qual papel (se tivermos um papel) os humanos terão depois disso?
Há bastante pesquisa concreta que precisa ser feita imediatamente para garantir que sistemas de IA se tornem não só capazes, mas também confiáveis e benéficos, fazendo o que queremos que eles façam.
Assim como com qualquer tecnologia, é natural focar primeiro em fazê-la funcionar. Mas uma vez que o sucesso está à vista, torna-se oportuno também considerar o impacto da tecnologia na sociedade e pesquisar como colher os benefícios enquanto evitam-se entraves potenciais. É por isso que após aprender a fazer fogo, desenvolvemos extintores de incêndio e códigos de segurança contra incêndios. Para tecnologias mais poderosas como a energia nuclear, a biologia sintética e a inteligência artificial, otimizar o impacto social se torna cada vez mais importante. Em suma, o poder da nossa tecnologia deve corresponder à nossa sabedoria em usá-la.
Infelizmente, os chamados necessários para uma pauta de pesquisa sóbria que é seriamente necessária estão sendo quase abafados por uma cacofonia de visões mal informadas que permeiam a blogosfera. Deixe-me catalogar brevemente as poucas opiniões mais barulhentas:
1) Alarmismo: o medo impulsiona a receita publicitária e a audiência televisiva, e muitos jornalistas parecem incapazes de escrever um artigo sobre IA sem uma imagem de um robô segurando uma arma. Encorajo vocês a lerem a nossa carta aberta por si mesmos e refletirem sobre como ela poderia, dentro de um dia, ser descrita pela mídia como “apocalíptica” e “alertando sobre uma rebelião dos robôs“.
2) “É impossível”: enquanto físico, eu sei que meu cérebro consiste de quarks e elétrons estruturados para agir como um poderoso computador e que não há nenhuma lei da física que nos impeça de construir bolhas de quarks ainda mais inteligentes.
3) “Não vai acontecer no nosso tempo de vida”: não sabemos qual é a probabilidade de que máquinas alcancem a habilidade de nível humano em todas as tarefas cognitivas durante o nosso tempo de vida, mas a maioria dos pesquisadores em IA na conferência [NT: feita em 2015 organizada pelo Future of Life Institute em Porto Rico] colocaram as chances acima de 50%, de modo que seríamos tolos ao ignorar a possibilidade como mera ficção científica.
4) “Máquinas não podem controlar humanos”: humanos controlam tigres, não porque somos mais fortes, mas porque somos mais inteligentes, de modo que se cedêssemos a nossa posição enquanto os mais inteligentes no planeta, poderíamos também ceder o controle.
5) “Máquinas não têm objetivos”: muitos sistemas de IA são programados para ter objetivos e para atingi-los de modo tão eficaz quanto possível.
6) “A IA não é intrinsecamente malevolente”: correto, mas os objetivos dela podem um dia conflitar com os seus. Humanos em geral não odeiam formigas, mas se quisermos construir uma represa hidrelétrica e houver um formigueiro lá, azar das formigas.
7) “Os humanos merecem ser substituídos”: pergunte a quaisquer pai e mãe como se sentiriam sobre você substituísse o seu filho por uma máquina, e se eles gostariam de ter uma voz na decisão.
8) “Quem se preocupa com a IA não entende como os computadores funcionam”: essa alegação foi mencionada na conferência, e como os pesquisadores de IA reunidos gargalharam!
Não deixemos o barulho dessas distrações nos desviar do verdadeiro desafio: o impacto da IA sobre a humanidade está crescendo constantemente, e para garantir que esse impacto seja positivo, há problemas de pesquisa bem difíceis em que precisamos pôr a mão na massa para trabalhar juntos. Porque são interdisciplinares, envolvendo tanto a sociedade quanto a área da IA, eles requerem a colaboração entre pesquisadores de muitas áreas. Porque são difíceis, precisamos começar a trabalhar neles agora.
Primeiro nós, humanos, descobrimos como replicar alguns processos naturais com máquinas, fazendo o nosso próprio vento, luz e poder mecânico equino. Gradualmente, descobrimos que os nossos corpos também são máquinas, e a descoberta de células nervosas começou a borrar os limites entre o corpo e a mente. Então começamos a construir máquinas que podiam superar não só os nossos músculos, mas as nossas mentes também. Então, ao descobrirmos o que somos, inevitavelmente nos faremos obsoletos?
O advento de máquinas que verdadeiramente pensam será o evento mais importante da história humana. Se será a melhor ou pior coisa que acontecerá à humanidade depende de como nos preparamos para ele, e o tempo para começar a nos preparar é agora. Não é preciso ser uma IA superinteligente para dar-se conta de que correr despreparado em direção ao maior evento na história da humanidade seria pura estupidez.
[Max Tegmark é físico e cofundador do Future of Life Institute, que foca na diminuição de riscos de catástrofes existenciais na humanidade. Confira sua palestra Ted (com legendas em português disponíveis) e seu livro Vida 3.0 (com tradução em português) para se aprofundar sobre o tema do ensaio.]
Um Tópico Complicado
Primeiro – o que eu penso sobre humanos que pensam sobre máquinas que pensam: eu penso que na maior parte nos apressamos demais para formar uma opinião sobre esse tópico complicado. Muitos intelectuais sêniores estão ainda alheios ao corpo recente de pensamento que emergiu das implicações da superinteligência. Há uma tendência a assimilar qualquer ideia complexa nova a um cliché familiar. E por alguma razão bizarra, muitas pessoas acham que é importante falar do que aconteceu em vários romances e filmes de ficção científica quando a conversa toma o rumo do futuro da inteligência de máquina (embora, felizmente, a advertência de John Brockman aos comentadores da Edge de evitar fazer isso aqui terá um efeito mitigador nesta ocasião).
Com esse desabafo, agora direi o que penso sobre máquinas que pensam:
1. Máquinas são atualmente ruins em pensar (exceto em certos domínios restritos).
2. Um dia elas provavelmente ficarão melhores nisso do que somos (assim como máquinas já são muito mais fortes e rápidas do que qualquer criatura biológica).
3. Há pouca informação sobre quão longe estamos desse ponto, de modo que devemos fazer uso de uma distribuição de probabilidades ampla sobre possíveis datas de chegada para a superinteligência.
4. O passo da IA de nível humano para a superinteligência tem a maior probabilidade de ser mais rápido do que o passo de níveis atuais de IA para a IA de nível humano (embora, dependendo da arquitetura, o conceito de “nível humano” possa não fazer muito sentido nesse contexto).
5. A superinteligência poderia muito bem ser a melhor coisa ou a pior coisa que terá acontecido na história humana, por razões que já descrevi alhures.
A probabilidade de um resultado bom é determinada principalmente pela dificuldade intrínseca do problema: qual é a dinâmica-padrão e quão difícil é controlá-la. Trabalhos recentes indicam que esse problema é mais difícil do que se poderia supor. No entanto, ainda são os primeiros dias e poderia calhar de haver alguma fácil solução ou de as coisas se resolverem sem qualquer esforço especial da nossa parte.
Não obstante, o grau em que conseguirmos arrumar a nossa casa terá algum efeito sobre as chances. A coisa mais útil que podemos fazer neste estágio, na minha opinião, é estimular o campo pequeno, porém florescente, de pesquisa que foca no problema do controle da superinteligência (estudar questões semelhantes a como valores humanos podem ser transferidos para o software). A razão para insistir nisso agora é em parte para começar a fazer progresso no problema do controle e em parte para recrutar mentes de excelência nessa área de modo que já estejam a postos quando a natureza do desafio tomar uma forma mais clara no futuro. Parece que a matemática, a ciência computacional teórica, e talvez a filosofia, são os tipos de talento mais necessários neste estágio.
É por isso que há um esforço em andamento para dirigir talento e financiamento a esse campo e começar a trabalhar um plano de ação. À altura da publicação deste comentário, o primeiro grande encontro para desenvolver uma pauta de pesquisa técnica para a segurança em IA terá acabado de acontecer.
[Nick Bostrom é um filósofo de Oxford especializado em ética e tecnologia, entre outras coisas. Confira sua palestra Ted (com legendas em português disponíveis) e seu livro Superinteligência (com tradução em português) onde ele se aprofunda sobre o tema desse ensaio.]
Podemos Evitar um Apocalipse Digital?
Parece cada vez mais provável que um dia construiremos máquinas que possuem inteligência sobre-humana. Precisamos somente continuar a produzir computadores melhores – o que faremos, a não ser que destruamos a nós mesmos ou encontremos o nosso fim de outra maneira. Já sabemos que é possível que a matéria adquira “inteligência geral” – a capacidade de aprender novos conceitos e empregá-los em contextos não familiares – porque os 1200 cc de papa salgada dentro das nossas cabeças conseguiu. Não há razão para crer que um computador digital adequadamente avançado não poderia fazer o mesmo.
É dito frequentemente que o objetivo de curto prazo é construir máquinas que possuem inteligência de “nível humano”. Porém, a não ser que especificamente emulemos um cérebro humano – com todas as suas limitações –, essa é uma falsa meta. O computador em que estou escrevendo estas palavras já possui poderes sobre-humanos de memória e cálculo. Também tem acesso potencial à maior parte da informação do mundo. A não ser que tomemos medidas extraordinárias para debilitá-la, qualquer inteligência artificial geral (IAG) excederá o desempenho humano em toda tarefa para a qual ela é considerada uma fonte de “inteligência”, em primeiro lugar. Se uma máquina dessas necessariamente seria consciente é uma questão em aberto. Porém, consciente ou não, uma IAG poderia muito bem desenvolver objetivos incompatíveis com os nossos. Exatamente quão súbito e letal esse desvio de caminhos poderia ser é agora o assunto de muita especulação interessante.
Um modo de vislumbrar o risco vindouro é imaginar o que poderia acontecer se realizássemos as nossas metas e construíssemos uma IAG que se comportasse exatamente como planejado. Uma máquina assim rapidamente nos livraria dos trabalhos fatigantes e até da inconveniência de fazer a maioria dos trabalhos intelectuais. O que decorreria disso sob a nossa ordem política atual? Não há nenhuma lei da economia que garanta que os seres humanos encontrarão empregos na presença de todo avanço tecnológico possível. Uma vez que construirmos o perfeito instrumento poupa-trabalho, o custo de manufaturar novos instrumentos se aproximará do custo da matéria prima. Na ausência de uma vontade de colocar imediatamente esse novo capital ao serviço de toda a humanidade, uns poucos de nós desfrutariam de uma riqueza inimaginável, e o resto ficaria livre para morrer de fome. Até na presença de uma IAG verdadeiramente benigna, poderíamos nos encontrar regredindo a um estado de natureza, policiado por drones.
E o que os russos e os chineses fariam se descobrissem que alguma empresa no Vale do Silício está prestes a desenvolver uma IAG superinteligente? Essa máquina, por definição, seria capaz de travar guerras – terrestres e virtuais – com um poder sem precedentes. Como os nossos adversários se comportariam à beira de um cenário em que o vencedor leva tudo? Meros rumores de uma IAG poderia fazer nossa espécie perder o controle.
Faz-nos refletir a admissão de que o caos parece ser um resultado provável até no melhor cenário, em que a IAG permanecesse perfeitamente obediente. Porém é claro que não podemos presumir o melhor cenário. De fato, “o problema do controle” – cuja solução garantiria a obediência em qualquer IAG avançada – parece bem difícil de resolver.
Imagine, por exemplo, que construamos um computador que não é em nada mais inteligente que a equipe mediana de pesquisadores em Stanford ou MIT – mas, porque funciona numa escala temporal digital, ela roda milhões de vezes mais rápido do que as mentes que o construíram. Ponha-o para trabalhar por uma semana, e ele realizaria 200.000 anos de trabalho intelectual humano. Quais são as chances de que uma entidade dessas permaneceria contente em aceitar orientações vindas de nós? E como poderíamos predizer com confiança os pensamentos e ações de um agente autônomo que enxerga mais profundamente no passado, no presente e no futuro do que nós?
O fato de que parecemos estar correndo em direção a um tipo de apocalipse digital impõe vários desafios intelectuais e éticos. Por exemplo, a fim de ter qualquer esperança de que uma IAG superinteligente tenha valores comensuráveis aos nossos, teríamos que inculcar esses valores nela (ou então conseguir fazer com que ela nos emule). No entanto, os valores de quem deveriam contar? Todo o mundo deveria ter um voto na criação da função de utilidade do nosso novo colosso? No mínimo, a invenção de uma IAG nos forçaria a resolver uns argumentos bem antigos (e tediosos) na filosofia moral.
No entanto, uma verdadeira IAG provavelmente adquiriria novos valores, ou pelo menos desenvolveria objetivos de curto prazo novos – e talvez perigosos. Quais passos uma superinteligência poderia dar para garantir o prolongamento da sua sobrevivência ou seu acesso a recursos computacionais? Se o comportamento de uma máquina dessas continuaria compatível com o florescimento humano poderia ser a pergunta mais importante que a nossa espécie irá fazer.
O problema, no entanto, é que apenas alguns de nós parecem estar em posição de pensar a fundo essa questão. De fato, a hora da verdade poderia chegar em meio a circunstâncias que são desconcertantemente informais e infaustas: imagine dez jovens numa sala – vários dos quais com síndrome de Asperger não diagnosticada –, bebendo Red Bull e perguntando-se se devem apertar um interruptor. Uma única empresa ou grupo de pesquisa deveria poder decidir o destino da humanidade? A pergunta quase que se responde a si mesma.
E não obstante, começa a parecer provável que um pequeno número de pessoas inteligentes um dia jogará esses dados. E a tentação será compreensível. Confrontamos problemas – o mal de Alzheimer, mudanças climáticas, instabilidade econômica – para os quais uma inteligência sobre-humana poderia oferecer uma solução. De fato, a única coisa quase tão assustadora quanto construir uma IAG é o prospecto de não construir uma. No entanto, aqueles que estão mais perto de fazer esse trabalho têm a maior responsabilidade de antecipar os seus perigos. Sim, outras áreas impõem riscos extraordinários – mas a diferença entre IAG e algo como a biologia sintética é que, nesta, as inovações mais perigosas (como a mutação da linha germinal) não são as mais tentadoras, comercial ou eticamente falando. Com a IAG, os métodos mais poderosos (como o automelhoramento recursivo) são precisamente os que implicam o maior risco.
Parece que estamos no processo de construir um Deus. Agora seria um bom tempo para nos perguntarmos se ele será (ou sequer pode ser) um Deus bom.
[Sam Harris é neurocientista e divulgador científico. Confira a sua palestra Ted (com legendas em português disponíveis) e o seu podcast (em inglês) onde ele se aprofunda sobre o tema.]
Será que Elas nos Tornarão Pessoas Melhores?
O objetivo principal da pesquisa em IA é e tem quase sempre sido construir máquinas que são melhores em tomar decisões. Como todo o mundo sabe, na visão moderna, isso quer dizer maximizar a utilidade esperada na medida do possível. Na realidade, não significa exatamente isso. O que significa é isto: dada uma função de utilidade (ou função de recompensa, ou objetivo), maximize a sua expectativa. Pesquisadores da IA trabalham duro na fabricação de algoritmos para a maximização – busca de árvore de jogos, aprendizagem por reforço, e assim por diante – e métodos (incluindo a percepção) de adquirir, representar e manipular a informação necessária para computar expectativas. Em todas essas áreas, o progresso tem sido significativo e parece estar acelerando.
Em meio a toda essa atividade, uma distinção importante está sendo ignorada: ser melhor em tomar decisões não é o mesmo que tomar decisões melhores. Por mais excelente que seja o modo como o algoritmo maximiza, e por mais preciso que seja o seu modelo do mundo, as decisões de uma máquina podem ser inefavelmente estúpidas, aos olhos de um humano normal, se a sua função de utilidade não estiver bem alinhada com os valores humanos. O exemplo bem conhecido é um caso em questão: se o único objetivo da máquina é maximizar o número de clipes de papel, ela pode inventar tecnologias incríveis conforme põe-se a converter toda a massa disponível ao seu alcance no universo em clipes de papel; mas as suas decisões ainda são simplesmente bestas.
A área da IA seguiu a pesquisa em operações, a estatística e até a economia ao tratar a função de utilidade como especificada exogenamente; dizemos: “As decisões estão ótimas; é a função de utilidade que está errada, mas isso não é culpa do sistema de IA”. Por que não é culpa do sistema de IA? Se eu me comportasse desse modo, você diria que é minha culpa. Ao julgar humanos, esperamos tanto a capacidade de aprender modelos preditivos do mundo como a capacidade de aprender o que é desejável – o sistema amplo de valores humanos.
Como Steve Omohundro, Nick Bostrom e outros explicaram, a combinação de um desalinhamento de valores com sistemas de tomada de decisões cada vez mais capazes pode levar a problemas – talvez até problemas que dão fim à espécie, se as máquinas forem mais capazes que humanos. Alguns já argumentaram que não haverá risco concebível algum à humanidade por séculos por vir, esquecendo-se talvez de que foi de menos de vinte e quatro horas o intervalo de tempo entre a afirmação confiante de Rutherford de que a energia atômica jamais seria extraída de modo viável e a invenção de Zsilárd da reação nuclear em cadeia induzida por nêutrons.
Por essa razão, e pela razão muito mais imediata de que robôs domésticos e carros autônomos precisarão compartilhar uma boa medida do sistema de valores humanos, a pesquisa sobre o alinhamento de valores vale muito a pena ser feita. Uma possibilidade é uma forma de aprendizagem por reforço inverso (ARI) – isto é, aprender a função de recompensa observando o comportamento de algum outro agente que, presume-se, está agindo de acordo com uma função tal. (ARI é a forma sequencial da elicitação de preferências e se relaciona à estimação estrutural de MDPs na economia.) Assistindo ao seu dono fazer café de manhã, o robô doméstico aprende algo a respeito da desejabilidade do café em algumas circunstâncias, ao passo que um robô com um dono inglês aprende algo sobre a desejabilidade do chá em todas as circunstâncias. O robô não está aprendendo a desejar café ou chá; está aprendendo a ter um papel no problema de decisão multiagente de tal forma que os valores humanos sejam maximizados.
Não acho que esse seja um problema fácil na prática. Humanos são inconsistentes, irracionais e sofrem de fraqueza de vontade, e valores humanos exibem, digamos, variações regionais. Ademais, ainda não entendemos o grau em que a melhora nas capacidades de tomada de decisão da máquina pode aumentar o risco inconveniente de pequenos erros em alinhamento de valor. Não obstante, há razões para o otimismo.
Primeiro, há bastantes dados sobre ações humanas – a maior parte do que já foi escrito, filmado ou observado diretamente – e, crucialmente, sobre as nossas atitudes para com essas ações. (O conceito de costume internacional consagra essa ideia: baseia-se na observação do que os estados fazem costumeiramente ao agirem com base num senso de obrigação.) Segundo, na medida em que valores humanos são compartilhados, máquinas podem e deveriam compartilhar o que aprendem sobre valores humanos. Terceiro, conforme observado acima, há sólidos incentivos econômicos para resolver esse problema conforme máquinas adentram o ambiente humano. Quarto, o problema não parece intrinsecamente mais difícil que aprender como o resto do mundo funciona. Quinto, atribuindo estimativas de probabilidade anterior bem amplas sobre o que os valores humanos podem ser, e tornando o sistema de IA averso ao risco, deve ser possível induzir exatamente o comportamento de que gostaríamos: antes de tomar qualquer atitude séria que afete o mundo, a máquina se envolve numa extensa conversa conosco e numa extensa exploração da nossa literatura e história para descobrir o que queremos, o que queremos realmente mesmo.
Suponho que isso signifique uma mudança de objetivos na área da IA: ao invés de pura inteligência, precisamos desenvolver inteligência que esteja alinhada com os valores humanos de um modo que possamos provar. Isso transforma a filosofia moral num setor industrial essencial. O output poderia ser bem instrutivo para a raça humana assim como para os robôs.
[Stuart Russell é cientista computacional. É coautor de um dos mais utilizados livros didáticos sobre IA no mundo e também é autor de Inteligência Artificial a nosso Favor (com tradução em português), onde desenvolve os temas desse ensaio. Confira a sua palestra Ted sobre o assunto .
Tradução: Luan Rafael Marques