Melhoria da tomada de decisão institucional

Melhorar o processo de tomada de decisão das instituições é um dos maiores problemas do mundo. Veja a lista dos demais problemas aqui.

Nota do tradutor: Improving institutional decision-making. Optamos ao longo de todo o texto por traduzir a expressão “decision-making” como tomada de decisão, como já ficou usual no português do Brasil. Contudo, uma alternativa igualmente válida teria sido “processo decisório”. Desse modo, seria igualmente válido chamar esse tópico como “Melhoria do Processo Decisório das Instituições”.

Em 2003, os Estados Unidos decidiram invadir o Iraque, a maioria hoje concorda que essa decisão foi muito equivocada, custando trilhões de dólares e milhares de vidas.

O que exatamente deu errado aqui é assunto controverso: na melhor das hipóteses, o processo de tomada de decisão era desprovido de rigor e, na pior das hipóteses, o processo foi altamente tendencioso.

O governo americano justificou a invasão com a alegação, feita pela sua comunidade de inteligência, de que era “altamente provável” que o Iraque possuía armas de destruição em massa – ADM (Weapons of Mass Destruction – WMD) – mas tal afirmação era ambígua. Os responsáveis políticos consideram essa frase como que indicando quase 100% de certeza e tomaram suas decisões a partir disso¹. Mas “altamente provável” também poderia facilmente ser interpretado como 80% de certeza, ou 70% – com implicações práticas muito diferentes. Os envolvidos não pensaram realmente nas probabilidades relevantes, nem consideraram quão provável era que as estimativas estivessem erradas, ou as implicações caso estivessem.

Outros sugeriram que os Estados Unidos já tinham tomado sua decisão quanto a invadir o Iraque e que tal decisão que influenciou as informações da comunidade de inteligência – e não o contrário. Esse é um exemplo particularmente extremo daquilo que é conhecido como “raciocínio motivado” – uma tendência para raciocinar de maneiras que apoiam quaisquer conclusões que desejamos que sejam verdadeiras.

A decisão de invadir dependia das impressões subjetivas de algumas pessoas-chave –impressões subjetivas que mais tarde se revelaram erradas, feitas por pessoas com motivações complexas.

E se você pudesse ajudar a evitar erros semelhantes no futuro?

Quando pensamos em fazer o bem para o mundo geralmente pensamos sobre a resolução de problemas específicos, e fazê-lo melhor do que instituições e organizações existentes. Mas você também pode melhorar o mundo de uma maneira diferente: tornando mais fácil para as principais instituições e tomadores de decisão o modo como resolvem seus problemas. Isso pode se dar ajudando as pessoas a evitarem erros comuns de raciocínio, a melhor avaliarem a competência de especialistas, ou a fazerem previsões mais precisas. Também pode significar encontrar maneiras de mudar os incentivos das grandes organizações de modo a tornar mais fácil fazer todas essas coisas.

Uma vantagem dessa abordagem é que, se bem-sucedida, poderia permitir à humanidade lidar melhor com muitos problemas diferentes – incluindo aqueles que ainda sequer percebemos.

Cobrimos aqui algumas das diferentes maneiras de ajudar as instituições importantes a terem um impacto muito mais positivo através da melhoria de seus processos de tomada de decisão.

1.Resumo

Governos e outras instituições importantes frequentemente têm que tomar decisões complexas e de alto risco com base no julgamento de apenas um punhado de pessoas.

Há razões para acreditar que os juízos humanos podem ser falhos de diversas maneiras, mas podem ser substancialmente melhorados usando certos processos e técnicas de modo sistemático. Melhorar a qualidade na tomada de decisões das instituições importantes poderia ajudar nossa capacidade em resolver quase todos os outros problemas. Isso também poderia ajudar a capacidade da sociedade em identificar os “desconhecidos desconhecimentos” – os problemas que ainda sequer pensamos – e a mitigar todos os riscos de catástrofes globais, que acreditamos serem realmente importantes.

Há muito poucas pessoas explicitamente tentando melhorar as decisões de instituições importantes, o que sugere que esse trabalho extra poderia ser particularmente valioso.

Essa parece ser uma opção muito promissora se você tiver uma forte aptidão ao tipo de pesquisa necessária para desenvolver novas formas de melhorar o processo de tomada de decisões, ou se estiver bem colocado para trabalhar em instituições influentes e testar o que já sabemos.

Também é uma boa opção se você não tiver certeza sobre quais problemas específicos são mais proeminentes, já que a melhoria na tomada de decisões pode ser aplicada a praticamente qualquer área.

2.Nossa Visão Geral

Recomendado? Está entre os problemas mais proeminentes no qual se trabalhar.

Escala?	Melhorar as práticas de tomada de decisão poderiam plausivelmente levar à uma alocação muito mais efetiva de grandes quantidades de recursos pelos governos, acelerar o progresso em alguns dos problemas mais importantes do mundo e reduzir o risco de conflito ou catástrofe global por meio de uma melhor inteligência. Estimamos que, em grande parte, a solução desse problema aumentaria o valor do futuro entre 0,1% e 1%.
Negligência?	Há cerca de 100 a 1000 pessoas trabalhando nesse problema em tempo integral, dependendo de como você os conta. Um número muito maior de pesquisadores e consultorias trabalha na melhoria da tomada de decisões de forma ampla, mas relativamente poucos focam em como testar de forma robusta as técnicas mais promissoras, ou implementar estratégias comprovadas nas áreas de maior alavancagem.
Capacidade de Resolução?	Já existem técnicas com fortes evidências de que podem melhorar a tomada de decisões, e o histórico sugere que mais recursos de pesquisa direcionados aos melhores pesquisadores nessa área poderiam gerar insights adicionais muito rapidamente. No entanto, atualmente não está claro quão fácil será implementar as melhores práticas de tomada de decisão em instituições cruciais, e esse segundo passo pode se tornar um grande desafio. Estimamos que dobrar nossos esforços resolveria 1% do problema restante.

3.Qual o problema?

Nossa capacidade de resolver os problemas do mundo depende muito de nossa capacidade de tomar decisões de alta qualidade. Precisamos ser capazes de identificar em quais problemas trabalhar, entender quais fatores contribuem para esses problemas, prever quais de nossas ações terão os resultados desejados, e ao responder ao feedback sermos capazes de mudar de ideia.

Há muitas razões para pensar que a nossa competência para tomada de decisão é, atualmente, longe de perfeita, conforme a pesquisa em psicologia das últimas décadas foi capaz de documentar toda uma série de vieses cognitivos que afetam nossos juízos e decisões.

Por exemplo, quando tentamos avaliar nossas chances de sucesso, nos concentramos demais em todas as razões pelas quais nossa sorte será diferente da média: apesar do fato de que a maioria das startups falha, a maioria dos empreendedores está convencida de que ele será aquele caso incomum que obterá sucesso.²

Também estamos confiantes demais em nossas previsões³ – argumenta-se, por exemplo, que a confiança indevida contribuiu para a explosão do ônibus espacial Challenger, onde a NASA rejeitou as preocupações de segurança expressas por um engenheiro.⁴

Muitos dos problemas mais importantes do mundo são incrivelmente complicados, exigindo uma compreensão de sistemas complexos e inter-relacionados, assim como uma capacidade de prever o resultado de diferentes ações e equilibrar considerações concorrentes. Isso significa que há muito mais espaço para erros de julgamento passarem desapercebidos. Mesmo os especialistas em previsões políticas costumam acertar menos do que simples previsões atuariais, ao estimarem as probabilidades de eventos até 5 anos no futuro.⁵ As organizações mais bem posicionadas para resolver os problemas mais importantes do mundo também costumam ser altamente burocráticas, o que significa que os tomadores de decisão enfrentam muitas restrições e incentivos que competem entre si, nem sempre estando alinhados com a melhor tomada de decisão.

Acreditamos que melhorar a competência na tomada de decisões das principais instituições pode ser crucial, pois os riscos que enfrentamos como sociedade crescem rapidamente.

Com o desenvolvimento tecnológico de armas nucleares, armas autônomas, bioengenharia e inteligência artificial, nosso poder destrutivo está aumentando rapidamente. Crises resultantes de guerras, agentes mal intencionados ou mesmo acidentes podem ceifar bilhões de vidas ou mais.⁶

Não está claro se a tomada de decisão individual, ou a estrutura das instituições-chave, evoluiu em um ritmo sequer próximo ao necessário para administrar essas crises potenciais – nossas instituições e nossos processos de tomada de decisão são bem parecidos com aqueles que falharam na primeira e segunda guerra mundial e, ainda assim, os piores cenários que precisariam ser mitigados estão várias ordens de grandeza acima daquelas guerras.

Mas há algumas boas notícias. Pesquisas estão sendo feitas, focando nas técnicas para melhorar o julgamento humano e a tomada de decisões. Os pesquisadores estão estudando como melhorar nossa capacidade de fazer previsões sobre o futuro, como pensar melhor, de maneira probabilística e como pensar em problemas complexos de um modo mais estruturado.

Nos parece que o desenvolvimento e a aplicação de estratégias que melhorem o julgamento humano e a tomada de decisões podem ser muito valiosos – particularmente se forem focados em instituições que trabalham com problemas particularmente importantes e combinadas com um entendimento completo de como essas instituições operam.

4.Por que trabalhar nesse problema?

4.1.Melhorar a tomada de decisão poderia nos ajudar a resolver quase todos os outros problemas

Os impostos são muito chatos. Sendo assim, a maioria das pessoas no Reino Unido pode ser perdoada por não ter percebido quando o Behavioral Insights Team (BIT – Time para Insights Comportamentais) do governo britânico começou a realizar alguns simples estudos aleatórios controlados – EACs (randomized controlled trials – RCTs) para aumentar os reembolsos de impostos em 2010. Mas esses testes simples tiveram um grande efeito: trouxeram mais de £210 milhões de receita extra para o governo em apenas um ano.

Este primeiro ensaio ajudou a BIT a defender a necessidade de mais políticas baseadas em evidências – agora, os EACs estão sendo usados para melhorar a qualidade da tomada de decisões em todas as áreas de políticas públicas. Sete anos após o primeiro teste fiscal, o BIT executou mais de 300 EACs em diversas áreas (incluindo prevenção ao crime, doação e ação social e contra-extremismo).

Este é um bom exemplo de como melhorias na tomada de decisões e juízos melhora nossa capacidade de resolver quase todos os outros problemas. Se pudéssemos melhorar a capacidade de funcionários do governo que enfrentam decisões de alto risco – reduzindo sua suscetibilidade aos diversos vieses ou desenvolvendo métodos melhores de agregar expertise – isso poderia ter efeitos indiretos positivos nos mais diversos domínios. Por exemplo, poderia melhorar nossa capacidade de evitar ameaças como uma crise nuclear, assim como nos ajudar a alocar recursos escassos para as intervenções mais eficazes em educação e saúde.

O potencial de que a melhoria na tomada de decisão pelas instituições possa impactar uma ampla gama de questões importantes significa também que essa é uma abordagem particularmente boa na qual focar se você não tiver certeza sobre quais problemas são os mais importantes.

4.2. Há diversas maneiras de conseguir progredir na melhoria da tomada de decisões

Good Judgement Inc realiza “concursos de previsão” onde os participantes competem para prever o futuro.

Até agora, a pesquisa avançou na identificação de técnicas que melhoram de forma confiável os juízos e a tomada de decisões e, pelo menos onde há boas evidências, parece haver um interesse crescente em tentar implementar as técnicas na prática.

O trabalho de Philip Tetlock⁷, por exemplo, identificou várias maneiras de melhorar a precisão das previsões sobre eventos do mundo real, que foram testados em EACs de larga escala. Um outro programa de pesquisa sobre “mercados de previsão” sugere que fazer com que as pessoas “apostem” em suas previsões pode aumentar a precisão destas, sejam elas previsões políticas, corporativas, meteorológicas ou estatísticas.⁸

Com evidências cada vez mais sólidas sobre tais efeitos, conseguir implementa-los na prática parece factível – já há interesse em técnicas de previsão na comunidade de inteligência, por exemplo⁹. Um próximo passo promissor nesta área seria pegar as descobertas em que temos evidências sólidas e executar pilotos de menor escala em contextos mais específicos (por exemplo, em organizações específicas ou em partes do governo).

Por exemplo, alguns juízos podem ser excessivamente confiantes, levando a decisões mal informadas – a confiança injustificada na posse de armas de destruição em massa no Iraque teve consequências dramáticas, como vimos. Parte do problema aqui é que as pessoas não estão muito bem “calibradas” – nossos cérebros não parecem ter uma boa noção intuitiva do que significa falar que algo é, digamos, “70% provável” e, como consequência disso, as declarações que fazemos com 70% de confiança revelam-se verdadeiras muito menos do que 70% das vezes.

Mas há algumas evidências de que é possível melhorar a calibração das pessoas por meio de treinamento. A Hubbard Decision Research treinou mais de 1.000 pessoas em calibração e descobriu que 80% dos participantes estavam idealmente calibrados após cinco exercícios.¹⁰

Mais pesquisas aqui – particularmente EACs de maior escala e estudos que analisam os efeitos do treinamento em calibração para juízos do mundo real (em vez de apenas perguntas triviais) – poderiam ajudar a fortalecer os argumentos para a implementação dessas técnicas na prática.

Entre outras técnicas promissoras incluímos as técnicas analíticas estruturadas – TAEs (Structured Analytic Techniques – SATs)¹¹ para reduzir vieses no julgamento e o método Delphi¹² para agregar diferentes pontos de vista – discutiremos essas e outras abordagens promissoras mais detalhadamente em breve.

4.3.Trabalho nessa área é relativamente negligenciado

O trabalho em “melhorar a tomada de decisões” de maneira ampla não é negligenciado. Há muita gente, tanto na indústria quanto no meio acadêmico, experimentando diferentes técnicas para melhorar a tomada de decisões. O governo britânico gasta muito dinheiro em consultorias de gestão¹³, por exemplo, e há pesquisadores trabalhando em questões relacionadas à tomada de decisões em todas as principais universidades nas mais diversas disciplinas, incluindo psicologia, economia, negócios, marketing e ciência política¹⁴.

No entanto, parece haver muito pouco trabalho focado em testar rigorosamente diferentes técnicas para obter fortes evidências de eficácia, ou colocar em prática as melhores práticas comprovadas nas instituições mais influentes.

Por exemplo, já tivemos muitos trabalhos testando e usando técnicas de “análise de cenários”, com milhares de artigos discutindo vários métodos para correção do excesso de confiança através de uma variedade maior de cenários possíveis. Mas foi só em 2005 que alguém publicou um experimento realmente testando se a “análise de cenário” melhorava a precisão das previsões que eram feitas – e, como se pôde observar, isso não se confirmou¹⁵. Isso ilustra como, sem boas evidências sobre a eficácia de diferentes técnicas, muito esforço bem-intencionado em “melhorar a tomada de decisões” pode redundar em desperdício.

Melhorar a tomada de decisões também parece mais negligenciado do que outras formas de tentar “melhorar o sistema”, como a educação, sugerindo que esse trabalho é mais eficaz. As pessoas muitas vezes argumentam a favor de investir em educação, ou em certos tipos de reforma política, por razões semelhantes àquelas que damos aqui: porque essas coisas nos ajudariam a lidar melhor com todo tipo de problemas.

Por exemplo, o governo dos EUA gasta cerca de 4,6% do PIB em educação (800 bilhões de dólares)¹⁶ e em uma pesquisa das 100 maiores fundações norte-americanas pela GiveWell a educação em solo norte-americano equivale a 15% de seus gastos, superados apenas pelo investido em saúde¹⁷. Em contraste, não há fontes de financiamento governamental ou esforços de filantropia explicitamente dirigidos a melhorar os processos decisórios institucionais da forma que discutimos. Além disso, há motivos para pensar que o foco nas instituições pode ser uma forma mais eficaz de melhorar a tomada de decisões do que uma abordagem ampla para melhorar a educação, pois tem como alvo um grupo menor de pessoas que já têm muita influência, focando mais nos processos institucionais.

Vale a pena considerar por qual motivo esse trabalho não recebeu muita atenção até agora e se pode ter sido negligenciado por um bom motivo. Uma dessas razões pode ser se for incrivelmente difícil conseguir que grandes instituições adotem novas práticas – discutiremos algumas dessas barreiras potenciais na próxima seção. Além disso, os tipos de ensaios controlados e em grande escala necessários para testar rigorosamente as técnicas podem ser caros e demorados.

No entanto, também pode ser o caso de que este trabalho esteja negligenciado simplesmente porque não há muitas pessoas motivadas para fazê-lo – talvez a maioria dos acadêmicos não ache este tipo de pesquisa intelectualmente gratificante. Isso sugere que, se você estiver bem posicionado e motivado para fazer esse trabalho, poderá ser particularmente impactante em fazê-lo.

5.Quais são os principais argumentos contrários a considerar esse assunto como prioritário?

5.1.Dificuldades de obter mudanças na prática

Talvez a principal preocupação com essa área seja de que não está claro quão fácil realmente é implementar melhores estratégias de tomada de decisão na prática – especialmente em organizações burocráticas e onde os incentivos não são voltados para um maior rigor.

Muitas vezes, é difícil conseguir que os grupos implementem práticas lhe sejam custosas no curto prazo – exigindo treinamento, recursos e mudanças do status quo – e prometem apenas benefícios abstratos ou de longo prazo. Por exemplo, tem havido alguma resistência em implementar “mercados de previsão” em situações práticas, pois a execução de mercados de previsão com “dinheiro real” pode ser considerada uma forma ilegal de jogos de azar (e mesmo que você consiga contornar isso, se torna uma tarefa legalmente complexa).¹⁸

No entanto, esses problemas podem ser superados se pudermos encontrar maneiras de mostrar aos tomadores de decisão que tais técnicas os ajudarão a atingir os objetivos com os quais se importam.

Por exemplo, quando a Behavioural Insights Team quis mostrar que o uso de EACs poderia melhorar a qualidade das decisões políticas, eles inicialmente se concentraram em uma área relativamente fácil de mostrar melhorias imediatas em que o governo se preocupava – economizar dinheiro.

Conforme vimos, o primeiro projeto da BIT mostrou ao governo que eles poderiam aumentar de modo notável o número de pessoas pagando seus impostos, poupando centenas de milhões de libras ao governo. Depois de comprovar a eficácia de sua abordagem nessa área eles conseguiram avançar para políticas mais complexas e com resultados mais difíceis de mensurar, mas onde seu impacto poderia ser ainda maior, tal como a educação.

Reconhecer as dificuldades de obter mudanças na prática também pode significar que é especialmente valioso para as pessoas que pensam sobre essa questão desenvolver uma compreensão profunda de como grupos e instituições importantes operam, e os tipos de incentivos e barreiras que enfrentam. Parece plausível que a superação das barreiras burocráticas para a melhoria da tomada de decisões seja ainda mais importante do que o desenvolvimento de melhores técnicas. Isso é algo que planejamos explorar mais no futuro, conversando com mais especialistas sobre as formas mais eficazes de mudar ou contornar os tipos de restrições que os tomadores de decisão mais influentes enfrentam na prática.

5.2.Você pode desejar trabalhar em um problema mais específico

Suponha que você acredita que o aquecimento global seja o mais importante problema no mundo hoje. Você pode acreditar que uma boa parte do motivo de estarmos falhando em combater o aquecimento global de forma eficaz é que as pessoas têm um viés a trabalhar em problemas concretos e de curto prazo em detrimento daqueles que têm maior probabilidade de afetar as gerações futuras. E por isso você poderá considerar fazer pesquisas em como superar tal viés, com a esperança de que você possa tornar instituições importantes mais aptas a enfrentar o aquecimento global.

Contudo, se você acha que a ameaça do aquecimento global é especialmente premente comparado a outros problemas, essa poderá não ser a melhor maneira de você fazer a diferença – mesmo que você descubra algo útil sobre como reduzir o viés para se trabalhar em problemas imediatos, poderá ser muito difícil implementar esse achado de uma maneira que faça uma diferença diretamente no problema do aquecimento global.

Em vez disso, é provavelmente melhor focar seus esforços no aquecimento global mais diretamente, por exemplo, trabalhando para um centro de pesquisas (think tank) que pesquise as maneiras mais eficazes de reduzir as emissões de carbono.

A vantagem de intervenções amplas tal como na tomada de decisões é que elas podem ser aplicadas a uma ampla gama de problemas. A desvantagem de trabalhar nesta área é que pode ser mais difícil direcionar seus esforços para um problema específico. Então, se você acha que um problema específico é significativamente mais urgente do que outros, e você tem a oportunidade de trabalhar mais diretamente nesse problema, então provavelmente é mais efetivo que você se dedique a esse problema.

5.3.Pode haver maneiras melhores de aumentarmos nossa capacidade em resolver os problemas do mundo

Um dos melhores argumentos para trabalhar nessa área é que, se você pode melhorar a produtividade ou o juízo de pessoas que trabalham em problemas importantes, isso aumenta a eficácia de tudo o que eles fazem na tentativa de resolver esses problemas.

Mas você pode pensar que existem maneiras melhores de aumentar a velocidade ou a eficácia do trabalho nos problemas mais importantes do mundo.

Por exemplo, talvez o maior gargalo na solução dos problemas do mundo não seja a má capacidade de tomada de decisões, mas simplesmente a falta de informações – as pessoas podem não estar trabalhando nos maiores problemas do mundo simplesmente porque elas não têm informações cruciais sobre quais são esses problemas. Serem mais racionais não os ajudará se eles não tiverem essa informação.

Muito do trabalho na promoção do Altruísmo Eficaz pode se enquadrar nessa categoria – ao dar às pessoas melhores informações sobre a eficácia de diferentes causas, intervenções e carreiras.

6.O que você pode fazer nessa área?

Podemos pensar que o trabalho nesta área recai em algumas categorias bem amplas:

1. Testar com mais rigor as técnicas existentes que pareçam promissoras

2. Fazendo mais pesquisas que sejam fundamentais para identificar novas técnicas

3. Promover a adoção das comprovadamente melhores técnicas nas áreas de alto impacto

4. Direcionar mais financiamento para todos os itens acima

Todas essas áreas parecem ser urgentes e parecem ter espaço para progresso imediato (já sabemos o suficiente para começar a tentar implementar as melhores técnicas, mas evidências mais fortes facilitariam sua adoção, por exemplo). Isso significa que a área a qual você deve focar dependerá muito de sua aptidão e das oportunidades – discutiremos cada uma dessas categorias com mais detalhes abaixo:

6.1. Testar com mais rigor as técnicas existentes que pareçam promissoras

O trabalho do Professor Tetlock identificou estilos de pensamento que levam a previsões significativamente mais precisas, conforme detalhado em seu livro Superprevisões (Superforecasting).

A ideia aqui seria usar técnicas que pareçam promissoras, mas ainda não foram rigorosamente testadas, para tentar obter evidências mais fortes de onde e se são eficazes. Algumas técnicas ou áreas de pesquisa que se enquadram nessa categoria:

• Treinamento de calibração – melhorar a precisão dos juízos de probabilidade – tem uma quantidade razoável de evidências sugerindo que é eficaz. No entanto, a maioria dos treinamentos de calibração se concentra em questões triviais – testar se isso realmente melhora os juízos em cenários do mundo real pode ser promissor e ajudaria a conseguir aplicar essas técnicas mais amplamente.
• Técnicas analíticas estruturadas – TAEs são uma série de técnicas desenvolvidas para reduzir vieses cognitivos em análises de inteligência. Exemplos de TAEs, incluem a verificação de premissas-chave e desafiar visões consensuais. Estas técnicas parecem estar fundamentadas em uma compreensão da literatura psicológica, mas poucas foram testadas rigorosamente (isto é, com um grupo de controle e observando seu impacto no aumento da precisão). Pode ser útil selecionar algumas dessas técnicas que parecem mais promissoras, e tentar testar quais são realmente eficazes em melhorar os juízos no mundo real¹⁹. Pode ser particularmente interessante/útil tentar testar diretamente algumas dessas técnicas umas contra as outras e comparar seus níveis de sucesso.
• Métodos para agregar juízos de especialistas, incluindo o modelo clássico de Roger Cooke para julgamento estruturado de especialistas, que pontua julgamentos diferentes de acordo com sua exatidão e “informatividade” e então usa essas pontuações para combiná-los²⁰, assim como o método Delphi, usado para construir consenso em grupos, usando diversas iterações de perguntas para coletar dados de diferentes membros do grupo.

Na prática, isso provavelmente significa tentar obter uma posição em um laboratório de ciência/pesquisa comportamental interessado em trabalhar com esses tipos de perguntas e estudos (o que muito provavelmente exigiria um doutorado em psicologia ou área relacionada da ciência comportamental). Alguns laboratórios e pesquisadores que conhecemos cujos interesses de pesquisa parecem se enquadrar nesta área:

• Professor Philip Tetlock da Universidade de Pensilvânia, que foi pioneiro nas pesquisas para melhora de previsões.
• Professor Robin Hanson, economista na Universidade de George Mason que pesquisa e advoga o uso de mercados de previsões.
• Professor George Wright da Universidade Strathclyde em Glasgow, um psicólogo que conduz pesquisas sobre como aplicar o método Delphi e pensamento por cenários para melhorar juízos.
• Stephen Coulthart da Universidade do Texas conduziu algumas pesquisas buscando identificar a efetividade de diferentes Técnicas Analiticas Estruturadas (TAEs) na análise de inteligência²¹.
• Existem alguns grupos focados em pesquisas mais aplicadas de tomada de decisão, que podem ter dinheiro para realizar grandes experimentos de campo, particularmente em escolas de negócios, incluindo: o Behavioral Insights Group (Grupo de Insights Comportamentais) da Escola Harvard Kennedy; o Operations, Information and Decisions Group (Grupo de Operações, Informações e Decisões) da Escola Wharton, Pensilvânia; o Decision Sciences Group (Grupo de Ciências da Decisão) da Escola de Negócios Duke’s Fuqua; o Centro para Pesquisa de Decisão (Center for Decision Research) da Escola de Negócios da Universidade de Chicago; o Behavioral Science Group (Grupo de Ciências Comportamentais) da Escola de Negócios da Warwick.

Também pode haver algumas organizações não acadêmicas com interesse e capacidade de financiamento em executar testes mais rigorosos das técnicas conhecidas de tomada de decisão:

• A IARPA é provavelmente o maior financiador de pesquisas nessa área no momento, especialmente voltadas a melhoria das decisões de alto nível.
• O Centre for Applied Rationality (CFAR – Centro para a Racionalidade Aplicada) em Berkeley está trabalhando para desenvolver e testar um currículo forte de racionalidade com o objetivo explícito de ajudar a melhorar o juízo em questões de alto risco – embora eles tendem a se concentrar no desenvolvimento de novas técnicas, eles se baseiam naquilo que as pesquisas já demonstraram ser eficaz.
• Consultorias com foco em ciência comportamental como a Behavioral Insights Team (BIT – Time para Insights Comportamentais), também podem ter capacidade de financiamento e interesse em fazer esse tipo de pesquisa. Essas organizações geralmente se concentram em melhorar muitas pequenas decisões, ao invés de melhorar a qualidade de algumas decisões muito importantes, mas também podem fazer algum trabalho nesta última área²² (por exemplo, como mencionado acima, o BIT se concentrou não apenas em pequenos ‘ajustes’, mas também na melhoria da qualidade das decisões políticas de alto nível, promovendo o uso de estudos aleatórios controlados – EACs).

6.2. Fazendo mais pesquisas fundamentais para identificar novas técnicas

Você também pode tentar fazer pesquisas mais fundamentais; desenvolvendo novas técnicas e abordagens para melhorar os juízos e a tomada de decisões e depois então testá-las. Isso é mais premente se você não acha que as técnicas existentes são muito boas.

Um exemplo de uma questão em aberto nessa área é: como podemos avaliar um “bom raciocínio” quando não temos respostas objetivas para uma pergunta? (Isto é, quando não podemos apenas julgar respostas/contribuições com base em se elas levam a previsões ou respostas precisas que já sabemos serem verdadeiras)²³. Dois exemplos de programas de pesquisa atuais relacionados a essa questão são: Crowdsourcing Evidence, Argumentation, Thinking and Evaluation (CREATE – Evidência, Argumentação, Raciocínio e Avaliação via colaboração coletiva) na IARPA e o projeto Making Conversations Smarter, Faster (MCSF – Tornando as conversas mais inteligentes e rápidas), de Philip Tetolock. Você poderia tentar se envolver com uma das equipes trabalhando nesses projetos.

Um exemplo de um projeto financiado pelo referido programa CREATE é o Bayesian Argumentation via Delphi (BARD – Argumentação Bayesiana via Delphi), que é uma colaboração entre as universidades UCL, Birkbeck e Monash. O BARD usa redes bayesianas causais e análises Delphi automatizadas para ajudar grupos de analistas a desenvolver, melhorar e apresentar suas análises. Note-se que há um considerável componente de desenvolvimento de software para este projeto – sugerindo que parte da melhoria da tomada de decisões pode envolver não apenas o desenvolvimento de técnicas psicológicas, mas também o desenvolvimento de software e ferramentas que podem auxiliar na tomada de decisões.

Você também pode trabalhar em um projeto semelhante de maneira independente, se for um pesquisador que consiga financiamento para isso, ou, se estiver pensando em fazer um doutorado, tentar trabalhar com acadêmicos em áreas afins. Os pesquisadores da Monash, UCL e Birkbeck mencionados acima são alguns de que temos notícia, mas provavelmente há muitos outros.

Os acadêmicos e as instituições listadas na seção 1 (ao testar as técnicas existentes) também podem ser lugares promissores para trabalhar se você estiver interessado em desenvolver novas técnicas de tomada de decisão.

Isso é algo em que o CFAR também está trabalhando, ainda que com um foco um pouco mais prático e menos acadêmico – desenvolvendo técnicas baseadas em uma compreensão da racionalidade humana e testando-as em pequenos grupos para obter feedback, antes de ampliá-las ainda mais. Uma vantagem dessa abordagem é que ela está muito mais focada em realmente descobrir o que funciona, falando em termos práticos – livre das pressões da academia de publicar em determinados periódicos ou fazer contribuições teóricas. Uma desvantagem é que pode ser difícil obter uma séria aceitação de suas técnicas (especialmente em grandes organizações), sem a credibilidade das publicações acadêmicas.

6.3. Promovendo a adoção das melhores e comprovadas técnicas em áreas de alto impacto

Alternativamente, você poderia se concentrar na implementação das técnicas que atualmente consideramos serem as mais eficazes em melhorar a tomada de decisões coletivas (como a pesquisa em previsões de Tetlock, mercados de previsão ou treinamento de calibração)²⁴. Se você acha que um problema específico é particularmente importante, pode preferir se concentrar na implementação de técnicas (em vez de desenvolver novas), dado que é mais fácil direcionar esse trabalho para áreas específicas.

Como mencionado acima, uma grande parte do “fomento à adoção” dessas técnicas poderá exigir, em primeiro lugar, uma melhor compreensão das restrições e incentivos práticos dos diferentes grupos que trabalham em problemas importantes, a fim de compreender as mudanças que provavelmente seriam viáveis. Por esse motivo, trabalhar em qualquer uma das organizações ou grupos listados abaixo, com o objetivo de entender melhor as barreiras que eles enfrentam, pode ser valioso, mesmo que você não espere estar em condições de alterar as práticas de tomada de decisão imediatamente.

Esses esforços podem ser particularmente impactantes se concentrados em organizações que controlam um grande número de recursos ou em organizações que trabalham em problemas importantes. Aqui estão alguns exemplos de lugares que podem ser bons para se trabalhar se você deseja fazer isso:

• Qualquer grande governo, talvez especialmente nas seguintes áreas: (1) inteligência/segurança nacional e política externa, (2) partes do governo trabalhando em políticas de tecnologia (o Escritório do Governo para a Ciência no Reino Unido, por exemplo, ou o Escritório de Política de Ciência e Tecnologia nos EUA), (3) política de desenvolvimento (DFID no Reino Unido, USAID nos EUA), ou (4) defesa (o Departamento de Defesa nos EUA, o Ministério da Defesa no Reino Unido). Muitas partes do governo também estão contratando para funções especializadas em “ciência comportamental”²⁵, o que pode ser uma boa opção se você estiver qualificado para elas (o que geralmente significa um mestrado/doutorado em psicologia ou uma disciplina relacionada, e idealmente alguma experiência com políticas públicas).

Nota do tradutor: os equivalentes brasileiros aos órgãos governamentais acima listados mais provavelmente seriam: (1) ABIN e Itamaraty / (2) Ministério da Ciência e Tecnologia / (3) Ministério do Desenvolvimento Social e Itamaraty / (4) Ministério da Defesa. Cabe observar, contudo, que eles não necessariamente teriam impacto equivalente as suas contrapartes britânicas e americanas, dado a relevância geopolítica comparativa dos países envolvidos na comparação.

• Organizações que direcionam grandes quantias de dinheiro para resolver problemas mundiais importantes – como fundações ou agências de financiamento. Por exemplo, a Fundação Gates ou o Open Philanthropy Project (Projeto de Filantropia Aberta). Veja também nosso perfil detalhada sobre como trabalhar como decisor de doações para fundações.
• Centros de estudo (think tanks) e instituições acadêmicas focadas nas questões sobre o futuro a longo prazo da humanidade, o que requer juízos especulativos sobre cenários de longo prazo, tal como feito pela Future of Humanity Institute (Instituto do Futuro da Humanidade) em Oxford e o Centre for the Study of Existential Risk (Centro de estudos para riscos existenciais) em Cambridge.

Você também pode tentar testar e implementar técnicas de tomada de decisão aprimoradas em várias organizações sendo consultor. Algumas organizações específicas em que você pode fazer isso, ou ao menos acumular experiência relevante, incluem:

• Trabalhar em uma consultoria especializada em “ciência comportamental”, como a Behavioural Insights Team ou a Ideas42. Alguns acadêmicos de sucesso nessa área também criaram consultorias menores – como a Hubbard Decision Research (Pesquisa em Decisões Hubbard – que trabalha extensivamente em treinamento de calibração).²⁶
• Good Judgement (Bons Juízos) é uma organização baseada no bem-sucedido projeto de pesquisa da Tetlock sobre previsões e que agora realiza treinamentos para indivíduos e organizações que aplicam essas descobertas.
• HyperMind, uma organização focada na adoção mais ampla de mercados de previsão.
• Indo para uma consultoria mais ampla, com o objetivo de tentar se especializar em ciência comportamental ou tomada de decisões – veja nosso perfil em consultoria de gestão para mais detalhes.

Finalmente, você também pode tentar advogar pela adoção de melhores práticas entre as diversas áreas do governo e das organizações, ou para melhorar a tomada de decisões de maneira mais geral – se você acha que pode obter uma boa plataforma para fazê-lo – trabalhando como jornalista, palestrante ou talvez como um acadêmico que trabalha nesta área.

Julia Galef, uma das co-fundadoras do Centre for Applied Rationality (Centro para a Racionalidade Aplicada), é um bom exemplo de alguém que seguiu esse tipo de caminho. Julia trabalhou como jornalista freelancer antes de fundar o CFAR, co-organizou o podcast Rationally Speaking (Falando Racionalmente – que ela administra até hoje) e criou um canal no YouTube com dezenas de milhares de seguidores. Ela está agora escrevendo um livro sobre como melhorar nossos próprios juízos, enquanto executa o Update Project, que se concentra em ajudar os tomadores de decisão a melhorar seus modelos de mundo e a resolver desacordos de maneira mais produtiva. De maneira geral, ela objetiva construir uma comunidade intelectual de pessoas influentes nos mais diversos campos, que estão genuinamente tentando buscar a verdade e resolver divergências de maneira produtiva. Você pode aprender mais sobre a carreira de Julia conferindo nossa entrevista com ela aqui.

6.4. Direcionar mais financiamento para a pesquisa nesta área

Um desafio para todas as áreas acima é que pode ser difícil obter financiamento para esses tipos de trabalho e pesquisa. Outra abordagem nessa área, portanto, pode ser dar um passo atrás na cadeia e tentar direcionar mais fundos para o trabalho em todas as áreas acima mencionadas: desenvolvimento, teste e implementação das melhores estratégias de tomada de decisão.

O principal lugar que conhecemos que parece particularmente interessado em direcionar mais fundos para melhorar a pesquisa de tomada de decisão é a IARPA nos EUA²⁷. Tornar-se um administrador de programas na IARPA, se você tiver aptidões e ideias sobre áreas de pesquisa que poderiam ser mais produtivas com mais financiamento, constituiria uma oportunidade muito promissora. Há também alguma chance de o Open Philanthropy Project poder investir mais tempo/recursos na exploração dessa área (eles já financiaram parte do trabalho de Philip Tetlock sobre previsões). De outro modo, você poderia tentar trabalhar em qualquer outra grande fundação com interesse em financiar pesquisas científicas onde poderá haver espaço para direcionar fundos para essa área.

Se você já trabalha em qualquer uma das organizações listadas acima, você poderia tentar advogar que mais recursos sejam direcionados para o teste e implementação de práticas melhoradas na tomada de decisão, mesmo que você não esteja em uma posição capaz de realizar o trabalho por si próprio.

Se você não tem o histórico relevante para pesquisar ou implementar as melhores práticas, mas acha que isso é importante e está em uma posição influente em uma organização importante (ou acredita que poderá trabalhar até chegar nessa posição), então você pode ser capaz de alocar mais fundos para melhorar as práticas de tomada de decisão onde você trabalha (por exemplo, financiando testes, contratando alguém que seria capaz de fazer este trabalho). Se estiver em uma posição capaz de fazer isso, você poderia ser ainda mais impactante do que trabalhar em algum lugar como o IARPA, onde já parece haver muita motivação para direcionar o financiamento para esses tipos de problemas.

No momento, não acreditamos que haja muitas oportunidades excelentes de doação direta nessa área e, portanto, provavelmente, não seria a melhor maneira de causar impacto, pelo menos não para doadores relativamente menores. No entanto, se você for um doador maior, considere financiar acadêmicos a fazer o tipo de pesquisa descrito nos pontos 1 e 2, ou até mesmo tentar criar uma organização para conduzir e/ou financiar mais esse tipo de pesquisa.

7.Próximos passos

7.1.Aprenda mais

• Ouça nosso podcast sobre previsões, com Philip Tetolock, sobre previsão de catástrofes, por qual motivo manter segredo sobre sua política e quando que os experts são mais do que você.
• Se você está interessado em conduzir pesquisa nessa área, nosso perfil de carreiras sobre pesquisa acadêmica de grande valor dá mais detalhes sobre o caminho geral a ser tomado.
• Se você estiver particularmente interessado em melhorar a capacidade de previsão, você poderia se juntar a Hybrid Forecasting Competition (Competição de Previsões Hibridas) (parte do programa de pesquisa do HFC, financiado pela IARPA) para participar e aprender mais – o programa tem por objetivo combinar juízos humanos e estatísticos para tornar a capacidade de previsões o mais precisas possíveis.
• Se você acredita estar melhor posicionado para conseguir fazer com que as técnicas sejam implementadas, ou direcionar fundos, confira nossos perfis sobre o serviço público orientando a elaboração de políticas públicas, ou o trabalho como decisor de doações para fundações.
• Para saber mais sobre a pesquisa existente nessa área, considere ler (1) o livro de Philip Telock – Superprevisões (Superforecasting), (2) o trabalho de Robin Hanson na promoção de mercado de previsão, (3) Algumas das pesquisas surgindo dos financiamentos relevantes feitos pela IARPA, em particular: ACE, HFC, FUSE, e SHARP.

7.2. Como agir

• Considere obter um doutorado em ciência comportamental/de estudos de decisão em um dos grupos mencionados acima. Veja se você pode encontrar um supervisor e/ou financiamento que permita executar grandes testes de técnicas existentes ou pesquise novas estratégias para melhorar a tomada de decisões.
• Se você já possui experiência relevante (por exemplo, doutorado ou experiência em políticas públicas), tente trabalhar no governo (ou em uma organização de influência comparável) onde você poderá trabalhar diretamente na implementação das práticas recomendadas ou direcionar recursos para outras pessoas que podem fazer este trabalho.

8.Leia também, em português

Recompensar o fornecimento privado de bens públicos

9.Notas e Referências

1. “A comunidade de inteligência afirmou que era altamente provável que existissem programas de armas de destruição em massa no Iraque – declarações interpretadas como 100% de certeza por formuladores de políticas como o presidente Bush”. Chang et al (2016). Desenvolvendo o julgamento político especializado: O impacto do treinamento e da prática na precisão do julgamento em torneios de previsão geopolítica. Julgamento e Tomada de Decisão, 11, 5.

2. Moore, D., Oesch, J., Zietsma, C. (2007). Que competição? Autofoco míope nas decisões de entrada no mercado. Ciência da Organização. 18, 3, págs. 440-454

3. Moore, DA, Tenney, ER, & Haran, U. (2015). Excesso de precisão no julgamento. O manual de julgamento e tomada de decisão Wiley Blackwell, 182-209. “Revisamos algumas das evidências sobre a precisão excessiva nas crenças. Essa evidência vem do laboratório e do campo, de profissionais e novatos, com consequências que vão do trivial ao trágico. A evidência revela que os julgamentos dos indivíduos são excessivamente precisos – eles têm certeza de que sabem a verdade.”

4. “O que realmente aconteceu foi típico, eu acho, em grandes organizações burocráticas e em qualquer grande organização onde você está tentando ser um herói ao fazer seu trabalho. E a NASA teve dois ataques desde o início, e um deles é que eles foram muito bem-sucedidos. Eles sobreviveram por um quarto de século e nunca perderam uma única pessoa indo para o espaço, o que era considerado uma coisa muito perigosa de se fazer. E eles resgataram a Apollo 13 a meio caminho da lua quando parte do veículo explodiu. Parecia uma tarefa impossível, mas eles conseguiram. […] dá-lhe um pouco de arrogância que você não deveria ter. E uma enorme quantidade de dinheiro [estava] envolvida. Mas eles ainda não tinham tropeçado e apenas seguiram em frente. Então você realmente tinha que citar “provar que iria falhar” e ninguém poderia fazer isso.”Shuttle Challenger: O excesso de confiança impede a tomada de decisões?

5. “Na previsão política, Tetlock (2005) pediu aos profissionais que estimassem as probabilidades de eventos até 5 anos no futuro – do ponto de vista de 1988. Haveria um fim não violento do apartheid na África do Sul? Gorbachev seria deposto em um golpe? Os Estados Unidos entrariam em guerra no Golfo Pérsico? Os especialistas eram frequentemente pressionados a superar modelos atuariais simples ou mesmo linhas de base aleatórias (ver também Green e Armstrong, 2007).” Melers et. al. (2015). A Psicologia da Análise de Inteligência: Drivers de Precisão na Política Mundial. O Jornal de Psicologia Experimental: Aplicado. 21, 1, pp. 1-14.

6. Em particular, o desenvolvimento de armas nucleares significa que agora temos a capacidade de matar milhões ou talvez bilhões com uma decisão.

7. O livro de Tetlock, Superforecasting, descreve as lições aprendidas com o Good Judgment Project, onde diferentes equipes de pessoas fizeram previsões sobre eventos do mundo real e testes de controle randomizados foram usados ​​para identificar alguns dos métodos de previsão mais eficazes. Os 2% mais precisos dos preditores foram apelidados de “superprevisores”. Quando os superprevisores foram agrupados em equipes, foi alegado que suas previsões eram mais precisas do que as feitas por analistas de inteligência profissional com acesso a informações classificadas.

8. Arrow, KJ, et al (2008). A Promessa dos Mercados de Previsão. Revista Ciência.

9. O Good Judgment Project e muitas outras pesquisas de Tetlock sobre previsão foram financiadas pela Intelligence Advanced Research Projects Activity (IARPA) como parte do programa Aggregative Contingent Estimation (ACE).

10. Hubbard, D., Seiersen, R. e Geer, D. (2016). Como medir qualquer coisa no risco de segurança cibernética.

11. Uma cartilha de Tradecraft: Técnicas analíticas estruturadas para melhorar a análise de inteligência. Preparado pelo governo dos EUA.

12. Helmer-Hirschberg, O. Análise do Futuro: O Método Delphi. Santa Monica, CA: RAND Corporation, 1967.

13. Embora as consultorias de gestão normalmente tenham muita experiência com ‘estratégia de negócios’ – melhorando a estratégia, estrutura, gerenciamento e operações de uma organização – elas normalmente não são especialistas nos erros e vieses do julgamento humano, ou em encontrar maneiras de superar eles. Veja O que faz um consultor de gestão, exatamente? em The Guardian (2013).

14. Esta pesquisa tende a se concentrar no desenvolvimento de relatos descritivos mais precisos da tomada de decisão humana, enquanto relatos prescritivos focados em como o julgamento pode ser melhorado são relativamente raros na pesquisa em ciências sociais (embora isso esteja mudando gradualmente). “Se queremos influenciar empresas e governos, devemos ter conselhos úteis para compartilhar. No entanto, a maioria dos pesquisadores de outras ciências sociais oferece apenas pesquisa descritiva… Como estudante de pós-graduação no final dos anos 1970, fui treinado para ser descritivo, a prescrição era para consultores, não para pesquisadores sérios. Bazerman, M. (2005). Conduzindo Pesquisas Influentes: A Necessidade de Implicações Prescritivas. The Academy of Management Review, 30, 1, pp. 25-31

15. “Exercícios de cenário são promovidos nos mundos político e empresarial como corretivos do dogmatismo e do excesso de confiança. E neste ponto do livro, a necessidade de tais corretivos não deve ser questionada. Mas os experimentos de cenário mostram que os exercícios de cenário não são uma panacéia. De fato, os experimentos nos dão motivos para temer que tais exercícios muitas vezes não consigam abrir as mentes dos ouriços inclinados a ser de mente fechada, mas consigam confundir as raposas já inclinadas a ser de mente aberta – confundindo raposas tanto que sua mente aberta começa a parecer credulidade.” Tetlock, PE (2017). Julgamento político especializado: quão bom é? Como podemos saber? Imprensa da Universidade de Princeton. Capítulo 7.

16. Fonte: OCDE

17. Fonte: GiveWell

18. Consulte Os mercados de previsão são uma forma ilegal de jogo?

19. O maior programa existente testando a eficácia de diferentes SATs é o programa CREATE, financiado pela IARPA.

20. Fonte

21. Fonte

22. Essas organizações atualmente se concentram principalmente no uso da ciência comportamental para ‘incentivar’ as pessoas ou informar intervenções de políticas públicas – em vez de realmente informar a maneira como as decisões são tomadas nas políticas públicas – mas pode haver um interesse crescente no último.

23. Muitos dos tipos mais importantes de decisões que os formuladores de políticas precisam tomar não são perguntas com respostas claras e objetivas, e atualmente não temos maneiras muito boas de julgar a qualidade do raciocínio nesses casos. Soluções eficazes para isso parecem ter um impacto muito alto, mas atualmente não sabemos se isso é possível ou como elas seriam.

24. Observe que há alguma sobreposição aqui com o ponto 1 acima (testando mais rigorosamente as técnicas existentes), pois parte do que é necessário para promover a adoção será fornecer às pessoas evidências de que elas funcionam! Portanto, trabalhar em uma organização mais ‘aplicada’ com interesse em avaliações rigorosas pode fornecer uma oportunidade de trabalhar tanto para obter melhores evidências para as técnicas existentes quanto para implementá-las.

25. Além da Equipe de Insights Comportamentais, que trabalha em departamentos governamentais (no Reino Unido e nos EUA), existem equipes de ciências comportamentais em muitos departamentos governamentais do Reino Unido (incluindo o Departamento de Educação, o Departamento de Transporte e as agências de inteligência) e na Casa Branca.

26. Vale a pena notar, porém, que muitas dessas consultorias trabalham principalmente com clientes corporativos e, portanto, essa pode não ser a melhor oportunidade de impacto imediato – mas pode ser uma boa maneira de testar estratégias aprimoradas de tomada de decisão em diferentes ambientes, desde que poderíamos aprender sobre como aplicar essas técnicas em áreas mais importantes.

27. A IARPA foi a principal financiadora por trás de grande parte da pesquisa sobre previsão, por exemplo, e tem vários projetos anteriores e abertos focados nessa área, incluindo ACE, FUSE, SHARP e OSI.

Traduzido de: https://80000hours.org/problem-profiles/improving-institutional-decision-making/