Nossas descobertas são baseadas em milhares de horas conversando com especialistas, pensando na escolha de carreira, lendo os melhores conselhos existentes e revisando a literatura científica. Também orientamos milhares de pessoas em suas decisões individuais de carreira.
Nosso objetivo é defender os seguintes princípios para chegar às nossas conclusões.
Leia o original em inglês aqui.
Que evidências consideramos?
Uso de literatura científica
Colocamos um peso relativamente alto no que a literatura científica diz sobre uma questão, quando aplicável. Se houver literatura científica relevante, iniciamos nossa investigação fazendo uma pesquisa bibliográfica. Temos orientadores acadêmicos em economia, filosofia, psicologia e outros assuntos.
Bom senso especializado
Quando encontramos uma pergunta pela primeira vez, nosso objetivo inicial é normalmente descobrir: (i) quem são os especialistas relevantes? (ii) o que eles diriam sobre essa questão? Chamamos o que eles diriam de ‘senso comum especializado’, e achamos que muitas vezes constitui uma boa posição inicial ( mais ). Tentamos não nos desviar do bom senso especializado, a menos que tenhamos uma explicação de por que está errado.
Quantificação
Quais carreiras fazem mais diferença pode não ser intuitiva, pois é difícil entender a escala e o escopo de diferentes problemas, que geralmente diferem em ordens de magnitude. Isso torna importante tentar quantificar e modelar fatores-chave quando possível. O processo de quantificação também costuma ser valioso para aprender mais sobre um problema e tornar seu raciocínio transparente para os outros. No entanto, reconhecemos que, para a maioria das questões com as quais nos preocupamos, os modelos quantificados contêm grandes incertezas (muitas vezes desconhecidas) e, portanto, não devem ser seguidos cegamente. Você pode encontrar uma lista de problemas com análise quantitativa aqui . Sempre pesamos os resultados dos modelos quantificados em relação à sua robustez em comparação com a análise qualitativa e o bom senso.
A experiência das pessoas que treinamos
Já treinamos milhares de pessoas em decisões de carreira e temos uma rede mais ampla de pessoas das quais coletamos informações que estão alinhadas com nossa missão. Colocamos peso em seus pensamentos sobre os prós e contras de diferentes áreas.
Como combinamos evidências?
Nós nos esforçamos para ser Bayesianos
Tentamos esclarecer explicitamente nossa suposição anterior sobre um problema e, em seguida, atualizamos a favor ou contra com base na força de nossas evidências a favor ou contra. Veja um exemplo aqui . Isso é chamado de ‘raciocínio bayesiano’ e, embora nem sempre seja adotado, parece ser considerado a melhor prática para tomada de decisão sob alta incerteza entre aqueles que escrevem sobre um bom processo de tomada de decisão.1
Usamos ‘pensamento de cluster’
Ao invés de depender de uma ou duas considerações fortes, buscamos avaliar a questão sob vários ângulos, ponderando cada perspectiva de acordo com sua robustez e a importância das consequências. Achamos que esse processo fornece respostas mais robustas no contexto de tomada de decisão sob alta incerteza do que alternativas (como fazer um modelo quantificado simples e seguir com a resposta). Este estilo de pensamento tem sido apoiado por vários grupos e tem vários nomes, incluindo ‘pensamento de cluster’ , ‘combinação e ajuste de modelo’ , ‘muitos argumentos fracos’ e ‘estilo de raposa’ .
Buscamos tornar esse processo transparente listando as principais perspectivas que consideramos sobre uma questão. Também fazemos uso regular de avaliações qualitativas estruturadas, como nosso framework .
Evitando preconceitos
Estamos muito cientes do potencial de viés em nosso trabalho, que geralmente depende de julgamentos difíceis, e pesquisamos a literatura sobre vieses nas decisões de carreira . Para evitar viés, nosso objetivo é tornar nossa pesquisa altamente transparente, para que seja mais fácil identificar o viés. Também pretendemos declarar nossa posição inicial, para que os leitores possam ver a direção em que provavelmente somos tendenciosos e escrever sobre por que podemos estar errados.
Buscando feedback
Vemos todo o nosso trabalho como em andamento e procuramos melhorá-lo buscando continuamente feedback.
Buscamos feedback por meio de vários canais:
- Todas as pesquisas são avaliadas dentro da equipe.
- Para grandes pesquisas, enviaremos a pesquisadores externos e pessoas com experiência na área para comentários.
- Nosso objetivo é publicar todas as nossas pesquisas substanciais publicamente em nosso blog.
No futuro, pretendemos realizar avaliações de pesquisas internas e externas.
Nosso objetivo é tornar nossas pesquisas substanciais fáceis de criticar por:
- Explicando claramente nosso raciocínio e evidências. Se você vir uma reivindicação que não é respaldada por um link ou citação, pode presumir que não há justificativa adicional.
- Sinalizando chamadas de julgamento.
- Dando uma visão geral do nosso processo de pesquisa.
- Afirmando nossas principais incertezas.
Nota
1. Por exemplo, Nate Silver escreve no Capítulo 8 de The Signal in the Noise :
Podemos estar passando por uma mudança de paradigma nos métodos estatísticos que os cientistas estão usando. A crítica que fiz aqui sobre as falhas da abordagem estatística de Fisher não é nova nem radical: estudiosos proeminentes em campos que vão da psicologia clínica à ciência política e à ecologia têm apresentado argumentos semelhantes há anos. Mas até agora houve pouca mudança fundamental. Recentemente, no entanto, alguns estatísticos respeitados começaram a argumentar que a estatística frequentista não deveria mais ser ensinada aos alunos de graduação. E algumas profissões estão considerando banir o teste de hipóteses de Fisher de seus diários. Na verdade, se você ler o que foi escrito nos últimos dez anos, é difícil encontrar algo que não defenda uma abordagem bayesiana.
Ele cita: Jacob Cohen, “The Earth is Round (p>0,05), American Psychologist, 49, 12, (dezembro de 1994); Jeff Fill, “A Insignificância do Teste de Significância da Hipótese Nula”, Political Research Quarterly, 52, 3, (setembro de 1999); Anderson, Burnham & Thompson, “Teste de hipótese nula: Problemas, prevalência e uma alternativa”, Journal of Wildlife Management, 64, 4, (2000); William Briggs, “É hora de parar de ensinar o frequenciamento para não-estatísticos”, arXiv.org, (13 de janeiro de 2012); David Krantz, “The Null Hypothesis Testing Controversy in Psychology”, Journal of the American Statistical Association, 44, nº 488 (dezembro de 1999).