Índice
Inteligência Geral Artificial
Amplificar redes neurais leva previsivelmente a capacidades mais potentes e gerais, e não estamos longe de ser capazes de treinar redes com tamanhos comparáveis aos dos cérebros humanos.
A inteligência geral artigificial (IGA) é o conceito-chave por trás deste curso; logo, é importante começar explorando o que queremos dizer com a IGA e examinar as razões para pensar que a área do aprendizado de máquina está indo em direção a ela.
Primeiro, examinaremos o estado atual do aprendizado de máquina e então consideraremos o que é a IGA. Esses dois temas ajudarão você a formar as suas opiniões sobre se o aprendizado de máquina moderno está indo em direção ao desenvolvimento da IGA.
Segundo, consideraremos como essas capacidades podem se desenvolver com o tempo. Cobriremos um relatório que mede quanto tempo levará para conseguir o poder computacional necessário para treinar uma inteligência equivalente à humana e argumentos de que amplificar as técnicas atuais leva a capacidades mais elevadas e potencialmente mais gerais.
Finalmente, examinaremos textos que especulam sobre os potenciais saltos qualitativos nas capacidades de aprendizado de máquina ainda por vir.
Ao fim desta sessão, você deve poder:
- Definir o que são “modelos fundamentais” e entender como eles são treinados.
- Descrever o atual estado da arte no aprendizado de máquina e resumir a taxa de progresso.
- Propor os requisitos de capacidade para que um sistema de IA seja definido como IGA.
- Contrastar o aprendizado de máquina moderno com o seu plano de IGA e avaliar se/quando a IGA pode ser desenvolvida.
Recursos (cerca de 1 h 50 min)
Visualizando a revolução do aprendizado profundo de Richard Ngo (2023) [Blog]
Tempo estimado: 15 min
Comece esta semana ganhando uma noção do atual estado da arte no aprendizado de máquina. Esta leitura comunica claramente as capacidades atuais dos sistemas de Aprendizado de Máquina. Também deve ajudar a lhe dar uma perspectiva da taxa de progresso no aprendizado de máquina durante a última década.
Você também pode se interessar por este site interativo.
Sobre as oportunidades e riscos dos modelos fundamentais de Bommasani (2022) [Artigo]
Tempo estimado: 10 min
Ao ler, foque principalmente em entender o que as figuras 1 & 2 estão comunicando.
Bommasani et al. fornecem uma síntese de alto nível sobre modelos fundamentais, como eles são treinados e como se encaixam no campo mais amplo do aprendizado de máquina.
Use este artigo para entender:
- O que são “modelos fundamentais” e por que o termo pode ser uma desambiguação útil.
- (Em termos amplos) como modelos fundamentais são treinados.
Você também pode usar este recurso para desenvolver o seu entendimento sobre como modelos fundamentais podem moldar a pesquisa, o desenvolvimento e a implementação de sistemas futuros de aprendizado de máquina.
Quatro alegações de base de Nate Soares (2015) [Blog]
Tempo estimado: 15 min
Esta leitura introduz alegações de alto nível sobre o que é a IGA, se a IGA é possível e algumas das razões pelas quais tal tecnologia pode ser perigosa. Observe que exploraremos as alegações 3 e 4 com mais detalhe nas próximas duas semanas.
Este artigo foi escrito antes de os modelos transformers de última geração terem sido inventados. Você pode contrastar o que sabemos sobre o aprendizado de máquina moderno e o seu potencial de atingir a generalidade com as alegações feitas neste artigo.
Segurança da IGA a partir dos primeiros princípios de Richard Ngo (2020) [Artigo]
Tempo estimado: 15 min
Ngo descreve a diferença entre sistemas de IA restritos e gerais e por que podemos esperar que sistemas de IA gerais sejam desenvolvidos. Esta leitura ajuda a introduzir o que queremos dizer com “IGA” e algumas alegações sobre por que ela pode ser uma possibilidade técnica.
O porquê e o como da amplificação de grandes modelos de linguagem de Nicholas Joseph (2022) [Vídeo]
Tempo estimado: 5 min
“Leis de amplificação” são uma observação de que o desempenho de grandes modelos de linguagem (medido pela perda de teste) se amplifica com a quantidade de poder computacional, parâmetros e dados usados sob uma relação de lei de potência.
Observe que este vídeo está ligeiramente desatualizado, visto que leis de amplificação mais recentes foram liberadas desde que ele foi feito. Em particular, a alegação feita em 3:00 de que a amplificação ótima envolve a amplificação do tamanho do modelo muito mais do que a quantidade de dados agora se mostrou incorreta: de fato, eles devem ser amplificados aproximadamente na mesma taxa.
Você também pode se interessar por ler A Amarga Lição, escrito pelo pioneiro do aprendizado de máquina Richard Sutton, que observa que “métodos gerais que aproveitam a computação acabam sendo mais eficazes”. A leitura dá argumentos fundamentados na história para pensar que a amplificação pode continuar a dar melhores resultados.
Âncoras biológicas: um truque que pode ou não funcionar de Scott Alexander (2022) [Blog]
Tempo estimado: 20 min
Alexander (2022) resume um relatório que tenta calcular a quantidade de poder computacional necessário para treinar uma IA de nível humano, que conclui que é plausível nas décadas vindouras.
Tente entender os vários modelos usados para fazer esta previsão e critique maneiras de que eles são modelos mais ou menos apropriados para treinar sistemas de aprendizado de máquina.
Observe que esta previsão é bem consistente com previsões qualitativas dos principais pesquisadores em aprendizado de máquina.
Os futuros sistemas de aprendizado de máquina serão qualitativamente diferentes de Jacob Steinhardt (2022) [Blog]
Tempo estimado: 10 min
Steinhardt (UC Berkeley) defende que, no aprendizado de máquina, novos comportamentos tendem a emergir de modo imprevisível conforme os modelos se tornam maiores.
Considere como estas observações afetam a confiabilidade das previsões que podemos fazer sobre o comportamento de sistemas de aprendizado de máquina futuros, extrapolando a partir de sistemas de aprendizado de máquina atuais. De que maneiras podemos nos surpreender com o comportamento de sistemas de aprendizado de máquina? Você acha que chegamos a um limite em mudanças de fase que poderíamos observar no comportamento dos sistemas de aprendizado de máquina?
Mais é diferente para a IA de Jacob Steinhardt (2022) [Blog]
Tempo estimado: 5 min
Steinhardt pesa os méritos relativos do trabalho empírico e dos experimentos mentais filosóficos ao pensar sobre como o aprendizado de máquina funciona. Introduzimos isto para contextualizar por que alguns argumentos que examinaremos são mais filosóficos, enquanto outros focam em análises e resultados empíricos.
Explosão de inteligência: evidências e importância de Luke Muehlhauser and Anna Salamon (2012) [Blog]
Tempo estimado: 15 min
Muehlhauser e Salamon descrevem um resultado possível da construção de sistemas mais capazes que nós: que sistemas realizem pesquisas rapidamente para melhorarem a si mesmos. Use isto, em combinação com leituras como Steinhardt, para ajudar a informar as suas previsões sobre a taxa de progresso no aprendizado de máquina nas décadas vindouras.
Tradução: Luan Marques
Link para o original.