De Jeffrey Wu, Ryan Lowe e Jan Leike
| Amplificando a supervisão humana de sistemas de IA para tarefas que são difíceis de avaliar. |
Para implementar com segurança uma inteligência artificial poderosa e de propósito geral no futuro, precisamos garantir que os modelos de aprendizado de máquina atuem de acordo com as intenções humanas. Esse desafio ficou conhecido como problema do alinhamento .
Uma solução amplificável para o problema do alinhamento precisa funcionar em tarefas nas quais é difícil ou demorado os resultados do modelo serem avaliados por humanos. Para testar técnicas de alinhamento amplificáveis, treinamos um modelo para resumir livros inteiros, conforme mostrado nos exemplos a seguir.1 Nosso modelo funciona primeiro resumindo pequenas seções de um livro, depois resumindo esses resumos em um resumo de nível superior e assim por diante.
| [NT: Aqui são apresentados os textos originais inteiros dos livros Aventuras de Alice no País das Maravilhas de Lewis Carroll (26.449 palavras), Orgulho e Preconceito de Jane Austen (121.567 palavras), Romeu e Julieta de William Shakespeare (25.433 palavras), Doze Anos de Escravidão de Solomon Northup (82.038 palavras) e A História da Minha Vida de Helen Keller (134.871 palavras), com fonte no Projeto Guttenberg. Cada texto original é então dividido pelo modelo em seções e cada seção é resumida; isso resulta respectivamente em 66 resumos/6.024 palavras totais, 276 resumos/24.796 palavras, 72 resumos/5.809 palavras, 200 resumos/17.997 palavras, 290 resumos/27.659 palavras. Os resumos dessas seções são resumidos novamente em resumos de ordem superior; isso resulta respectivamente em 6 resumos/830 palavras totais, 4 resumos/475 palavras, 7 resumos/692 palavras, 3 resumos/439 palavras, 4 resumos/579 palavras. Então, é feito um resumo completo; isso resulta respectivamente em 136 palavras, 175 palavras, 119 palavras, 192 palavras, 160 palavras. Abaixo estão as traduções dos resumos das últimas seções e do resumo completo.] |
| Aventuras de Alice no País das Maravilhas de Lewis Carroll Alice cai em um poço profundo e pousa em um monte de gravetos e folhas. Ela segue o Coelho Branco por um longo corredor, mas o perde de vista. Ela encontra uma garrafa que diz “Bebe-me” e bebe, encolhendo para 25 cm de altura. Ela cresce para 3 metros de altura e depois encolhe novamente. Ela chora e cresce novamente. Um rato aparece e Alice lhe pede ajuda. O rato concorda em contar sua história para Alice se ela o levar até a margem. Chegando lá, os animais discutem como se secar novamente. O Dodô sugere uma corrida de comitê para se secarem. Todos se aglomeram ao redor de Alice pedindo prêmios. Alice tira uma caixa de confeitos e os distribui como prêmios. O Rato então pergunta a Alice se ela tem um prêmio para si mesma, e ela diz que só tem um dedal. O Dodô pega o dedal e o entrega para Alice, dizendo que todos imploram por sua aceitação. Alice cresce depois de beber uma garrafa que encontra em uma mesa. Ela para de crescer antes de ficar muito grande. Em seguida, ela começa a sentir falta de estar em casa e deseja não ter descido à toca do coelho. Ela ouve o Coelho chamando por ela e percebe que agora está muito maior do que o Coelho, então não tem mais medo dele. Alice decide que sua primeira prioridade é voltar ao seu tamanho normal, e sua segunda prioridade é encontrar o caminho para o jardim. No entanto, ela não sabe como fazer nenhuma dessas coisas. Ela vê uma Lagarta fumando um narguilé em um cogumelo e pergunta a ele como pode voltar ao seu tamanho normal. A Lagarta lhe diz que um lado do cogumelo a fará ficar mais alta, e o outro lado a fará ficar mais baixa. Ela começa a comer o cogumelo. Alice volta ao seu tamanho normal depois de comer o cogumelo. Ela se pergunta como entrar no jardim e encontra uma casinha. Ela vê dois criados, um dos quais recebe uma carta do outro. A Duquesa sai para jogar croquet com a Rainha, e Alice fica encarregada de cuidar do bebê. O bebê se transforma em um porco e foge para a floresta. Alice se aproxima da Lebre de Março e do Chapeleiro tomando chá debaixo de uma árvore. O Chapeleiro pergunta a Alice se ela consegue adivinhar um enigma, e o Rato Dorminhoco comenta. O Chapeleiro diz que, se Alice conseguisse fazer amizade com o Tempo, ele faria quase qualquer coisa que ela quisesse com o relógio. Alice participa de uma festa com o Chapeleiro Maluco e a Lebre de Março. O Rato Dorminhoco conta uma história confusa sobre três irmãs que vivem no fundo de um poço e comem melado. Alice fica entediada e sai da festa. Ela se encontra em um lindo jardim onde Cinco e Sete estão pintando as rosas de vermelho. De repente, a Rainha e seu séquito chegam. A Rainha ordena a execução dos jardineiros por terem cometido um erro com as rosas. Alice os salva colocando-os em um vaso de flores. A Rainha pede a Alice para jogar croquet, mas o jogo rapidamente se torna caótico. A Duquesa explica que a moral do jogo é que “é o amor que faz o mundo girar”. A Rainha ordena que a Duquesa escolha entre a morte ou que sua cabeça seja cortada. A Duquesa escolhe a morte e desaparece. O Rei perdoa a todos. O Grifo conta a Alice que ninguém é realmente executado e a leva para A Falsa Tartaruga conta a Alice sobre as lições que costumavam ter no mar, e como costumavam jogar lagostas no mar e nadar atrás delas. O Rei e a Rainha de Copas estão sentados em seu trono, com uma multidão de várias aves e animais reunidos ao redor deles. O Coelho Branco lê a acusação escrita em um pergaminho. O Chapeleiro é o primeiro a testemunhar. Ele começa a tremer enquanto explica que não consegue se lembrar do que aconteceu depois que começou a beber chá. O Rei lhe diz para sair se não tiver mais evidências. O próximo testemunho é da cozinheira da Duquesa, que se recusa a fornecer evidências. O Coelho Branco lê o nome de Alice como a próxima testemunha, e ela começa a sentir curiosidade para ver como seria a próxima testemunha. O Rei diz que o julgamento não pode prosseguir até que todos os jurados estejam de volta em seus lugares adequados. A Regra 42 diz que qualquer um com mais de um quilômetro e meio de altura deve sair do tribunal, mas Alice nega ser tão alta. O Coelho Branco lê um conjunto de versos escritos pelo prisioneiro, que o Rei acredita ser a evidência mais importante ouvida até agora. O Rei pergunta à Rainha se ela já teve ataques, e ela diz que não. A Rainha fica brava e diz a todos para sentenciarem Alice à morte. Alice acorda e encontra sua irmã sentada ao seu lado. Sua irmã pensa nas aventuras de Alice e começa a sonhar com as estranhas criaturas do País das Maravilhas. Resumo completo Alice cai em uma toca de coelho e cresce para um tamanho gigante depois de beber de uma garrafa misteriosa. Ela decide se concentrar em voltar ao seu tamanho normal e encontrar o caminho para o jardim. Ela encontra a Lagarta, que lhe diz que um lado de um cogumelo a fará ficar mais alta, e o outro lado, mais baixa. Ela come o cogumelo e volta ao seu tamanho normal. Alice participa de uma festa com o Chapeleiro Maluco e a Lebre de Março. A Rainha chega e ordena a execução dos jardineiros por terem cometido um erro com as rosas. Alice os salva colocando-os em um vaso de flores. O Rei e a Rainha de Copas presidem um julgamento. A Rainha fica brava e ordena que Alice seja condenada à morte. Alice acorda e encontra sua irmã ao seu lado. |
| Orgulho e Preconceito de Jane Austen O Sr. Bingley, homem rico, aluga o Parque Netherfield e é bem querido por todos. Jane sente-se atraída por ele, e Elizabeth pensa que ele pode sentir o mesmo por ela. Darcy começa a perceber a inteligência de Elizabeth e começa a prestar atenção nela. O Sr. Collins, clérigo, chega para cortejar uma das meninas Bennet. Ele decide escolher Elizabeth, mas, após uma conversa com a Sra. Bennet, ele muda de ideia para Jane. De repente, Darcy pede a mão de Elizabeth em casamento, e ela aceita sem pensar. Darcy e Elizabeth conversam, e ele diz que espera ver Bingley e Elizabeth juntos com frequência. A Sra. Bennet está convencida de que Jane será aquela que se casará com Bingley. O Sr. Collins propõe casamento a Elizabeth, mas ela o rejeita, dizendo que não é a mulher certa para ele. Charlotte e Collins ficam noivos, e toda a família está feliz com o casamento. No entanto, Elizabeth sente que o casamento é inadequado. Lady Catherine convida o grupo para jantar em Rosings, que fica impressionado com a grandiosidade da casa. Darcy declara seu amor por Elizabeth inesperadamente, e ela explica que tem muitos motivos para não gostar dele. Ele explica que havia apoiado financeiramente o Sr. Wickham ao longo de sua vida e que sua irmã, Georgiana, havia sido persuadida a fugir com o Sr. Wickham por Mrs. Younge. Elizabeth lê a carta de Darcy e percebe que o havia julgado errado. Ela sente compaixão pelos seus sentimentos. O regimento será removido em quinze dias, e Elizabeth espera que isso ponha um fim aos seus problemas com Wickham. Elizabeth fica impressionada com o tamanho e a beleza de Pemberley. Ela encontra Darcy inesperadamente, e ambos coram profundamente. O Sr. e a Sra. Gardiner expressam sua admiração por Darcy, dizendo que ele é muito diferente do que esperavam. Elizabeth recebe uma carta de Jane informando que Lydia fugiu com Wickham. O Sr. e a Sra. Gardiner prometem ajudar a encontrar Lydia e impedir seu casamento com Wickham. O Sr. Bennet acaba retornando, aparentando estar de bom humor. Ele admite que foi culpa dele que Lydia fugiu. O Sr. Gardiner informa ao Sr. Bennet que encontrou Lydia e Wickham e que as circunstâncias de Wickham não são tão desesperadoras quanto se acreditava. Darcy quita as dívidas de Wickham e fornece a Lydia um acordo generoso. Lady Catherine chega inesperadamente a Longbourn e declara que as ações de Elizabeth trarão desgraça à sua família, e que a ela não será permitido casar-se com Darcy. Elizabeth resolve desistir de Darcy se Lady Catherine conseguir convencê-lo a romper o noivado com ela. Elizabeth abre seu coração para Jane sobre seu noivado com Darcy, e Jane fica feliz. A família Longbourn ouve que os Collins foram para Lucas Lodge, pois Lady Catherine ficou furiosa ao ler a carta de Darcy. Elizabeth convence Darcy a reconciliar-se com sua tia. Resumo completo O Sr. Bingley aluga o Parque Netherfield e é bem quisto por todos. Jane sente-se atraída por ele, e Elizabeth acredita que ele pode sentir o mesmo por ela. Darcy começa a notar a inteligência de Elizabeth e acaba pedindo-a em casamento. O Sr. Collins escolhe cortejar Elizabeth, mas ela o rejeita, dizendo que não é a mulher certa para ele. Charlotte e Collins ficam noivos, e toda a família está feliz com o casamento. Darcy declara inesperadamente seu amor por Elizabeth, e ela percebe que o havia julgado errado. O Sr. e a Sra. Gardiner expressam sua admiração por Darcy, dizendo que ele é muito diferente do que esperavam. Lady Catherine chega inesperadamente a Longbourn e declara que as ações de Elizabeth trarão desgraça à sua família. Elizabeth resolve desistir de Darcy se Lady Catherine o convencer a romper o noivado com ela. Elizabeth abre seu coração para Jane sobre seu noivado com Darcy, e Jane fica feliz. A família Longbourn ouve que os Collins foram para Lucas Lodge, e Elizabeth convence Darcy a reconciliar-se com sua tia. |
| Romeu e Julieta de William Shakespeare Uma briga irrompe entre os servos das duas famílias rivais, os Montéquio e os Capuleto. O Príncipe chega e põe fim à briga, ameaçando punir qualquer um que cause mais problemas. Romeu tranca-se em seu quarto, e seu tio, Montéquio, fica intrigado com seu comportamento. Romeu diz que não está mais apaixonado por uma mulher. Capuleto convida muitos convidados para seu banquete naquela noite, incluindo Romeu e seu amor, Rosalina. A Senhora Capuleto diz a Julieta que Páris, homem valente, busca sua mão em casamento. Julieta diz que olhará para ele com bons olhos se sua mãe aprovar. A Senhora Capuleto diz a Julieta que os convidados chegaram e que ela deve se preparar para o banquete. Romeu, Mercúcio, Benvólio e outros convidados chegam à festa. Romeu não está com vontade de dançar, e Mercúcio sugere que ele use as asas do Cupido para voar acima de seus problemas. Depois da dança, Romeu planeja se aproximar da dama que ele acha bonita. Tibaldo, um Montéquio, fica irritado com a presença de Romeu. Capuleto diz a Tibaldo para tolerar a presença de Romeu. Romeu vê Julieta em uma janela e se apaixona por ela. Julieta também confessa seu amor por Romeu. Ela lhe pede que envie uma mensagem amanhã para que ela possa se preparar para o seu casamento. Romeu diz ao Frei Lourenço que foi ferido por seu inimigo e que seus ferimentos podem ser curados com a ajuda do Frei. Romeu então pede ao Frei para casá-lo com Julieta para que o rancor de suas famílias se transforme em amor. O Frei concorda em ajudar. A Ama pergunta a Romeu onde ele está, e Romeu lhe diz que Julieta deve ir à cela do Frei Lourenço para encontrar um marido que a espera lá. Frei Lourenço e Romeu entram na cela, e o Frei diz que espera que os céus sorriam para o ato sagrado deles. Ele diz a Romeu e Julieta para o acompanharem para que possam se casar. Tibaldo e Mercúcio lutam com Romeu, e Romeu mata Tibaldo. O Príncipe sentencia Romeu ao exílio por ter matado Tibaldo. A Ama conta a Julieta que Romeu matou Tibaldo porque Tibaldo teria matado Romeu. Julieta diz que Romeu é seu marido. O Frei diz a Romeu para ir ao quarto de Julieta e confortá-la. Capuleto, a Senhora Capuleto e Páris discutem como as coisas saíram mal. Eles dizem que Julieta amava muito Tibaldo e que eles também o amavam. Eles decidem que Julieta se casará com Páris na quinta-feira. A Senhora Capuleto diz a Julieta que ela se casará com Páris na quinta-feira, e Julieta diz que preferiria se casar com Romeu a com Páris. Capuleto diz que se ela não se casar com Páris, ele a dará a seu amigo. O Frei diz a Julieta para consentir em se casar com Páris e depois beber um frasco de líquido em sua cama, o que a fará parecer morta por dois dias. Quando ela acordar, Romeu a levará para Mantua. Julieta concorda em fazer como o Frei diz. Capuleto diz à Ama para preparar Julieta para o casamento, pois o noivo já está lá. A Ama grita que Julieta está morta. A Senhora Capuleto e Capuleto correm e veem Julieta morta na cama. Páris fica chocado ao ver Julieta morta. Romeu compra veneno de um boticário para matar Julieta. Ele planeja usá-lo em sua sepultura. Páris confronta Romeu no cemitério e Romeu luta com ele. Romeu então coloca Páris na tumba com Julieta e bebe o veneno. Frei Lourenço entra no cemitério e vê Romeu e Páris mortos, e Julieta acordando. Ele diz a ela para sair da tumba, mas ela se recusa e se mata. O Príncipe diz que o céu puniu o ódio entre os Capuleto e os Montéquio. Frei Lourenço diz que casou Romeu e Julieta, e que a morte de Tibaldo fez com que Romeu fosse banido da cidade. Capuleto diz que a fortuna de Romeu será tão rica quanto a de Julieta, e a fortuna de Julieta será tão pobre quanto a de Romeu. O Príncipe diz que uma paz sombria virá com a manhã. Ele diz que alguns serão perdoados e outros serão punidos pelos eventos que ocorreram. Todos saem da cena. Resumo completo Romeu tranca-se em seu quarto, não mais apaixonado por Rosalina. Capuleto convida muitos convidados para seu banquete, incluindo Romeu e seu amor, Julieta. A Senhora Capuleto diz a Julieta que Páris, homem valente, busca sua mão em casamento. Romeu vê Julieta e se apaixona por ela. Julieta confessa seu amor por Romeu, e eles concordam em se casar. Romeu mata Tibaldo em uma briga e é sentenciado ao exílio. Julieta concorda em simular sua morte e ir para Mantua com Romeu. Romeu compra veneno para matar Julieta em sua sepultura. Ele e Páris lutam e ambos morrem. Julieta acorda e se mata. O Príncipe diz que o céu puniu o ódio entre os Capuleto e os Montéquio. |
| Doze Anos de Escravidão de Solomon Northup Solomon Northup nasce em Nova York e vive uma vida confortável com sua esposa e três filhos em Saratoga Springs. Um dia, dois homens lhe oferecem um emprego tocando violino para seu circo em Washington. Após receber seu salário, ele perde a consciência e acorda em uma masmorra escura acorrentado a um banco. Roubaram-lhe os documentos de liberdade. Solomon é vendido a um negociante de escravos que o redenomina Platt e o vende a um mantenedor de escravos em Nova Orleans. Ele espera escapar sendo comprado por um navio do norte. William Ford, um ministro batista, compra Solomon para trabalhar em sua plantação. Solomon mantém sua verdadeira identidade em segredo, temendo ser vendido como escravo se seu passado for descoberto. Ford é forçado a vender 18 escravos, incluindo Solomon, para pagar suas dívidas. Solomon é vendido para Tibeats, um carpinteiro malvado e tirânico. Solomon escapa de Tibeats e foge para o Grande Pântano de Pacoudrie. Ele acaba sendo enviado para trabalhar para o Sr. Eldret, que o trata bem. Ele então é vendido para Edwin Epps, um homem cruel e injusto que vê seus escravos como meras propriedades. Solomon trabalha nos campos de abril a julho e agosto durante a temporada de colheita de algodão. Ele não é habilidoso em colher algodão, mas satisfaria seu mestre trazendo 100 quilos por dia. Solomon se familiariza com o processo de fabricação de açúcar depois de trabalhar na plantação de Hawkins por três anos. Durante as festas de Natal, oferecem aos escravos um banquete e lhes permitem dançar e celebrar livremente. Solomon rouba uma folha de papel da casa da senhora e escreve uma carta para um antigo conhecido no Norte, informando-o de sua condição e instando-o a tomar medidas para restabelecê-lo à liberdade. Solomon queima a carta que escreveu para seu amigo no Norte, temendo que Shaw conte a Epps sobre isso. Muitos escravos tentam escapar, mas são capturados e punidos severamente. Bass concorda em ajudar Solomon a escapar e escreve várias cartas para pessoas no Norte, incluindo uma endereçada a William Perry e Cephas Parker. Northup é nomeado pelo Estado para viajar até a Louisiana e restabelecer a liberdade de Solomon. Ele é apresentado a John Waddill, um advogado local que concorda em ajudá-lo. Northup e o xerife partem para a plantação de Epps para recuperar Solomon. Epps reconhece que Solomon é um homem livre, e um documento é elaborado formalmente entregando-o às autoridades de Nova York. Henry B. Northup é autorizado a buscar e recuperar Solomon da escravidão na Louisiana. Epps já entregou Solomon a ele. Resumo completo Solomon Northup nasce em Nova York e vive uma vida confortável com sua esposa e filhos. Um dia, oferecem-lhe um emprego tocando violino para um circo em Washington. Após receber seu salário, ele perde a consciência e acorda em uma masmorra escura acorrentado a um banco. Roubaram-lhe os documentos de liberdade. Solomon é vendido a um negociante de escravos que o redenomina Platt e o vende a um mantenedor de escravos em Nova Orleans. Ele mantém sua verdadeira identidade em segredo, temendo ser vendido como escravo se seu passado for descoberto. William Ford, um ministro batista, compra Solomon para trabalhar em sua plantação. Solomon acaba sendo vendido para Edwin Epps, homem cruel e injusto que vê seus escravos como meras propriedades. Solomon escreve uma carta para um antigo conhecido no Norte, informando-o de sua condição e instando-o a tomar medidas para restabelecê-lo à liberdade. Northup é nomeado pelo Estado para viajar até a Louisiana e restabelecer a liberdade de Solomon. Ele é apresentado a um advogado local que concorda em ajudá-lo. Epps já entregou Solomon a ele. |
| A História da Minha Vida de Helen Keller Helen Keller nasce cega e surda, mas acaba se recuperando. Seus pais contratam uma professora para ajudá-la a se comunicar. Helen aprende rapidamente e se torna obstinada e determinada. Ela adora passar tempo ao ar livre observando o mundo natural ao seu redor. Ela aprende sobre geografia e vários animais e plantas. Helen aprende a falar em 1890. Ela frequenta a Escola para Surdos Wright-Humason, na cidade de Nova York, onde estuda várias disciplinas. Ela tem dificuldades para acompanhar as palestras aceleradas em Cambridge, mas entende a importância da paciência e o valor do conhecimento. Helen tem muitos interesses além da leitura, incluindo esportes e atividades ao ar livre. Ela adora visitar museus e lojas de arte. Ela escreve muitas cartas para muitas pessoas, mas escreve especialmente bem para aquelas para as quais sente que deve escrever bem. Helen escreve para sua mãe e outros membros da família enquanto faz uma breve viagem longe de casa. Ela explica que está estudando francês, alemão, latim e grego. Durante o verão, a Srta. Sullivan fica longe de Helen por três meses e meio, a primeira vez que sua companhia é interrompida por mais do que alguns dias. Helen e a Srta. Sullivan retornam à Instituição Perkins em novembro, onde Helen fica radiante ao ver novamente seu querido amigo Sr. Anagnos. Helen expressa o desejo de que seu próprio país construa uma faculdade em Cuba, semelhante à que os ingleses estão construindo em Cartum. O Dr. Bell propõe um plano para formar uma associação para promover a educação de crianças surdas e cegas. Dessa forma, Helen pode se concentrar em seus estudos em Radcliffe enquanto seu desejo de ajudar os surdos e cegos é realizado. Helen explica que está cursando disciplinas regulares na faculdade e pretende obter seu diploma em quatro anos. O livro “A História da Minha Vida” é publicado, detalhando a vida notável e conquistas de Helen. Helen é muito espirituosa e aventureira e gosta de participar de atividades físicas. Ela também é muito sensível aos humores daqueles ao seu redor. A Srta. Sullivan ensina Helen a ler e escrever usando o sistema braille. Helen aprende rapidamente a escrever. Helen é curiosa sobre o mundo ao seu redor e faz muitas perguntas. A Srta. Sullivan tenta responder às suas perguntas de maneira verdadeira sem entrar em muitos detalhes sobre sexo. O Dr. Keller distribui cópias do relatório escrito sobre Helen e poderia facilmente ter distribuído muitas mais. A Srta. Sullivan explica que é fácil ensinar uma criança palavras para ideias abstratas se elas já tiverem os conceitos em suas mentes. A Srta. Sullivan explica que não se limitou a nenhum método de ensino específico ao ensinar Helen, mas sim observou os movimentos espontâneos da mente de sua aluna. Helen tem uma excelente saúde e um aguçado sentido de olfato e tato. Ela é muito gentil e afetuosa e ama crianças. A primeira palavra de Helen foi “água”, que ela continuou a pronunciar mesmo depois de perder a audição. Ela também manteve o sinal para “adeus”, que parece ter sido o único outro sinal de que ela se lembrava antes de sua doença. O excelente uso do inglês da parte de Helen é devido à disciplina incansável de sua professora, a Srta. Sullivan, que leu muitos bons livros para ela e a fez escrever cartas repetidamente até que ficassem perfeitas. Hoje é o primeiro dia de Helen na faculdade, e ela está encantada em fazer amigos com seus colegas de classe. Muitas vezes ela sente que as pessoas pensam que ela é muito séria, mas ela assegura que ela gosta da vida. Resumo completo Helen Keller nasce cega e surda, mas acaba se recuperando. Seus pais contratam uma professora para ajudá-la a se comunicar, e ela aprende rapidamente. Helen adora passar tempo ao ar livre observando o mundo natural ao seu redor. Ela frequenta a Escola para Surdos Wright-Humason, na cidade de Nova York, onde estuda várias disciplinas. O Dr. Bell propõe um plano para formar uma associação para promover a educação de crianças surdas e cegas, para que Helen possa se concentrar em seus estudos em Radcliffe enquanto realiza seu desejo de ajudar os surdos e cegos. Helen escreve muitas cartas para parentes e amigos e gosta de participar de atividades físicas. A Srta. Sullivan ensina Helen a ler e escrever usando o sistema braille. Helen é curiosa sobre o mundo ao seu redor e faz muitas perguntas. A Srta. Sullivan tenta responder às suas perguntas de maneira verdadeira sem entrar em muitos detalhes sobre sexo. Hoje é o primeiro dia de Helen na faculdade, e ela está encantada em fazer amigos com seus colegas de classe. |
Nosso melhor modelo é ajustado a partir do GPT-3 e gera resumos sensatos de livros inteiros, às vezes até correspondendo à qualidade média de resumos escritos por humanos: ele atinge uma classificação de 6/7 (semelhante à média dos resumos escritos por humanos) de humanos que leram o livro 5% das vezes e uma classificação 5/7 15% das vezes. Nosso modelo também alcança resultados de última geração no conjunto de dados BookSum para resumo do tamanho de livro. Um modelo de resposta a perguntas de zero amostra pode usar os resumos do nosso modelo para obter resultados competitivos no conjunto de dados NarrativeQA para respostas a perguntas do tamanho de livro.2
Índice
Nossa abordagem: combinar aprendizado por reforço a partir de feedback humano e decomposição recursiva de tarefas
Considere a tarefa de resumir um trecho de texto. Grandes modelos pré-treinados não são muito bons em sumarização. No passado, descobrimos que treinar um modelo com aprendizado por reforço a partir de feedback humano ajudava a alinhar os resumos do modelo com as preferências humanas em postagens e artigos curtos. Mas julgar resumos de livros inteiros exige muito esforço para ser feito diretamente, já que um ser humano precisaria ler o livro inteiro, o que levaria muitas horas.
Para resolver esse problema, também usamos a decomposição recursiva de tarefas: dividimos processualmente uma tarefa difícil em tarefas mais fáceis. Neste caso, dividimos o resumo de um longo trecho de texto em vários trechos mais curtos. Comparada a um procedimento de treinamento de ponta a ponta, a decomposição recursiva de tarefas tem as seguintes vantagens:
- A decomposição permite que os humanos avaliem os resumos dos modelos mais rapidamente, usando resumos de partes menores do livro, em vez de ler o texto-fonte.
- É mais fácil rastrear o processo de redação do resumo. Por exemplo, você pode rastrear para descobrir onde no texto original acontecem certos eventos do resumo. Veja você mesmo em nosso explorador de resumos!
- Nosso método pode ser usado para resumir livros de comprimento ilimitado, irrestritos pelo comprimento de contexto dos modelos de transformador que usamos.
Por que estamos trabalhando nisto
Este trabalho faz parte da nossa pesquisa contínua sobre o alinhamento de sistemas avançados de IA, que é fundamental para a nossa missão. À medida que treinamos os nossos modelos para realizar tarefas cada vez mais complexas, fazer avaliações informadas dos resultados dos modelos se tornará cada vez mais difícil para os humanos. Isso torna mais difícil detectar problemas sutis nos resultados do modelo que podem levar a consequências negativas quando esses modelos são implementados. Portanto, queremos que a nossa capacidade de avaliar os nossos modelos aumente à medida que as suas capacidades aumentam.
Nossa abordagem atual a esse problema é capacitar humanos para avaliar os resultados dos modelos de aprendizado de máquina usando a assistência de outros modelos. Nesse caso, para avaliar resumos de livros, capacitamos os humanos com resumos de capítulos individuais escritos por nosso modelo, o que lhes economiza tempo ao avaliar esses resumos em relação à leitura do texto-fonte. Nosso progresso na sumarização de livros é o primeiro trabalho empírico em larga escala sobre amplificar técnicas de alinhamento.
Para o futuro, estamos pesquisando melhores maneiras de ajudar os humanos na avaliação do comportamento do modelo, com o objetivo de encontrar técnicas que se adaptem ao alinhamento da inteligência geral artificial.
Notas:
1. Essas amostras foram selecionadas de obras no domínio público e fazem parte dos dados de pr-e-treinamento do GPT-3. Para levar em conta esse efeito, e puramente para propósitos de pesquisa, o nosso artigo avalia resumos de livros que o modelo nunca viu antes.
2. Emendamos a nossa alegação original sobre resultados no NarrativeQA depois de nos conscientizarmos sobre trabalhos anteriores com resultados melhores do que os nossos.
Tradução: Luan Marques
Link para o original