Notícias

Nov 18, 2023

Pesquisadores da Stanford apresentam o Parsel: uma estrutura de IA de inteligência artificial que permite a implementação e validação automática de algoritmos complexos com modelos de linguagem grandes de código LLMs

Embora avanços recentes tenham sido feitos no raciocínio do modelo de linguagem grande (LLM),

Embora avanços recentes tenham sido feitos no raciocínio do modelo de linguagem grande (LLM), os LLMs ainda têm dificuldade com tarefas de raciocínio hierárquico de várias etapas, como o desenvolvimento de programas sofisticados. Os programadores humanos, em contraste com outros geradores de token, aprenderam (geralmente) a dividir tarefas difíceis em componentes gerenciáveis ​​que trabalham sozinhos (modulares) e trabalham juntos (composicionais). Como bônus, se os tokens gerados por humanos causarem problemas com uma função, deve ser possível reescrever essa parte do software sem afetar o restante do aplicativo. Em contraste, é ingenuamente antecipado que os LLMs de código produzirão sequências de token livres de erros.

Isso levou um estudo recente da Universidade de Stanford a investigar o uso de LLMs na decomposição de problemas e na construção de soluções composicionais. Eles propõem o Parsel, um compilador que aceita uma especificação que inclui descrições de funções escritas em linguagem natural e restrições que definem o comportamento desejado das funções implementadas. Ao usar o Parsel, os codificadores podem escrever programas em linguagem simples que podem resolver problemas de codificação no nível da competição, superando o SoTA anterior em mais de 75%.

Um código LLM recebe a descrição de uma função e as assinaturas das funções das quais depende e é solicitado a gerar implementações da função. Quando uma restrição é adicionada, o compilador examinará possíveis combinações de implementação até encontrar uma que funcione.

Estudos anteriores mostraram que, ao contrário dos humanos, os modelos de linguagem de código não poderiam desenvolver programas que executam sequencialmente várias pequenas tarefas. O Parsel elimina o problema particionando os processos de decomposição e implementação. Embora pretendessem habilitar a codificação de linguagem natural, eles descobriram que os LLMs também se destacam na codificação Parsel.

Decompor um plano abstrato até que ele possa ser resolvido automaticamente é um padrão comum no raciocínio humano refletido na geração e implementação do Parsel; essa estrutura composicional também é útil para modelos de linguagem. Neste estudo, a equipe demonstra que os LLMs podem criar Parsel a partir de um pequeno número de instâncias e que suas soluções superam os métodos de ponta em questões de nível de competição do conjunto de dados APPS. Os planos escritos por LLMs usando o Parsel para produzir planos robóticos passo a passo a partir de trabalhos de alto nível são, surpreendentemente, mais de dois terços tão precisos quanto uma linha de base do planejador zero-shot.

Para avaliar a eficácia do Parsel, Gabriel Poesia, um experiente codificador competitivo, usou-o para resolver uma série de desafios de APPS normalmente vistos em competições de codificação. Em 6 horas, ele encontrou soluções para 5 de 10 problemas, incluindo 3 em que o GPT-3 havia falhado anteriormente.

Os pesquisadores mostram que o Parsel pode ser usado para provar teoremas e outras atividades que requerem raciocínio algorítmico, formulando-o como uma estrutura de uso geral.

Eles planejam implementar a geração de teste de unidade autônoma em um futuro próximo. Eles mencionam que uma abordagem seria procurar por situações especiais e ver se o grupo de funções que concorda em todos os testes existentes também concorda em novos testes. Evita-se o desenvolvimento exponencial nas combinações de implementações, o que poderia possibilitar a decomposição automática. Eles também visam ajustar o "limiar de confiança" do modelo de linguagem, pois é necessário manter as descrições claras e concisas para programas ou seções de programas mais cruciais, é necessário garantir que as descrições sejam claras e concisas.

Confira aPapel,github,ePágina do Projeto. Todo o crédito por esta pesquisa vai para os pesquisadores deste projeto. Além disso, não se esqueça de participarnosso SubReddit de 13k+ ML,Canal do Discord, eNoticiário por e-mail, onde compartilhamos as últimas notícias de pesquisa de IA, projetos interessantes de IA e muito mais.

Tanushree Shenwai é estagiária de consultoria na MarktechPost. Atualmente, ela está cursando seu B.Tech no Instituto Indiano de Tecnologia (IIT), Bhubaneswar. Ela é uma entusiasta da ciência de dados e tem um grande interesse no escopo de aplicação da inteligência artificial em vários campos. Ela é apaixonada por explorar os novos avanços em tecnologias e sua aplicação na vida real.