OpenAI descobre que cerca de 30% das perguntas do SWE-Bench Pro apresentam falhas e retira a recomendação

De acordo com um relatório de auditoria divulgado pela OpenAI, aproximadamente 30% das 731 perguntas públicas no SWE-Bench Pro são inadequadas para avaliação confiável de programação por IA. A triagem automatizada identificou 200 perguntas problemáticas (27,4%), enquanto a revisão manual encontrou 249 problemas (34,1%). Os principais problemas incluem descrições incompletas das tarefas, requisitos de teste excessivamente rigorosos, testes ocultos verificando requisitos não divulgados e cobertura insuficiente de testes. A OpenAI observou que a taxa de aprovação de modelos de ponta nessas perguntas públicas aumentou de 23,3% para 80,3% ao longo de oito meses, mas tais avanços exigem interpretação cautelosa devido ao ruído do benchmark. A empresa retirou sua recomendação anterior de adotar o SWE-Bench Pro e pediu que a comunidade construa benchmarks de programação mais confiáveis.
Isenção de responsabilidade: as informações nesta página podem ter origem em fontes terceiras e servem apenas como referência. Não representam as opiniões da Gate e não constituem orientação financeira, de investimentos ou jurídica. A negociação de ativos virtuais envolve alto risco. Não tome decisões baseando-se apenas nas informações desta página. Para mais detalhes, consulte a Isenção de responsabilidade.
Comentário
0/400
Sem comentários