根据 OpenAI 发布的审计报告，SWE-Bench Pro 中的 731 个公开问题中约有 30% 不适合用于可靠的 AI 编程评估。自动筛查发现 200 个有问题的问题（27.4%），人工审查发现 249 个问题（34.1%）。主要问题包括任务描述不完整、测试要求过于严格、隐藏测试检查未披露的要求以及测试覆盖不足。OpenAI 指出，最先进模型在这些公开问题上的通过率从 23.3% 上升到 80.3%，但鉴于基准测试的噪声，这样的提升应谨慎解读。公司已撤回之前关于采用 SWE-Bench Pro 的建议，并呼吁社区构建更可靠的编程基准。
免责声明：本页面信息可能来自第三方，仅供参考，不代表 Gate 的观点或意见，亦不构成任何财务、投资或法律建议。数字资产交易风险较高，请勿仅依赖本页面信息作出决策。具体内容详见
声明。
