推送新闻消息,4 月 23 日——Perplexity 的研究团队发布了一篇技术文章,详细介绍其用于网页搜索代理的后训练方法。该方法使用两个开源的 Qwen3.5 模型 (Qwen3.5-122B-A10B 和 Qwen3.5-397B-A17B),并采用两阶段流水线:先进行监督微调 (SFT),以建立指令遵循与语言一致性,然后通过在线强化学习 (RL) 来优化搜索准确性与工具使用效率。
RL 阶段采用 GRPO 算法,并使用两种数据来源:其自有的多跳可验证问答数据集——由内部种子查询构建,要求进行 2–4 跳的推理,并通过多求解器验证;以及基于评分标准的通用对话数据——将部署需求转化为客观可检查的原子条件,以防止 SFT 行为退化。
奖励设计采用门控聚合——只有在达到基线正确性时((question-answer match 或所有评分标准条件均满足)),偏好分数才会生效,从而避免高偏好信号掩盖事实错误。效率惩罚采用组内锚定:对工具调用以及生成长度中超过同组正确答案基线的部分施加平滑惩罚。
评估显示,Qwen3.5-397B-SFT-RL 在各类搜索基准上实现同类最佳表现。在 FRAMES 上,单次工具调用的准确率为 57.3%,比 GPT-5.4 高 5.7 个百分点,比 Claude Sonnet 4.6 高 4.7 个百分点。在适度预算 (四次工具调用) 下,它以每次查询 $0.02 实现 73.9% 的准确率;相比之下,GPT-5.4 为 67.8%(每次查询 $0.085),Sonnet 4.6 为 62.4%(每次查询 $0.153)。成本数据基于各提供方的公开 API 定价,并不包含缓存优化。
Related News
SlowMist Peringatan CISO: ShinyHunters mengklaim telah membobol sistem internal Anthropic
OpenAI 推 ChatGPT Workspace Agents: Codex 驅动, 团队共享, Slack 整合
Google 推 Deep Research Max:mendukung MCP, bisa terhubung dengan data privat perusahaan