SciAgentGym：多步科学工具使用的 LLM Agent 评测基准¶
Ch04.618 SciAgentGym：多步科学工具使用的 LLM Agent 评测基准¶
📊 Level ⭐⭐ | 5.7KB |
entities/sciagentgym-benchmark-multi-step-scientific-tool-use.md
SciAgentGym：多步科学工具使用的 LLM Agent 评测基准¶
SciAgentGym 是复旦大学 NLP 实验室提出的专为多步科学工具使用而设计的智能体环境，涵盖评测（SciAgentBench）和训练（SciForge）两大模块。^[sciagentgym-benchmark-multi-step-scientific-tool-use.md]
环境设计¶
SciAgentGym 提供可交互、可执行、可反馈的科学环境，由四类基础设施组成：
- 专业工具库：封装 RDKit、ASE、SciPy、BioPython、PyMatGen 等科学计算包
- 文件系统：独立任务空间
- 科学数据库：可查询检索
- Python 解释器：执行代码和中间结果分析
三大设计原则：Type Safety（类型安全——工具间输入输出类型检查）、Reproducibility（可复现性——每一步工具调用的结构化轨迹记录）、Extensibility（可扩展性——按学科和标准协议组织工具）。^[sciagentgym-benchmark-multi-step-scientific-tool-use.md]
SciAgentBench 评测集¶
包含 259 个任务、1,134 个子问题，覆盖物理、化学、材料科学和生命科学四个领域。
- L1 基础任务：≤3 步
- L2 中等复杂度：4-7 步
- L3 长程任务：≥8 步，接近真实科学工作流
L2+L3 合计占 79%，约 65% 任务包含多模态输入（分子结构图、光谱数据、相图等）。^[sciagentgym-benchmark-multi-step-scientific-tool-use.md]
实验结果¶
接入工具后，模型平均成功率从 23.3% 提升至 28.3%。GPT-5 带工具整体成功率 41.3%，但 L1 → L3 从 58.8% 下降到 34.6%，说明长流程任务仍是挑战。
深度分析¶
长流程任务的指数级难度增长¶
SciAgentBench 的三个难度层级揭示了科学 Agent 面临的核心挑战：L1 成功率 47.4%，L3 仅 16.4%。即使是 GPT-5，在接入工具后 L1 有 58.8% 的成功率，到 L3 也下降到 34.6%。这种断崖式下跌说明长流程任务不是短流程的简单叠加——每多一步，错误累积和偏离任务目标的风险就成倍增加。模型需要连续完成理解问题、选择工具、设置参数、读取反馈、格式转换和继续执行，任何一个环节出错都会影响后续所有步骤。
工具调用数量不等于工具使用能力¶
论文发现一个反直觉的现象：有些模型频繁调用工具但成功率不高，因为它们没有真正理解环境反馈，而是在报错后重复相似操作或机械调整参数。更强的模型调用次数更少，但能有效利用中间结果并快速判断下一步方向。这揭示了科学 Agent 的关键瓶颈不是「会不会调用工具」，而是能否有效利用环境反馈调整行动路线。
SciForge 的数据哲学：过程比结果重要¶
不同于传统训练数据只包含「正确解法」，SciForge 保留了解题过程中的错误与修正环节——工具调用失败、参数设置不当、输入格式不匹配等都会以环境反馈形式出现在轨迹中。这种做法使模型能够学习从反馈中恢复而不是只记忆一条理想化路径。实验显示，缺少错误恢复过程会显著降低训练效果。
多模态与多学科交织的评测设计¶
65% 的任务包含多模态输入（分子结构图、光谱数据、相图等），覆盖四个学科领域。这种设计刻意模拟真实科研环境——研究者不会只看文字，而是同时理解图像、表格、实验数据和工具返回的中间结果。评测本身的多样性迫使 Agent 发展跨模态、跨工具的通用执行能力。
实践启示¶
- 长流程 Agent 的瓶颈在错误恢复而非单步精度 — 提高单步工具调用精度容易，但多步执行中的上下文保持和错误恢复才是真正的分水岭。
- 环境反馈的理解能力需要专项训练 — 工具返回的错误信息往往承载着丰富的调试线索，训练数据中应包含足够多的「修复过程」样本。
- 效率指标与成功率同样重要 — SciAgentBench 使用 SWPL（Success Weighted by Path Length）衡量效率，提醒我们在评测 Agent 时不仅要看「能否完成」，还要看「路径是否简洁」。
- 专业工具库的封装质量决定 Agent 能力边界 — Type Safety（类型安全）、Reproducibility（可复现性）、Extensibility（可扩展性）三大设计原则可作为工具集建设范本。
- 小模型+高质量训练数据可以超越大模型 — SciAgent-8B 在 SciAgentBench 上超过 Qwen3-VL-235B，说明针对性训练可以弥合参数量差距。
SciForge 训练¶
基于收集的 18,000+ 条轨迹训练专用模型，在提升工具使用能力方面展现出潜力。^[sciagentgym-benchmark-multi-step-scientific-tool-use.md]
→ 原文存档
关联¶
- 相关概念: Harness Engineering
- 相关: Agent 架构