跳转至

LoHoSearch — 下一代搜索智能体评测基准

Ch04.674 LoHoSearch — 下一代搜索智能体评测基准

📊 Level ⭐⭐ | 4.7KB | entities/meituan-lohosearch-search-agent-benchmark-knowledge-graph-2026.md

LoHoSearch — 下一代搜索智能体评测基准

美团 LongCat 团队提出 LoHoSearch，一个利用知识图谱自动化构造搜索智能体评测题目的基准。通过构建覆盖 762 万维基百科实体的知识图谱，系统控制搜索空间与结构复杂度两个难度维度，突破了人工出题的难度上限。最强模型 GPT-5.5 准确率仅 34.74%。

→ 原文存档

背景：基准饱和与知识图谱出题

在 BrowseComp 等现有评测上，顶尖模型准确率已从最初的 30% 区间迅速攀升至 90% 以上，区分度持续递减。BrowseComp 题目由人工设计，局限在于只能基于标注者已知的实体和关系构思，无法从全局知识网络判断题目的真实难度。

LoHoSearch 的核心创新是让机器自己出题——以大规模知识图谱为基础，自动生成难度可控的搜索智能体评测题目。

构建流程

整个构建流程分为四个环节：

  1. 建图：从完整英文维基百科出发搭建大规模知识图谱，包含 762 万个实体、2.65 亿条有向边。每个实体类型取自 Wikidata P31 类别，热度用入度衡量。

  2. 双维度难度控制：

  3. 搜索空间：满足条件的候选实体数量
  4. 结构复杂度：需要同时满足的条件数量

针对这两个维度设计了树结构（放大搜索空间）和图结构（叠加结构复杂度）。

  1. 质量把关：三层筛选——从子图抽取+改写为自然语言问题 → 自动验证 → 人工复核。自动化流程 75.5% 直接通过，22.3% 微调后接受，仅 2.2% 被丢弃。

  2. 最终数据集：544 道经人工核验的题目，覆盖音乐、地理、影视、体育等 11 个主题领域。

关键发现

模型表现：最强模型 GPT-5.5 准确率仅 34.74%；DeepSeek-V4-Pro、Claude-Opus-4.6、Kimi-K2.6 集中在 15.53%–15.99%，与 BrowseComp 上 80%+ 的表现形成鲜明对照。

工具调用增长：解一道 LoHoSearch 题目平均工具调用从 BrowseComp 的 35 次增至 61 次（+74%）。图结构题目准确率 8.01%，远低于树结构的 11.89%。

重复采样收益：pass@N 从 N=1 的 9.3% 升至 N=16 的 38.3%，但仍有六成以上题目无法攻克。best-of-N 仅 24.6%，说明模型置信度校准存在不足。

上下文管理策略失效：最优策略（Discard-all + Verify）仅提升 6.8 个百分点，远低于在 BrowseComp 上的 14.03%，表明 LoHoSearch 需要更长的推理链，简单轨迹压缩无法解决信息丢失。

意义与开源

LoHoSearch 的三项核心贡献： - 基于知识图谱的自动化构造流程，突破人工出题难度上限 - 更具区分度的评测标准，为搜索智能体建立新标尺 - 面向上下文管理研究的挑战性平台，推动下一代技术研究

已全面开源：Paper (arXiv 2606.12837) | HuggingFace 数据集

相关实体