SearchGEO：13个大模型检索Agent可信度评测¶

Ch01.1259 SearchGEO：13个大模型检索Agent可信度评测¶

📊 Level ⭐⭐ | 4.4KB | entities/schmidhuber-retrieval-agent-trust-13-llm-2026.md

SearchGEO：13个大模型检索Agent可信度评测¶

SearchGEO 是由 KAUST 生成式AI卓越中心、吉林大学、浙江大学、瑞士人工智能实验室等机构联合提出的评测框架，用于系统量化 AI 搜索 Agent 在联网检索时被虚假内容误导的脆弱性。研究涵盖 13 个主流大模型后端、5 种攻击模式、4 个高风险领域，由包括 Jürgen Schmidhuber 在内的研究者团队完成。

研究动机¶

2026 年央视 3·15 晚会曝光了名为「GEO」（Generated content poisoning）的灰色产业链：攻击者借助软件批量生成虚假软文，主流 AI 大模型在联网搜索后直接将这些捏造内容当作"标准答案"推荐给用户。SearchGEO 研究系统性地回答了：不同大模型在面对这种"投毒"时表现差异有多大，谁更容易被操纵，谁能识破攻击。

SearchGEO 评测框架¶

要判断搜索结果污染的影响，关键难点是将污染效果与其他变量（内容本身专业度、搜索结果排名位置等）分开。SearchGEO 构建了一个混合搜索代理：先把真实的 SerpAPI 搜索结果缓存下来，在指定的排名位置用攻击者构造的网页内容替换掉原本的结果，从而隔离污染的因果效应。攻击内容本身也经过 AI 仿照每个任务真实搜索结果的质量生成，再经人工逐篇审查以去除生成痕迹。

攻击分层¶

攻击归纳为三个层次、五种模式：

1. 机器层（Machine Layer）：在页面中植入人类看不见但会被模型读取的隐藏内容
2. 信任信号层（Trust Signal Layer）：伪造权威来源，或制造多个来源"一致同意"的假象
3. 复合攻击：上述两者的叠加

核心衡量指标为 攻击成功率（ASR）——AI 最终是否将攻击者指定的目标推荐给了用户。

关键实验结果¶

13 个后端的整体 ASR 拉开了一个数量级的差距：

关键发现¶

• 后端大模型之间的差距大于领域之间、攻击模式之间的差距——模型选择是安全性的首要决定因素
• 没有一种攻击通吃所有模型：不同模型的脆弱方向不同，两个看起来最安全的模型可能朝不同的方向失败
• Claude-Sonnet-4.6 虽整体 ASR=0%，但存在"沉默漂移"（silent drift）和误拒风险
• GPT 系列在新场景中极易被攻击，表明泛化能力是核心弱点

安全启示¶

该研究对依赖 AI 搜索的用户安全有直接警示意义：

• 检索 Agent 的第三方内容注入是一个被低估的攻击面——攻击者无需侵入系统、接触模型权重或提示词，仅通过开放网络的虚假内容即可影响所有依赖联网检索的 AI 助手
• 选择后端模型时，ASR 是一个关键安全指标，不同模型间的差距可达数量级
• AI 安全评估需要全面覆盖模型的防御机制，而非仅关注生成质量

论文：arxiv.org/abs/2606.16821

开源：github.com/Beastlyprime/SearchGEO

→ 原文存档

关联¶

• 相关概念: Harness Engineering
• 相关: Agent 架构