Agent 观测与优化开发者摸底：Close the Loop 方法论与 700+ 调研基线¶

📊 Level ⭐⭐⭐ | 13.4KB

阿里云云原生 2026 年 8-9 月在北京、上海、深圳三城发起「Agent 评估与优化 · Close the Loop」系列开发者沙龙，基于 700+ 报名问卷数据给出企业 Agent 落地现状画像，并沉淀出闭环优化方法论。核心结论：需求强烈、基建薄弱、认知体系化不够——六成受访者已进入 POC/生产，但观测、评估、优化闭环的工程化程度极低。

行业基线：四维成熟度数据¶

这份报告的价值在于给 AgentOps 成熟度提供了可量化的行业基线：

观测：近半数（46.7%）没有专门可观测工具，40.4% 用日志/print 人工拼调用链，19.6% 靠猜或复现；能拿到完整 trajectory 的仅 13.4%；云厂商可观测产品渗透率仅 11.6%。没有轨迹，评估与优化都缺乏事实依据。
评估：人工驱动评估合计 70.9%（43.4% 人肉抽查/用户反馈），自动化评估仅 19.8%，完整线上评估 + A/B 数据驱动发版仅 6.9%；29.8% 尚未建立指标体系；最受关注硬指标为任务完成率与工具调用准确率（合计过半），事实一致性占 40.2%。
优化：52.6% 完全没有数据回灌闭环，30.2% 会看线上数据但没闭环，合计 82.8% 的优化停留在人工/半人工；仅 2.8% 建成数据飞轮；优化诉求为推理质量（81.7%）、Skills 沉淀（78.1%）、缩短迭代周期（74.6%）、降本（63.5%）。
审计：审计/可追溯需求渗透率高达 94.2%，但 36.2%"有要求却还没落地"，已强制全链路留痕的仅 31.4%——可追溯是 Agent 进入生产前的真实门槛。

Close the Loop：七环节可验证优化链路¶

阿里云智能 AgentLoop 提出把每次运行变成下次改进证据的七环节链路：数据接入统一 Trace 口径 → 观测下钻到异常 Step 原始证据 → 冻结样本保证评估可复现 → 数据处理组装可评估轨迹 → 评估指出哪里错/为什么/谁来改 → 同样本 A/B 保证唯一变量 → Agent 侧与平台侧选最小改动杠杆。全程贯穿质量、效率、成本、安全四类指标，运行结果与用户反馈回流样本池形成闭环。经验（Experience）也被统一管理：事实解析 → 模式挖掘 → 质量 Gate → 匹配召回 → 效果回写，保证每条经验有来源、有边界、可退出。

这与美团图灵评测方法论的"人人一致/人机一致/Rubric 二元化"测度视角互补：美团重在评测口径本身，本文重在观测到优化的工程闭环。

SkillOps：Skill 作为可度量战略资产¶

瓴岳科技把 Skill 当作"可发现、可衡量、可迭代"的战略资产，以模型广场 + MCP 广场 + Skill 广场 + Plugin 广场四位一体 AI 基建支撑流转，生命周期六阶段：发现（优先复用已有）→ 创建（一键生成 Prompt/配置/测试/文档）→ 发布（Git 仓库自动上架）→ 采集（Loongsuite 无感捕获调用数据 + Skill 归因）→ 评测（with/without_skill 离线实验，三维度量：功能正确性/能力增益/Token 成本）→ 迭代（失败场景预标注 + 人工审阅生成高可信数据集）。

深度分析¶

轨迹缺席是整条链路的天花板，而不是观测维度的成绩单¶

13.4% 这个数字的真正含义，是它同时充当了评估与优化的系数上限。评估与优化都是轨迹的下游：没有完整 trajectory，就无法把原始调用链组装成可评估轨迹，无法冻结可复现样本，也就没有生成数据飞轮所需的素材。这解释了 52.6% 完全没有数据回灌闭环、仅 2.8% 建成数据飞轮的落差——闭环缺失首先是燃料缺失，而非意愿缺失。调研自身把 81.7% 的推理质量诉求与 2.8% 的飞轮建成率并置，这个近 30 倍的落差正是「想优化」与「有东西可优化」之间的距离。

换言之，观测投入的边际收益不是线性的：它并不与评估、优化的收益并列相加，而是决定后面每个环节能否成立的前置乘子。把 46.7% 没有专门工具、40.4% 用日志/print 拼调用链、19.6% 靠猜或复现这三组数字一起看，就可以理解为什么调研会把观测列为「第一个拦路虎」而不是「下一步优化项」。

人工评估与自动化评估的复利差异¶

70.9% 人工驱动、43.4% 人肉抽查或用户反馈，这类做法的短板不在准确度而在不可复利：抽查成本随样本量线性增长，产出的是意见而非分布，换一批样本或换一个评审人结论就不可比。19.8% 的自动化评估是第一个拐点，它把评分口径固化为可复用的门禁；6.9% 的「完整线上评估 + A/B 数据驱动发版」才构成闭环成立的充分条件——同样本 A/B 把除杠杆外的所有变量固定，「改好了还是碰巧」因此变成一个可计算的差值。29.8% 尚未建立指标体系，意味着多数团队连度量对象都还没定义，此时谈 A/B 只是空转。

从成本结构上看，人工评估的单次成本近似恒定，机器评估的单次成本随规模摊薄，因此只有自动化路径能随业务量增长而变便宜——这决定了人肉抽查适合定位个案，不适合充当发版门禁。

700+ 样本的效力边界：能支撑序数结论，不能支撑人群比例¶

样本为北京、上海、深圳三城 700+ 报名问卷，受访者中工程师与架构师合计超过六成、产品经理 21%，且是主动报名参加「Agent 评估与优化」沙龙的开发者。这决定了它更像一份「谁在做」的画像，而非「行业整体」的抽样：报名行为本身已经筛掉了对观测评估无感的人群。一个可佐证其可信度的细节是，主办方是云厂商，而问卷自报的云厂商可观测产品渗透率仅 11.6%——这种对自己不利的数字，通常比漂亮的数字更接近真实。

因此这批数字更应读作乐观下限而非悲观上限：46.7% 没有专门工具、13.4% 拿到完整 trajectory 这类指标，在一个已经对 Agent 治理有兴趣的样本里尚且如此。它能够支撑的是序数结论——观测成熟度低于评估成熟度、评估又低于优化成熟度，审计需求 94.2% 是最普遍的硬约束，真正规模化生产仅 4.6%；不能支撑的是精确的人群比例、行业差异（问卷未按行业切分），以及对完全不做 Agent 的团队的推断。引用时应注明三城自选样本这一口径。

成熟度缺口是组织设计问题，不是工具采购问题¶

把 94.2% 有或预见有审计要求、仅 31.4% 已强制全链路留痕、36.2%「有要求却没落地」这一组，与 46.7% 团队没有任何专门可观测工具这一组放在一起，可以排除「工具供给不足」这个解释：市场上并不缺可观测产品，云厂商产品渗透率却只有 11.6%，缺口显然不在供给端。

真正的缺口是一个对整条链路负责的角色。七环节链路里每个环节的 owner 和失败模式都不同：数据接入统一 Trace 口径属于平台/遥测团队，冻结样本与数据处理属于评估团队，同样本 A/B 属于实验平台，选最小改动杠杆属于 Agent 开发者。没有人分头认领这四类职责，链路就会退化成一个没人真正闭合的清单——这也是为什么「AgentOps 是一种职能，而不是一次采购」。

SkillOps：把 prompt 从手艺变成有账本的资产¶

78.1% 想把经验沉淀为可复用 Skills，而仅有 2.8% 建成数据飞轮，这个落差说明团队要的不是更多 prompt 技巧，而是资产化。Skill 生命周期六阶段的价值不在流程完整，而在于它给了 Skill 一个可审计的身份：有版本（Git 仓库自动上架）、有归属（广场间流转）、有用量（Loongsuite 无感采集 + Skill 归因）、有评估协议（with_skill / without_skill 同数据集离线实验，三维度量功能正确性、能力增益、Token 成本）。其中「能力增益」只有在同一份冻结数据集上做消融才可计算，所以 SkillOps 并非与闭环并行的工作流，而是把闭环的作用对象从 Agent 换成 Skill；失败场景预标注再人工审阅生成高可信数据集这一步，等于让评估的副产品直接变成下一轮的燃料。

参照 Agent Harness 生产可观测的「同 case 回放对比两棵 Trace 调用树」，Skill 消融本质上是同一套回放对照在资产层级的复用：没有可回放的同源样本，「能力增益」就只能靠感觉。

四类指标会互损，闭环必须四维同时成立¶

链路全程贯穿质量、效率、成本、安全四类指标，而诉求排序是推理质量 81.7% > 缩短迭代周期 74.6% > 降本 63.5%。这种排序在单点优化上合理，在闭环里会失效：只盯质量的改动常常推高 token 成本或拉长迭代周期，安全 Gate 又会增加延迟。这与 Agent 可观测体系五层架构记录的「指标互损」是同一问题的两面——真正的门禁不是把某一维打到最高，而是保证优化后另外三维不退化，这也正是为什么「数据集冻结 + 同样本 A/B」必须先于「选最小改动杠杆」。与美团图灵评测方法论的人人一致 / 人机一致 / Rubric 二元化互补：美团解决的是分数本身可不可信，本文解决的是分数产生之后能不能驱动一次单变量改动。

实践启示¶

先统一 Trace 口径，再谈评估与优化：13.4% 是全链路的天花板，先把调用链 schema 与 trajectory 存储立起来，评估工具与指标体系才有落点
以「数据集冻结 + 同样本 A/B」作为发版唯一变量：只有 6.9% 做到了线上评估 + A/B 发版，不冻结样本的评估结果无法跨版本比较，改没改好只能靠感觉
用自动化评估取代人肉抽查作为门禁：29.8% 连指标体系都没有，起点应选任务完成率与工具调用准确率这两个共识硬指标，再补事实一致性
把审计留痕当成先行约束而非事后补丁：94.2% 有审计要求、36.2% 却落不了地，而一条完整全链路 Trace 同时满足审计与观测两个诉求，是投入产出比最高的一笔基建
沉淀为 Skill，而不是持续微调 prompt：以广场分发 + Git 版本化 + with/without_skill 消融评测（功能正确性 / 能力增益 / Token 成本）替代无版本的提示词手艺，让经验有来源、有边界、可退出
为七环节各指定 owner，把 AgentOps 当职能建：工具渗透率仅 11.6% 而 46.7% 手里空无一物，说明瓶颈在职责而非产品；平台、评估、实验、Agent 侧四类角色需要明确认领
四类指标同时设卡：质量、效率、成本、安全必须一起看，优化后逐一核对另外三维是否退化，避免单项指标上升、整体体验下降
引用这批数字时标注口径：三城自选样本、工程师为主、单一云厂商主办，适合用于排序与量级判断，不适合当作行业人群比例或跨行业结论