verify-data：一个端到端的数据验数 Agent Skill¶

📊 Level ⭐⭐⭐ | 7.9KB

→ 原文存档

摘要¶

verify-data 是阿里云开发者社区（作者：晓莄）提出的一个端到端数据验数 Agent Skill。它将数据验数的全部流程——从信息收集、SQL 生成、执行到报告产出——编码成一套可复用、可迭代的 Agent 能力。核心特性包括 10 类标准化 SQL 模板、基准表自动发现与 4 种降级策略、17 步条件触发流程、5 大场景自动识别，将传统 2-4 小时的手工验数压缩到 30 分钟以内。

核心要点¶

1. 传统手工验数的五大痛点¶

1. 覆盖度不够：大多数开发者只跑总量对比 SQL，漏掉维度逐项对比、汇总行一致性、CUBE 完整性检查、关联膨胀检测等关键验证项
2. 基准表选错：凭感觉选"名字差不多"的表做基准，结果口径完全不同（如按买家 vs 按访客去重）
3. 代码理解偏差：没看懂研发代码的 JOIN 膨胀逻辑，验数 SQL 复刻了同样的 bug
4. 结论无依据：主观判断缺乏评审级证据链，业务方不信，评审过不去
5. 沉淀成本高：验数 SQL 散落各处，换人、换分区又要从头来

2. verify-data 的技术架构¶

verify-data 的核心是一个条件触发流程（Conditional Trigger Pipeline）：

• 用户交互层：自然语言对话触发，不需要手写 SQL
• 核心引擎层：场景识别 → 基准表发现 → SQL 生成 → 执行 → 分析 → 报告组装
• 外部依赖：计算引擎（Spark/Presto 等）、协作文档平台
• 输出产物：评审级验证报告（7 节标准格式、三档结论判定、完整 SQL 附录）

3. 10 类标准化 SQL 模板¶

verify-data 内置 10 类标准化 SQL 模板，确保验证覆盖度。其中最关键的是：

• SQL 9：关联膨胀检测——检测 LEFT JOIN 等操作导致的行数膨胀，这是数据评审最高频退回原因之一
• SQL 10：日期维度关联校验——验证日期维度的关联完整性

这两项是手工验数时极易忽略但评审最关注的验证项。

4. 基准表自动发现与降级策略¶

基准表发现采用两阶段策略： 1. 血缘（Data Lineage）分析：通过表之间的上下游依赖关系定位候选基准表 2. 维度/指标精排：根据维度和指标的匹配度对候选表排序

当找不到基准表时，提供 4 种降级策略：

• 使用历史分区数据作为基准
• 使用聚合逻辑进行自洽性校验
• 使用外部参考数据源
• 仅做内部一致性检查（单表验数）

5. 17 步条件触发流程¶

主流程 7-9 步，加上条件触发的子步骤实际可达 17 步。关键条件步骤包括：

• Step 3.6：关联膨胀检测（当表涉及 JOIN 操作时自动触发）
• Step 3.7：日期维度校验（当表包含日期维度时自动触发）
• Step 4.8：汇总行一致性检查（当表为 CUBE 表时自动触发）

这些步骤不是每次都执行，而是由对应的触发条件自动决定是否激活。

6. 5 大场景识别¶

Agent 根据用户输入自动识别验数场景：

不同场景决定不同的验数策略和 SQL 模板组合。

7. 效率提升与证据链¶

• 效率：从 2-4 小时压缩到 30 分钟以内
• 证据链：7 节标准格式报告、三档结论判定（PASS/WARNING/FAIL）、完整可执行 SQL 附录、自动归档到协作文档
• 资产沉淀：每份报告自动归档，SQL 和报告成对保存，19 条踩坑记录沉淀在 Skill 定义中
• 风险管控：4 条不可逾越的红线从机制上防止 Agent 在边缘场景犯错

深度分析¶

Agent Skill 作为可复用 SOP 的设计模式¶

verify-data 展示了一种重要的 Agent 设计模式：将领域专家的完整工作流程编码为可复用的 Agent Skill。这不是简单的 prompt engineering，而是：

• 将领域知识（数据分层体系、验数最佳实践）结构化编码
• 将决策逻辑（场景识别、基准表选择、降级策略）条件化
• 将质量标准（4 条红线、19 条踩坑记录）制度化

这种模式可以推广到其他需要领域专业知识的重复性工作流程。

数据质量作为 Agent 的一等公民¶

verify-data 将数据验证从"上线前的人工 review 环节"提升为 Agent 能力的一等公民。这意味着：

• 数据质量检查可以自动化、常态化，而非仅在上线前进行
• 验证标准可以通过 Skill 定义持续迭代，而非依赖个人经验
• 验证结果有结构化的证据链，可以追溯和审计

与传统 Data Observability 工具的互补¶

verify-data 与 Data Observability 工具（如 Monte Carlo、Great Expectations）形成互补：

• Data Observability 工具侧重持续监控（异常检测、schema 变更）
• verify-data 侧重发布前验证（结构化验数、评审级报告）
• 两者结合可以覆盖数据质量的全生命周期

实践启示¶

1. Agent Skill 的价值在于领域知识编码：不是让 LLM "自由发挥"，而是将专家经验结构化
2. 条件触发是复杂流程的关键：17 步流程中大部分是条件步骤，避免了不必要的计算开销
3. 降级策略比完美方案更重要：任何表都能给出有意义的结论，比"找不到基准表就放弃"更实用
4. 证据链是企业级 Agent 的必备特性：评审级报告、SQL 附录、自动归档，满足合规和审计需求
5. 踩坑记录的持续沉淀：19 条踩坑记录确保 Agent 不重复犯已知错误，这是 Agent 持续改进的工程实践

相关实体¶

• 存之有序治之有矩Agent 记忆系统的工程实践与演进
• 你不知道的 Agent原理架构与工程实践 V2

→ 原文存档