高德AI Native数据Agent：LLM + 知识工程 + 规约约束的NL2SQL生产实践¶

Ch01.1111 高德AI Native数据Agent：LLM + 知识工程 + 规约约束的NL2SQL生产实践¶

📊 Level ⭐⭐ | 5.6KB | entities/gaode-ai-native-data-agent.md

高德AI Native数据Agent：LLM + 知识工程 + 规约约束的NL2SQL生产实践¶

高德信息业务中心（Gaode/Amap, Alibaba）构建了一套 AI Native 数据 Agent 体系，覆盖十大业务域、千余张数据表，将数据消费完整链路交由 LLM 自主完成。盲测准确率从 40% 提升至 95%（线上灰度 90%），灰度覆盖超百人。

技术选型：知识工程路径¶

选择第三条路径——LLM + 结构化知识文档 + 工具链 + 规约体系，而非训练驱动（跟不上知识变更频率）或全量 Prompt（无法承载千表级元数据）。能力迭代不依赖模型重训，而是分钟级的文档更新。

整体架构：三个专域 Agent¶

共享三层架构（推理层/知识层/执行层）和知识底座。

查数 Agent：4 步漏斗选表¶

全量表元数据超 200 万字符，灌入上下文不可行。核心创新是渐进式过滤选表：

1. 召回 — 关键词检索全域表索引（≤50KB），召回 3~10 张候选表
2. 精排 — LLM 双维度打分（语义匹配 + 字段覆盖度），Top-1 分差显著则直接选定
3. 分层消歧 — 按数仓层级裁决（ADS > DWS > DWD），上层表优先
4. 类型消歧 — 优先行业表，跨行业退选横向表

关键约束：字段存在性 DESK 验证、口径核对（如 GMV 指原价还是实付）、权限不影响推荐。

评测体系¶

文章构建了完整的四模块评测闭环，这是本文最突出的工程贡献：

评测集标准化¶

• 覆盖十大核心业务域，每题含需求/难度/澄清/标答
• 9 项前置标答检查（SQL可执行性、字段精确匹配等），标答错误率从 15% 降至 3%

自动化评测工具¶

• 三环节流水线：SQL生成与执行 → 结果对比与差异分析 → 报告生成
• 全并发架构将百题评测从小时级压缩至分钟级（3~5分钟+2~4分钟）
• 盲测原则：Agent 只看到用户问题，看不到标答
• 三层结果验证：环境预检 → EXCEPT 全量对比（双向差集） → AI 判定覆盖（仅单向 diff→match）

6 大类根因分类¶

将 mismatch 按根因归类为 6 类，每类对应明确改进路径（知识库类→补知识，Skill 类→迭代规约等）。

准确性迭代路径¶

• Phase 1 (40%→65%)：知识库补全——Agent"不知道"比"不会做"更致命
• Phase 2 (65%→85%)：规约体系优化——结构化规约比自然语言 Prompt 更可靠
• Phase 3 (85%→95%)：精细化迭代——长尾 case 逐题分析

波动归因 Agent¶

核心设计：严格分离"理解"和"计算"。 - LLM：理解意图、编排流程、组织归因结论 - 统计工具（非 LLM）：异常检测、贡献度计算、交叉验证

异常检测方法决策树¶

Agent 根据天数自动选择方法：≥28天有周期→STL，≥28天无周期→移动平均，14~27天→移动平均+环比交叉，<7天→环比阈值。多方法取共识异常点。一级下钻后若 Top1 贡献度≥50%，自动触发二级下钻。

找资产 Agent¶

意图分流：找表信号（"有什么表"、"推荐数据表"）走漏斗选表，知识信号（"口径是什么"、"怎么算"）走业务知识文档直接回答。信号不明确时默认走 A（找表）。

工程化保障¶

• 模型选型：选用 Claude Opus 系列（规约遵循能力最优），基于 blind test 横向对比
• 三层服务架构：前后端分离 + Agent 服务化
• 团队转型：数据研发工程师按 SPEC 设计 / Agent 工程调优 / 前后端开发三个方向全栈扩展

经验总结¶

三条核心经验： 1. 知识工程决定效果上限——Phase 1 的跃升完全靠补全知识库 2. 规约比 Prompt 更可靠——结构化规约（强制校验、格式约束）比自然语言指令更稳定 3. 评测体系是迭代飞轮——分钟级自动化盲测使"改一条规约立刻验证"成为可能