支付宝618 意图识别小模型进化实录 (阿里技术)¶

Ch01.950 支付宝618 意图识别小模型进化实录 (阿里技术)¶

📊 Level ⭐⭐ | 6.8KB | entities/alipay-618-intent-recognition-prompt-evolution.md

支付宝618 意图识别小模型进化实录¶

阿里技术胡嘉乐发布的支付宝 CY26-618 大促意图识别系统实战记录，完整覆盖了从模型选型、黄金用例集构建、四维评测、系统提示词自动调优框架到上线效果验证的全过程。

核心实践¶

模型选型流程（4小时）¶

五条约束（快/省/准/记得住/别越界）→ 外部团队调研 → 候选池筛选（排除多模态 + 嵌入）→ 四维评测（效果/时延/成本/上下文）→ 最终选择 Qwen3-8B。

黄金用例集¶

• 按业务规则定向构造（GLM-5.1 生成 → 人工逐条审查）
• 52 条黄金用例，覆盖边界 case
• 人工修正示例：双重意图（商品+权益）按业务约束重新标注

系统提示词自进化框架¶

三次迭代：自动化闭环 → train/test split → 反过拟合多层防线（规则优先于案例、案例硬上限、信号区分、已达标维度不动）。双轨评分：规则打分 + LLM 打分融合。

实验结果¶

自定义对话组商品点击率 3.7 倍，人均价值贡献 2.1 倍 vs 普通版本。主动交互 + 互动深度 → 转化效率正相关。

方法论贡献¶

• 系统提示词反过拟合的实践方案
• 小模型选型的四维评估框架
• 黄金用例集的构造与维护方法论
• AI 开发者从执行者到调度者的角色转变经验

深度分析¶

小模型的"务实选择"逻辑¶

支付宝从7个候选模型到最终选定Qwen3-8B的过程，展示了B端AI落地的核心决策逻辑：不是追求最强模型，而是选择在效果、时延、成本、上下文四个维度上同时满足约束的最均衡解。Qwen3-14B虽然得分更高（84.0 vs 80.8），但因"资源限制下交付有风险"被放弃——这一决策过程本身就是AI工程化的重要方法输出：模型选型是风险管理，而非benchmark竞赛。

反过拟合的系统提示词进化¶

三迭代框架（自动化闭环 → 数据拆分 → 反过拟合）中最具价值的不是自动化本身，而是"反过拟合多层防线"的设计哲学： - 案例服务于规则：严禁堆砌few-shot，保持提示词的规则主导性 - 新增案例硬上限：每轮最多1条示意性案例，防止训练集膨胀 - 三区信号区分：训练&测试集共现→真实规则缺口，仅测试集→泛化不足，仅训练集→噪声 - 已达标维度不动：避免已收敛维度的过度优化引发回归 这套方法论对任何生产级LLM应用的prompt持续优化都有直接的借鉴意义——尤其在意图识别、分类、抽取等高频场景中，"过度拟合黄金用例集"是最常见的退化模式。

双轨评分体系的设计智慧¶

规则打分（毫秒级）+ LLM打分（2-3分钟）的融合设计，在效率与深度之间取得了实用的平衡。权重分配中intent_accuracy（30%）+ keyword_extraction（30%）占据主导，说明业务核心关注的是"意图分对"和"关键信息不丢"，而非笼统的"语义理解好"。这种面向业务目标的打分设计，比通用的LLM评判更贴合实际需求。

深度交互驱动的转化效率正相关¶

实验发现用户互动深度与转化效率正相关，自定义对话组（最深交互）的商品点击率达到普通版本的3.7倍、人均价值贡献2.1倍。这一发现对电商Agent设计有直接启示：与其追求"一次对话即成交"的效率，不如设计能引导用户进行多层次交互（追问→澄清→推荐→比价）的对话流，以互动深度换取转化浓度。

从执行者到调度者的角色转变¶

工程心得部分提到的"频繁切换上下文但值得做（从执行者变成调度者）"，点明了AI时代工程师角色的根本性转变。当模型承担了意图识别的执行层工作，工程师的核心价值从"如何实现"转向"如何界定——如何定义意图分类体系、如何构造黄金用例、如何判断优化方向"。这与2026年AI工程领域的普遍趋势一致：AI承担执行，人类聚焦判断。

实践启示¶

1. 模型选型四维评估法：将选型决策系统化为效果、时延、成本、上下文四维加权评分。在实际项目中，建议增加"交付风险"作为第五维——性能最优的模型如果在部署窗口内无法安全上线，其理论优势没有实际意义。

2. 黄金用例集需要"反过拟合"机制：52条黄金用例看似不多，但如果优化时过度拟合这套用例集，会快速退化。建议固定训练/测试集划分，设定每轮新增用例上限（如1-2条），并引入"已达标维度不动"原则防止回归。

3. 双轨评分优于单一评分：在生产级LLM评测中，规则打分（字符串匹配、JSON校验）提供即时反馈，LLM打分提供深度判断。建议将两者的权重差异化部署——开发阶段偏向LLM打分找问题，生产监控阶段偏向规则打分保速度。

4. 电商Agent应设计深度交互而非一次性推荐：从3.7倍点击率的数据出发，在电商/推荐场景的Agent对话设计中，增加追问澄清、多轮引导的交互流程，而非追求单轮精准匹配。深度交互的转化效率远高于一次猜测。

5. 提示词优化的终极目标是"可迁移性"而非"完美拟合"：支付宝团队"案例服务于规则"的原则揭示了提示词工程的核心哲学——提示词应该体现可迁移的业务规则，而非针对当前用例集过度优化。在prompt迭代中建立防过拟合检查点比追求单轮高分更有长期价值。

→ 原文存档

关联¶

• 相关概念: Harness Engineering