TaoLive HAT:让 Agent 与 Harness 共同演化(Harness-Aware Training)¶
Ch04.706 TaoLive HAT:让 Agent 与 Harness 共同演化(Harness-Aware Training)¶
📊 Level ⭐⭐ | 4.2KB |
entities/taolive-hat-harness-aware-training-arxiv-2608-15763.md
TaoLive HAT:让 Agent 与 Harness 共同演化(Harness-Aware Training)¶
背景:TaoLive(淘宝直播 AIGC LLM 团队)在 arXiv 2608.15763 发布的技术报告,提出 Harness-Aware Training (HAT),核心命题是:当 Harness(Skills/Hooks/系统提示/工具)从模型权重中解耦、可运行时演化时,模型不能只针对单一 Harness 配置微调,而必须把「Harness 状态」纳入训练分布。
核心矛盾:可演化 Harness vs 训练僵化¶
直播电商的数字人 Agent 必须实时回答商品问题、与观众互动、并执行不断变化的运营策略(活动、合规、话术)。为满足这一点,TaoLive 构建了可演化 Harness:把 Skills、Hooks、系统提示、工具与模型权重解耦,运行时可改行为而无需重训。
但这制造了一个「移动的执行环境」两难: - 紧凑模型(低延迟)对单一配置微调后,会记忆名称、schema、提示模板,而不是跟随当前提供的 Harness——Harness 一变就失效; - 更强的零样本模型能跟随任意 Harness,但实时场景太慢。
这个「记忆 vs 泛化」张力是 HAT 要解决的核心。
HAT 方法:让 Harness 状态进入训练分布¶
HAT 的核心是把 Harness 状态(Skills、工具 schema、提示结构、交互约束)作为训练分布的一部分,通过任务保持的 Harness-State Augmentation (HSA) 实现,分三阶段:
- HSA-based 监督微调(SFT):在带 Harness 状态增强的数据上微调;
- 通用 on-policy 蒸馏:恢复通用能力,避免过度适配单一 Harness;
- HSA-based agentic RL:在贴近生产的直播室模拟器中做强化学习。
关键结果¶
- 紧凑 35B 模型:Live-Stream QA 94.8(base 80.3,最强通用 LLM 93.0)、Harness-Variant QA 94.6、IFEval 83.5;
- 固定 Harness 的 SFT 使 IFEval 掉 7.7 分——直接证明「只针对单一 Harness 微调」会牺牲通用指令跟随;
- 单张 NVIDIA H20 + MTP:P50 3.407s / P95 8.114s,满足实时直播延迟约束;
- 4,500+ 案例、四套评测集。
与既有 Harness/Agentic-RL 工作的关系¶
- 与 Agent Lightning v1.0(Harnessed Agentic RL) 同为「让训练感知 Harness」的 arxiv 工作,但路线不同:Lightning 是轻量框架 + agentic RL,TaoLive HAT 是三阶段 HSA 训练方法论,强调可演化 Harness 下的泛化保持。
- 属于 Agent Harness 工程范式 在「训练侧」的延伸——多数 harness 工作聚焦运行时编排(Agent Harness 工程综述),HAT 补上了「模型如何与动态 Harness 一起训练」这一环。
- 与 Agentic RL 七课、CUHK SLIM(Skill 生命周期) 同属 agentic RL 后训练谱系。
启示¶
HAT 的「记忆 vs 泛化」矛盾对生产 Agent 有普遍意义:任何解耦了 Harness/工具/Skill 的系统,若只对固定配置微调,都会在 Harness 演化时失效。把配置状态纳入训练分布(而非事后修补)是更根本的解法。
→ 原文存档