跳转至

TaoLive HAT:让 Agent 与 Harness 共同演化(Harness-Aware Training)

Ch04.706 TaoLive HAT:让 Agent 与 Harness 共同演化(Harness-Aware Training)

📊 Level ⭐⭐ | 4.2KB | entities/taolive-hat-harness-aware-training-arxiv-2608-15763.md

TaoLive HAT:让 Agent 与 Harness 共同演化(Harness-Aware Training)

背景:TaoLive(淘宝直播 AIGC LLM 团队)在 arXiv 2608.15763 发布的技术报告,提出 Harness-Aware Training (HAT),核心命题是:当 Harness(Skills/Hooks/系统提示/工具)从模型权重中解耦、可运行时演化时,模型不能只针对单一 Harness 配置微调,而必须把「Harness 状态」纳入训练分布。

核心矛盾:可演化 Harness vs 训练僵化

直播电商的数字人 Agent 必须实时回答商品问题、与观众互动、并执行不断变化的运营策略(活动、合规、话术)。为满足这一点,TaoLive 构建了可演化 Harness:把 Skills、Hooks、系统提示、工具与模型权重解耦,运行时可改行为而无需重训。

但这制造了一个「移动的执行环境」两难: - 紧凑模型(低延迟)对单一配置微调后,会记忆名称、schema、提示模板,而不是跟随当前提供的 Harness——Harness 一变就失效; - 更强的零样本模型能跟随任意 Harness,但实时场景太慢

这个「记忆 vs 泛化」张力是 HAT 要解决的核心。

HAT 方法:让 Harness 状态进入训练分布

HAT 的核心是把 Harness 状态(Skills、工具 schema、提示结构、交互约束)作为训练分布的一部分,通过任务保持的 Harness-State Augmentation (HSA) 实现,分三阶段:

  1. HSA-based 监督微调(SFT):在带 Harness 状态增强的数据上微调;
  2. 通用 on-policy 蒸馏:恢复通用能力,避免过度适配单一 Harness;
  3. HSA-based agentic RL:在贴近生产的直播室模拟器中做强化学习。

关键结果

  • 紧凑 35B 模型:Live-Stream QA 94.8(base 80.3,最强通用 LLM 93.0)、Harness-Variant QA 94.6IFEval 83.5
  • 固定 Harness 的 SFT 使 IFEval 掉 7.7 分——直接证明「只针对单一 Harness 微调」会牺牲通用指令跟随;
  • 单张 NVIDIA H20 + MTP:P50 3.407s / P95 8.114s,满足实时直播延迟约束;
  • 4,500+ 案例、四套评测集。

与既有 Harness/Agentic-RL 工作的关系

启示

HAT 的「记忆 vs 泛化」矛盾对生产 Agent 有普遍意义:任何解耦了 Harness/工具/Skill 的系统,若只对固定配置微调,都会在 Harness 演化时失效。把配置状态纳入训练分布(而非事后修补)是更根本的解法。

原文存档