BrowserBC:人类轨迹蒸馏为可复用技能,让小模型获得大模型的网页操作能力¶
Ch01.1612 BrowserBC:人类轨迹蒸馏为可复用技能,让小模型获得大模型的网页操作能力¶
📊 Level ⭐⭐⭐⭐ | 4.1KB |
entities/browserbc-human-trajectory-skill-distillation-quantumbit-2026.md
核心概述¶
BrowserBC 将人类在浏览器中的一次操作轨迹蒸馏为自然语言技能卡,让更小、更便宜的模型照着技能卡就能完成同类任务。核心洞察:录的不是坐标,而是"做什么 + 怎么判断完成"的可迁移过程性知识。装备 Sonnet-4.6 蒸馏技能的小 Agent 达到 77%,逼近大 Agent 的 80%。
→ 原文存档
问题:Web Agent 的"从零摸索"¶
当前 Web Agent 不缺操作能力(能点击、输入、跳转),缺的是每到陌生网站都要从零摸索。摸索容易陷入循环导航、路径漂移、提前收手。更关键的是:这次摸索的经验随着对话一起蒸发,下次同类任务还要重踩同样的坑。
方法:轨迹 → 技能卡 → 技能图¶
转写:从坐标到过程性知识¶
原始浏览器轨迹嘈杂(误点击、等待、重复尝试、隐私信息)。BrowserBC 按语义边界切成子过程,每段抽成"证据"(任务指令 + 页面状态 + 关键步骤 + 反馈 + 成败信号),再转写为结构化自然语言 Skill 卡。
关键设计:只保留可迁移的过程性知识,剥离会变/会泄露的细节。"按语义标签找到字段、填入值、提交后确认成功状态",而不是"点 (x,y)、再点那个 id 是某串字符的按钮"。
技能图管理¶
库组织为技能图,每个候选技能判断:新增 / 合并 / 特化。节点是技能,边是关系(时间依赖、特化、替代、互斥)。效果:重复演示合并为可复用节点;检索和更新只动相关局部;增量精炼只更新受影响的技能及邻居。
检索:轻量语义匹配¶
按语义相似度匹配最相关的技能卡,作为 Agent 的决策先验注入上下文。
关键实验结论¶
| 讨论 | 结论 |
|---|---|
| 技能是提示策略,不是硬编码 | 盲目照搬技能 77.5%,选择性使用(以页面为准)81.4%;3.9% 任务盲目照搬反而做坏 |
| 蒸馏一次、便宜复用 | Sonnet-4.6 蒸馏的技能同时提升两个执行器(+24/+20pp);小 Agent 装备后达 77%,逼近大 Agent 80% |
| 瓶颈在执行精度,不在缺知识 | 失败案例多因长表单漏字段、目标歧义、预算耗尽、推理跑飞——技能本身是对的 |
| 可迁移到桌面 | OSWorld 30 个 Ubuntu 任务中 17 个配技能后改善;可迁移的是过程性先验,非浏览器专属动作 |
核心启发¶
- 提升 Agent Browser Using 能力的关键在于补齐完备的网页逻辑知识
- 人类与虚拟世界的交互过程本身是尚未被充分利用的数据资源
- 人类访问分布服从幂律——常见站点的技能库会自然收敛;长尾站点只需一次成功轨迹即可蒸出可用技能
- 真正决定 Web Agent 上限的:是否构建了可持续积累、可复用、可迁移的经验结构
关联¶
- Autobrowse:浏览器 Agent 的失忆问题 — 持久化探索 vs 人类轨迹蒸馏,互补方案
- Browser Use:为 Agent 构建 Runtime Harness — 浏览器 Agent 的运行时验证