跳转至

openJiuwen 算力亲和 — Agent 任务状态与推理引擎的语义通道

Ch04.553 openJiuwen 算力亲和 — Agent 任务状态与推理引擎的语义通道

📊 Level ⭐⭐ | 6.8KB | entities/openjiuwen-compute-affinity-kv-cache-scheduling-2026.md

openJiuwen 算力亲和 — Agent 任务状态与推理引擎的语义通道

机器之心 2026-08-11。华为 2012 实验室/华为云/计算/终端联合打造的 openJiuwen 开源智能体平台构建"算力亲和"能力：打通 Agent 框架、推理引擎与底层算力的全链路协同机制。

核心问题

传统推理引擎只看得到请求和缓存，看不懂 Agent 正在做什么：

  • 子任务已结束，缓存还停留在显存
  • 会话挂起，缓存继续占最贵位置
  • 会话即将恢复，引擎等请求到来才开始加载

核心断层：Agent 掌握任务状态，引擎掌握算力资源，两者之间缺一条传递语义的通道。

效果

KV Cache 从被动管理走向主动协同，首 token 时延砍半、推理存储占用下降 25%。与 openJiuwen 自进化记忆 同属 openJiuwen 平台家族；技术上属于 Prefill/Decode 分离 同方向的 Agent 侧调度优化。

深度分析

Agent Hint：把任务语义变成调度信号

算力亲和的核心不是新的缓存算法，而是一条语义通道：Agent Hint 是 Agent 与推理引擎之间的"状态契约"，它不是额外的 API 调用，也不是插在中间的新系统，而是给引擎下发的一段语义——告诉引擎"我是哪个会话、隶属于哪个父任务、这段缓存接下来会怎样"。

其设计前提是：Agent 本来就掌握任务状态（子任务结束、会话挂起、上下文压缩），而传统引擎只依赖 LRU 等通用策略，无法区分"暂时不用"与"彻底结束"，导致该释放的缓存不及时、该保留的缓存被误淘汰。

驱逐/卸载/预取：KV Cache 生命周期闭环

协同围绕三个动作展开：驱逐（evict）、卸载（offload）、预取（prefetch），共同构成 KV Cache 的生命周期闭环——缓存不再只有"留在显存"或"排队等淘汰"两种命运，而是随任务节奏在存储层级间主动流动。

一次蜂群任务的典型流转：Leader 拆解任务后公共前缀被算好缓存供子 Agent 复用；子 Agent 被调起前 JiuwenSwarm 提前发出 Prefetch 信号取回缓存；工具执行等待期间缓存从 HBM 卸载、结果返回后抢在下次推理前预取；上下文压缩时被移出部分同步卸载到低成本存储；任务结束按会话边界统一回收。

三层协同：SAM、SPM 与昇腾总线

架构分三层：JiuwenSwarm 感知上下文与生命周期（消息流转、工具调用、子 Agent 创建销毁），把任务状态归成"正在使用/暂时不用/不再使用"三类；SAM（会话感知管理器） 在推理引擎内把无状态前缀缓存升级为会话感知调度，为活跃长会话保住思考过程、工具中间结果等独有前缀；SPM（会话感知池化管理器） 把会话语义继续传到 Mooncake 类分布式缓存池，活跃会话保活、结束即交还、恢复前预取。

昇腾侧复用既有缓存加载与池化接口，缓存的跨层级迁移借助灵渠总线在 NPU HBM、鲲鹏 DDR、SSD 与远端缓存池之间快速流动——Hint 负责"调得准"，灵渠总线负责"流得快"。

量化收益与范式意义

基于 SWE-bench Verified 的对比测试（10 用户并发 JiuwenSwarm）：首 token 时延（TTFT）降低 57.46%、端到端（E2E）时延降低 27.61%、Prefix Cache 命中率提升 33%、池化缓存使用量峰值降低 25.24%。

范式意义在于把"算力从响应请求走向理解任务"：调度的依据从"哪块缓存最久没被访问"升级为"哪个任务正在跑、哪个只是暂停、哪段上下文马上要用"，是 KV Cache 管理从访问热度判断到面向 Agent 执行工作流的语义级调度的转变。

实践启示

  1. 先建语义通道，再优化缓存策略：Agent 框架与推理引擎之间定义明确的 Hint 契约（session_id / parent_session_id / context_management），比在引擎内部调参更能解决长任务场景的缓存浪费。
  2. 用"三态"归约资源管理：把 Agent 资源状态归为"正在使用/暂时不用/不再使用"三类，分别对应保护、下移、释放，避免 LRU 对暂停会话与结束会话一视同仁。
  3. 预取要抢在推理请求之前：缓存加载前移到任务状态切换阶段（子 Agent 调起前、工具结果返回后），而非等请求到来才加载——这是 TTFT 砍半的关键动作。
  4. 会话语义下沉到每一层：本地显存由 SAM 保活独有前缀，池化层由 SPM 传递会话归属，否则远端存储"不认识会话"会白费预取。
  5. 按会话边界做资源回收：蜂群任务结束时沿会话边界统一回收关联资源，避免子 Agent 缓存残留占用最贵的 HBM。
  6. 量化评估全链路：同时测 TTFT、E2E 时延、Prefix Cache 命中率与池化缓存峰值，才能完整反映算力亲和的价值。

→ 原文存档