跳转至

浪潮信息 2026 OCP — Agent 规模化基础设施

Ch04.478 浪潮信息 2026 OCP — Agent 规模化基础设施

📊 Level ⭐⭐ | 7.8KB | entities/langchao-ocp-agent-scale-infrastructure-2026.md

浪潮信息 2026 OCP — Agent 规模化基础设施

摘要

浪潮信息在 2026 开放计算大会（OCP China 2026）上，针对 AI Agent 规模化运行对基础设施提出的新需求，发布了新的产品方案。核心产品包括业界首款 CPU 原生液冷整机柜服务器（单柜支撑 4 万+ Agent 协同运行）和元脑 SD200 超节点企业版（万亿模型 token 生成时间压至 4.77ms）。

核心要点

  • 市场背景：2025 年中国 AI Agent 企业级市场规模约 190 亿元，预计 2025-2028 年复合增长率超 110%；Gartner 预测 2026 年 40% 企业应用集成任务型 Agent
  • 核心洞察：Agent 阶段基础设施需要支撑任务拆解、工具调用、多轮协作和持续运行，与单次推理时代完全不同
  • CPU 原生液冷整机柜：单柜 384 颗 CPU（OCM 架构，兼容 x86/ARM），支撑 4 万+ Agent，原生液冷覆盖所有发热部件
  • 多模融合 API：同一任务同时派发给多个候选模型，由评审模型比较共识、分歧、遗漏后拼出统一输出
  • 元脑 SD200 超节点：万亿参数模型 token 生成时间 4.77ms（国内首个破 5ms），已适配 Kimi K2.6、DeepSeek V4、GLM 5.2、MiniMax M3 等

深度分析

Agent 时代的基础设施范式转变

浪潮信息在 OCP 2026 上的发布，本质上揭示了 AI 基础设施的范式转变：从"支撑模型推理"到"支撑 Agent 运行"。两者的核心差异在于：

  • 推理时代：一次输入一次输出，GPU 为中心，任务周期短
  • Agent 时代：任务拆解→工具调用→多轮协作→持续运行，CPU+GPU 多算力协同，Agent 常年在线

这一转变直接影响了基础设施的架构设计。CPU 在 Agent 基础设施中的作用比重显著增加——Agent 的任务拆解、工具调用、逻辑推理（整型运算）都运行在 CPU 之上。浪潮信息副总经理赵帅指出，国内 AI 机柜功率今年内将冲到 300 千瓦，全球部分机柜已进入兆瓦级。

"单柜 4 万 Agent"的工程意义

浪潮信息发布的业界首款 CPU 原生液冷整机柜服务器，单柜最大可支持 384 颗基于 OCM 架构的 CPU 处理器，支撑 4 万+ Agent 协同运行。这个规模是今年 4 月发布的"企千虾"方案（单台 2U 服务器部署 1000 个 OpenClaw）的 40 倍。

关键创新在于"原生液冷"：颠覆传统风液混合散热逻辑，将内存、网卡、光模块、SSD 等所有发热部件一并纳入液冷散热体系。2U 超薄形态节点塞进 16 颗 CPU，所有部件平铺在主板上，用整块冷板统一承接散热。整机柜做到无线缆设计、支持热维护、运维效率提升 100%+。

这种"算力密度最大化"的设计哲学，与 Harness Engineering Framework 中的"资源编排"理念一致——不是单个组件的堆叠，而是系统级的协同设计。

多模融合：从"单一模型"到"模型委员会"

多模融合 API 的技术设计值得关注：同一任务同时甩给多个候选模型独立生成答案，评审模型比较共识、分歧、遗漏和独特观点，最终拼出统一输出。这套机制在 DRACO 测试里取得 53.9% 的成绩，高于同一测试候选池里任何一个单模型。

这不是简单的"模型投票"，而是有选择的路由策略：

  • 短任务（简单问答、工具调用、格式转换）→ 直接路由给轻量单模型
  • 长链路任务（复杂推理）→ 调度多个候选模型协同处理

这种"分类处理"策略在实际工程中至关重要——不是所有任务都需要多模型协作，过度使用会浪费算力和延迟。这与 Agent Harness Dingtalk Recruitment 中 agent 的任务路由策略有异曲同工之处。

Token 生成时间从 8.9ms 到 4.77ms 的技术路径

元脑 SD200 超节点将 token 生成时间从去年的 8.9ms 进一步压到 4.77ms（国内首个破 5ms 方案），首 Token 延迟降低 35%。提升背后是三项软硬协同优化：

  1. 多 Token 预测：解码阶段一次生成多个候选 token 再校验，减少逐字生成轮次
  2. W4A8 精度方案：把万亿参数模型 MoE 模块的计算精度从 BF16 降到 INT8，降低访存带宽压力
  3. JIT 即时编译：运行时根据张量形状动态生成专用 GPU 内核，让算力更贴近硬件特性

这些优化不是单一维度的突破，而是一套系统性工程——从算法（多 Token 预测）、数值精度（W4A8）到编译优化（JIT）的全链路协同。

CPU+GPU+软件平台的三体协同

浪潮信息的方案明确了 Agent 时代基础设施的三大要素分工：

  • 软件平台（元脑企智 EPAI）：模型接入、任务编排、资源调度、权限治理、结果融合
  • CPU：承载 Agent 实例、工具调用、沙箱运行、业务系统交互
  • GPU：模型推理与 Token 生成

三者协同才能支撑海量 Agent 稳定运行和复杂任务高效执行。任何一环掉队，整个 Agent 应用都跑不顺畅。这比"单点强"的竞争逻辑更强调系统级协同能力——竞争重点已经从"谁的 GPU 更强"转向"谁的链路更顺"。

实践启示

  1. Agent 基础设施的设计应该以"Agent 生命周期"而非"模型推理"为中心。Agent 需要长期在线、多轮交互、工具调用——这些需求对 CPU 算力、内存带宽和散热的要求与纯推理完全不同。评估 Agent 基础设施时，需要关注 Agent 承载密度而非仅仅是模型推理吞吐量。

  2. "多模融合"比"单一最强模型"在复杂任务上更有效。DRACO 测试中 53.9% vs 任何单模型的成绩，验证了"模型委员会"策略在复杂推理任务上的优势。对于 Agent Harness Dingtalk Recruitment 等生产级 agent，可以考虑引入多模型评审机制。

  3. 软硬协同优化是当前 AI 基础设施的核心竞争力。浪潮信息在算法（多 Token 预测）、精度（W4A8）、编译（JIT）三个维度的协同优化，比任何单一维度的突破都更有工程价值。

  4. Agent 规模化的瓶颈正在从"模型能力"转向"基础设施承载能力"。单柜 4 万 Agent 的设计目标表明，当 agent 从 demo 走向生产，基础设施的 Agent 承载密度、散热效率和运维自动化将成为关键约束条件。

相关实体

→ 原文存档