跳转至

直击GPU集群真实故障，首个AI Infra运维智能体基准开源

Ch04.539 直击GPU集群真实故障，首个AI Infra运维智能体基准开源

📊 Level ⭐⭐ | 7.0KB | entities/直击gpu集群真实故障首个ai-infra运维智能体基准开源.md

直击GPU集群真实故障，首个AI Infra运维智能体基准开源

中国信通院推出首个面向 AI Infra 运维的智能体评测基准——AISHPerf-智算运维智能体评测基准，无问芯穹作为重点技术支持单位参与标准建设，基于积累的近百亿条真实运维数据。

关键成果

  • 工单平均处理时长缩短 50%
  • 关键故障处理效率提升约 6 倍
  • 运维人员人效提升 5 倍以上
  • 综合运维成本下降约 30%

技术要点

随着全球智能体加速落地，以 GPU 为核心的 AI 基础设施正变得愈发关键。据摩根士丹利预测，2028 年全球 AI 基础设施累计投资将达 2.9 万亿美元。其中由运维人力、故障损失与集群闲置构成的成本占比可达 15%~20%，全行业潜在可优化空间超过 4350 亿美元。

该基准评测的核心价值在于：当 AI 进入基础设施领域后，"能否解决实际问题"已成为核心评判标准。AI 集群运维涉及复杂的系统知识、工具调用以及长链路推理，是对智能体能力的综合考验。

深度分析

1. AISHPerf 填补了 AI 基础设施运维智能体的评测空白

当前智能体评测多集中在代码生成（SWE-bench）、通用问答（MMLU）等场景，而 AI 基础设施运维作为 AI 落地的关键支撑环节，缺乏针对性的评测基准。AISHPerf 首创性地将 GPU 集群运维问题系统化、标准化，覆盖宿主机、高性能设备、容器平台、训推脚本、安全与运营商五大技术栈，44 种问题现象和 22 个细分故障领域。这标志着智能体评测从"语言能力"向"工程实操能力"的重要延伸。

2. "开放探索式评测"比"标准答案式评测"更贴近生产实际

AISHPerf 的设计哲学与典型 Benchmark 有本质差异：不明确指出故障根因，只提供真实集群环境和有限现象描述，要求智能体自主探索、自主排查、自主修复。这种"实操考核"模式更接近真实运维场景——智能体需要理解多层技术栈、正确与环境交互、处理长上下文信息、完成多跳推理与决策。实测结果显示，所有模型的总得分均在 50 分以下，表明当前旗舰模型在复杂运维问题上仍远未达到人类专家的水平。

3. AIOps-Chaos 混沌工程模块的工程创新

配套的 AIOps-Chaos 混沌工程模块通过软件层精准模拟 GPU 故障（掉卡、显存错误、NVLink 故障、网络分区等），避免了物理注入的高成本和不可重复性问题。其技术方案——劫持 nvml 库模拟 GPU 故障、基于 rdma hostmesh 构造网络故障指标——展示了在"软件模拟+真实集群"模式下实现高保真故障注入的可行路径。仅需一台 GPU 服务器即可支持多机故障模拟，将故障编排周期压缩到分钟级。

4. 多维度评估体系推动运维智能体能力的量化比较

AISHPerf 的评估体系以结果为导向，主指标为综合得分（不同难度任务赋予不同权重），辅助指标包括平均耗时、平均 Token 消耗和工具调用效率。特别值得注意的是"不调用工具直接猜答案即使正确也判错"的规则——这确保了评测真正衡量的是智能体的交互与推理能力，而非模式记忆能力。中等与困难问题上所有模型正确率均低于 50%，且 Tool Call 时间占比显著增加而正确率下降，说明模型在复杂场景中无法精准有效地采集信息。

5. "Token 工厂"视角下的系统化运维思考

该基准将 AI 系统定义为"Token 工厂"：模型是生产逻辑，数据是原材料，GPU 集群是生产设备，最终产出是 Token。这一类比将运维问题从"设备管理"升级为"生产效率优化"，运维智能体的角色也从"故障修复者"变为"工厂效率工程师"。其中揭示的三种典型失败模式——稳定性不足、推理链质量差、决策执行不安全——为运维智能体的研发提供了清晰的改进方向。

实践启示

  1. 运维智能体的评估应优先于研发：在投入大量资源开发运维智能体之前，先用 AISHPerf 类基准建立基线评测。它不仅能量化当前能力，更能定义"好用"的具体标准——在当前所有模型得分低于 50 分的情况下，明确差距比盲目优化更重要。

  2. "实操考核"比"知识问答"更适合工程类智能体：如果你的智能体要在真实环境中执行任务（运维、部署、调试），评测方式应模拟真实操作而非理论问答。AISHPerf 的开放探索式设计理念适用于 DevOps、SRE、数据库运维等所有工程类 Agent 场景。

  3. 故障注入（Chaos Engineering）是运维智能体训练的必要基础设施：AIOps-Chaos 的低成本故障注入方案（劫持 NVML 库、软件模拟硬件故障）值得借鉴。自建故障模拟器可以帮助运维智能体在生产部署前获得充分的"实战"训练。

  4. 跨技术栈多跳推理是当前模型的共同短板：实测中所有模型在硬件故障上的正确率普遍低于代码类 Bug，且 Token 消耗更高。模型"反复确认却无法确定"的行为模式表明，Agent 架构需要针对"低置信度场景"设计更高效的决策机制。

  5. 从"故障修复"到"效率优化"的运维 Agent 定位升级：AISHPerf 将运维问题置于"Token 工厂"效率框架下思考，运维 Agent 的终极目标不是"修好服务器"，而是"最大化 GPU 集群的 Token 产出效率"。这一视角与 Harness Engineering 中的系统性工程思维高度一致。

相关实体

→ 原文存档