因熟知而忽视：底层系统里，藏着 20% 未被挖掘的算力成本¶

Ch01.1132 因熟知而忽视：底层系统里，藏着 20% 未被挖掘的算力成本¶

📊 Level ⭐⭐ | 5.4KB | entities/因熟知而忽视底层系统里藏着-20-未被挖掘的算力成本.md

因熟知而忽视：底层系统里，藏着 20% 未被挖掘的算力成本¶

来源: 百度Geek说

发布日期: 2026-03-02

原文链接: https://mp.weixin.qq.com/s/PcySdc6llj1tJ_X25qKjSw

。

点击蓝字，关注我们

1.  常规优化路径之外，仍有 10%-20% 隐藏空间¶

在企业的技术运营中，一条被广泛验证的降本增效路径早已形成共识：采购时通过规模优势压低硬件单价，使用时借助调度、混部和潮汐算力提升资源利用率，业务侧则持续优化应用代码和架构。这条路径清晰、务实，也确实帮助众多企业有效控制了 IT 成本。

然而，一个经常被忽略的事实是： 即使那些拥有成熟技术团队、系统经过多年优化的业务，其计算成本中仍然普遍存在 10%-20% 的隐藏优化空间 。对于一个年投入千万算力的客户来说，这意味着近百万的成本可以在不增加任何硬件投入的情况下被释放。

问题是：当我们已经在前端、架构、资源调度上做了大量工作，这 20% 的空间究竟藏在哪里？

2.  真正的性能瓶颈， 藏在应用层之下¶

答案在于一个被长期忽视的视角：真正的应用运行，远不止于业务代码。

一次请求的完整执行，贯穿了五个关键层级：应用层（你的代码）→ Runtime 层（框架、库）→ 操作系统/内核层（资源管理、调度）→ 微架构层（计算流水线、Cache）→ 硬件系统层（CPU、内存、网卡、GPU 等）。

传统优化大多在前两层深耕，而将底层视为稳定不变的黑箱。但这恰恰是最大的认知陷阱：这个以 CPU 为核心的黑箱，其效率直接定义了上层业务的性能极限与成本底线。

因此，如果希望继续挖掘性能与成本空间，视角就必须下移至—— 从以 CPU 为中心的底层系统出发，重新理解应用是如何被真实执行的。

3.  为什么我们总误解 CPU？¶

3.1.  CPU 时代：误把成熟当不再变化¶

在纯 CPU 时代，我们对它的关注往往停留在主频、核数、功耗这些表层指标。只要配置够用，CPU 便从讨论中消失。 它甚至成熟到我们习以为常——多少人能立刻说出它的全称 Central Processing Unit？

这种稳定背景板的认知，让我们误以为一次适配，长期受益。然而现实是：CPU 是当前变化最快、差异最大的核心硬件之一。Intel 与 AMD 在微架构设计、缓存层级和 NUMA 拓扑上的不同取舍，ARM 与 x86 在指令集、内存一致性模型和能效路径上的根本差异，以及不同代际 CPU 在指令支持、内存与 IO 子系统上的快速演进……这些变化并不会影响应用能不能跑，却会深刻影响应用是如何被 CPU 执行的。

3.2.  GPU 时代：CPU 从未退场¶

AI 时代，所有目光都聚焦于 GPU 的算力。然而，一个被严重低估的真相是：CPU 不仅是计算任务的重要参与者，更是整个 AI 计算流程中决定性的节奏掌控者。 GPU 提供的是潜在算力，而 CPU 决定了其中有多少能转化为有效输出。

CPU 在 AI 计算中扮演着两个不可替代的核心角色：

• 关键环节的直接计算单元 ：从请求解析、Tokenization 到 Sampling，这些直接影响推理效率的关键环节，其计算本身就发生在 CPU 上。同时，一个常被忽略的事实是：SGLang、vLLM 等 AI 框架，本身就是运行在 CPU 上的一个大型应用程序

GPU 工作流的控制中枢与效率闸门 ：CPU 掌控着驱动 GPU 工作的两大关键：

→ 原文存档

关联¶

• 相关概念: Harness Engineering