异构Token工厂不再踩坑！多机构联合发布工业级设计实践，拆解跨硬件推理服务的核心边界¶

Ch01.1153 异构Token工厂不再踩坑！多机构联合发布工业级设计实践，拆解跨硬件推理服务的核心边界¶

📊 Level ⭐⭐ | 5.3KB | entities/异构token工厂不再踩坑多机构联合发布工业级设计实践拆解跨硬件推理服务的核心边界.md

异构Token工厂不再踩坑！多机构联合发布工业级设计实践，拆解跨硬件推理服务的核心边界¶

机器之心

在小说阅读器读本章

去阅读

在小说阅读器中沉浸阅读

机器之心发布

随着大模型推理服务部署走向成本与算力双约束， Prefill-Decode（PD）分离的异构推理已从前沿方案进入生产落地。推理加速器的差异性体现在不同精度计算速度、访存带宽与存储大小、机内机间通信带宽等多方面。比如构建异构 Token 工厂时，可以选择计算密集型的硬件算力运行 Prefill 阶段，高通信带宽的硬件算力运行 Decode 阶段。此时 KV Cache 跨硬件、跨精度、跨互联传输成为常态，但业界长期缺乏统一设计范式 —— 硬件、量化精度、网络、KV Cache 分层存储的选型互相耦合，部署运维人员只能靠试错调参，极易出现字节传输成功但推理结果错乱、首 Token 延迟飙升、 KV Cache 数据污染、故障恢复失效等问题。

近日，上海创智学院、上海交大、复旦、人大、沐曦、基流、上海仪电多家产学研机构联合发布论文《Demystifying the Design Space and Best Practices for Heterogeneous LLM Inference and Serving》，首次系统性地拆解了异构 Prefill-Decode 推理的设计空间，提炼出三个核心边界决策与九条部署最佳实践，并在沐曦 C600 GPU + 英伟达 Hopper GPU 的生产环境中完成验证。

论文地址：https://arxiv.org/pdf/2606.29708

异构推理已成常态，但缺一张全景图

大模型推理正在经历一场静默的架构变革。当前，异构推理已不再是可选项，GPU 供应紧张、多厂商混合部署成为常态、不同阶段对算力和带宽的需求天然不同。异构推理在性价比更优或供应更充足的芯片上运行 Prefill 阶段，在带宽更强的芯片上运行 Decode 阶段，通过混合数值格式传输 KV Cache 状态，跨越异构互联完成一次完整的推理请求。

多数团队仍在沿用同构时代的思路，DistServe、Splitwise、Mooncake、FlowKV 等系统各自解决了其中的一部分关键问题，但每个系统都在独立地做决策，用什么加速器、什么精度、什么互联、KV Cache 放在哪里，却缺少一个统一的设计来回答：这些决策中，哪些必须联合做出，哪些可以独立决定？

核心问题：当异构推理组合了不同的加速器、数值格式、互联路径和 KV Cache 驻留层级时，哪些设计决策必须在 PD 边界处联合做出，哪些可以各自独立？

论文正是要回答这个问题，为异构推理这一个正在快速膨胀的设计空间画出了理论边界。它不提出新的推理架构或调度算法，而是提供一份设计空间的系统性地图，帮助工程团队理解异构推理系统中那些看似独立、实则耦合的设计选择，以及它们如何在边界处产生交互。

五个设计轴与一个关键抽象

论文跳出单一模块优化思路，构建一套覆盖全链路的标准化分析框架，将异构推理拆解为五个设计维度，并基于维度间的强耦合约束，收敛出异构部署必须解决的三大核心边界问题。

在同构部署中，这五个设计维度大多可以独立调节，当 Prefill 和 Decode 运行在不同硬件上，维度之间的

→ 原文存档

关联¶

相关概念: Harness Engineering