跳转至

京东 Oxygen xLLM 大模型推理引擎捐赠开源

Ch01.971 京东 Oxygen xLLM 大模型推理引擎捐赠开源

📊 Level ⭐⭐ | 6.6KB | entities/jd-oxygen-xllm-inference-engine.md

京东 Oxygen xLLM 大模型推理引擎捐赠开源

Background：本文基于京东技术公众号报道 Jd Oxygen Xllm Inference Engine Opensource 2026 整理。京东将自研的 Oxygen xLLM 大模型推理引擎捐赠给开放原子开源基金会。

概述

京东 Oxygen xLLM 大模型推理引擎正式捐赠给开放原子开源基金会，共建国产 AI Infra 生态。Oxygen xLLM 是京东零售技术团队自研的大模型推理引擎，旨在高效支持大规模语言模型的推理部署。

意义

  1. AI Infra 开源生态：成为开放原子开源基金会旗下的大模型推理引擎项目，推动国产 AI 基础软件生态建设
  2. 行业共享：京东将自研推理引擎开源，降低行业大模型推理部署门槛
  3. 联合共建：社区可共同参与优化推理性能、扩展硬件适配

深度分析

服务-引擎解耦的架构创新

Oxygen xLLM 的核心架构创新在于业界首创的"服务-引擎解耦"设计。Service 层负责集群调度、弹性资源分配、流量管理（含动态 PD 分离和全局 KV 缓存）；Engine 层专注底层计算，包括多层次流水线、自适应图模式和高效内存管理。这种分离使调度与计算可以独立演进：Service 层优化资源利用率和 SLO 保障，Engine 层释放芯片算力，两者通过统一抽象层协同增效。

工程智能化（EI）的战略前瞻

京东在捐赠仪式上提出的"工程智能化（Engineering Intelligence, EI）"概念值得关注。EI 的核心命题不是算力堆叠，而是让调度系统自主感知负载特征并动态优化、让推理引擎根据模型结构和硬件特性自动生成最优执行方案。这意味着 AI Infra 的下一阶段竞争将从"规模"转向"智能"，而单一企业无法独立实现 EI，需要芯片厂商、框架开发者、模型团队、云服务商及开发者生态的协力共建。

工业级验证的跨行业普适性

Oxygen xLLM 并非实验室项目。在京东客服大模型场景中，大促期间集群利用率提升 35% 以上、P99 延迟降低 28%；在电力行业，巡检效率提升约 3 倍、停电事故率下降 30%；在公共安全领域，32 并发下推理性能提升 127%、TTFT 缩短 50%。跨行业的验证数据表明，服务-引擎解耦架构对多种业务场景具有普适性，其核心优化手段（流水线并行、自适应图模式、统一推理抽象层）在不同行业场景中均可复现显著收益。

开源生态的战略选择

京东选择将 Oxygen xLLM 捐赠给开放原子开源基金会（Apache 2.0），而非保持闭源或独立开源，反映了对国产 AI Infra 生态建设的战略判断。通过基金会平台，Oxygen xLLM 有望联合更多芯片厂商（GPU/NPU/MLU）、模型厂商和云厂商，推动形成大模型推理引擎相关标准，降低国产化部署门槛。这一策略既加速了生态共建，也提升了项目在政企市场的可信度。

多模态与全链路的技术路线图

Oxygen xLLM 的路线图显示其目标不仅是文本 LLM 推理。2026 年计划完成全模态模型（文生图/视频/Omini）支持、主流国产芯片全面适配、企业版商业服务推出；2027 年起推动成为国产芯片大模型推理的事实标准。这一路线图的广度——从文本到视觉、从推理到服务化——体现了京东对 AI Infra 全栈能力的布局野心。

实践启示

  1. 解耦架构是规模化推理的关键：服务-引擎解耦让资源调度与计算优化可以各自独立演进，避免"既要又要"的架构妥协。这是支撑多模型、多芯片、多场景统一推理的有效模式。
  2. 开源捐赠是生态杠杆：将核心基础设施捐赠给基金会（而非简单开源），能获得更高层次的影响力、标准话语权和生态共建能力，尤其适合国产化替代的战略场景。
  3. 跨行业验证证明通用性：电商、电力、公共安全三个截然不同的行业均取得显著效果，说明底层推理优化手段具有跨行业的通用价值。
  4. 工程智能化是下一阶段制高点：当模型能力趋于同质化，AI Infra 的竞争力将从"堆算力"转向"让系统自己优化自己"。EI 是比简单性能优化更深层的护城河。
  5. 国产芯片适配需要统一框架：Oxygen xLLM 通过统一推理抽象层屏蔽硬件差异，一套框架覆盖多种国产芯片，降低了国产化部署的碎片化风险。

相关链接

  • entities/openatom（开放原子开源基金会）
  • 大模型推理
  • entities/jd

第 2 来源 — 京东技术公众号 (2026-06-25)

京东 Oxygen xLLM 大模型推理引擎于 2026 年 6 月 25 日正式捐赠给开放原子开源基金会，以 Apache 2.0 许可证向社区开放。Oxygen xLLM 是业界首个采用"服务-引擎解耦"架构的推理框架，将集群调度（Service 层）与底层计算（Engine 层）分离，支持灵活的资源分配与极致算力榨取。

京东提出 工程智能化（Engineering Intelligence, EI） 作为下一代 AI 基础设施核心命题——让调度系统自主感知负载特征并动态优化，同时强调单体企业无法独立实现 EI，需要芯片厂商、框架开发者、模型团队、云服务商及开发者生态的协力共建。

→ 原文存档

关联