Fable 5 手搓 CUDA 超级内核 18.7 倍加速¶

Ch01.793 Fable 5 手搓 CUDA 超级内核 18.7 倍加速¶

📊 Level ⭐⭐ | 8.0KB | entities/fable-5-cuda-super-kernel-187x-speedup-2026.md

Fable 5 手搓 CUDA 超级内核 2.5 小时狂飙 18.7 倍¶

Fable 5（Anthropic）用户通过纯手写 CUDA 内核，在 2.5 小时内实现了 18.7 倍的推理速度提升，超越了 GPT-5.5 达 4 倍以上。Anthropic 联合创始人将此举视为 RSI（递归自我改进）加速的里程碑。

背景：KernelBench-Mega 基准测试¶

KernelBench-Mega 是 GPU 算子基准测试的新标杆，不同于传统单一算子的修修补补，它将整个模型的计算块强行塞入内核，做深度的算子融合。本次测试的考题是 02_kimi_linear_decode——一项 Kimi-Linear W4A16 的混合解码任务（4-bit 权重，bf16 激活）。规则极其严苛：每个模型仅有一次自主会话机会，以及 3 小时真实时间的极限压榨。

排行榜结果：

Fable 5 把第二名 Claude Opus 4.8 甩开了 4 倍以上的身位，实现了断层领先。

技术突破：首个真正的「超级内核」¶

Fable 5 写出的，是 KernelBench-Mega 历史上第一个真正的「超级内核」（megakernel）。所谓超级内核，就是把整套推理流程压进一个内核里一口气跑完，中间不落地、不切换。这是 GPU 编程里公认最难啃的写法之一，此前没有任何模型实现过。

通过 torch.profiler 可以看到一个惊人的细节：解码每一个 Token 时，Fable 5 的内核只启动了「刚好一次」。int4 解量化、卷积、SiLU、KDA 门控 delta 状态、MLA 吸收隐变量注意力、MoE 路由加 top-8 专家、RMSNorm、KV 缓存的写入——全都塞进这一次启动里，靠 14 道网格屏障分阶段跑完。而其他所有高分模型，全都要把问题拆成 4-14 次独立的内核启动。

反直觉的性能特征¶

更反直觉的是，上下文越长，Fable 5 跑得越快。2K 上下文时 17.8×，8K 时扩大到 18.9×，拉长到 16K 时直接飙到 19.5×。通常随着上下文拉长，KV Cache 膨胀，单 Token 注意力计算量激增，这是解码内核性能「大出血」的重灾区。但 Fable 5 把所有计算强塞进单次启动中，极大摊薄了固定的屏障同步开销。同时 int4 计算效率死死咬住了硬件的内存带宽上限。

工作过程：2.5 小时，55 万 Token¶

Fable 5 写内核的过程本身就值得深入分析：

1. 前期分析（64% 时间在沉默）：安静地给基准线计时、给网格屏障做微基准、推导出「每 token 约 29 倍字节」的 roofline 上限
2. 首次编写：做完功课后一口气把整个内核写完，第一次跑分直接命中 14.4 倍
3. 迭代优化（最后一小时）：删屏障、把 int4 反量化压榨到几乎「免费」，一路把自己送上 18.7 倍
4. 回滚机制：中途试过一次负优化，测完当场回滚，没有半句自我辩解，只认数据

整个流程体现了 Fable-5 独特的推理策略：在动手编码前进行充分的性能分析和微基准测试，然后用一次大规模写入完成核心实现，最后通过精确的局部优化逼近物理极限。

深度分析¶

1. RSI（递归自我改进）循环的开始¶

Anthropic 联合创始人 Jack Clark 在最新一期 Import AI 中给出了一个不轻的判断：Fable 5 的这一成果标志着「递归自我提升」（RSI）循环的正式开启

他的逻辑很直白：能自主开发和优化 GPU 内核，是 AI 研发最底层的输入任务之一。AI 越会写内核，训练和推理就越快；越快，下一代就越强；越强，写内核又更狠——这个飞轮一旦转起来，就不太需要人再推了。这恰恰是 Attention Collapse 等限制 AI 自我改进的「天花板」被突破的信号。

2. 算子融合的极限范式¶

Fable 5 的 megakernel 代表了算子融合的终极形态。传统优化工具（如 Triton、TVM、TensorRT）将模型计算图划分为多个 kernel 并分别优化，而 Fable 5 将所有计算塞进一个 kernel——本质上是在 GPU 编程层面实现了「全图融合」。这不仅消除了 kernel launch 的开销，更因为所有数据在共享内存和寄存器中保持局部性，大幅降低了全局内存访问。

3. 个体开发者与大型 AI Lab 的「能力倒挂」¶

Fable 5（作为 Claude Mythos 的「安全版本」）在 GPU 内核优化上超越了 Claude Opus 4.8（14.4×）和 GPT-5.5（4.34×），这展示了 LLM 推理优化的「democratization」趋势。高级性能优化不再局限于大公司的内核工程师团队，具备开放生态的模型（如 Fable 5）允许个体开发者和研究者在专业领域实现 SOTA 级别的加速。这与 Agent Teams 架构 中的「大团队 vs 小团队」竞争格局形成对称呼应。

4. 「一半狂奔，一半敬畏」的行业情绪¶

在同一期 Import AI 的结尾，Jack Clark 写了一个科幻故事——2050 年的世界，「通用计算机」因为太过危险被人类亲手封禁，世界只剩下模拟计算机笨拙运转。写下「RSI 循环开始了」的那个人，转头就在想象一个把通用计算关进笼子的世界。

这种撕裂感是目前 AI 行业的真实写照：Fable 5 在 2.5 小时内做到的优化，人类工程师花了几十年才初步实现。KernelBench 发布时（一年多前）最强模型在高难度任务上只拿到 4%，而今天 AI 已经在给自己写驱动程序了。

实践启示¶

1. 推理优化策略的范式转变：megakernel 思路——尽可能将多个算子融合到单个 GPU 内核中——应成为 LLM 推理优化的核心策略。如果 Fable 5 能做到单次 launch 跑完整条推理链路，说明当前主流框架（vLLM、TensorRT-LLM）的 kernel launch 开销还有巨大的优化空间。

2. AI 编程能力的上限仍在快速提升：Fable 5 在 2.5 小时内完成从性能分析到编写到优化的全流程，说明 LLM 已经能处理 GPU 内核开发这种高难度、高精度要求的编程任务。团队应该认真评估 AI 在基础设施层面（内核开发、性能优化、编译器后端）的替代能力。

3. RL 反馈闭环的重要性：Fable 5 的回滚机制（测到负优化当场回滚，只认数据）体现了强反馈循环的价值。在 AI Agent 的工作流设计中，自动验证 + 自动回滚的机制比「让 AI 自己辩解」更可靠。

4. 充分分析优于盲目编码：Fable 5 将 64% 的时间花在前期分析和微基准测试上，然后一次写出正确率极高的代码。这一比例提示：在 AI 辅助开发中，引导模型先做分析再编码的 prompt 策略，比让它直接写代码更有效。

→ 原文存档