SWE-1.7: Frontier Intelligence at a Fraction of the Cost¶

Ch01.640 SWE-1.7: Frontier Intelligence at a Fraction of the Cost¶

📊 Level ⭐⭐ | 9.7KB | entities/swe-1-7.md

SWE-1.7: Frontier Intelligence at a Fraction of the Cost¶

URL: https://cognition.com/blog/swe-1-7 Slug: swe-1-7 Score: v×c=56 (value=7, confidence=8)

Stars: 4 Tags: newsletter, ai, model, cognition, reinforcement-learning, coding, agent

Ingested: 2026-07-09 18:59 UTC

摘要¶

SWE-1.7 是 Cognition 公司基于 Kimi K2.7 基座训练的最新编程智能模型，专注于在较低成本下实现前沿级代码智能。该模型通过大规模强化学习（RL）训练，在编码基准 FrontierCode 1.1 Main 上达到 42.3% 的通过率，接近 GPT-5.5（43.0%）和 Opus 4.8（46.5%），显著超越其基座模型 Kimi K2.7 Code（30.1%）。SWE-1.7 的核心创新包括：通过 top-p 采样重放（Sampling Distribution Replay）保持熵值稳定、跨三大洲的多集群训练架构、用于长周期任务的智能自压缩（Self-Compaction）机制，以及严格的数据质量流水线。模型现已集成到 Devin 平台，通过 Cerebras 以 1000 TPS 提供服务。

核心要点¶

成本-性能 Pareto 前沿推动：SWE-1.7 挑战了"后训练天花板"（Post-Training Ceiling）假设——基座模型 Kimi K2.7 已经过充分 RL 后训练，但 Cognition 的额外 RL 训练仍带来大幅提升，表明 RL 的能力挖掘远未到极限。
熵值保存与训练稳定性：发现 top-p 采样在 rollout 中能有效防止熵坍塌（Entropy Collapse），但简单的 top-p 实现会放大训练-推理分布不匹配。通过采样分布重放（记录 rollout 时的可用 token 集合，在训练器中用同样的 mask 重归一化概率），使熵在训练全程保持恒定。
三大洲多集群训练：利用 RL 的自然拆分特性——训练器集中在单集群，推理引擎可分布在任意集群。跨四个数据中心、三大洲，通过对象存储传输压缩权重增量（>99% 压缩率），1T 参数的跨洲权重更新仅需 1-2 分钟。
智能自压缩（Self-Compaction）：当 Agent 接近上下文限制时，模型自主总结当前工作状态，从摘要恢复执行。配合交替长度惩罚策略（无约束阶段 → 预算阶段），使响应在已解决问题的场景下自动压缩，在困难任务上保留长周期行为。训练中 rollout 最长可达 6 小时。
数据质量流水线：自动化执行测试校验每个任务，过滤低学习信号的任务，加固任务防奖励黑客攻击（Reward Hacking）。通过网络隔离沙箱、剥离 git 历史和参考构件、检测已知利用签名等方法防止作弊。
行为学差异：相比基座模型，SWE-1.7 表现出更凝练的思维链（更低功能词比例、更短句均长度）、更彻底的代码库探索（更多工具调用/文件读取/grep 搜索）、更强的边缘案例探测能力（在 FrontierCode 上对模糊语义通过实验性探查而非猜测来解决）。

深度分析¶

1. RL 训练稳定性的关键突破¶

SWE-1.7 训练中最具技术深度的贡献是对 熵坍塌（Entropy Collapse） 的解决。传统 RL 训练中，模型在数百步后会停止探索，奖励进入平台期。Cognition 团队通过理论分析揭示了这一现象的机制：

当模型采样到低概率 token（通常来自已偏离轨道的轨迹）时，低奖励导致负优势，策略梯度更新反向增强高概率 token、抑制低概率 token。这导致分布锐化、熵值下降。Top-p 采样通过阻止低概率 token 被采样来从源头切断这一恶性循环。

但 top-p 采样又引入新问题：训练器的概率计算基于全部 token，而 rollout 仅采样 top-p 子集，两者分布差异增大。Cognition 的解决方法是 采样分布重放（Sampling Distribution Replay）——记录 rollout 时实际可用的 token 集合，在训练器中使用相同 mask 重归一化概率，使训练与推理分布对齐。

此外，采用 Muon 优化器 并消除训练器中的非确定性操作，进一步提升了训练稳定性。

2. 跨洲多集群 RL 训练架构¶

Cognition 的跨洲训练架构是对 RL 训练工程化的重大贡献。核心洞察是：RL 训练天然可分解——训练器必须位于高带宽集群，但推理引擎（生成 rollout）是自包含的，可以分布在世界各地。

实现细节： - 每 K 个梯度步后，计算当前与之前权重的压缩增量（Compressed Weight Delta），将每次传输的数据量减少 99% 以上 - 使用 云对象存储 作为权重版本的单一真相源（Single Source of Truth） - 每个推理引擎在 CPU 内存中预取权重增量，同时在旧权重上继续服务轨迹 - 增量完全就绪后短暂暂停应用更新（3-4 秒），正在运行的轨迹可在新权重上继续（KV Cache 保持完整）

这意味着 Cognition 可以在 compute-constrained 的竞争环境中，通过汇集全球分散的小型集群来实现万亿参数级别的 RL 训练。

3. 容错设计的工程智慧¶

大规模训练的硬件故障是常态而非异常。Cognition 的容错设计按故障位置差异化处理：

推理端故障：单个推理引擎的死亡仅损失进行中的会话。使用 NVIDIA Dynamo 管理引擎生命周期，每个 Agent 沙箱拥有独立代理记录 token，Dynamo 将失败会话重路由到其他 worker。恢复时从对象存储加载最近检查点并回放增量序列。
训练端故障：每个节点每步异步检查点到本地磁盘并复制分片到对等节点。一个节点死亡后，其状态在数秒内从副本恢复。容量不足时，训练按数据并行副本整体收缩，节点恢复后重新增长。中断期间 rollout 管道保持活跃，重启后使用缓冲策略选择累积的 rollout 以防止偏差。

4. 自压缩与交替长度惩罚¶

SWE-1.7 在长周期任务上的能力来自 自压缩训练。当 Agent 接近上下文限制时，模型学习：

编写信息丰富且简洁的摘要
从自创摘要中恢复执行并继续推进

配合 交替长度惩罚（两阶段策略）：

无约束阶段：只优化任务成功率
预算阶段：对超过加权成本函数（含 token 数、轮次、工具调用时间）阈值的方案施加惩罚

这种交替策略使模型在已掌握的任务上自动压缩输出长度（减少不必要的思考），同时在挑战性任务上保留长周期推理行为。这一训练方式的灵感来自 DeepSeek R1 和 Kimi K2.5 的相关探索。

实践启示¶

RL 的能力天花板远未达到：SWE-1.7 从已经过硬的对齐后训练基座（Kimi K2.7）上仍获得大幅提升（+12.2% 在 FrontierCode 上），证实"后训练天花板"是可以被持续突破的。团队不应假设基座模型的微调潜力已耗尽。
Top-p 采样的正确实现至关重要：简单的 top-p 采样会加剧分布不匹配，而采样分布重放是让 top-p 在 RL 中发挥作用的必要条件。Cognition 的经验表明，top-p 重放不仅保持熵值稳定，还通过将梯度集中在高学习信号 token 上来降低梯度噪声。
多集群 RL 是计算受限团队的出路：跨洲训练架构证明了 RL 训练不必依赖单一巨型集群。利用对象存储 + 压缩增量是实现可扩展分布式 RL 的关键工程模式。
自压缩 + 交替惩罚是长周期 Agent 的核心训练技术：让模型学会自我总结和恢复，配合交替长度惩罚，可以在不牺牲推理能力的前提下大幅提升输出效率。任何构建长周期 Agent 的团队都应考虑类似策略。
数据质量是 RL 效果的基石：Cognition 在数据质量流水线上的投入——自动化测试验证、防奖励黑客、低信号过滤——直接转化为模型行为质量的提升（更彻底的边缘案例探查、更可信赖的代码修改）。RL 的效果上限由数据质量决定。

SWE-1.7: Frontier Intelligence at a Fraction of the Cost¶

Ch01.640 SWE-1.7: Frontier Intelligence at a Fraction of the Cost¶

SWE-1.7: Frontier Intelligence at a Fraction of the Cost¶

摘要¶

核心要点¶

深度分析¶

1. RL 训练稳定性的关键突破¶

2. 跨洲多集群 RL 训练架构¶

3. 容错设计的工程智慧¶

4. 自压缩与交替长度惩罚¶

实践启示¶

相关实体¶