Noam Brown：推理预算应成为AI评估的基础变量¶
Ch01.578 Noam Brown：推理预算应成为AI评估的基础变量¶
📊 Level ⭐⭐ | 10.8KB |
entities/noam-brown-ai-evaluation-reasoning-budget-performance-cost-curve.md原文归档：原文归档
OpenAI 研究员 Noam Brown 提出的评估方法论：大模型表现不仅取决于模型本身，也越来越取决于推理阶段获得的计算资源。未来评估应从"单点成绩"转向"性能—推理计算量曲线"，将推理预算视为模型能力评估和 AI 安全政策中的基础变量。
一句话¶
应当从"单点成绩"转向"性能—成本曲线"：在相同预算下哪个模型表现更好？当预算增加十倍时哪个模型提升更快？模型是否已经接近能力上限？
核心论点¶
问题1: 传统成绩表低估新模型能力差距¶
Brown 以 GPT-5.5 为例：发布初期基准分数与 GPT-5.4 相比提升有限，但实际使用中长链条推理、复杂问题处理表现出明显代际差异。
核心原因：传统评测中不同模型的测试结果未必建立在相同推理预算之上。部分模型可以在获得更多推理 token 后继续显著提升，另一些则较早触及性能上限。
问题2: 性能平台期可能根本测不到¶
- Andrej Karpathy 的自动化研究实验：数百次实验后性能仍在改善，曲线未趋于平缓
- 英国 AI Security Institute 网络安全评测：Mythos 和 GPT-5.5 在 1 亿 token 后任务表现仍继续提高
推测：随着模型能力提高，其可有效运行的任务周期也会延长。某些任务中的"平台期"可能不再是容易测量的状态。
问题3: 安全评估中的推理预算困境¶
| 用户类型 | 推理预算投入 |
|---|---|
| 普通用户 | 几美元至几十美元 |
| 资金充足组织/国家级行为体 | 可能超过 1000 万美元 |
如果评测机构只在较低预算下测试模型，就可能低估其在高资源条件下的风险能力。
Gemini 3 Deep Think 争议: 高分但缺乏完整系统卡。Brown 推测 Deep Think 可能是基于已有模型的推理脚手架系统，其能力理论上外部开发者也可通过高推理费用复现。
三项建议¶
-
公布不同推理预算条件下的基准测试表现：提供以 token 数量、成本或运行时间为横轴的性能曲线
-
基准测试排行榜记录推理资源消耗：或为参评模型设定统一的 token/费用/时间上限
-
准备度框架和 RSP 应明确考虑推理阶段计算资源：评估多个推理预算水平，对更高预算条件下的风险能力进行带不确定性说明的预测
实施挑战¶
指标局限¶
| 指标 | 局限 |
|---|---|
| token 数量 | 不同模型分词器、生成速度、单位成本存在差异 |
| 费用 | 受硬件利用率、批量处理、工程实现影响 |
| 运行时间 | 多智能体协作/best-of-N 可并行生成候选答案 |
长周期任务的根本困境¶
如果需要判断自主智能体在持续运行一年后是否会出现目标偏移、策略欺骗等失配行为，最可靠方法可能仍然是让其实际运行足够长时间。
新现实矛盾: AI 模型开发周期可能只有数月，而智能体可运行的任务周期越来越长。未来可能出现：新模型还没有完成覆盖其最大运行周期的安全测试，下一代模型就已经接近发布。
外推方法¶
先在可控推理预算范围内测试，根据模型能力随计算量变化趋势，对更高预算条件下的表现进行外推，并明确标注预测区间和不确定性。
与已有实体的关联¶
- OneReason — 快手在推荐领域验证了 test-time compute scaling 的价值
- ARC-AGI — 已尝试衡量模型分数与运行成本关系
- Claude Code 深度解析 — agentic 系统的性能—成本权衡
- AI Safety Evaluation — 安全评估方法论
结论¶
Brown 的判断是，未来衡量人工智能能力时，推理预算不应再被视为测试过程中的附属信息，而应像模型规模、训练数据和上下文窗口一样，成为评测报告中的核心参数。
AI 行业正在逐步告别"用一个数字定义一个模型"的阶段。真正重要的问题不再只是模型能做什么，而是当它获得足够多的时间、资金和计算资源后，究竟可以做到什么程度。
深度分析¶
1. 推理预算-性能的成本曲线¶
Noam Brown 的核心论点：AI 评估不应只看 peak performance，而应看 performance-cost curve——同等性能下推理成本可以差 10 倍。这与 Netflix Switchboard Lightbulb Model Routing 的模型路由优化逻辑一致。
2. "推理计算"是新的优化维度¶
训练时扩大模型是传统优化路径，推理时增加思考步骤（test-time compute）是新路径。Brown 的研究表明，推理计算的边际效益在某些任务上超过训练计算的边际效益。
3. Reasoning budget 作为系统设计参数¶
将推理预算（tokens/time/cost）作为系统设计的一等公民——不同场景有不同的预算约束，系统应根据预算动态调整推理深度。
补充：推理档位工程机制（Sebastian Raschka / Datawhale 2026-07-22）¶
Sebastian Raschka 从训练管线角度补充了推理预算控制的工程实现：推理档位本质上是通过 system prompt + 长度为惩罚 + SFT 对齐实现的，而非模型内部的特殊开关。
核心机制¶
推理档位 = system prompt 控制（从 OpenAI 开源 gpt-oss 可见）：
ChatGPT/Codex 界面的选择器只是把选择映射成这句话。训练配方（两种路线）¶
| 路线 | 方法 | 原理 |
|---|---|---|
| RLVR 内嵌 | 不同 system prompt 配不同长度惩罚 | low→高长度惩罚（逼短），high→低惩罚（放长） |
| RLVR + SFT | 喂「prompt × 目标长度」示例 | 模型把档位标签和目标 token 数对应起来 |
两条路可组合使用（作者推测 gpt-oss / GPT-5.6 即如此）。
模型实现对比¶
| 模型 | 实现方式 | 特点 |
|---|---|---|
| DeepSeek-R1（第一代） | 独立推理模型 | 全程啰嗦，无关闭开关 |
| Qwen3（混合） | enable_thinking=True/False | 关掉时塞空 <think> 跳到答案 |
| GPT-5/5.6 | system prompt多档 | low/med/high/max 六档 |
| DeepSeek V4 | 三专家（Non-think / Think High / Think Max） | 不同训练配置蒸馏进同一 checkpoint |
| Kimi K2.5 | Toggle RL（限/不限预算交替） | 砍 25-30% token，几乎不掉分 |
| Kimi K3 | low/high/max 三档 | 细节待技术报告 |
关键工程洞见¶
<think>标签是装饰性的：对推理能力无贡献，仅标记草稿起止供 UI 折叠。DeepSeek-R1 的R_format只是一条简单格式规则检查。- 档位边际递减：最高档收益明显变小，中档是精度/成本/延迟甜点区。
- 模型选择 vs 档位调节是两个正交 scaling 轴：训练 scaling（换模型）和推理 scaling（调档位）的曲线会重叠——小模型开高档可追平大模型低档。
- "Reasoning Effort" 提示词不可跨模型复用：DeepSeek V4 的 Think Max 提示词背后有专门训练支撑，照搬到其他模型无效。
- 趋势：近期档位仍会是显式 system prompt 输入，但 Agent harness 会越来越多地根据任务状态自动推断档位，同时保留手动覆盖。
实践启示¶
1. 评估模型时画 performance-cost 曲线¶
不要只看 benchmark 最高分——画出不同推理预算下的性能曲线，选择性价比最优点。
2. Agent 系统设计：推理预算可配置¶
将推理预算设为可配置参数——高价值任务多思考，低价值任务少思考。与 Agent Security Three Step Sequence Harness Governance Identity Crewai 的治理层对齐。
3. Test-time compute 是降低部署成本的杠杆¶
如果可以通过推理时多思考来弥补模型规模差异，就可以用小模型+多推理替代大模型+少推理。