跳转至

What it feels like to work with Mythos

Ch04.397 What it feels like to work with Mythos

📊 Level ⭐⭐ | 8.7KB | entities/what-it-feels-like-to-work-with-mythos.md

What it feels like to work with Mythos

Background: XBow 团队对 Anthropic 的 Mythos 能力进行了实际评测，详细记录了与 Mythos 交互的真实体验、模型在 CTF 挑战和真实漏洞挖掘中的表现，以及与现有 AI 安全工具的对比。

核心发现

XBow 团队的评测揭示了 Mythos 在实际安全场景中的表现：Mythos 在 CTF 挑战中表现出色，但在真实世界漏洞发现中仍有明显局限。评测团队发现 Mythos 的优势在于其系统性推理能力，而非暴力试错。

与现有 Mythos 实体的关系

本文提供了一个独立第三方对 Mythos 能力的实测评估，与 Anthropic 官方发布的 Mythos 能力描述形成了对照补充。它显示了 Mythos 能力的实际边界，包括其在真实漏洞环境中的表现和其他 AI 安全工具的对比。

安全影响

Mythos 的能力提升引发了关于 AI 安全红队自动化边界的重要讨论。评测团队认为，虽然 Mythos 显著增强了安全研究效率，但人类专家的创造性思维和领域知识在当前阶段仍是不可替代的。

[!contradiction] 参见 Anthropic Mythos Glasswing 30Days Vulnerability Report 和 Anthropic N Days Frontier Agent Vulnerability Research 中 Anthropic 官方对 Mythos 能力的描述。本文的第三方实测在某些指标上给出了不同的能力边界评估。

深度分析

1. Mythos 能力的本质跃迁：从"对话工具"到"自主工作室"

Fable（Claude 5）代表了一种根本性的能力跃迁。与之前的模型不同，Fable 不再只是"更好的文本生成器"，而是一个能自主协调多个子智能体完成复杂任务的执行平台。Mollick 描述的关键例子——等时线地图的构建——展示了这一跃迁的实质：Fable 自主启动了多个 Claude Sonnet 子智能体进行交通数据研究（检索了 2,200+ 航班、多国铁路时刻表和道路速度数据），同时并行编码、验证结果并记录进度。

这种"多智能体编排 + 长时间自主执行"的能力，将 AI 从"回答问题的工具"转变为"协调工作的平台"，其在工作流程中的角色从工具演变为协作者。这种程度的能力在之前的任何公开模型中都不存在。

2. 可解释性缺口：黑箱化是能力增长的代价

Fable 最令人不安的特征不是它做得有多好，而是"它如何做到的"对人类来说越来越不透明。Mollick 指出：模型在数百个小决策上自主做出判断，用户既不了解这些选择的依据，也没有机会参与决策过程。等时线地图项目中，Fable 自行决定了研究哪些交通路线、如何平衡准确性和效率、采用何种可视化风格——所有这些决策都在黑箱中完成。

这一可解释性缺口本质上是能力增长的副产品。当模型执行的任务从"生成一段文本"扩展到"完成一个包含数十个子步骤的项目"时，人类没有带宽去监督每一个步骤。Mollick 精辟地总结了这种转变："我不再是操作者（wizard），而是赞助人（patron）——我描述需求、支付费用、评判结果，而实现过程发生在我看不到的地方。"

3. 成本结构的新挑战：Token 消耗与服务经济性

Fable 的能力飞跃伴随着巨大的成本代价。Mollick 的数据显示：Fable 的 token 消耗速度极快，价格是 Opus 的两倍。在构建等时线地图时，Fable 在短时间内消耗了海量 token——尤其是在"获取偏远地区旅行时间"的第二次迭代中，它启动了对抗性智能体群组来研究和验证结果，进一步推高了成本。

这种成本结构意味着 Mythos 类模型的使用经济性将与传统 AI 服务有本质不同。短期内，其应用场景将集中在高价值任务上；长期来看，通过向低成本子模型（如 Sonnet）的智能委派，实际使用成本可能大幅降低。Mollick 也指出了这一点——Fable 巧妙地向更便宜的模型委派任务可能"显著降低实际价格"。

4. 安全护栏的双刃剑效应

Fable 的安全护栏"在安全问题的微弱迹象下就会触发"，将其降级为功能较弱的 Claude 4.8 Opus，且发生频率非常高。这既是安全优势也是可用性障碍：在需要安全敏感操作的场景中，这种降级机制保护了系统安全，但在边缘情况下可能过度限制模型能力，影响用户体验。

这一现象反映了当前 AI 安全领域的核心张力——如何在能力释放与风险控制之间找到平衡点。Fable 的保守策略可能牺牲了部分能力可用性，但对于一个能在数小时内自主完成复杂软件开发的系统来说，保守可能是更负责任的选择。

5. 工作的重新定义：从"执行者"到"委托者"

Mollick 最深刻的观察是关于人类角色的转变。在 Concord 项目（一个 9.5 小时自主构建的复杂研究软件）之后，他写道："Fable 更像是一个完整的工作室（studio），而我是那个签收最终作品的客户，从未踏上过工作现场。"

这种转变将工作的重心从"过程执行"转移到"结果评判"。人类的价值不再是"如何做"，而是"做什么"和"做得好不好"。这预示着知识工作的分工将发生根本性重构：AI 负责执行和探索，人类负责意图设定、方向纠偏和质量把关。Mollick 猜测这可能是不可逆的方向——"模型越强大，人类有意义地参与的空间就越小，黑箱化是能力的代价。"

实践启示

  1. 重新设计人机协作流程：在 Mythos 级模型面前，传统的"提示→反馈"模式需要升级为"委托→评审"模式。人工应在任务定义阶段投入更多精力（明确目标、约束、质量标准），在执行阶段减少干预但在关键节点设置检查点。Mollick 的长时运行经验表明，对最终结果的评审比过程中的微调更有价值。

  2. 为自主执行设定清晰的边界：使用 Mythos 类模型时，必须在任务启动前定义好范围、预算（token/时间）和质量标准。Fable 的等时线地图和 Concord 项目都需要多轮交互才能达到预期效果，且每次迭代都在消耗大量资源。预先设定"足够好"的标准可以减少资源浪费。

  3. 投资可观测性基础设施：随着 AI 系统变得更加自主，理解其"内部决策过程"的能力变得至关重要。虽然当前模型的黑箱化是不可避免的，但通过日志记录、子任务追踪和结果审计，可以在一定程度上恢复可见性。Langfuse 等 tracing 工具的价值在这个场景中尤为凸显。

  4. 安全与能力的平衡策略：在生产环境中部署 Mythos 级模型时，需要为不同安全敏感度的任务配置不同的护栏级别。对于敏感操作，接受模型降级以换取安全；对于低风险任务，放宽安全约束以释放全部能力。Mollick 观察到的频繁降级现象提示我们，一刀切的安全策略可能过度限制了模型的实用价值。

  5. 拥抱"委托人"角色转型：知识工作者需要适应从"doer"到"commissioner"的角色转变。核心能力不再是执行技能（编码、写作、分析），而是意图定义、结果评判和系统设计。Mollick 的体验表明，最有效的使用方式是用宏大而明确的指令引导模型，然后用专家的眼光评判产出——这需要更高层次的思考能力和领域判断力。

→ 原文存档