这套题,GPT-5.5、Opus 4.7加起来没考到「1分」,人类却拿了满分100?¶
Ch01.636 这套题,GPT-5.5、Opus 4.7加起来没考到「1分」,人类却拿了满分100?¶
📊 Level ⭐⭐ | 9.8KB |
entities/2026-05-02-这套题-GPT-5-5-Opus-4-7加起来没考到-1分-人类却拿了满分100-机器之心.md
这套题,GPT-5.5、Opus 4.7加起来没考到「1分」,人类却拿了满分100?¶
title: 这套题,GPT-5.5、Opus 4.7加起来没考到「1分」,人类却拿了满分100?
source: wechat url: https://mp.weixin.qq.com/s/S_Z3olXnNNrh5qsPgYS9lw mp_name: 机器之心 publish_date: 2026-05-02
这套题,GPT-5.5、Opus 4.7加起来没考到「1分」,人类却拿了满分100?¶
来源: 机器之心
发布日期: 2026-05-02
原文链接: https://mp.weixin.qq.com/s/S_Z3olXnNNrh5qsPgYS9lw
机器之心编辑部
在大模型「卷生卷死」的今天,大家似乎已经习惯了模型在各大榜单上刷出逼近满分准确率。然而,在一项名为 ARC-AGI-3 的基准测试中,堪称当下「最红炸子鸡」的两款顶尖模型 ——OpenAI 的 GPT-5.5 和 Anthropic 的 Claude Opus 4.7,却双双「折戟」……
近日,ARC Prize 官方发布了针对这两款顶级模型的详
核心要点¶
本文为微信公众号文章,由 WeChat backfill 收录。
详细信息¶
title: 这套题,GPT-5.5、Opus 4.7加起来没考到「1分」,人类却拿了满分100?
source: wechat url: https://mp.weixin.qq.com/s/S_Z3olXnNNrh5qsPgYS9lw mp_name: 机器之心 publish_date: 2026-05-02
这套题,GPT-5.5、Opus 4.7加起来没考到「1分」,人类却拿了满分100?¶
来源: 机器之心
发布日期: 2026-05-02
原文链接: https://mp.weixin.qq.com/s/S_Z3olXnNNrh5qsPgYS9lw
机器之心编辑部
在大模型「卷生卷死」的今天,大家似乎已经习惯了模型在各大榜单上刷出逼近满分准确率。然而,在一项名为 ARC-AGI-3 的基准测试中,堪称当下「最红炸子鸡」的两款顶尖模型 ——OpenAI 的 GPT-5.5 和 Anthropic 的 Claude Opus 4.7,却双双「折戟」……
近日,ARC Prize 官方发布了针对这两款顶级模型的详细分析报告,结果令人震惊:在面对未见过的逻辑任务时, 两者的表现得分均低于 1%,GPT-5.5 得分 0.43%,Claude Opus 4.7 得分 0.18%。
这意味着,即便拥有千亿级参数和近乎无限的算力,这些模型在处理「全新逻辑环境」时的表现,甚至不如一个 6 岁的儿童。
这是怎么一回事?
ARC-AGI-3:智能的「真伪试金石」
为了更好理解这一成绩,首先我们来了解一下 ARC-AGI-3,这是由 Keras 之父 François Chollet 创立的基准测试系列的最新一代,于今年 3 月分布。
François Chollet 当时称,当一个 AI 系统在首次接触所有环境时,其行动效率能够达到或超过人类水平,才算真正「攻克」ARC-AGI-3。
而根据团队进行的大量的人类测试结果来看: 在没有任何先验训练、没有任何说明的情况下,人类在第一次接触时可以 100% 解决这些环境中难题,与此同时,目前所有前沿的 AI 推理模型在这一测试上的表现都低于 1%。
彼时,OpenAI 的 GPT-5.5 和 Anthropic 的 Claude Opus 4.7 还没有发布,如今来看,这两个模型也同样难逃这一结果。
具体来看,ARC-AGI-3 是由 135 个全新环境组成的测试集,每个环境都由人类手工设计,用来测试模型面对「未知」的能力。
对于测试者来说,无论人类还是 AI,进入环境中将不会获得任何的玩法说明,要前进,取得进展,必须做到以下几点:
-
探索未知界面 ;
-
从稀疏反馈中推断规则(构建世界模型) ;
-
提出并验证假设 ;
-
从错误中恢复 ;
-
将经验迁移到下一关(持续学习)。
每个环境的构建都缺乏模型通常依赖的文化知识,只保留「抽象推理能力本身」。
换句话说,可以把 ARC-AGI-3 理解为,一个在「新颖性、模糊性、规划、适应性」上的最低共同测试集合,而这些,正是现实世界任务对智能体的核心要求。因此, ARC-AGI-3 也被公认为目前最接近「人类智能本质」的测试。
顶尖模型纷纷「败北」背后的三大失败模式
此次,GPT-5.5 和 Claude Opus 4.7 的表现得分均低于 1% 的成绩固然令人「心痛」,但比起成绩,知道背后的失败原因似乎更重要。
ARC Prize 研究团队通过分析 160 组完整运行轨迹,包括模型的每一步操作和推理过程,总结出了导致模型「崩溃」的三大核心失败模式:
一、真实的局部反馈,虚假的世界模型
模型能够理解哪一步动作产生了变化(局部反馈),但无法将这种因果效应转化为一套通用的全局规则。
这是一个最为明显的原因。比如,在一个需要旋转物体以匹配插槽的任务中,模型能够识别出「我按下这个键,物体可以旋转」这一局部规律,但它无法将此逻辑上升为全局目标,进一步推理出:「旋转会影响结果,因此我需要在行动前调整物体方向以匹配目标。」
换句话说,模型失败 不是因为它们「看不见」,而在于无法把观察的事物整合成一个完整的世界模型。
比例,Claude Opus 4.7 在运行任务 「cd82」 时,在第 4 步已经意识到执行 「ACTION3」 可以旋转容器,随后在第 6 步也观察到执行 「ACTION5」 可以倾倒或蘸取油漆。然而,它始终无法将这些碎片化的认知转化为一个完整的逻辑策略,即「先调整桶的方向,然后再蘸取油漆,以还原左上角的目标图像」。
Claude Opus 4.7 理解 ACTION3 旋转物体,但未能理解游戏的概念。
或者在任务 「cn0
原文¶
→ 原文存档
关联¶
- 相关概念: Harness Engineering
- 相关: Agent 架构