这篇52页综述把AI做科研这件事,明明白白划成了L0到L4五个等级¶
📊 Level ⭐⭐⭐ | 7.1KB
-> 原文存档
AI做科研:L0到L4五级自主度框架¶
核心框架¶
arXiv 2605.23204v1《AutoResearch AI》给出了L0-L4五级自主度框架——按workflow控制权、任务执行权、验证权、科学问责权看人和AI怎么分工:
| 等级 | 描述 | 代表系统 |
|---|---|---|
| L0 | Human Only,纯人工 | 历史基线 |
| L1 | Human-Led, AI-Assisted | ChatGPT/Claude/Gemini 辅助科研 |
| L2-S | 单步自动化执行 | Coscientist (Nature 2023) |
| L2-I | 交互式工作流自动化 | AI co-scientist (Nature 2026) |
| L2-P | 流水线自动化(人验证下) | The AI Scientist、AI Scientist-v2、Agent Laboratory |
| L3 | AI-Led, Human-Assisted | 目前无系统达到 |
| L4 | AI-Autonomous | 理想化远期目标,无任何系统达到 |
关键切分:L1-L2是Vibe Research(人在驾驶座),L3-L4才是真正的AutoResearch。「pipeline能跑通 ≠ 到了L3」——只要还需要人判断hypothesis是否有意义、experiment是否valid、result是否reproducible,就还在L2-P。
核心警示¶
「流程被打通了」不等于「科研自主了」。当前系统在搜索、起草、写代码、bounded execution 上越来越强,但 validation、rejection(拒绝弱方向)、reproducibility、exception handling、accountable closure 这些环节还差得远。
五个评估维度¶
从「任务完成度」切换到「科学可信度」: - Novelty(新颖性) - Validity(有效性) - Impact(影响力) - Reliability(可靠性) - Provenance(可溯源性)
领域间不均衡¶
- 计算/形式科学最快:artifact 本身是 digital/executable/replayable
- 化学/材料:有 robotic lab 支持
- 生物/医学/社科:embodiment、ethical constraint、causal reasoning 的难度不是「加大模型」能解决的
重要判断:不要拿 coding agent 的进展去推断「AI能做全科学的端到端研究」。
深度分析¶
从专用模型到通用科研Agent的范式跃迁¶
这篇综述揭示了一个根本性转变:AlphaFold代表的专用模型时代和以LLM驱动的通用科研Agent时代是两条不同的路。AlphaFold把单一任务做到极致,但无法迁移;LLM驱动的系统则在广度上打开了一扇门——文献调研、想法生成、计划制定、代码执行、结果分析、论文撰写,第一次有可能被同一个系统串起来。
L2-P的三种形态揭示了当前Pipeline的分化¶
L2-P内部存在显著分化:单步执行(L2-S)、交互式工作流(L2-I)、流水线自动化(L2-P) 代表了不同程度的自动化成熟度。Coscientist代表单步执行能力;AI co-scientist引入了交互迭代;The AI Scientist则试图做端到端流水线。这种分化说明当前所谓的"SOTA系统"实际上能力梯度很大,不能一概而论。
为什么L3是真正的分水岭¶
L3的核心要求是AI主导、人辅助——这意味着机器不仅执行任务,还要判断hypothesis的价值、决定实验方向、承担科学责任。目前没有任何系统达到L3,关键卡点在于:validation能力不足、rejection能力(即主动放弃弱方向)几乎为零、reproducibility验证缺失、exception handling机制不完善。这不是加大模型参数能解决的,需要架构层面的创新。
当代Landscape的分工架构说明什么¶
当前Landscape不是被某个统一架构统治,而是分为知识支持层(文献 grounding、QA、planning)、执行底座层(code agent、tool use)、Pipeline协同层(The AI Scientist等)、开源基础设施层(NanoResearch、ResearchClaw等)。这种分工提示:端到端系统还处于非常早期,基础设施正在成为竞争焦点。
实践启示¶
- 不要被demo误导:看到"端到端科研Agent"的演示视频时,首先问清楚它在哪一级——是L2-S/L2-I还是L2-P,距离L3还有多远。
- 评估重点切换:从"任务完成率"转向"科学可信度"——novelty、validity、reliability、provenance五个维度才是衡量科研AI的真正标尺。
- 领域差异巨大:计算科学可以快速推进,生物医学受限于embodiment和ethical constraint,社科则几乎无法自动化。选择落地场景时必须考虑领域特性。
- 基础设施是壁垒:2026年的趋势是从"研究agent demo"转向"可复用研究基础设施"——NanoResearch、ResearchClaw、AutoResearchClaw等正在建立workspace、可复用环境、persistent project state的能力。这将是下一阶段的核心竞争力。
- L3路线图:如果要向L3推进,重点必须放在validation/rejection能力建设、reproducibility自动化、exception handling机制,以及最终的accountable scientific closure能力上。
相关主题¶
- AutoResearch 多Agent软件开发 — Karpathy 风格,software engineering 场景(非science)