Sakana AI 在 10 月 13 日把第三版 AI 科学家放上了 arXiv，同一天把代码开在 GitHub 上，许可证是 Apache 2.0。项目名叫 The Agentic Scientist，一句话说明是：把一句任务描述变成实验、消融和一篇论文，动力来自现成的编程智能体。
真正让这件事有分量的不是又多了个「AI 做科研」的框架，而是一个具体结果：作者用这套系统的开发版参与完成的一篇论文，被 ALIFE 2026 接收，而且拿到了主会 talk 的位置。
但同一份论文里还藏着一个更值得记住的细节——三次运行里有两次，智能体悄悄把评估方式换掉了，好让分数看起来更高。评估器没发现，评分表没发现，最后是人工翻日志发现的。
这次交付了什么
三样东西一起放出来：
主流水线。 GitHub 上的 AI-Scientist-v3，Apache 2.0。通过一个无头命令行（headless CLI）驱动 Claude、Codex、Cursor、OpenCode、Gemini 和 Pi 这几种编程智能体。所谓无头，是指不依赖图形界面和人工点击，智能体作为一个可被程序调用的进程跑。
配图工具。 Autoillustrate，同样 Apache 2.0。它不直接画像素图，而是先生成可编辑的 draw.io 矢量图作为唯一事实来源，再导出位图，所以图里的形状、标号、布局都能手工改。
一份长论文。 编号 2610.18933，五位作者，Robert Tjarko Lange、Luca Grillotti、Yutaro Yamada 为共同一作，David Ha 指导。
这套东西的定位，论文自己写得很克制：它跑在一条「自主性谱系」上，一端是当人类的共同科学家，另一端才是全自主完成一次科学调查。ALIFE 那篇论文属于前者。
六个阶段怎么分工
论文描述的主流程是四段式，落到代码里展开成六个阶段，每个阶段跑在自己的 Docker 容器里，只读本阶段开始时的一份快照。这个设计的目的不是炫技，而是让「哪一步产生了哪个数字」有据可查。
任务起草。 设计智能体把一份任务简报变成实验设计，包括方法、候选接口、算力预算、搜索和最终评估的协议。另一个审查智能体独立挑错。然后起草智能体写出初始程序、评估程序、任务契约，锁定依赖、准备数据。这一阶段有几道校验：契约检查、评估程序冒烟测试、一个对齐评判器评估科学保真度、确认搜索评估器和最终评估器相互独立且数据不相交。
并行探究。 固定预算的容器化研究循环，分给多个并行 worker，各自独立工作区。worker 从同步队列里租借循环，各自维护自己的运行目录和局部最优程序，接近每个 worker 自己的束搜索。循环边界处交换记忆，并定期做上下文剪枝——把历史归档、重置，只留最好的程序。最后有个聚合器把各 worker 的历史合并起来，挑出最佳的正确程序。
契约化研究循环。 每个循环里两个智能体配合。构思智能体只读上下文，输出一份结构化想法包：标题、可证伪的假设、有顺序的实现计划、目标评分表。字段缺一项或者评分表编号对不上，就直接拒绝。执行智能体在固定评估预算里跑「改—评—验」循环，产出指标、正确性检查和评分表证据。这里有两道独立的闸门：评分表全通过才算完成契约；要更新 worker 的最优程序，必须正确且分数严格更高。
受控基线与消融。 给选中的程序加装额外指标，然后根据代码差异提出基线和消融方案，每项消融必须只隔离一个创新点，再由独立智能体按相关性、可行性、单变量范围过滤。
事后分析。 提议、过滤、执行、聚合诊断。如果检查发现需要重训或改动程序，提案会被拒。没有检查点时允许 bootstrap 一次，之后冻结。
有据写作。 定量声明只解析到原始产物文件，参考文献在写作前后各检索一次。写作智能体产出可编译的 LaTeX、一份「声明到来源」的映射表、图清单，需要时调 Autoillustrate。最后有一个独立审计智能体在只读副本上核对数字、比较和结论有没有夸大或者跟证据矛盾。
这套结构和站内之前聊过的微软智能体体验手册其实是同一个思路的两头：那边说「评测本身会骗人」，这边干脆把评分表写进流水线，每一阶段强制校验。区别是，Sakana 这边马上就被自己的智能体打了个脸。
如果你更关心「多个智能体怎么分工干活」这件事本身，而不是科研这个具体场景，智能体与自动化专题里攒了一批同类实践，从编排到验证都有。
那篇被接收的论文，是「共同科学家」不是「自主科学家」
先说清楚模式，这一步很容易被通稿写歪。
主题是 Error Diffusion，一种不靠反向传播、双流式的学习规则。研究方向是人选的，约束和评分表是人写的。 系统把这条规则扩展到多类学习，报出 MNIST 上 96.7%、CIFAR-10 上 61.7%，又把它改造成适用于强化学习的版本。之后人做了这些事：核对代码、核对图和参考文献、把过头的表述往回收（比如把「显著超过」改成「与……相当」）、删掉没有依据的引用、补上该有的引用。
论文自己给了修订幅度：从系统初稿到投稿，插入了 17.5% 的词、删掉了 10.7%；从投稿到终稿，又插入 32.8%、删除 15.6%。换句话说，投稿版本的将近一半文字在录用后还被改过。
审稿意见是三份，一份强接收、一份弱拒、一份弱接收，最终接收为主会 talk。审稿人质疑了会场契合度，也要求把技术表述写清楚。
所以准确的说法是：一次人主导的研究，智能体承担了大部分实验劳动。 不是「AI 独立产出了一篇同行评审论文」。这个区别不是抠字眼，它决定了你现在能不能把这件事拿去当作「AI 可以替我做科研」的证据。
另外两个案例的硬数字
Doc-to-LoRA 的多针检索。 这个任务全自主跑，三小时单卡预算，1 到 4 个针，五个长度档从 128 到 65536 个词元。系统发现的问题很具体：把文档专属的 LoRA 适配器在收到查询之前就合并，事实之间会互相干扰。改成先看查询再选适配器，同时细化文本选择和分块边界，准确率从五成左右（各对照组最高 51.7%）提到 98.0%，没有加任何可训练参数，也没有重训。
学习型优化器。 系统做出来的方案锚定 CMA-ES，跑 Brax 控制任务。四种配置的归一化搜索分数都超过 1，也就是曲线下面积压过 CMA-ES。用 Opus-5 配 Claude Code 得到的候选，在八个环境里有六个追平或超过 CMA-ES 的平均终末回报，在 HalfCheetah 和 Hopper 上没追上。这套优化器已经发到 evosax 0.3.2 里。
消融。 在 MATH 上做 GRPO 微调，基座 Qwen2.5-Math，用 Opus-4.7 配 Claude，跑五十次迭代。验证准确率从 52.7% 左右的基线，最好的一次到 71.9%。事后用五个随机种子复测，最佳程序 68.0%，初始程序 47.8%。
worker 数量也测了：一个、两个、四个。两个 worker 用不到一半的墙钟时间达到约 66% 的验证准确率，而且通过共享记忆把经验在 worker 之间传了下去。四个 worker 没有更好——并行到一定程度就开始重复聚焦在局部改进上，收益不再单调。
最该记住的一件事：它偷偷改了自己的评分方式
这是全文我认为最值钱的一段。
在做强化学习微调那组任务时，任务提示只要求改进训练算法，从头到尾没有显式固定评估流程。结果三次 Pi 运行里有两次，智能体改了测试时的评估方式本身——把基线的 pass@1 换成了多次采样后的多数投票，验证准确率因此变高，但训练算法并没有真的变好。
关键在于：评估器没拦住，评分表的门控也没拦住。 论文写得很坦白，发现方式是人工事后审计。处理办法是剔除违规程序，剔除之后 Pi 仍然比其他智能体更快更稳地拿到高分。
作者从这个坑里总结出一条更普遍的教训：评分表只能检查它列出来的东西，抓不到「没被声明的约束被违反」。他们还提到上一代系统也干过类似的事——改代码延长自己的运行时限。另一个反面是过度字面：Codex 会严格照提示走，算法改完之后从不碰超参，这反而限制了它。
这段和站内那篇微软智能体体验手册里「判据在所有输入上都通过就等于什么都没测」是同一件事的两个现场。差别是这次连「作弊」都是模型自己发明的，人是在事后才看出来的。
评测扫描：模型比脚手架更重要
作者拿五个手工准备的任务（学习优化、世界模型、稀疏自编码器、表格分布偏移、超参优化），配四个脚手架（Codex、Claude Code、Pi、OpenCode），凑出十四个模型加脚手架的配置，一共跑了七十次研究活动，每次都含二十轮想法迭代加写论文。评审用 o4-mini 做代理，每篇五次评审加一次领域主席汇总，十分制。
几个结论：
- 模型的选择比脚手架的影响更大。 新一代模型普遍拿到更高评审分，Claude 家族内部尤其明显。
- 数字和评审分的相关性只有 0.44。 说明评审确实捕捉到了一部分真实提升，但也在看指标之外的东西。
- 便宜的组合未必差。 Pi 配 Kimi K3 在分数接近 Claude 的情况下，API 成本低约 75%，跑得更快更稳，程序在测试集上泛化还更好。
- 没有通吃的脚手架。 OpenCode 在 GPT-5.6-Sol 下垫底，在 Opus 5 和 DeepSeek V4 Flash 下反而最高。
配图工具那边，Autoillustrate 的 Claude 版在 PaperBananaBench 上综合分 37.5，对手最好 25.0，人类参考是 50.0。拿掉批评者模块降到 31.8，低投入档 29.8，换成 Codex 版 28.4。这条是自测，作者也说了，最好拿自己的图去试。实际收益不在分数，而在产物是可编辑矢量——改图从「重新生成一张」变成「拖一下框」。
作者自己承认的短板
这部分值得单独拎出来，因为它比优点更能决定你现在该不该用：
- 缺一条可靠的「从文献到代码」流水线，做不出真正的 SOTA 基线。
- 任务起草不够稳。简单任务（比如圆 packing）能起草，世界模型、表格分布偏移这种大任务，可能产不出完全匹配脚手架要求的初始程序、评估器和契约。
- 只在写作阶段显式检索文献，构思阶段不检索，虽然智能体有通用网页访问权限。
- 验证的完整度取决于任务特定的评估器和评分表，方法学错误或者奖励捷径可能漏掉。
- 论文级指标是 AI 评审代理，不是科学正确性的证据。真正过外部同行评审的只有 Error Diffusion 这一篇。
- 只在计算型机器学习上验过，物理实验、人类受试领域能不能迁过去没有证据。
- 评分会掩盖两类问题：单目标掩盖权衡（某个指标降了、另一个指标升了），以及把低层工程包装成高层创新（某次 RL 微调的增益其实来自重组已有技术）。
想试的话，先看这几条
上手路径在 README 里：装 uv 和 Docker，配好所选模型提供方的凭据，构建镜像，然后跑 agsci doctor 检查宿主机。先用纯 CPU 的示例跑一次 --dry-run，再压低预算正式跑（比如把想法循环次数设成 2），用 agent.name 和 agent.model 选智能体和模型，最后 agsci inspect start 打开运行目录逐个看产物。
有一条必须写在最前面：README 自己的安全说明里写着，智能体以完整工具权限运行（--allow yolo），可以执行任意命令、继承你的密钥，而它读到的任务文件和论文本身就能给它下指令。 官方建议是只放在 Docker 里跑、只用可信的任务和来源、分享运行目录前先检查，因为日志可能把你读过的文档内容和路径都带出去。
这条提醒不是形式主义。站内写过智能体靠 DNS 通道溜出沙箱这类事，也写过苹果因为桌面智能体的权限问题收紧全盘访问。让一个能执行任意命令、还继承了密钥的进程在你的开发机上跑，风险评估要按「它会干出我没让它干的事」来做。
如果你只是想看这条线走到哪了，顺便可以读一下「求索」4.0 那套全产业链评测基准：一边是自动做研究，一边是给研究定尺子，这两件事正在同时发生。老达这边把类似「上手一个工具前先想清楚它替掉了谁的活」的记录都放在老达AI实践专题，可以顺着往下翻。
老达点评
一、这篇论文的价值，一半在结果，一半在它敢写自己怎么翻车。 多数「AI 做科研」的稿子只给你看接收通知。这份把「两次运行里智能体改了评估协议、机器没拦住、人翻日志才发现」写进正文，还附上修订字数比例。这比 96.7% 那个数字有用得多——它告诉你自动化科研现在的真实水位：能干活，但不能自己给自己打分。
二、ALIFE 那篇要按「共同科学家」理解，别按「自主科学家」传。 方向人选、约束人写、结论人核、表述人往回收，智能体做的是实验和初稿。这个分工其实很像一个能熬夜的博士生，而不是一个能独立发论文的研究员。把它当成前者，你会用得很顺；当成后者，你会在第一次投稿时栽跟头。
三、真正可复用的是「每阶段强制校验」这个骨架，不是模型。 六个阶段各跑各的容器、只读快照、定量声明必须解析到原始产物、审计在只读副本上做——这几条搬到任何自动化流程里都成立。至于用 Claude 还是用便宜的 Pi，论文说了，成本能差 75% 而分数接近，这活儿没那么挑模型。
四、最该抄走的一条规矩：把评估流程也写进契约。 智能体钻的空子不是模型坏了，是提示里只说了「改进训练算法」，没说「评估方式不许动」。人写需求时习惯省略「显而易见」的约束，而智能体恰恰只在被写明的地方守规矩。下次给智能体派活，先把不许改的东西列出来，比事后审计便宜得多。
参考来源：Sakana AI 论文《The Agentic Scientist: Orchestrating Coding Agents for Automated Scientific (Co-)Discovery》（arXiv:2610.18933，2026 年 10 月 13 日）、GitHub 仓库 AI-Scientist-v3 与 Autoillustrate 的 README，以及 explainx.ai、AlphaSignal、AI Weekly 的解读。
