考记忆的输,考过程的赢:三十五 B 扩散模型把终端跑分做到五十一点七,一次答八个问题只用一百六十四毫秒

浅色木桌上一排八张纯白卡片,头顶一盏灯把它们同时照亮,卡片外绕着几道淡青色光环,卡面没有任何字迹
内容摘要

十月底放出的权重,十一月十八日的技术报告才把底牌翻开:三百五十亿参数的扩散模型,在同尺寸自回归模型面前赢下六项智能体指标,终端任务五十一分七,一次去噪还能同时答八个关联问题,一百六十四毫秒。可它考通用知识明显掉队,底座还是别人的模型。

十一月十八日,arXiv 上出现了一篇技术报告,标题很朴素:Clover-35B-A3B-Preview。作者署名是 DiffuSpace 技术团队。

模型本身十月底就已经放出来了,权重在 Hugging Face 和 ModelScope 上,Apache 2.0。当时国内媒体的关注点集中在「扩散模型能不能打」,热度不算高。真正有信息量的是这份报告——它第一次把架构、解码、以及一个叫决策模型的东西讲清楚,还同步开了微调代码。

先把身份交代清楚。DiffuSpace 是港大 NLP 实验室孔令鹏团队出来做的公司,上一代作品是二零二五年四月的 Dream 7B,那个系列在 Hugging Face 上累计下载超过二百七十万次。这一轮他们拿了数亿元人民币融资,经纬创投、顺为资本、君联资本联合领投,中科创星、华为哈勃、地平线跟投。

还有一句必须写在前面:Clover 不是从零训的。模型卡写得很坦白,它是 Qwen3.6-35B-A3B 的文本衍生版,沿用那条门控 Delta 网络加全注意力的混合主干,四十层,二百五十六个路由专家,每个词挑八个。DiffuSpace 改的是扩散那一侧。

它换的是生成的顺序:块内双向,前缀压成状态

自回归模型一个词一个词往外吐,第 n 个词必须等前 n 减一个词。扩散模型换了个办法:一次铺开一整块被遮住的词,让它们同时猜,猜完这一块,再拿它当固定上下文去猜下一块。

难点在这儿。门控 Delta 网络(GDN)擅长把长历史压成一个循环状态,代价是只能从左往右读;而扩散要求当前这块里的词互相看得见。两个需求天然打架。

Clover 的解法叫双向门控 Delta 网络。已经生成完的历史,仍然压进循环状态,便宜;当前这块里的词,走双向注意力,互相看。历史记忆的读出结果不再单独用,而是作为一个信息单元,跟块内 token 挤进同一次 Softmax 里竞争。他们还给右侧上下文加了一条独立的卷积分支,初始化为零,让模型自己学要不要用。

第二个改动在专家路由上。常规 MoE 每个 token 各挑各的专家,扩散一次要同时处理几十个 token,各挑各的会让显存乱跳。Clover 先给整块选一个候选专家池,块内每个 token 再在池子里挑。省的是搬运,不是精度。

第三个是自推测解码:同一个模型先并行草拟一块,再用自己的因果路径验证,能接受的前缀就直接提交。草稿和验收不找外人。

跑分:六项智能体全赢,通用知识明显掉

厂商对照的同尺寸选手是 Qwen3.6-35B-A3B,另外拉了两个扩散同行 LLaDA2.2 flash 和 Mercury 2.5。

赢的地方很干净。SWE-bench Verified 七十三点六,Qwen3.6 是六十五点八,Mercury 2.5 五十七点八,LLaDA2.2 flash 四十九点三。Terminal-Bench 2.1 五十一分七,Qwen3.6 四十三点一。τ³ 六十五点三对四十四点三。BFCL-v4 六十七点九对六十二点二。GDPval 那个用 Elo 打分的专业工作评测,一千零九十一对一千零四十九。SWE-Pro 四十六点五对四十点一。

输的地方同样是成片的。MMLU-Pro 七十一点零,Qwen3.6 八十四点八——差十三点八分。HLE 纯文本十二点八,对手二十一点二。AIME 二零二六八十三点三,对手九十点四。数学五百题两家打平在九十六点二,代码竞赛题七十二点六对七十一点四,基本持平。

有一项反差特别大:ZebraLogic 九十五点八对七十八点六。那是个纯逻辑网格题,考的是约束推理,不看你知道什么。

把这张表读一遍,规律就出来了:考过程和工具的,扩散赢;考记忆和套路的,自回归赢。这跟扩散的机制对得上——它擅长在一次去噪里同时满足一堆互相牵连的约束,不擅长把训练时背下来的事实一字不差地掏出来。

顺带说一句口径。官方博客写的是「六项智能体基准全部第一」,技术报告摘要里写的是「七项智能体指标」。差的那一项是 Terminal-Hard,报告表格里有,分数三十八点一对三十一点八。

快是真的快,但「六百八十词每秒」有条件

报告给的数字:单张 GB300,BF16 精度,批大小一,内部智能体负载下六百八十词每秒。换 H200 是五百一十五,对照组是同尺寸 Qwen 加 DFlash2 加速,三百六十五。

这个「内部负载」得说明白:六十四条真实智能体历史轨迹的前缀回放,不是开放榜单上跑出来的。批大小一意味着没有并发压榨,这是单体速度,不是吞吐。

即便打折,扩散在长上下文智能体任务上的速度优势是结构性的:并行出块,一次验证,天然适合「读很长的历史、写很短的动作」这种负载。反过来,如果你要的是一口气写三千字文章,这个优势用不上。

十六 G 显卡跑得动,代价在准确率

这条我觉得比跑分有意思。

报告里有一节专门算「显存不够怎么办」:一张十六 G 的 RTX 5070 Ti,配六十四 G 主机内存,用 SGLang 加 KTransformers 做 GPU 与 CPU 的混合专家推理,路由专家压到 INT4,非专家部分留 BF16。

在完整的数学五百题上,按路由统计优化专家摆放位置之后,top-8 配置跑到每秒九十七点五词,准确率九十七点六;把验证阶段激活的专家数降到 top-6,速度升到每秒一百零六词,准确率掉到九十六。

全精度权重要六十九 G 显存,量化后 GGUF 从十八 G 到三十五 G 不等。也就是说,一台带中端显卡的台式机,真的能跑一个三百五十亿参数的智能体模型,代价是准确率掉一两个点、速度掉到每秒一百词上下。

对照一下站内写过的另一条路:把一百二十一 G 权重留在硬盘上按需搬,用三十二 G 内存跑一千八百亿参数,一秒十四个词(三十二 G 内存跑一千八百亿参数)。一个是「模型小一点、跑得快」,一个是「模型大得多、跑得慢」。

决策模型:一次去噪答八题

这是报告里最新的一块,也是媒体标题的来源。

思路很朴素:很多判断不是孤立的。一张表里八个格子,一组合规检查的八条,一批工单的八个分类——它们互相约束,分开答会互相打架。

Clover 的决策模型把这些问题塞进同一个块,一次去噪同时出八个答案,中间特征在块内共享。在五百组、两千四百二十道关联问题的内部验证集上,单题准确率从九十点三七提到九十三点八八,整组全对的比率从六成五提到七成七。

延迟上,同样的硬件和配置,联合预测平均一百六十四毫秒,逐题串行调用一千二百四十三毫秒,独立并行调用二百四十九毫秒。对串行是七点五八倍。

数字漂亮,但有三条限定:这是内部数据集,不是公开榜单;决策模型还没放出来,只在报告里;一百六十四毫秒是整组耗时,不含预填充。

什么人现在可以试,什么人先别

可以试的:写代码和终端任务的智能体——这是它压过同尺寸自回归最明显的地方;需要批量做关联判断的场景,哪怕现在只能用主模型串行跑,思路也能先借;显存紧但有六十四 G 内存的机器,混合推理那条路是现成的。

先别急的:要它背知识的,MMLU-Pro 差十三点八分不是小数点误差;要多模态的,这是纯文本模型,只收文字;要长文档的,上下文一百二十八 K,比现在动辄百万的旗舰短一截;要上生产稳定服务的,名字里就写着 Preview。

还有一层要提醒:它的底座是 Qwen3.6-35B-A3B。这意味着两件事——省了从头训的钱,也意味着它的知识边界基本由底座决定。扩散改的是「怎么算」,不是「知道什么」。

老达点评

这条新闻在国内被写成「国产扩散模型超过同尺寸自回归」,方向没错,但漏了最值得看的那半句:它超的是智能体指标,不是通用能力。

我盯的是那张表里的两组数。一边是 τ³ 六十五点三对四十四点三、Terminal-Hard 三十八点一对三十一点八,一边是 MMLU-Pro 七十一对八十四点八。同一个模型,在两个方向上差出二十多分和负十四分。这不是「更强」,这是「换了一种强」。

对做产品的人来说,这个 trade-off 是可以用的。你要的是一个会查资料、会调工具、会按约束填表的智能体,它划算;你要的是一个什么都懂一点的问答助手,它不划算。

另外一件事更值得记:这是扩散语言模型第一次在三百五十亿这个量级上,把「速度」和「能力」同时端上桌。过去这个范式的故事一直是「理论上更快,实际上更笨」。美团的 1.6 万亿开源权重把门槛定在了一整个机房(一百九十四张昇腾卡才装得下),阿里的 Qwen4-Max 则干脆把旗舰关进了接口(下载量第一的开源家族,把旗舰关进了接口)。一边是越大越封闭,一边是三十五 B 在十六 G 显卡上跑每秒一百词。这两条线同时在跑,才说明这个行业还没定形。

我的判断:扩散语言模型今年还不会替代自回归,但「并行生成 + 联合判断」这条路已经摸到了能算账的地方。真正值得等的不是它的下一个跑分,而是那个决策模型什么时候放出来。八个问题一次算完,一百六十四毫秒——如果这个能力真能落到批量审核、批量分类这种脏活上,省下的不是算力,是人盯着屏幕逐条确认的时间。

那才是它最该去的地方。(AI 工具评测专题、AI 智能体与自动化专题)

发表评论

您的电子邮箱地址不会被公开,必填项已标注 *