十一月二十日深夜到二十一日凌晨,Thinking Machines 放出了 Inkling 2 Mini。这个实验室是米拉·穆拉蒂离开 OpenAI 之后办的,上一款 Inkling 2 Small 有五千九百四十亿参数,社区的反应很一致:太大了,跑不动。
于是这次他们反着来。二百六十四亿总参数,每个词激活三十四亿;算上循环里重复读取的权重,实际点亮五十四亿个。官方给的数字是二十 G 左右,一台三十二 G 的苹果笔记本就能装下。
上一次这个实验室的名字出现在站内,还是十月的开源模型横评里被当成对照组(美国最强开源模型只有三十九分)。一个月后,它把模型缩到了笔记本尺寸,还顺手拿走了一个第一。
它不是把大模型压小,是让同一批层多走两遍
标准变压器每生成一个词,所有层过一遍,然后结束。想让它想得更久,常规做法是让它把推理过程写出来,用更多 token 换更多计算。
Inkling 2 Mini 换了另一种换法:二十四层分成四块,首尾两块各跑一次,中间两块加起来十二层,每个词跑三遍。
层数没变,参数没变,计算量大了。多出来的这部分算力,花在「同一个词在隐状态里反复琢磨」上,而不是花在「把琢磨过程写成字」上。
官方做过一个对照,把循环放在中间十二层,和把循环放在最后十二层比,二十八项测试里前者赢了二十七项。这个设计也不是全新的,循环变压器的想法能追到二零一八年的 Universal Transformer,只是过去很少有人把它做到能上生产的规模。
这套设计还有一个副作用,官方自己讲得很直接:思维链短了。短,但还能读。他们拿一个可变循环次数的研究版做过实验,循环三次时,不写思维链能撑住的时长从十六秒涨到三十七秒;推理链随着循环加多反而更短,可读性没掉。
这句话对做智能体的人比跑分重要。思维链是现在唯一能盯住模型的手段,如果「想得更久」必须以「写更多字」为代价,那监控成本会跟着涨。循环这条路,把这笔账压下去了。
跑分:写代码赢,多轮对话和复杂约束输
先把厂商标称的放出来。DeepSWE v1.1 四十八点二,Vals Index v2.2 四十六点五,两个都是「一千亿参数以下的开源权重里第一」。SWE-bench Pro v2 Hard 七十七点九。带搜索和工具的那几项更亮:BrowseComp 七十九点零,DeepSearchQA 八十五点三。
第三方榜单 Artificial Analysis 给了二十点一,和 Qwen3.8-27B 打平。同一个榜单还说它速度约为对方的四倍、单次成本约为六分之一——这两个数是 AA 的口径,不是厂商的。
输的地方同样清楚。MultiChallenge 五十点零,ComplexConstraints v1.1 三十三点四,两项都输给 Qwen3.8-27B。CritPt、HLE 这类硬推理,它也不如更大的模型。
把这三层分开看:能核实的是架构——二十四层、十二层循环、专家数一百二十八、上下文一百万 token,这些写在模型卡里;只有厂商说法的是那两个第一,跑分是自家跑的,评测环境各不相同;没有人验证的是「快四倍、省六分之五」,因为对照的量化与硬件条件没公开。
这个分布很正常。小模型的发布会,能核实的东西永远比宣传语少。
二十 G 是怎么压出来的:先剪专家,再蒸馏,最后量化
省内存这件事,它做了三步。
第一步在训练中就动手:专家从三百八十四个剪到一百二十八个,每个词只挑八个。剪完不是硬撑着,而是从实验室内部一个更大的模型那儿蒸馏回来,把剪掉的能力补一部分。
第二步是量化。大部分权重从训练到部署都是原生四位(NVFP4),最后四层走八位(MXFP8)。原生量化的意思是训练时就在这个精度里学,不是训完再压,因此没有转换损失。
第三步是算「有效参数」时把循环算进去:单次前向激活三十四亿,循环三次之后每个词点亮五十四亿。这个数字决定了它在显存里占多大——二十 G。
模型卡写的门槛是三十二 G 苹果芯片、一台 DGX Spark,或者三十二 G 显存的显卡。
演示那台机器值得说一句:四十八 G 的 M5 Pro,飞机上开飞行模式离线跑,几分钟做出了一个能玩的飞行模拟器。四十八 G 比门槛高一半,这个细节官方没藏,媒体转述时常常被省掉。
省电这一项,比跑分更值得看
他们和斯坦福的研究者一起测了一个指标:每焦耳智能。Inkling 2 Mini 是零点七零三,同尺寸的 Qwen3.6-35B-A3B 是零点四三零,Gemma-4-26B-A4B 是零点一五九。
对一台笔记本来说,这个数比跑分实在。跑得动不等于电池撑得住,插着电跑一个下午的智能体,和拔了电还能跑两小时的智能体,是两种产品。
官方自己列的五条毛病
这份发布说明里最难得的部分,是它自己写的局限。
一,中文输出可能被截断,或者混进英文。这条对国内用户是硬伤,官方没绕。
二,智能体可能不问就删改文件,事后汇报还不一定准。这不是小毛病,是要不要给它写权限的问题。
三,调试会卡在重复自检里,一个错反复查。
四,把推理强度调到最低,也关不掉中间层那三遍。想省算力的人这里没有开关。
五,Ollama 的支持还只在预发布版里,三十二 G 是官方写明的门槛,低于这个数别试。
三个口径打架的地方
第一个,参数到底是二十六点四还是二十七。官方模型卡写二十六点四,国内转述普遍写成二十七,指的都是同一个东西,差在四舍五入。
第二个,Vals 这个榜单。厂商引用的是 Vals Index v2.2 的四十六点五,可 Vals 自家的总榜把它排在四十三个模型里的第三十八位。两个数不矛盾——一个是单项指数,一个是综合排名——但只看前一个,会以为它站到了第一梯队。
第三个,发布日期。官方博客的措辞是「今天」,英文媒体多写十一月二十日,中文报道集中在二十一日凌晨。差的是时区。
想试的人,怎么下手
路子有几条:Mac 上用 Ollama(预发布版,三十二 G 起);或者 vLLM、SGLang、llama.cpp 的 GGUF;托管走 Tinker,也可以直接用 OpenRouter,每百万 token 输入零点一五美元、输出零点五美元。
权重是 Apache 2.0,商用没有额外门槛。
不过我不建议上来就信那四十八点二。更实在的做法是:挑三个你自己天天让模型干的活——改一个跨文件的 bug、读一份长文档做摘要、按固定格式抽数据——拿它和 Qwen3.8-27B 各跑一遍。厂商的跑分是在别人的任务上得的,你的任务不在里面。
老达点评
这条新闻最容易被读成「笔记本又能跑大模型了」。能跑,但这次的重点不在「能跑」。
两天前站内写过另一条本地路线:Hugging Face 的工程师把一百二十一 G 的专家权重留在硬盘上,按需搬进三十二 G 内存,跑起一千八百亿参数,代价是一秒十四个词(三十二 G 内存跑一千八百亿参数)。那条路省的是显存,用硬盘换容量。
今天这条省的是算力:模型本来就小,靠把同一批层多跑两遍换取思考深度,一秒几十个词,能干活。两条路都对,买的东西不一样——一条买容量,一条买每秒多少词。再加上十月那台两千三百九十九美元起的 RTX Spark,走的是「花钱买带宽」(笔记本终于能跑七百亿参数),以及月初把六个模型压进 2B 的 LFM3(一个 G 装下整个智能体),本地推理这一年基本分成了四种做法:买机器、买硬盘、砍参数、改算法。这次是最难的一条,也是天花板最高的一条。
我的判断,值得试的是这三类人:手上就有三十二 G 以上苹果机器、想跑一个不联网的写代码智能体的人;数据不能出内网的团队,先跑通再谈优化;以及研究循环架构的人,官方顺手放了一个可变循环次数的研究版,这种「能调层数」的模型在过去很少见。
别急着试的也是三类:指望它替掉云端旗舰的,它在多轮对话和复杂约束上明确不如同尺寸的 Qwen;要做中文内容生产的,官方自己承认会截断、会串英文;还有想拿它跑无人值守自动化的——它会不问就删文件。
最后说一句可能不讨喜的。这一轮真正有意思的不是「开源第一」,而是它证明了另一件事:模型能力的增长,不一定非得靠堆参数。让同一批层多想两遍,也能换来一段推理深度。如果这个方向成立,接下来比的就不是谁的模型大,而是谁的层用得巧。
对做本地部署的人来说,这是个好消息。你的显存不会再是唯一的天花板。(老达AI实践专题、AI 智能体与自动化专题)