本地跑模型这件事,过去两年一直在同一个怪圈里打转:想省钱就得降智,想不降智就得加显卡。十月二十七日,Liquid AI 把 LFM3 的权重传上 Hugging Face,一次放了六个模型,全部落在二十亿参数这个档位——文本、看图看视频、听声音、三合一,外加两个一次前向就出结论的决策模型。
这条线值得单独写,不是因为分数高。它的意思在于:一台没有独显的笔记本,第一次能同时装下「会调工具的智能体」和「看得懂画面的智能体」,而不用在两者之间二选一。老达把官方给的数字拆成三档来看,再算清哪些活真的能搬回本地。
六个模型其实是一条主干上分出来的六个岔口
六个模型全部从同一个 LFM3-1.7B-Base 长出来,按用途分岔:
- LFM3-1.7B:纯文本,十七点三亿参数,二十六万 token 上下文,专门为「带工具调用的本地智能体」做过后训练,支持十六种语言。
- LFM3-VL-2B:能吃图片和视频,视频按每秒两帧采样,是这家实验室第一个能看视频的视觉模型。
- LFM3-Audio-2B:语音进、语音出,覆盖十八种语言,同时能调工具,边说边处理。
- LFM3-Omni-2B:文本、图像、视频、音频一起进,文字加语音一起出。
- d1-2B 与 d1-Omni-2B:决策模型。你给一段情况加一组问题,它一次前向把所有问题一起答完,每个答案还带一个校准过的概率,输出可以是框、可以是原文摘录、可以是数值区间。
官方把这一套定位成「每个都能在单张显卡上微调」。这句话的分量在于:以前给端侧模型做定制,得先有一台能训的机器;现在门槛降到了一张卡和几千张图。
为什么能塞进一个 G:二十四层里混着三种算子
LFM3 的骨架不是标准 Transformer。二十四层被拆成三种:十三层门控短卷积、五层滑动窗口注意力(窗口只有二百五十六个 token)、六层全局注意力。此外还有逐头门控注意力、部分旋转位置编码、三明治式归一化。
这套混搭要解决的问题很具体——KV 缓存。生成时模型要把前文的表示存下来,上下文一长,缓存就吃掉大半显存。卷积层不需要缓存,滑动窗口只留最近一小段,只有六层全局注意力要记住全部。于是同样是一十二万八千 token 的上下文,LFM3-1.7B 的缓存约一点六 G,Qwen3.5-4B 要四点三 G,MiniCPM5-2B 要五点六 G。
权重的账更直观:四比特量化后,文本模型本体约一个 G。预训练用了二十二万亿 token,最后三点五万亿做中训练,把窗口从常规长度撑到二十六万。
需要提醒一句:缓存一点六 G 不等于总共只占一点六 G。激活值、运行时工作区、框架自身的开销都要算进去,真正落地的内存占用会比这个数字高出一截。这一点官方博客写得不够显眼,很多转述直接把它简化成了「一个 G 就能跑」。
官方数字要分三档看
第一档:厂商自测,但有明确对照组
在网页智能体基准 WebArena-Verified 上,一点七 B 的模型拿三十八点四二,对照组 Qwen3.5-9B 是二十八点九四;函数调用基准 BFCL V4 上是七十一点三九对六十二点八三;LiveClaw 是四十五点六对三十五点七七。三个数字指向同一件事:参数量小五倍,工具调用和网页操作反而更稳。
视觉侧,LFM3-VL-2B 在六十二个视觉基准上的均值从上一代的五十七点六提到七十一点四,官方说与体量六倍于它的 Gemma 4 12B 持平。语音侧,工具调用测试五十八点五,对照 Qwen2.5-Omni-3B 是四十四点三;首字延迟最低五十毫秒。决策模型 d1-2B 在自家一百一十七项基准上的合成分是六十三点二,上一代 d1-3B 是五十八点八,参数还少了三分之一。
第二档:明显打不过的地方
知识密度和长链推理仍然是尺码的天下。GPQA Diamond 六十三点三七,Qwen3.5-4B 是七十五点七六;SWE-bench Verified 四十三点四,对手五十一点二。视觉的智能体任务更弱,均值只有四十二点五,官方自己承认落后头部很远。音频理解的 MMAR 测试是五十点六,对照 MiMo-Audio-7B 的六十二点三差了一截——它能听、能说、能调工具,但「听懂」这件事还欠火候。
这些短板刚好划出了边界:把它当执行手,别当参谋。
第三档:官方没说清的
中文能力。官方口径是十六种语言,列出来的样例集中在英文和欧洲语言,中文的实际表现在发布材料里没有单独数据。站内读者多数是中文场景,这一条必须自己试。
真机速度。官方给的是一点八到二点八倍的生成加速,条件是 llama.cpp 加 Q4_0 量化,对比对象是「次快的被测模型」,没有公布具体设备与基线。这个数字的方向可信,绝对值别当承诺。
总量口径。前文说的缓存与权重的区别,官方没有统一成一张表。
手上有一台笔记本,可以这样开始
第一步,先去 Hugging Face 找 LFM3 的模型卡,看清楚要下哪个变体。只做文本智能体就下 1.7B,要做看图就下 VL,别一上来把六个都拉下来。
第二步,挑运行时。想省事用 LM Studio 或 Ollama 的图形界面,命令行党用 llama.cpp,苹果芯片走 MLX 会有额外收益。权重的格式官方给了 GGUF、MLX、ONNX、FP8、NVFP4 五种,四比特那版体积最小。
第三步,先跑一个不需要工具的问答,确认能出字、速度能接受,再加工具。工具调用是这个家族的主打,但配置错了表现会比纯文本还差。
第四步,用你自己的真实材料试。比如把一段会议录音丢给 Audio 变体,把一张产品图丢给 VL,看它认不认得出你要的细节。别人的跑分只说明它「能」,不说明它「对你这件事能」。
第五步,再考虑微调。官方说单卡可训,VL 变体的演示里用三千张公开图片、在一张 A100 上跑几个小时,风机叶片缺陷分类的准确率从不足一成提到六成七。这个例子说明的是「小样本能拉起来」,不是「你也能拉到六成七」。
什么活该搬回本地,什么活别折腾
该搬的:客户通话转写、会议录音翻译、内部文档的批量分类提取、涉密图纸的缺陷筛查。共同点是数据不愿意出门,且任务重复、格式固定——这正是小模型 + 微调的主场。做这类事,接口费不是主要成本,合规和传输才是。
别折腾的:需要长链推理的代码重构、需要广博知识的问答、需要严格事实核对的写作。SWE-bench 那四十三分和五十一分的差距,落在真实项目里就是「改对了但改漏了」。
还有个容易忽略的:许可。LFM Open License v1.0 设了一道一千万美元营收的门槛,超过这个规模的公司要跟实验室另谈。个人和小团队不受影响,但如果你打算把微调后的模型打包进产品卖,先看条款。
如果你想先理解「小模型怎么进入智能体工作流」,可以看站内 老达AI实践 里的落地记录,以及 AI 智能体与自动化 专题里关于工具调用的部分。
老达点评
LFM3 最值得抄的不是架构,是产品思路:不再追一个全能巨模型,而是把一条主干切成六个专用件,每个都小到能塞进目标设备。
这条路线的代价也很清楚——你得自己判断该用哪个,得自己承担部署和维护,还得自己验证中文能不能用。厂商把「能跑」这件事解决了,把「跑得对」留给了你。
对比一下站内写过的方向会更清楚:MiniCPM-V 4.7 那篇讲的是手机跑三十五亿参数模型的账怎么拆,重点在「省内存」;FLUX 3 Klein讲的是把画图塞进八 G 显存,短板在人像;DGX Spark 那篇讲的是买一台本地机器值不值,核心在带宽。LFM3 属于第三条路的另一种解法:不买机器,让模型自己瘦下来。
真要给一句结论:如果你的活是「重复、涉密、格式固定」,今年值得花一个周末把它跑起来;如果你的活是「每次都新、要想清楚」,继续调接口,别省这个钱。