十月二十日，一家叫 Eagle 的推理公司发布 EAGLE-4，第四代投机解码方案。论文、代码、三个推理引擎的插件一起给。
网上转得最凶的数字是九百六十一点六——每秒九百多个词元，比普通推理快近四倍。这个数字是真的，但它只是一栏。同一篇论文另一栏写着：五百一十二个请求同时进来的时候，加速比掉到一点三四。
两栏都是真的。这两栏之间的距离，就是今天要讲的事。
先说清投机解码是什么
大模型是一个词一个词往外蹦的。每蹦一个，都要把整个模型跑一遍。慢就慢在这——算力大部分花在「搬运」上，不是花在「思考」上。
投机解码的思路很土但有效：找一个小模型（草稿模型）先往前猜几个词，然后让大模型一次性把这几猜全验了。猜对的留下，第一个猜错的用它自己的词替换，再从这里继续猜。
关键在于：输出分布不变，最终结果和原模型一模一样，只是快了。这不是「换个更小更笨的模型」，是「用更便宜的算力换掉一部分昂贵的串行计算」。
过去两年这个方向最出名的就是 EAGLE 系列，前三代都是 Apache 2.0。
这次改的不是草稿模型，是草稿树的尺寸
前几代的通病是：草稿的「猜测树」按某个基准配置调好，通常是单请求。你把它搬到真实服务器上，batch size 一变，原来的参数就不对了。
EAGLE-4 把这件事变成运行时决策。它配套的 eagle-harness 先在你这台机器上量一遍：草稿到底多贵、验证到底多贵。然后按当前的并发数和工作负载，决定这一轮猜多深、猜多宽。
同一个训练好的草稿权重，单请求和五百一十二并发都是它，不用重训、不用手调。这个「一套权重吃两种负载」是它最主要的宣传点。
数字要分两栏读
第一栏，单请求。目标模型 Qwen3.8-27B，四张 B300，张量并行四路，每秒从二百四十点五词元涨到八百六十三点八，三点五九倍。官方另有九百六十一点六的口径，那是换用 TokenSpeed 后端、BF16、温度零、单请求的结果，两个数不矛盾，只是测法不同。
第二栏，五百一十二并发。聚合吞吐从两万一千二百零三涨到两万八千三百四十词元每秒，一点三四倍。
MoE 目标上也一样：Nemotron 3.5 Super VL，一百二十亿激活、一千二百亿总参数，单请求二百三十六涨到六百四十七（二点七四倍），五百一十二并发从一万九千八百二十三涨到三万三千四百八十（一点六九倍）。
AMD 那边是自家做的首发支持测试：单张 MI350X、不开张量并行，七十五点二七涨到二百六十二点八九（三点四九倍），三十二并发时衰减到一点七倍。
手机端有个数字挺意外：摩托罗拉 Razr 70 Ultra 上跑 Gemma-4-E2B-it，纯 CPU，长文本生成快了三点二倍，同一个任务从四十三秒压到十四秒，每个词元的能耗降了百分之五十三。这条对做端侧应用的人比服务器那栏更有意义。
为什么别的方案在满服务器上会倒赔
这是全文最值得记住的一段。
论文的对照表里，另外两个方案在单请求下都挺好看：一个二点五七倍，一个二点八零倍。到了五百一十二并发，一个掉到零点六七倍，一个掉到零点七八倍——不是「提升变小」，是比不用加速还慢。
原因不难想。草稿模型本身也在吃算力和显存。机器空着的时候，反正闲着也是闲着，猜错了不心疼；机器满载的时候，你让草稿去抢那点算力，等于从正经请求嘴里抢饭。
一张只为空服务器调好的加速方案，在忙的时候是负资产。这句话放在任何「我这边测出来快三倍」的宣传下面都成立。
整张表里只有 EAGLE-4 两栏都为正。
支撑自适应的是三处结构改动
一是草稿层用滑动窗口，只看最近一段上下文，不再对整条序列做注意力。
二是候选头改低秩，官方叫它 Efficient LM Head——要在一棵大树上给一堆候选打分，这个头的成本直接决定你敢猜多宽。
三是草稿缓存只追加不重写，树在轮次之间变形时不用重建状态。
另外它支持带 GDN 和 Mamba2 层目标模型，草稿侧稠密和 latent 混合专家都有实现。这些细节对普通用户没意义，但对要把它接进自己推理栈的工程师是硬门槛。
许可证变了，这才是今年的信号
前三代 EAGLE 是 Apache 2.0，随便商用。
EAGLE-4 的许可证叫 Eagle 4 Source-Available。非商用免费；商用只给两类人：过去十二个月综合营收低于两千万美元的企业，以及不提供竞争性推理服务的公司。其他情况要单独谈授权。
很多转发写「开源了」，这个说法不准确。代码确实放出来了，但这不是 OSI 认可的开源许可。
这个变化比技术本身更值得琢磨。推理加速层过去两年一直是「基础设施里的免费零件」，谁都能白拿。现在头部方案开始分层：代码给你，商用收钱。加速不再是附赠品，是有定价权的产品。
自建还是买 API，先算清自己的并发
如果你只调 API，这事基本跟你无关。云厂商会第一时间用上，你要么等到变快，要么等到变便宜。
如果你自建，先量一件事：你的真实并发是多少。
单用户交互——本地编程助手、个人知识库、文档批处理——是最赚的场景，因为你就是那个「并发一」，能吃到接近三倍的实际感受。
反过来，如果你跑的是长期满载的批处理，一点三四倍意味着什么？意味着加一张卡或者换个小一号的模型，可能比接这套东西更省事。
怎么试，五步
- 装 eagle-harness（当前 0.1.0），选 vLLM 或 SGLang 插件。TokenSpeed 后端还在实验阶段，别上生产。
- 挑一个你本来就在用的目标模型。论文里给过数据的是 Qwen3.8-27B 和 Nemotron 3.5 Super VL 这类，配套草稿要能对上。
- 先在并发一测一遍，再在你真实并发下测一遍。只看聚合吞吐，别看单请求那个数字。
- 比「每百万词元的成本」，不比「每秒词元」。草稿也吃显存和电。
- 做一致性回归。官方把「贪心解码结果必须一致」当成发布闸门，你接进来也该这么验，尤其是温度设成零的时候。
适合谁，先别急的是谁
适合：自建推理的个人与小团队、端侧应用（手机 CPU 有三点二倍）、延迟敏感的单用户 Agent、想在自己机器上把老模型榨出更多速度的人。
先别急：纯靠 API 的、长期高并发的服务端（一点三四倍不值得折腾）、需要无忧商用授权的产品（许可证过线要谈）、以及目标模型还没有配套草稿的情况。
老达点评
第一，「加速比是并发数的函数」这句话，应该印在每个 benchmark 页面的最上面。所有只给单请求数字的加速宣传，都得追问一句：满负载呢？
第二，站内这条线其实一直在算同一笔账。DeepSeek 换内核那次看的是为什么账单没变价格却卡着上班时间，RTX Spark 那篇算的是笔记本跑大模型到底划不划算，端侧那篇拆的是三吉字节内存跑三百五十亿参数的真相，再往前DGX Spark 降价讲的是带宽。四篇问的都是同一件事：不是能不能跑，是跑起来值不值。EAGLE-4 补上了其中一块——同样的卡，怎么把词元变多。
第三，许可证这个信号别忽略。免费的开源加速层在收尾，接下来你会越来越常遇到「源码可见、商用分层」的许可。选型时把它当成一条硬指标，比看跑分重要。
第四，一句实话：九百六十一和八百六十三这两个数你都拿不到。它们是论文口径、温度零、特定数据集、自家硬件。你该看的只有两行——你自己机器上并发一和并发八的吞吐。
想看更多这类拆解，去老达 AI 实践专题；如果你在做智能体，延迟直接决定体验，AI 智能体与自动化专题里的案例更贴场景。
