十一月十日,Anthropic 在上市路演的视频里放了一页幻灯片。十一月十六日,Tom’s Hardware 把它翻了出来。十一月十九日,中文科技媒体几乎同时转述。
三个日期之间隔了九天,中间隔着的其实只有两行字。
一行是「约三天」,一行是「六到十二个月」。
那张幻灯片上写了两组数
第一组是过去。按 Anthropic 自己的工程经验,把一个已经训好的模型搬到一个新加速器上,需要几十名工程师、六到十二个月。
第二组是这一次。联合创始人兼首席计算官 Tom Brown 说,Claude Mythos 预览版在 AMD 的 MI355X 上,用大约三天让一个模型的提示处理跑到可用性能,涉及的内核几乎百分之百由模型自己移植或编写,人工干预很少。
内核是干活的函数,矩阵乘、归一化、注意力的分块计算,都落在这一层。芯片换代,这一层就要重写。CUDA 生态难缠的地方,一大半在这里。
消息传开之后,结论跑得比事实快。有人写「CUDA 护城河一夜松动」,有人说英伟达的定价权要重新算了。
在跟着激动之前,得先把范围划清楚。
三天做到的,是预填充这一段
一次推理分两段。
前一段叫预填充:把用户给的输入——几个源码文件、一段很长的对话历史——一次读进去,算出第一层到最后一层的键值缓存。用户等第一个字的时间,由这一段决定。
后一段叫解码:一个字一个字往外蹦。用户感受到的快慢,主要由这一段决定。
这次跑通的是前一段。解码没提,训练完全没提。
再往下还有三个空白。
「可用性能」没有数字。没给吞吐,没给延迟,没给和英伟达同型号卡的对比。中文圈里流传的「延迟差百分之八到十二」,来自二手转述,Anthropic 自己没有披露过这组数据,别当结论用。
六到十二个月是内部估算,不是同题对照实验。也就是说,这组对比的两端,一端有实测,另一端是经验值。
没有第三方复现。作者是卖方,场景是路演。
把这三条摆出来,结论会从「攻破」降级成「打开了一道口子」。但即便降级,这件事仍然值得写,因为那道口子开在了一个以前没人认真撬的位置上。
为什么「多久能试」比「快多少」更要命
英伟达的护城河,很多人以为是性能。
其实一大半是时间。
一块新卡想进采购清单,买家得先把自己的模型搬上去,跑出几个数:首字延迟多少、每秒出多少词、一百万个词多少钱。这套动作跑完,才谈得上比价。
而搬上去这一步,过去要半年到一年。
半年这个数字会改写决策,而不仅仅是增加成本。当一个团队要押上半年的工程师工时,才能拿到第一组可比数据,最安全的选择永远是「用已经会用的那个」。于是竞争在评测之前就结束了。
三天改变的就是这件事:不是让 AMD 的卡变快,而是让「试一次」这件事变得便宜到可以随手做。
顺便说一句,这套逻辑在国内也成立。站内写过美团把一点六万亿参数放出来,装下要一百九十四张昇腾卡(一百九十四张昇腾卡才装得下)——权重开放把门槛砍了一截,但把权重变成能跑的服务,仍然卡在同一层:谁来写这些内核。
三个月前字节和清华开源过一套让模型自己写 GPU 算子的工具,当时报的成绩是跑赢编译器二点一一倍(字节跳动联手清华放出 CUDA Agent)。那是一次实验室里的成绩。这次是买方在路演里给投资人看的一张图,性质不一样:一个是「能做到」,一个是「我们已经这么干了,而且算过账」。
采购账:省下的不是芯片钱,是「敢不敢试」的钱
把这事算成钱,得换个口径。
不是「每百万 token 便宜多少」,那个数这次根本没公布。能算的是另一笔:迁移的启动成本。
按过去的经验值,八个人干九个月,七十二个人月。一个人月的综合成本按四万块算,两百八十八万。
按三天算,半个工程师,两万。
中间差的两百八十六万,不是电费,不是折旧,是门票钱——决定要不要换供应商之前,先要付的那笔钱。
门票从两百八十八万降到两万,会带来两个直接后果。
一是采购可以从「年度决策」变成「季度决策」。以前换卡是战略级动作,要走立项、要背责任;以后可以先小规模跑一轮,用自己真实的提示长度和请求量去测,测完再谈。
二是卖方失去了「你没得选」这张牌。Anthropic 自己在招股材料里写得很直白:Claude 同时跑在 AWS 的 Trainium、谷歌的 TPU、英伟达的显卡和 AMD 的显卡上,被当成一个可以互换的算力池。这话放在三年前是成本,现在变成了筹码。
还有更硬的东西摆在桌上:Anthropic 与 AMD 的算力协议最高到二吉瓦,首批 MI450 预计明年上半年随 Helios 机架交付。也就是说,这次三天的适配,更像一次预演,真正的规模化验证要等下一代卡和大集群落地。
四个还不能松口的地方
第一,解码没覆盖。推理成本的大头在输出:输出多少个词、每个词多快,直接决定账单。预填充跑通,只说明「读得进去」,不说明「出得来便宜」。
第二,全新微架构的头几个月,仍然要人调。指令集和内存结构一变,想榨干最后那点性能,还是得靠懂硬件的人。模型能写出能跑的内核,和写出最快的内核,是两件事。
第三,多卡互联这条战线没动。几万张卡一起训一个模型,靠的是卡间的高速互联和集合通信库,那部分护城河比单卡内核深得多。
第四,生态的网络效应还在。教程是 CUDA 的,招聘要求写的是 CUDA,大学教材也是 CUDA。这些东西不会因为一次三天适配而改写。
老达点评
这条新闻最容易被写成两个极端:要么「英伟达完了」,要么「不过是营销」。
两个都不对。
它真正改的是一件事的定价:迁移成本。而迁移成本,恰恰是过去十年显卡市场里最不透明、也最管用的那道门槛。门槛从「半年」变成「三天」,买方拿到的不是更快的卡,是「可以走开」的自由。
但要看清,这次被压下去的是「适配的启动成本」,不是「每个词的成本」。前者决定要不要试,后者决定试完划不划算。把两笔账混在一起,就会得出「算力要降价了」这种过于乐观的结论。
我更有兴趣的是时间点。这个十一月,成本在三个方向同时往下压:模型价签在降,站内刚写过微软那款把单次任务压到三毛一的编码模型(一次任务三毛一,是对手的二十分之一);权重门槛在降,一点六万亿的参数直接放了出来;现在迁移成本也在降。
三件事各自都不算颠覆,叠在一起才是信号:这一轮竞争的重心,从「谁更聪明」挪到了「谁更便宜地被换掉」。
对普通读者来说,不用去关心 MI355X 的显存带宽。值得记住的是一句更朴素的话:当一件事的试错成本降一个数量级,行业的玩法就会换一套。写代码是这样,选芯片也是这样。(AI 编程工具专题、Claude 专题)