十一月十九日,Stripe 在自己的开发者博客上挂了一篇文章,标题是个问句:AI 智能体能不能搭出真的 Stripe 集成?
问题听着像公关稿,答案却是拿数字砸出来的。他们拉了六十九个真实收款场景,让十四套「模型加编程工具」的组合各跑一遍,顺手把评测框架 Forge 开源到了 GitHub 上。
结果分成两组分数:平均七十八点一,全部必需项都通过的只有二十九点四。
这两个数摆在一起,说的其实是件很朴素的事——代码跑得起来,和钱能收对,是两件事。
一、两组分数差在哪
先把算术说清楚,不然容易把这两个数当成同一件事的两次测量。
每个场景背后是一张验收清单,条目分成 MUST 和 SHOULD 两类,就是 RFC 2119 那套写法:MUST 缺了就出事,SHOULD 缺了只是不够漂亮。每条由一个独立的判分程序去看,不看模型的自我陈述。
平均分是「过了多少条除以总条数」,给部分分。严格通过率是「这一次运行里所有 MUST 都过了」才算一次,非零即一。
Stripe 自己举了个例子:一个场景八条标准,七条 MUST 一条 SHOULD,某次运行过了六条。平均分是六除以八,七十五分,看着不错;但失败的两条里最多只有一条能是 SHOULD,也就是说至少漏了一条 MUST,严格分是零。
同一段代码,两个分数,一个说你写了七成五,一个说你不能上线。
工作量也不小。六十九个场景分成二十四笔一次性支付、二十六个订阅、十九个平台分账;十四套组合分别跑在 Claude Code、Codex 和 OpenCode 三个壳里,每个组合二百七十六次运行,等于六十九个场景乘两次重复乘两个实验组——带 Stripe 插件和不带。
二、它们错得很统一:写的是语料里的旧写法
Stripe 的原话是:智能体偏向预训练语料里更常见的旧接口,漏掉关键功能,还会编参数。
这话有具体案例。一个移动支付场景里,GPT-6.1 Sol 在不带插件时写的是 payment_method_types: ['card'],而现在的推荐写法是 automatic_payment_methods,后者会把动态支付方式一并打开。旧写法能跑通,测试也不报错,只是钱包、分期这些能力全被关在门外。
更能说明问题的是那个比例:不带插件时,调用里出现过期参数的有百分之七;带上插件之后降到百分之一点三。
这不是「不会写代码」,是「不知道有新的」。微软 DevAX 团队的报告里有个同款例子:智能体拿 2020 年 7 月的 SharePoint Framework 1.11.0 写网页部件,整整晚了六年,代码照样编译通过。
通用编程榜看不出这个毛病。它们查的是代码能不能过确定性检查,不是接口用得对不对。写支付、写订阅、写合规,恰恰死在后面这一层。
三、最贵的那个 bug:只查了「支付成功」
整篇报告里最该被记住的是一个很小的判断。
在 Radar 风控那个场景里,Opus 5.5 写的发货逻辑只判断了 PaymentIntent.status === 'succeeded',然后就放行。问题是这个状态会变:用户退款、银行拒付、争议成立之后,钱回去了,货已经出去了。
代码九成是对的,缺的那一成是要赔钱的。
Stripe 的总结是「很多模型做出了几乎正确的实现,卡在最后一公里」。这句话比任何跑分都值得贴在显示器上——最后一公里不是技术难度,是你想没想到还有第二种情况。
换个说法:智能体很擅长把主流程写成样板,很不会替你想象异常分支,因为异常分支在训练语料里出现得少。
四、插件提了三到八分,靠的不是更聪明
Stripe 的插件给的是两样东西:一组技能说明,加一个 MCP 服务器。里面有实现规划器、文档检索、接口检索这些工具。
十四套组合全部有提升,幅度三到八分。配套还有三个数字:每次评测的网页搜索次数从一点二六降到零点零五,降了九成六;写的测试代码行数少了约四成;平台分账场景提升最大。
最后这条最有意思。平台分账是三块里逻辑最不标准的,所以「把权威答案放在手边」的收益最大;一次性支付那种标准流程,模型本来就会。
我的读法是:这三到八分不是模型变强了,是它不用自己搜、不用自己猜了。带插件之后测试写得少,也不是变懒,是对指引更有信心,少写了一些自我安慰式的断言。
有个细节值得记:Fable 5.1 带插件后工具调用次数涨了五成三,Gemini 3.8 Flash 反而降了两成六。同样是提分,一个靠多查,一个靠少绕。
五、这套考法怎么搬回自己的活
不用做支付也能借。
第一步,把验收标准拆成 MUST 与 SHOULD,一条一条判,不要打总分。总分七十五和能不能上线之间没有关系,这个道理放在任何有合规要求的场景里都成立。
第二步,让需求一点点挤出来。Stripe 用了一个「扮演开发者」的智能体,模拟一个心里有数但嘴上说不全的人,中途提问、补充、改主意。这样考出来的才是「它会追问吗」,而不是「它能不能照抄题目」。
第三步,只认 transcript 和产物,不认模型自述。模型说「已经处理了边界情况」这句话本身不算证据。
第四步,重复跑。一次通过很可能是巧合,二百七十六次运行才看得出稳定区间。
还得记住这套评测自己的缺口:Stripe 明说不含运行时验证。也就是说,看着对但跑不起来的代码照样能拿高分。补这一条的办法很土——真跑一遍,把日志里的错误行也当成判分依据。
六、谁该在意,谁不用
接支付集成外包的、做订阅计费的、给企业内部系统接第三方接口的,这篇该逐段读。这类活的交付物不是「代码」,是「能收钱的代码」,两者的差价就是验收清单。
只调一两个接口的小工具、纯内容站,用不上这么重的框架。但「几乎正确」这个坑是通用的:任何一条写死的判断,背后都有一个没想到的分支。
老达点评
这组数字的价值不在七十八和二十九的落差,在于它把「AI 写代码」的讨论从「能不能写」推到了「写完谁验」。
站内写过 Anthropic 那边的一件事:Claude 把六到十二个月的内核工作压到三天,可最后只证明了预填充那一段(六到十二个月压到三天)。同一个规律,一个在操作系统层,一个在收款层——机器交卷很快,判卷的标准跟不上,快就没有意义。
也写过另一面:三个技能包把「什么不能做」写成检查规则,装完还得自己拿主意(AI 做的网页为什么一眼就能认出来);Replit 把值班智能体的权限拆成三个开关,默认不许自己上线(它能查日志也能改代码,但默认不许自己上线)。这两篇讲的是「拦住它」,Stripe 这篇讲的是「怎么判它」——一个管边界,一个管验收,合起来才是一套。
我的判断是:接下来半年,接单市场的价格会分化。只交代码的一个价,交「通过清单的代码」的另一个价,差价不在写得多快,在于你有没有替客户想到退款、拒付、订阅中途改套餐这些不出现在演示里的路径。
真正稀缺的不是会写支付的智能体,是能写出一张像样验收清单的人。(AI 编程工具专题、AI 智能体与自动化专题)