接一通电话四美分:Mistral 把语音智能体压成一个开发包,便宜到能试,账却算不全

深色木桌上的黑色电话听筒,一道发光的声波穿过透明管道里的三个节点,最后落在一张空白卡片上
内容摘要

十月二十日,Mistral 发布 Voxtral 3:五款语音模型加一个基于 LiveKit 的语音智能体开发包,把听、想、调工具、说压进同一条流水线,接电话每分钟只要四美分。第三方测出的转录错误率是百分之二点一,但延迟怎么测的官方没说。

十月二十日,Mistral 放出了 Voxtral 3。

不是又发一个语音识别模型。它一次给了五款语音模型,外加一个语音智能体开发包,把「听清」「想明白」「调工具」「说出来」塞进同一条流水线。接电话的报价是每分钟四美分。

做过语音 Agent 的人对这张账单应该有感觉。过去这套东西要拼三个供应商:一家做转录,一家做推理,一家做语音合成,中间还得自己写一层胶水。每一跳都加延迟,每一跳都是一张发票。

但先别急着迁。这次发布里最关键的几个数字,官方并没有给全。

语音 Agent 难的不是模型,是四件事要同时发生

一段真实的通话要同时做到四件事:听准(多语言、口音、多人说话、随时打断)、想明白对方到底要什么、说得像人、以及跨系统把事办完。

传统做法是一句一停:转录等你静音,静音了才敢往下走。这就是很多语音机器人「反应慢半拍」的来源——不是模型笨,是流水线在排队。

Voxtral 3 的思路是把这几段并行起来,没有任何一段要等上一段跑完。人打断的时候它会立刻闭嘴。官方说每一轮交互能压到一秒以内。

盒子里装了什么

五个模型分两类。

转录三个。 Voxtral Small Transcribe 3 最准,带说话人分离(谁在什么时候说),还有一个很实用的能力叫关键短语偏置:你给它一张业务词表——产品名、账号字段、人名——不用微调模型,它就会优先往这些词上靠。另外它原生判断「对方说完了没有」,靠声学和语义两路信号,不靠固定静音计时。Voxtral Mini Transcribe 3 是四十亿参数的批处理版,便宜。Mini Transcribe Realtime 3 做流式,官方称亚五百毫秒出字。

合成两个。 Voxtral Mini TTS 3 和 Speech 3,覆盖三十五种以上语言、五十种以上方言,其中十八种有现成音色(荷兰语、德语、法语都在里面)。它按对话上下文调整情绪、语速和重音,也可以用显式标签一行一行指定,比如 [emotion=sad][pace=slow],一共三十四个情绪标签,首字延迟约九十毫秒。另外有个 Pro Voice,三十分钟录音就能复刻一个人的音色和说话风格,还能跨语言。

开发包一个。 基于 LiveKit,电话走 SIP,网页和应用走 WebRTC,能接进企业现有的交换机和客服系统。通话中可以核身份、查账单、订时间,靠的是函数调用、联网搜索和检索自家系统。

最值得记的设计是:每一段都是独立模型。换脑子不用换嘴,换嘴也不用重写逻辑。

站内微软那篇智能体评测手册讲过一个规律:智能体翻车多半不是「不会」,是「用错工具」或「根本没被调用」。语音场景把这个问题放大了一档——你只有一句话的时间,工具调错了就没法补。

一分钟四美分的账,缺了三行

官方价格表是这样:

批处理转录,Mini 每分钟零点零零三五美元,Small 每分钟零点零零四美元;实时转录每分钟零点零零八美元。语音合成按字符算,每一百万字符十三美元。

智能体接口按分钟算:推理用 Mistral Small 4 是每分钟四美分,换成任何其他推理模型就是八美分。

算一下:一个月一万分钟通话,前者四百美元,后者八百美元。价格差整整一倍,这就是明摆着的锁定设计——想用别家的脑子,得付双倍。

然后是三行没写的。

第一行,这四美分含不含转录和合成? 价格表没说。如果智能体分钟价之外还要另算转录和合成,实际成本会往上走一截。

第二行,Pro Voice、私有部署、电话线路本身各多少钱? 都没有报价。Pro Voice 走商务,自部署走销售,电话号段是第三方的钱。

第三行,自部署的条款是什么? 只说「可以部署在你自己的基础设施上」,支持哪些硬件、授权怎么算、有没有最低量,全在销售手里。

官方把另一半卖点放在「音频不出境」上:欧盟托管接口,或者部署在自己机器上,音频在哪处理、留不留存,由客户决定。对欧洲的呼叫中心,这条比跑分重要得多。

跑分有两种,得分开看

先看官方口径:多语言测试集 FLEURS 上,指定语言时错误率百分之四点一,自动识别时百分之四点零;同一套测试里 Whisper large-v3 是百分之十六和百分之十四点九。

第三方 Artificial Analysis 的独立结果更值得看:Small Transcribe 3 的错误率百分之二点一,排第三;Mini 百分之二点二,排第五。实时版在四百八十毫秒档最终转录错误率百分之三点六,九百六十毫秒档百分之三点三,上一代是百分之五点二。

耳朵这部分是真在头部。

但嘴那一侧是腰部。同一家机构的语音合成榜里,现成音色得分一千二百一十八,九十八个模型里排第十二;受控音色一千零六十八,四十三个里排第十二;发音稳健性百分之八十四点四,三十二个里排第十三。

还有一个细节要标出来:官方有几项语音合成的成本对比,标注的是「内部评测,由 Gemini 模型打分」。厂商自己跑、自己判,这种分数当参考就好。

官方没说清的四件事

每轮低于一秒怎么测的没说。 是首字时间还是整句播完?在哪台机器、什么网络下测的?语音场景里这两者能差出好几倍。

权重开不开没说。 三月那版语音合成是开放权重(非商用许可),这次整篇公告一个字没提开源。想本地跑的团队,得先去问。

文档没过校对。 同一页里一个模型有四种叫法,克隆所需的音频时长在三十分钟和「三十五分钟以上」之间反复横跳。小问题,但对一个要上生产的东西,不算让人放心的信号。

迁移有个坑。 想要词级时间戳的,现在请求会直接返回错误。老项目迁过来,字幕对齐那部分要提前改。

一个真实场景:把一通转诊电话跑完

官方演示的是一个法语场景:病人拿着转诊信打电话,信是法文,说不清专科词,中间还夹英文。

流程拆开是这样:实时转录边听边出字,判断对方说完了;推理模型带两个工具——查转诊单、订时间;语音合成用当前对话的情绪回话;整个过程走电话线路。

途中它做对了两件事:把法文的医学名词翻成英文解释给病人听,以及在报出「周二下午五点四十五」之后,等对方确认才真的下单。

这个例子最值钱的不是翻译,是「等确认」。语音 Agent 出事的场景,八成是它自作主张把事办了。

要判断它在你的业务上行不行,别用官方样音。拿自己二十通真实录音跑,重点看三块:业务专有名词(产品名、账号、人名)、中途打断、带口音的客户。

站内千问那篇全模态模型提过类似的方法论:多模态能力一定要用自己的素材测,因为公开测试集里的音频太干净了。

上手三步

第一步,只换一段。 别整套迁。先把转录这一段换成 Small Transcribe 3,接口不变,其他照旧。跑一周,看错误率和成本有没有真的动。

第二步,把业务词表塞进去。 关键短语偏置是这次最省事的能力——不用训练、不用标注,把你们的产品名、字段名、人名列成一张表传进去就行。这一条对中文场景尤其关键。

第三步,按真实月通话量算钱,并且把八美分那档也算一遍。 如果你打算用别家的推理模型,成本立刻翻倍;如果本来就用 Mistral 自家模型,四美分才成立。

想横向看同类语音和转录工具怎么选,AI 工具评测专题按用途整理过一批;要把语音接进已有工作流,智能体与自动化专题里的串接方式可以直接照搬。

谁适合,谁先等等

适合的:呼叫中心和客服(尤其是通话量大、按分钟算钱能算清的)、预约类业务(挂号、订位、上门服务)、音频不能出境的欧洲客户、做多语言语音助手的小团队。

可以先等等的:以中文为主的业务——这次官方重点在二十四种欧盟官方语言和低资源亚洲、印度语言上,中文不在宣传重点里,得自己测;需要开放权重的团队;对延迟有硬指标、又拿不到测量方法的团队。

顺带说一句,站内上个月那篇 Mistral 文本模型的卖点是「不拒绝」,这次语音线的卖点换成了「不出境」。同一家公司,两条产品线,两个杠杆。

老达点评

一,语音这条路的门槛已经不在模型,在「什么时候该停」。 说完判断、允许打断、静音阈值设多少,这三件小事决定体验好坏,模型分数只决定下限。Voxtral 3 把说完判断做成原生能力,方向是对的。

二,四美分是钩子,不是成本。 换推理模型翻倍、Pro Voice 没报价、电话线路另算——真要上线,账单会比宣传页厚。做预算时按八美分算,才不会做到一半发现钱不够。

三,最值得学的设计,是把每一段拆成独立模型。 换脑子不换嘴,换嘴不重写逻辑。这种可分拆的架构看着不如「一个全能大模型」性感,但它是能落地的形态——出问题的时候,你知道该换哪一段。

四,耳朵在头部,嘴在腰部,这个落差很真实。 做客服播报、通知、预约确认这类场景,够用。做品牌语音、情感陪伴、有声内容,先拿自己的素材听一遍再决定——合成这件事,耳朵比榜单诚实。

发表评论

您的电子邮箱地址不会被公开,必填项已标注 *