阿里同传大模型把延迟压到2.3秒,翻出来的声音还是你自己的

作者: 智享AI发布日期: 2026/9/20阅读时间: 5分钟
阿里同传大模型把延迟压到2.3秒,翻出来的声音还是你自己的 封面图

同声传译最怕什么?怕慢。

慢半秒,讲话人已经翻到下一个话题了,你耳朵里还在消化上一句,听感立刻从"顺畅"变成"卡壳"。阿里千问今天发布的 Qwen3.8-LiveTranslate,就是冲着这半秒去的:字均延迟从 2.8 秒砍到 2.3 秒。

0.5 秒听起来不多,但在同传这个行当里,它决定的是"能不能听下去"。

这次不是小修小补。千问把实时同传的底层架构整个拆了重装,用的是一套叫 Interleave 的架构,让准确度、流畅度、简洁度三件事一起往上走,而不是像过去那样顾此失彼——想准就啰嗦,想快就出错。同传场景里,慢一秒就跟不上讲话人,所以这次压缩下来的时间,直接换成了更自然的听感。

语言覆盖上,它已经能处理 60 种语言。但更值得说的是它新补的三块拼图,这三样东西,才是同传从"能用"到"真能用"的分水岭。

第一块是实时说话人分离。多人开会的时候,机器翻译最尴尬的一幕是:张三说的话被算到李四头上,或者两个人的声音糊成一团。新模型让每一句话都能准确归到对应的人头上,音色复刻也更稳,不会再出现甲乙不分、声音串味的情况。

第二块是原文译文同帧同出。双语同屏显示,听的人可以一边听一边对照着看,心里有底。这个功能在会议、谈判、课堂上特别实用——听不懂的地方,眼睛能补上。

第三块是长上下文消歧。模型会联系前文来理解当下这句话。人名、专业术语这些过去最容易翻车的地方,现在准头明显提升。原因很简单:一个词单独拿出来可能是歧义,放回上下文里就只有一个意思。

这些能力背后,是一套 Thinker–Talker 双模块设计,底座是 Hybrid MoE。名字听着拗口,拆开看其实很好懂。

Thinker 负责"听懂"。它把视频、音频、原文、译文全部编排进同一条因果序列里,按时序交替排列,端到端产出。翻译这件事不再是"先听懂、再翻译"两段式,而是在同一个序列里一次完成。

Talker 负责"说出口"。它拿着译文和源音频,把译文合成为语音——关键是,这个语音保留原说话人的音色。也就是说,翻译出来的声音,还是那个讲话人的声音。

这两件事串起来,效果就是:你在会上听到的,是一个说着你母语、但声音属于原讲话人的"他"。

成绩单也摆出来了。在覆盖 14 个语向的多说话人长音频评测集 Omnilingua-MSpeaker 上,它在翻译忠实度、流畅度、简洁度以及说话人分离错误率(DER)四个维度上,全部压过了当前行业主流的实时同传系统。在公开的 FLEURS 测试集上跑的 70 个语言方向里,翻译质量、字均延迟、语音识别准确率、语音合成质量四项同样领先上一代和主流系统。

这些评测名词不必都记住,记住一件事就够了:它不是在一个指标上冒尖,而是在四个维度上同时领先。

目前尝鲜体验入口和模型 API 都已经开放。

同声传译长期是个高门槛行当。一场国际会议要配译员、要租设备、要提前对稿,成本高,人还累。现在大模型正在把这件事一点点推成人人可用的基础设施——你打开一个接口,就能让 60 种语言在耳边切换,延迟 2.3 秒,声音还是讲话人自己的。

当然,专业译员的判断力、临场应变和对文化的理解,短期内机器还替代不了。但"听懂对方在说什么"这件事的门槛,正在被一层层削平。

designupdate
精选评论
评论加载中…
发表讨论 »