跳到正文
The Decoder· Jonathan Kemper·· 1 小时前

DeepL 推出 Aure 模型,让实时翻译保留语气、情绪与语速

DeepL wants real-time translation to finally capture sarcasm and mood shifts

内容摘要

DeepL 推出 Aure 语音模型,可在实时翻译中将原说话者的语气、情绪、重音和语速迁移到目标语言,并持续分析译文与原始音频。模型训练时将声音身份、语音旋律和内容分离,并通过强化学习避免输出携带口音。Aure 已自动用于 DeepL Voice 的在线会议、面对面对话和 DeepL API,发布时支持英语、德语、西班牙语、法语、意大利语、日语、葡萄牙语和韩语。

详细说明

基于原文的中文整理

让译后声音跟随说话方式变化

Aure 是 DeepL 为实时语音翻译采用的新模型。它不只是把说话内容换成另一种语言,还会把原说话者的语气、情绪、重音和说话速度带入目标语言,目的是让译后语音更自然,也更能表达话语背后的意思,例如交谈中的情绪变化或讽刺意味。

持续结合文字和原始音频

此前,DeepL Voice 会在对话开始时取得一段静态声音样本,再据此生成后续译音,因此难以跟上说话者中途发生的情绪和语调变化。Aure 改为在交谈进行期间持续分析译文与原始音频,让生成的目标语言语音可以随当前表达方式调整。

训练时,DeepL 将声音身份、语音旋律和内容拆分处理,使这些部分能够分别迁移到新语言。材料还称,模型利用强化学习避免让输出带上原语音的口音,但没有提供具体训练规模或效果数据。

适用服务和语言范围

Aure 会自动用于 DeepL Voice 的在线会议、面对面对话以及 DeepL API。发布时支持英语、德语、西班牙语、法语、意大利语、日语、葡萄牙语和韩语;材料没有说明其他语言的上线时间,也没有给出不同语言、口音或使用环境下的准确度比较。

这项更新延续了 DeepL 此前推出的声音保留能力。公司还收购了音频流媒体技术公司 Mixhalo 的团队,以加强实时语音翻译相关能力。

来源:The Decoder · the-decoder.com