OmniVoice

什么是OmniVoice？

OmniVoice是由k2-fsa研究团队开发的免费开源AI语音生成器，通过单一统一模型支持646种语言。与需要单独语言包或订阅的传统TTS平台不同，OmniVoice提供三大核心能力：自然文本转语音转换、从3-25秒音频样本进行零样本声音克隆，以及仅通过文本描述进行音色设计。该平台采用单阶段架构，直接将文本映射到音频，在独立基准测试中实现了2.85%的词错误率和0.830的说话人相似度得分。基于581,000小时开源语音数据构建，并在Apache 2.0许可证下发布，支持个人和商业用途，无订阅费或字符限制。

主要功能

• 支持646种语言

  单一统一模型覆盖646种语言和方言，从主流语言到低资源语言，无需安装或切换语言包。

• 零样本声音克隆

  仅需3-25秒音频样本即可立即克隆任何声音，无需训练或微调，支持跨语言生成任何支持语言的语音。

• 文本描述生成音色

  通过纯文本描述年龄、音高、口音和风格来创建自定义音色，无需任何音频参考即可生成匹配的说话人。

• 表现力语音标签

  在脚本中直接嵌入内联标签，如[laughter]、[sigh]和[gasp]，实现符合人类语音模式的自然非语言情感表达。

• 生产级性能

  在GPU上以约45倍实时速度运行，24种语言的词错误率为2.85%，适用于实时应用和大规模批处理。

使用场景

• 有声书与播客制作 : 为长篇内容提供一致的声音演绎，在剧集或章节间保持可复用的音色身份，打造专业音频作品。
• 游戏NPC对话 : 使用基于文本的音色设计和克隆工作流，快速原型设计和发布角色语音，用于动态游戏内对话系统。
• 全球本地化 : 通过统一系统生成646种语言的单一脚本，在所有地区市场和语言中保持一致的品牌音色。
• 在线教育与语言辅导 : 制作清晰的发音示例，语速可在0.5倍至2.0倍之间调节，适用于理解和重复练习场景。
• 客户支持与IVR : 部署自然流畅的菜单提示和支持音频，提供符合合规要求的商业通信工作流选项。

常见问题