OmniVoice

OmniVoice 是什麼？

OmniVoice是由k2-fsa研究團隊開發的免費開源AI語音生成器，透過單一統一模型支援646種語言。與需要單獨語言包或訂閱的傳統TTS平台不同，OmniVoice提供三大核心能力：自然文字轉語音轉換、從3-25秒音訊樣本進行零樣本聲音複製，以及僅透過文字描述進行音色設計。該平台採用單階段架構，直接將文字對應到音訊，在獨立基準測試中實現了2.85%的詞錯誤率和0.830的說話者相似度得分。基於581,000小時開源語音資料建構，並在Apache 2.0授權條款下發布，支援個人和商業用途，無訂閱費或字元限制。

主要功能

• 支援646種語言

  單一統一模型覆蓋646種語言和方言，從主流語言到低資源語言，無需安裝或切換語言包。

• 零樣本聲音複製

  僅需3-25秒音訊樣本即可立即複製任何聲音，無需訓練或微調，支援跨語言生成任何支援語言的語音。

• 文字描述生成音色

  透過純文字描述年齡、音高、口音和風格來創建自訂音色，無需任何音訊參考即可生成匹配的說話者。

• 表現力語音標籤

  在腳本中直接嵌入內嵌標籤，如[laughter]、[sigh]和[gasp]，實現符合人類語音模式的自然非語言情感表達。

• 生產級效能

  在GPU上以約45倍實時速度運行，24種語言的詞錯誤率為2.85%，適用於即時應用和大規模批次處理。

使用案例

• 有聲書與Podcast製作 : 為長篇內容提供一致的聲音演繹，在集數或章節間保持可重複使用的音色身分，打造專業音訊作品。
• 遊戲NPC對話 : 使用基於文字的音色設計和複製工作流程，快速原型設計和發布角色語音，用於動態遊戲內對話系統。
• 全球在地化 : 透過統一系統生成646種語言的單一腳本，在所有區域市場和語言中保持一致的品牌音色。
• 線上教育與語言教學 : 製作清晰的發音範例，語速可在0.5倍至2.0倍之間調節，適用於理解和重複練習情境。
• 客戶支援與IVR : 部署自然流暢的選單提示和支援音訊，提供符合合規要求的商業通訊工作流程選項。

常見問題