Metavoice 1B V0.1

🚀 MetaVoice-1B

MetaVoice-1B是一個擁有12億參數的基礎模型，它基於10萬小時的語音數據進行訓練，專為文本轉語音（TTS）任務而設計。該模型具備以下顯著優勢：

• 能夠精準呈現英語語音中的情感節奏和語調，且不會出現語音幻覺。
• 支持通過微調實現聲音克隆。對於印度語使用者，僅需1分鐘的訓練數據即可取得良好效果。
• 可實現對美式和英式語音的零樣本克隆，只需30秒的參考音頻。
• 支持長文本合成。

我們依據Apache 2.0許可協議發佈MetaVoice-1B，用戶可無限制使用該模型。

🚀 快速開始

請參考 Github 獲取最新的使用說明。

✨ 主要特性

• 情感語音呈現：精準捕捉英語語音中的情感節奏和語調，杜絕語音幻覺。
• 聲音克隆支持：支持通過微調實現聲音克隆，對印度語使用者，僅需1分鐘訓練數據；對美式和英式語音，30秒參考音頻即可實現零樣本克隆。
• 長文本合成：支持長文本的語音合成。

📚 詳細文檔

微調

請參考 Github 獲取最新的微調說明。

即將推出的功能

• 長文本/任意長度的文本轉語音功能
• 流式合成功能

架構

我們從文本和說話人信息中預測EnCodec令牌，然後將其擴散到波形級別，並進行後處理以清理音頻。

• GPT預測：使用因果GPT預測EnCodec令牌的前兩個層級。文本和音頻是大語言模型上下文的一部分，說話人信息通過令牌嵌入層的條件化傳遞。這種說話人條件化信息來自一個單獨訓練的說話人驗證網絡。
  • 兩個層級以“扁平化交錯”的方式進行預測，即先預測第一層級的第一個令牌，然後是第二層級的第一個令牌，接著是第一層級的第二個令牌，依此類推。
  • 使用無條件採樣來增強模型的克隆能力。
  • 文本使用自定義訓練的512令牌BPE分詞器進行分詞。
  • 與其他工作不同，我們跳過了語義令牌的預測，因為我們發現這並非嚴格必要。
• Transformer預測：使用非因果（編碼器風格）的Transformer從前兩個層級預測其餘6個層級。這是一個超小模型（約1000萬個參數），對我們測試過的大多數說話人都有出色的零樣本泛化能力。由於它是非因果的，我們還能夠並行預測所有時間步。
• 波形生成：使用多頻段擴散從EnCodec令牌生成波形。我們發現這種方法生成的語音比使用原始RVQ解碼器或VOCOS更清晰。然而，波形級別的擴散會產生一些背景雜音，聽起來不太舒服。
• 音頻清理：使用DeepFilterNet清理多頻段擴散產生的雜音。

優化

該模型支持以下優化：

1. 通過Flash解碼實現鍵值緩存（KV-caching）
2. 批量處理（包括不同長度的文本）

📄 許可證

本項目採用Apache 2.0許可證。