Metavoice 1B V0.1

🚀 MetaVoice-1B

MetaVoice-1Bは、12億のパラメータを持つベースモデルで、10万時間の音声データを使ってテキスト読み上げ（TTS: text-to-speech）用に学習されています。このモデルには以下の特長があります。

• 英語での感情的な音声リズムとトーンを再現。幻聴は発生しません。
• ファインチューニングによる声のクローニングをサポート。
  • インドの話者については、わずか1分の学習データでも成功例があります。
• 30秒の参照音声を使ったアメリカ英語とイギリス英語のゼロショットクローニングをサポート。
• 長文の合成をサポート。

MetaVoice-1BはApache 2.0ライセンスの下で公開されており、制限なく使用できます。

🚀 クイックスタート

最新の使用方法については、Githubを参照してください。

✨ 主な機能

• 英語での感情的な音声表現
• ファインチューニングによる声のクローニング
• アメリカ英語とイギリス英語のゼロショットクローニング
• 長文合成のサポート

📚 ドキュメント

ファインチューニング

最新のファインチューニングの手順については、Githubを参照してください。

今後の予定

• 長文または任意の長さのTTS
• ストリーミング

🔧 技術詳細

アーキテクチャ

テキストと話者情報からEnCodecトークンを予測し、それを波形レベルまで拡散させ、最後に後処理を行って音声をクリーンアップします。

• 因果的なGPTを使って、EnCodecトークンの最初の2つの階層を予測します。テキストと音声はLLMのコンテキストの一部です。話者情報はトークン埋め込み層での条件付けを通じて渡されます。この話者条件付けは、別途学習された話者検証ネットワークから取得されます。
  • 2つの階層は「平坦化された交互」な方法で予測されます。つまり、最初の階層の最初のトークン、次に2番目の階層の最初のトークン、そして最初の階層の2番目のトークンというように予測します。
  • モデルのクローニング能力を向上させるために、条件なしサンプリングを使用しています。
  • テキストは、512トークンのカスタム学習されたBPEトークナイザーを使ってトークン化されます。
  • 他の研究で行われているような意味的トークンの予測は省略しています。これは、必ずしも必要ではないと判断したためです。
• 最初の2つの階層から残りの6つの階層を予測するために、非因果的（エンコーダースタイル）のトランスフォーマーを使用しています。これは非常に小さいモデル（約1000万のパラメータ）で、試したほとんどの話者に対して広範なゼロショット汎化能力を持っています。非因果的であるため、すべてのタイムステップを並列に予測することができます。
• マルチバンド拡散を使って、EnCodecトークンから波形を生成します。元のRVQデコーダーやVOCOSを使うよりも音声が明瞭であることがわかりました。ただし、波形レベルでの拡散により、耳に不快な背景ノイズが残ることがあります。これを次のステップでクリーンアップします。
• マルチバンド拡散によって生じたノイズを取り除くために、DeepFilterNetを使用しています。

最適化

このモデルは以下の最適化をサポートしています。

1. Flash DecodingによるKVキャッシング
2. バッチ処理（異なる長さのテキストを含む）

📄 ライセンス

このモデルはApache 2.0ライセンスの下で公開されています。