Parler Tts Large V1

🚀 Parler-TTS Large v1

Parler-TTS Large v1は、22億のパラメータを持つテキスト読み上げ（TTS）モデルです。45,000時間の音声データで学習され、簡単なテキストプロンプト（性別、背景音、話速、ピッチ、残響など）を使って制御できる機能を備え、高品質で自然な音声を生成することができます。

このモデルは、Parler-TTS Mini v1とともに、Parler-TTSプロジェクトの一環として公開された2つ目のモデルセットです。このプロジェクトは、コミュニティにTTSの学習リソースとデータセットの前処理コードを提供することを目的としています。

🚀 クイックスタート

• 👨‍💻 インストール
• 🎲 ランダムな声を使用する
• 🎯 特定の話者を使用する
• 開発動機
• 推論の最適化

✨ 主な機能

Parler-TTS Large v1は、22億のパラメータを持つテキスト読み上げ（TTS）モデルで、45,000時間の音声データで学習されています。簡単なテキストプロンプトを使って、性別、背景音、話速、ピッチ、残響などの機能を制御し、高品質で自然な音声を生成することができます。

📦 インストール

Parler-TTSを使用するのは簡単です。一度ライブラリをインストールするだけです。

pip install git+https://github.com/huggingface/parler-tts.git

💻 使用例

基本的な使用法

Parler-TTSは、簡単なテキストプロンプトを使って音声の特徴を制御することができます。

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-large-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-large-v1")

prompt = "Hey, how are you doing today?"
description = "A female speaker delivers a slightly expressive and animated speech with a moderate speed and pitch. The recording is of very high quality, with the speaker's voice sounding clear and very close up."

input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)

高度な使用法

特定の話者を指定して音声を生成することもできます。

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-large-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-large-v1")

prompt = "Hey, how are you doing today?"
description = "Jon's voice is monotone yet slightly fast in delivery, with a very close recording that almost has no background noise."

input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)

💡 使用アドバイス

• 推論ガイドを参照することで、生成を高速化することができます。SDPA、torch.compile、バッチ処理、ストリーミングなどを利用しましょう！
• 「非常にクリアな音声」という用語を含めることで、最高品質の音声を生成することができます。「非常にノイズの多い音声」と指定すると、高レベルの背景音を含んだ音声を生成します。
• 句読点を使って、生成される音声の抑揚を制御することができます。例えば、コンマを使って、音声に小さな区切りを入れることができます。
• その他の音声特徴（性別、話速、ピッチ、残響）は、プロンプトを通じて直接制御することができます。

📚 詳細ドキュメント

開発動機

Parler-TTSは、Stability AIのDan Lythとエジンバラ大学のSimon Kingによる論文 Natural language guidance of high-fidelity text-to-speech with synthetic annotations の成果を再現したものです。

他のTTSモデルとは異なり、Parler-TTSは完全にオープンソースで公開されています。すべてのデータセット、前処理、学習コード、重みが許容的なライセンスの下で公開されており、コミュニティがこの成果を基に独自の強力なTTSモデルを開発することができます。

Parler-TTSは、以下のリソースとともに公開されています。

• Parler-TTSリポジトリ - 独自のモデルを学習および微調整することができます。
• Data-Speechリポジトリ - 音声データセットをアノテーションするためのユーティリティスクリプトのセットです。
• Parler-TTS組織 - アノテーション付きのデータセットや将来的なチェックポイントを見つけることができます。

引用

このリポジトリが役に立った場合は、この成果と元のStability AIの論文を引用していただけると幸いです。

@misc{lacombe-etal-2024-parler-tts,
  author = {Yoach Lacombe and Vaibhav Srivastav and Sanchit Gandhi},
  title = {Parler-TTS},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/huggingface/parler-tts}}
}

@misc{lyth2024natural,
      title={Natural language guidance of high-fidelity text-to-speech with synthetic annotations},
      author={Dan Lyth and Simon King},
      year={2024},
      eprint={2402.01912},
      archivePrefix={arXiv},
      primaryClass={cs.SD}
}

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で許容的にライセンスされています。