🚀 Parler-TTS Tiny v1
Parler-TTS Tiny v1 は、45,000時間の音声データで学習された超軽量のテキスト読み上げ(TTS)モデルです。このモデルは、簡単なテキストプロンプトを使ってコントロールできる機能(例えば、性別、背景雑音、話す速度、ピッチ、残響など)を持ち、高品質で自然な音声を生成することができます。
Parler-TTS Mini v1 と Parler-TTS Large v1 とともに、これは Parler-TTS プロジェクトの一部として公開された2番目のモデルセットです。このプロジェクトの目的は、コミュニティにTTSの学習リソースとデータセットの前処理コードを提供することです。
🚀 クイックスタート
📖 クイックインデックス
✨ 主な機能
Parler-TTS Tiny v1は、超軽量で、簡単なテキストプロンプトで音声の特性をコントロールでき、高品質で自然な音声を生成できます。また、完全にオープンソースで、データセット、前処理、学習コード、重みがすべて公開されています。
📦 インストール
👨💻 インストール
Parler-TTSを使用するのは簡単です。ライブラリを一度インストールするだけです。
pip install git+https://github.com/huggingface/parler-tts.git
💻 使用例
🎲 ランダムな声の使用
Parler-TTS は、簡単なテキストプロンプトでコントロールできる特性を持つ音声を生成するように学習されています。例えば:
import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf
device = "cuda:0" if torch.cuda.is_available() else "cpu"
model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-tiny-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-tiny-v1")
prompt = "Hey, how are you doing today?"
description = "A female speaker delivers a slightly expressive and animated speech with a moderate speed and pitch. The recording is of very high quality, with the speaker's voice sounding clear and very close up."
input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)
🎯 特定の話者の使用
生成間で話者の一貫性を保つために、このチェックポイントは34人の話者でも学習されています。話者は名前(例えば、Jon、Lea、Gary、Jenna、Mike、Laura)で特徴付けられています。
これを利用するには、使用する話者を指定するようにテキスト説明を調整するだけです。例えば、Jon's voice is monotone yet slightly fast in delivery, with a very close recording that almost has no background noise.
import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf
device = "cuda:0" if torch.cuda.is_available() else "cpu"
model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-tiny-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-tiny-v1")
prompt = "Hey, how are you doing today?"
description = "Jon's voice is monotone yet slightly fast in delivery, with a very close recording that almost has no background noise."
input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)
generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)
💡 使用アドバイス
- 推論を高速化するために、推論ガイド を用意しています。SDPA、torch.compile、バッチ処理、ストリーミングなどを考慮してください!
- 最高品質の音声を生成するには、「very clear audio」という用語を含め、高レベルの背景雑音を生成するには「very noisy audio」を含めてください。
- 句読点を使って生成の韻律をコントロールすることができます。例えば、コンマを使って音声に小さな休止を入れることができます。
- 残りの音声特性(性別、話す速度、ピッチ、残響)は、プロンプトを通じて直接コントロールすることができます。
📚 ドキュメント
開発動機
Parler-TTSは、Stability AIのDan Lythとエジンバラ大学のSimon Kingによる論文 Natural language guidance of high-fidelity text-to-speech with synthetic annotations の再現です。
他のTTSモデルとは異なり、Parler-TTSは完全にオープンソースです。すべてのデータセット、前処理、学習コード、重みが許容的なライセンスの下で公開されており、コミュニティが私たちの仕事を基にして独自の強力なTTSモデルを開発できるようになっています。
Parler-TTSは以下とともにリリースされました。
引用
このリポジトリが役に立った場合は、この作品と元のStability AIの論文を引用していただけると幸いです。
@misc{lacombe-etal-2024-parler-tts,
author = {Yoach Lacombe and Vaibhav Srivastav and Sanchit Gandhi},
title = {Parler-TTS},
year = {2024},
publisher = {GitHub},
journal = {GitHub repository},
howpublished = {\url{https://github.com/huggingface/parler-tts}}
}
@misc{lyth2024natural,
title={Natural language guidance of high-fidelity text-to-speech with synthetic annotations},
author={Dan Lyth and Simon King},
year={2024},
eprint={2402.01912},
archivePrefix={arXiv},
primaryClass={cs.SD}
}
📄 ライセンス
このモデルは、Apache 2.0ライセンスの下で許容的にライセンスされています。