Parler Tts Mini V1.1

🚀 Parler-TTS Mini v1.1

Parler-TTS Mini v1.1 是一款轻量级的文本转语音（TTS）模型，它基于 45000 小时的音频数据进行训练，能够生成高质量、自然的语音。用户可以通过简单的文本提示（例如性别、背景噪音、语速、音高和混响）来控制语音的特征。

🚨 Parler-TTS Mini v1.1 与 Mini v1 是完全相同的模型，它在相同的数据集上使用相同的训练配置进行训练。唯一的 变化 是使用了一个 更好的提示分词器。这个分词器具有更大的词汇表，并且支持字节回退，这简化了多语言训练。它基于 unsloth/llama-2-7b 分词器。感谢 AI4Bharat 团队 提供的建议和帮助，以改进分词。🚨

🚀 快速开始

📖 快速索引

• 👨‍💻 安装
• 🎲 使用随机语音
• 🎯 使用特定说话人
• 动机
• 优化推理

✨ 主要特性

• 轻量级文本转语音模型，基于 45000 小时音频数据训练。
• 可通过简单文本提示控制语音特征，生成高质量、自然的语音。
• 完全开源，数据集、预处理、训练代码和权重均公开。

📦 安装指南

👨‍💻 安装

使用 Parler-TTS 非常简单，只需安装一次库：

pip install git+https://github.com/huggingface/parler-tts.git

💻 使用示例

🎲 随机语音

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-v1.1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-v1.1")
description_tokenizer = AutoTokenizer.from_pretrained(model.config.text_encoder._name_or_path)

prompt = "Hey, how are you doing today?"
description = "A female speaker delivers a slightly expressive and animated speech with a moderate speed and pitch. The recording is of very high quality, with the speaker's voice sounding clear and very close up."

input_ids = description_tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)

🎯 使用特定说话人

为了确保生成语音时说话人的一致性，该模型还在 34 位说话人的数据上进行了训练，这些说话人可以通过姓名（例如 Jon、Lea、Gary、Jenna、Mike、Laura）来识别。 要使用特定说话人，只需在文本描述中指定要使用的说话人：Jon's voice is monotone yet slightly fast in delivery, with a very close recording that almost has no background noise.

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-v1.1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-v1.1")
description_tokenizer = AutoTokenizer.from_pretrained(model.config.text_encoder._name_or_path)

prompt = "Hey, how are you doing today?"
description = "Jon's voice is monotone yet slightly fast in delivery, with a very close recording that almost has no background noise."

input_ids = description_tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)

💡 使用建议

• 我们已经设置了一个 推理指南 来加快生成速度，例如使用 SDPA、torch.compile、批处理和流式传输。
• 在提示中包含 "very clear audio" 可以生成最高质量的音频，包含 "very noisy audio" 可以生成高背景噪音的音频。
• 可以使用标点符号来控制生成语音的韵律，例如使用逗号在语音中添加小停顿。
• 其他语音特征（性别、语速、音高和混响）可以直接通过提示进行控制。

📚 详细文档

动机

Parler-TTS 是对 Dan Lyth（来自 Stability AI）和 Simon King（来自爱丁堡大学）发表的论文 Natural language guidance of high-fidelity text-to-speech with synthetic annotations 工作的复现。

与其他 TTS 模型不同，Parler-TTS 是一个 完全开源 的版本。所有的数据集、预处理、训练代码和权重都在宽松的许可证下公开发布，这使得社区可以在我们的工作基础上构建自己强大的 TTS 模型。 Parler-TTS 与以下资源一同发布：

• The Parler-TTS 仓库 - 你可以在其中训练和微调自己的模型版本。
• The Data-Speech 仓库 - 一套用于标注语音数据集的实用脚本。
• The Parler-TTS 组织 - 你可以在其中找到标注的数据集以及未来的模型检查点。

引用

如果你发现这个仓库很有用，请考虑引用这项工作以及原始的 Stability AI 论文：

@misc{lacombe-etal-2024-parler-tts,
  author = {Yoach Lacombe and Vaibhav Srivastav and Sanchit Gandhi},
  title = {Parler-TTS},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/huggingface/parler-tts}}
}

@misc{lyth2024natural,
      title={Natural language guidance of high-fidelity text-to-speech with synthetic annotations},
      author={Dan Lyth and Simon King},
      year={2024},
      eprint={2402.01912},
      archivePrefix={arXiv},
      primaryClass={cs.SD}
}

📄 许可证

该模型在 Apache 2.0 许可证下发布。