Parler Tts

🚀 Parler-TTS Mini v0.1

Parler-TTS Mini v0.1 是一款轻量级的文本转语音（TTS）模型，它基于 10500 小时的音频数据进行训练，能够生成高质量、自然流畅的语音。用户可以通过简单的文本提示（例如性别、背景噪音、语速、音高和混响）来控制语音的特征。该模型是 Parler-TTS 项目的首个发布版本，此项目旨在为社区提供 TTS 训练资源和数据集预处理代码。

🚀 快速开始

使用 Parler-TTS 非常简单。首先，你需要安装相关库：

pip install git+https://github.com/huggingface/parler-tts.git

安装完成后，你可以使用以下代码片段进行推理：

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler_tts_mini_v0.1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler_tts_mini_v0.1")

prompt = "Hey, how are you doing today?"
description = "A female speaker with a slightly low-pitched voice delivers her words quite expressively, in a very confined sounding environment with clear audio quality. She speaks very fast."

input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)

✨ 主要特性

• 高质量语音生成：基于大量音频数据训练，能够生成高质量、自然的语音。
• 特征可控制：通过简单的文本提示，用户可以控制语音的性别、背景噪音、语速、音高和混响等特征。
• 完全开源：所有数据集、预处理代码、训练代码和模型权重均在宽松许可下公开发布，方便社区在此基础上进行开发。

💻 使用示例

基础用法

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler_tts_mini_v0.1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler_tts_mini_v0.1")

prompt = "Hey, how are you doing today?"
description = "A female speaker with a slightly low-pitched voice delivers her words quite expressively, in a very confined sounding environment with clear audio quality. She speaks very fast."

input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)

使用提示

⚠️ 重要提示

• 包含 "very clear audio" 可生成最高质量的音频，包含 "very noisy audio" 可生成带有高背景噪音的音频。
• 可以使用标点符号来控制语音的韵律，例如使用逗号在语音中添加小停顿。
• 其他语音特征（性别、语速、音高和混响）可以直接通过提示进行控制。

📚 详细文档

动机

Parler-TTS 是对 Dan Lyth（来自 Stability AI）和 Simon King（来自爱丁堡大学）发表的论文 Natural language guidance of high-fidelity text-to-speech with synthetic annotations 工作的复现。与其他 TTS 模型不同的是，Parler-TTS 是一个完全开源的版本。所有数据集、预处理代码、训练代码和模型权重都在宽松许可下公开发布，社区可以在此基础上构建自己强大的 TTS 模型。

相关资源

• The Parler-TTS repository - 你可以在此训练和微调自己的模型版本。
• The Data-Speech repository - 一套用于标注语音数据集的实用脚本。
• The Parler-TTS organization - 你可以在此找到标注的数据集以及未来的模型检查点。

📄 引用

如果你觉得这个仓库有用，请考虑引用此工作以及原始的 Stability AI 论文：

@misc{lacombe-etal-2024-parler-tts,
  author = {Yoach Lacombe and Vaibhav Srivastav and Sanchit Gandhi},
  title = {Parler-TTS},
  year = {2024},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/huggingface/parler-tts}}
}

@misc{lyth2024natural,
      title={Natural language guidance of high-fidelity text-to-speech with synthetic annotations},
      author={Dan Lyth and Simon King},
      year={2024},
      eprint={2402.01912},
      archivePrefix={arXiv},
      primaryClass={cs.SD}
}

📄 许可证

此模型在 Apache 2.0 许可证下发布。