Japanese Parler Tts Mini

🚀 日语Parler-TTS Mini

本仓库基于 parler-tts/parler-tts-mini-v1 重新训练了一个模型，使其能够实现日语的文本朗读功能。该模型在保持轻量级的同时，还能提供高质量的语音生成效果。

⚠️ 重要提示

本模型与原版 Parler-TTS 所使用的分词器不兼容，采用了专为该模型设计的分词器。

🚀 快速开始

日语Parler-TTS索引

• 日语Parler-TTS Mini
• 日语Parler-TTS Large（若计算资源充足将进行训练）

📖 快速索引

• 👨‍💻 安装
• 🎲 随机语音使用方法
• 🎯 指定特定说话人方法

📦 安装指南

以下命令可用于安装所需依赖：

pip install git+https://github.com/huggingface/parler-tts.git
pip install git+https://github.com/getuka/RubyInserter.git

💻 使用示例

基础用法

🎲 随机语音使用方法

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf
from rubyinserter import add_ruby

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("2121-8/japanese-parler-tts-mini").to(device)
prompt_tokenizer = AutoTokenizer.from_pretrained("2121-8/japanese-parler-tts-mini", subfolder="prompt_tokenizer")
description_tokenizer = AutoTokenizer.from_pretrained("2121-8/japanese-parler-tts-mini", subfolder="description_tokenizer")

prompt = "こんにちは、今日はどのようにお過ごしですか？"
description = "A female speaker with a slightly high-pitched voice delivers her words at a moderate speed with a quite monotone tone in a confined environment, resulting in a quite clear audio recording."

prompt = add_ruby(prompt)
input_ids = description_tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = prompt_tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_japanese_out.wav", audio_arr, model.config.sampling_rate)

示例语音

高级用法

🎯 指定特定说话人方法

使用的训练数据：JSUT

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf
from rubyinserter import add_ruby

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("2121-8/japanese-parler-tts-mini").to(device)
prompt_tokenizer = AutoTokenizer.from_pretrained("2121-8/japanese-parler-tts-mini", subfolder="prompt_tokenizer")
description_tokenizer = AutoTokenizer.from_pretrained("2121-8/japanese-parler-tts-mini", subfolder="description_tokenizer")

prompt = "こんにちは、今日はどのようにお過ごしですか？"
description = "JSUT speaks with an expressive and animated tone in an excellent recording, with a very close-sounding proximity that suggests a private and intimate setting, and delivers her words at a rapid pace."

prompt = add_ruby(prompt)
input_ids = description_tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = prompt_tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_japanese_out.wav", audio_arr, model.config.sampling_rate)

示例语音

📄 许可证

本模型及仓库允许在包括研究、教育和商业用途等广泛场景下使用，但请遵守以下条件：

1. 商业使用条件：可以将本模型生成的语音或成果用于商业目的，但禁止出售本模型本身（如文件、权重数据等）。
2. 适用性免责：模型创建者不对使用本模型所获得结果的准确性、合法性或适用性做出任何保证。
3. 用户责任：使用本模型时，请遵守所有适用的法律法规，因生成内容而产生的所有责任由用户承担。
4. 创建者免责：本仓库和模型的创建者对版权侵权或其他法律问题不承担任何责任。
5. 删除请求响应：若出现版权问题，将立即删除相关资源或数据。