Japanese Parler Tts Mini

🚀 日語Parler-TTS Mini

本倉庫基於 parler-tts/parler-tts-mini-v1 重新訓練了一個模型，使其能夠實現日語的文本朗讀功能。該模型在保持輕量級的同時，還能提供高質量的語音生成效果。

⚠️ 重要提示

本模型與原版 Parler-TTS 所使用的分詞器不兼容，採用了專為該模型設計的分詞器。

🚀 快速開始

日語Parler-TTS索引

• 日語Parler-TTS Mini
• 日語Parler-TTS Large（若計算資源充足將進行訓練）

📖 快速索引

• 👨‍💻 安裝
• 🎲 隨機語音使用方法
• 🎯 指定特定說話人方法

📦 安裝指南

以下命令可用於安裝所需依賴：

pip install git+https://github.com/huggingface/parler-tts.git
pip install git+https://github.com/getuka/RubyInserter.git

💻 使用示例

基礎用法

🎲 隨機語音使用方法

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf
from rubyinserter import add_ruby

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("2121-8/japanese-parler-tts-mini").to(device)
prompt_tokenizer = AutoTokenizer.from_pretrained("2121-8/japanese-parler-tts-mini", subfolder="prompt_tokenizer")
description_tokenizer = AutoTokenizer.from_pretrained("2121-8/japanese-parler-tts-mini", subfolder="description_tokenizer")

prompt = "こんにちは、今日はどのようにお過ごしですか？"
description = "A female speaker with a slightly high-pitched voice delivers her words at a moderate speed with a quite monotone tone in a confined environment, resulting in a quite clear audio recording."

prompt = add_ruby(prompt)
input_ids = description_tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = prompt_tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_japanese_out.wav", audio_arr, model.config.sampling_rate)

示例語音

高級用法

🎯 指定特定說話人方法

使用的訓練數據：JSUT

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf
from rubyinserter import add_ruby

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("2121-8/japanese-parler-tts-mini").to(device)
prompt_tokenizer = AutoTokenizer.from_pretrained("2121-8/japanese-parler-tts-mini", subfolder="prompt_tokenizer")
description_tokenizer = AutoTokenizer.from_pretrained("2121-8/japanese-parler-tts-mini", subfolder="description_tokenizer")

prompt = "こんにちは、今日はどのようにお過ごしですか？"
description = "JSUT speaks with an expressive and animated tone in an excellent recording, with a very close-sounding proximity that suggests a private and intimate setting, and delivers her words at a rapid pace."

prompt = add_ruby(prompt)
input_ids = description_tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = prompt_tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_japanese_out.wav", audio_arr, model.config.sampling_rate)

示例語音

📄 許可證

本模型及倉庫允許在包括研究、教育和商業用途等廣泛場景下使用，但請遵守以下條件：

1. 商業使用條件：可以將本模型生成的語音或成果用於商業目的，但禁止出售本模型本身（如文件、權重數據等）。
2. 適用性免責：模型創建者不對使用本模型所獲得結果的準確性、合法性或適用性做出任何保證。
3. 用戶責任：使用本模型時，請遵守所有適用的法律法規，因生成內容而產生的所有責任由用戶承擔。
4. 創建者免責：本倉庫和模型的創建者對版權侵權或其他法律問題不承擔任何責任。
5. 刪除請求響應：若出現版權問題，將立即刪除相關資源或數據。