Japanese Parler Tts Large Bate

🚀 日語Parler-TTS大模型 (β版)

本倉庫公開了一個基於parler-tts/parler-tts-large-v1進行再訓練的模型，使其能夠實現日語的文本朗讀功能。該模型雖輕量，但能提供高質量的語音生成。

🔍 模型信息

⚠️ 重要提示

• 本模型與原版Parler-TTS所使用的分詞器不兼容，採用了專為該模型設計的分詞器。
• 目前此倉庫處於β版，功能和模型的優化工作正在朝著正式發佈的方向推進。

🌟 正式發佈版鏈接

• 日語Parler-TTS迷你版 (878M)
• 日語Parler-TTS大模型 (878M) 正在籌備中

📚 日語Parler-TTS索引

• 日語Parler-TTS迷你版
• 日語Parler-TTS大模型 (若計算資源充足將進行訓練)
• 日語Parler-TTS迷你測試版
• 日語Parler-TTS大測試版

⚠️ 注意事項

• 日語Parler-TTS大模型語音表現力豐富，能生成高質量語音，但由於訓練不足，運行時可能不穩定。若注重穩定性，建議使用更輕量且運行穩定的日語Parler-TTS迷你版。
• 由於訓練數據中男性語音相關數據較少，該模型可能無法如預期般生成男性語音，尤其是在自然語調及音質調整方面可能存在困難，請知悉。

🚀 快速開始

📖 快速索引

• 👨‍💻 安裝
• 🎲 隨機語音使用方法
• 🎯 指定特定說話者方法
• 致謝

📦 安裝指南

可使用以下命令進行安裝：

pip install git+https://github.com/huggingface/parler-tts.git
pip install git+https://github.com/getuka/RubyInserter.git

💻 使用示例

🔰 基礎用法

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf
from rubyinserter import add_ruby

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("2121-8/japanese-parler-tts-large-bate").to(device)
tokenizer = AutoTokenizer.from_pretrained("2121-8/japanese-parler-tts-large-bate")

prompt = "こんにちは、今日はどのようにお過ごしですか？"
description = "A female speaker with a slightly high-pitched voice delivers her words at a moderate speed with a quite monotone tone in a confined environment, resulting in a quite clear audio recording."

prompt = add_ruby(prompt)
input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_japanese_out.wav", audio_arr, model.config.sampling_rate)

🎵 示例音頻

🎯 指定特定說話者方法

正在籌備中

🙏 致謝

在本模型的開發過程中，感謝以下提供資源的人員：

• saldra
• Witness 沒有他們的貢獻，這個項目將無法實現。

📄 許可證

本模型及倉庫允許在包括研究、教育和商業利用等廣泛目的下使用，但請遵守以下條件：

1. 商業使用條件：可以將本模型生成的語音或成果用於商業目的，但禁止銷售本模型本身（如文件、權重數據等）。
2. 適用性免責：模型創建者不對使用本模型所獲得結果的準確性、合法性或適用性提供任何保證。
3. 用戶責任：使用本模型時，請遵守所有適用的法律法規，且因生成內容產生的所有責任由用戶承擔。
4. 創建者免責：本倉庫和模型的創建者對版權侵權或其他法律問題不承擔任何責任。
5. 處理刪除請求：若發生版權問題，將立即刪除有問題的資源或數據。