Japanese Parler Tts Mini Bate

🚀 日語Parler-TTS Mini (β版)

本倉庫基於parler-tts/parler-tts-mini-v1，發佈了一個經過重新訓練的模型，該模型能夠實現日語的文本朗讀。此模型雖輕量，但能提供高質量的語音生成。

模型信息

⚠️ 重要提示

該模型與原版Parler-TTS使用的tokenizer不兼容，採用了專為該模型設計的tokenizer。

目前此倉庫處於β版，功能和模型的優化正在朝著正式發佈的方向推進。

正式發佈版鏈接

• 日語Parler-TTS Mini (878M)
• 日語Parler-TTS Large (878M) 正在準備中

日語Parler-TTS索引

• 日語Parler-TTS Mini
• 日語Parler-TTS Large（若有足夠計算資源將進行訓練）
• 日語Parler-TTS Mini Bata
• 日語Parler-TTS Large Bata

🚀 快速開始

注意點

由於該模型的訓練數據中男性聲音相關數據較少，可能無法如預期般生成男性聲音，尤其是在自然語調及音質調整方面可能存在困難，請知悉。

📖 快速索引

• 👨‍💻 安裝
• 🎲 使用隨機語音
• 🎯 指定特定說話者

📦 安裝指南

可以使用以下命令進行安裝：

pip install git+https://github.com/huggingface/parler-tts.git
pip install git+https://github.com/getuka/RubyInserter.git

💻 使用示例

基礎用法

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf
from rubyinserter import add_ruby

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("2121-8/japanese-parler-tts-mini-bate").to(device)
tokenizer = AutoTokenizer.from_pretrained("2121-8/japanese-parler-tts-mini-bate")

prompt = "こんにちは、今日はどのようにお過ごしですか？"
description = "A female speaker with a slightly high-pitched voice delivers her words at a moderate speed with a quite monotone tone in a confined environment, resulting in a quite clear audio recording."

prompt = add_ruby(prompt)
input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_japanese_out.wav", audio_arr, model.config.sampling_rate)

示例音頻

指定特定說話者

此功能正在準備中。

📚 詳細文檔

版權及使用免責聲明

本模型及倉庫允許在包括研究、教育和商業使用等廣泛目的下使用，但請遵守以下條件：

1. 商業使用條件：可以將使用本模型生成的語音或成果用於商業目的，但禁止銷售本模型本身（如文件和權重數據等）。
2. 適用性免責：創建者不對使用本模型獲得的結果的準確性、合法性或適用性做任何保證。
3. 用戶責任：使用本模型時，請遵守所有適用的法律法規。並且，因生成內容產生的所有責任均由用戶承擔。
4. 創建者免責：本倉庫和模型的創建者對版權侵權或其他法律問題不承擔任何責任。
5. 處理刪除請求：若發生版權問題，將立即刪除有問題的資源或數據。

📄 許可證

其他