Tts Ru Free Hf Vits High Multispeaker

🚀 ロシア語の無料マルチスピーカー音声合成モデル

このモデルは、ロシア語用のマルチスピーカー音声合成モデルです。句読点で区切られた平文で動作し、テキストを音素に事前変換する必要はありません。 マルチスピーカーのモデルには2つの声があります。0 - 女性、1 - 男性です。 テキストは小文字を受け付けます。 このモデルは自動的にアクセントを配置するように学習されていますが、生成品質を向上させるために、母音の前にアクセントを付けることをおすすめします。

🚀 クイックスタート

以下に、このモデルの使い方を説明します。

💻 使用例

基本的な使用法

from transformers import VitsModel, AutoTokenizer
import torch
import scipy

device = 'cuda' #  'cpu' or 'cuda'

speaker = 1 # 0-woman, 1-man  

# load model
model_name = "utrobinmv/tts_ru_free_hf_vits_high_multispeaker"

model = VitsModel.from_pretrained(model_name).to(device)
tokenizer = AutoTokenizer.from_pretrained(model_name)
model.eval()

# text with accents
text = """Ночью двадцать тр+етьего июня начал извергаться самый высокий 
действующий вулк+ан в Евразии - Кл+ючевской. Об этом сообщила руководитель 
Камчатской группы реагирования на вулканические извержения, ведущий 
научный сотрудник Института вулканологии и сейсмологии ДВО РАН +Ольга Гирина.
«Зафиксированное ночью не просто свечение, а вершинное эксплозивное 
извержение стромболианского типа. Пока такое извержение никому не опасно: 
ни населению, ни авиации» пояснила ТАСС госпожа Гирина."""

# text lowercase
text = text.lower()

inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    output = model(**inputs.to(device), speaker_id=speaker).waveform
    output = output.detach().cpu().numpy()
    
scipy.io.wavfile.write("tts_audio.wav", rate=model.config.sampling_rate,
                       data=output[0])

高度な使用法

Jupyter Notebook / Google Colabで表示する場合のコード例です。

from IPython.display import Audio

Audio(output, rate=model.config.sampling_rate)

📚 詳細ドキュメント

対応言語

ロシア語 (ru_RU)

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。