Vits Ar

🚀 阿拉伯語VITS語音合成模型

本項目是一個先進的阿拉伯語語音合成系統，基於VITS架構，利用Facebook預訓練權重，能生成自然逼真的阿拉伯語語音，理解多種方言。

🚀 快速開始

MMS - TTS自🤗 Transformers庫4.33版本起可用。要使用此模型，首先安裝最新版本的庫：

pip install  transformers[torch]

然後，使用以下代碼片段進行推理：

from transformers import VitsModel, AutoTokenizer
import torch

model = VitsModel.from_pretrained("wasmdashai/vits-ar")
tokenizer = AutoTokenizer.from_pretrained("wasmdashai/vits-ar")

text = "السلام عليكم ورحمة الله وبركاتة  ما الجديد ؟ "
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
  full_generation =model(**inputs)
full_generation_waveform = full_generation.waveform.cpu().numpy().reshape(-1)

from IPython.display import Audio

Audio(full_generation_waveform, rate=model.config.sampling_rate)

✨ 主要特性

• 生成自然逼真的語音：能夠生成高質量的阿拉伯語語音，高度模仿人類聲音，保留語調與語言細微差別。
• 理解口語化文本：可以處理用各種阿拉伯方言書寫的文本，包括習語表達和當地詞彙。

📦 安裝指南

要使用此模型，需先安裝🤗 Transformers庫的最新版本：

pip install  transformers[torch]

💻 使用示例

基礎用法

from transformers import VitsModel, AutoTokenizer
import torch

model = VitsModel.from_pretrained("wasmdashai/vits-ar")
tokenizer = AutoTokenizer.from_pretrained("wasmdashai/vits-ar")

text = "السلام عليكم ورحمة الله وبركاتة  ما الجديد ؟ "
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
  full_generation =model(**inputs)
full_generation_waveform = full_generation.waveform.cpu().numpy().reshape(-1)

from IPython.display import Audio

Audio(full_generation_waveform, rate=model.config.sampling_rate)

📚 詳細文檔

模型詳情

這是一個專門為阿拉伯語設計的先進文本到語音（TTS）系統，基於VITS架構構建，並利用了Facebook的vits ara模型的預訓練權重。

模型描述

VITS（基於對抗學習的變分推理端到端文本到語音）是一種端到端的語音合成模型，它根據輸入的文本序列預測語音波形。它是一個條件變分自編碼器（VAE），由後驗編碼器、解碼器和條件先驗組成。

基於頻譜圖的聲學特徵由基於流的模塊預測，該模塊由基於Transformer的文本編碼器和多個耦合層組成。頻譜圖使用一組轉置卷積層進行解碼，與HiFi - GAN聲碼器的風格非常相似。考慮到TTS問題的一對多性質，即相同的文本輸入可以有多種發音方式，該模型還包括一個隨機時長預測器，允許模型從相同的輸入文本合成不同節奏的語音。

🔧 技術細節

所有模型均基於VITS架構，這是一個完整的文本到語音模型，能夠根據文本輸入生成逼真的語音波形。模型包含轉換器，用於分析文本並根據每種方言的本地語音特徵生成語音。

📄 許可證

本項目採用afl - 3.0許可證。

阿拉伯語方言語音生成模型集合

簡介

我們很高興地宣佈即將發佈一系列阿拉伯語方言語音生成模型。這些模型採用先進的人工智能技術，旨在提供自然、真實的阿拉伯語方言文本到語音轉換體驗。

模型列表

未來更新

我們將定期提供更新，以提高語音質量並增強對各種方言的理解能力。請關注我們以獲取每個模型的確切發佈日期。

致謝

本實現基於[tts - arabic](https://github.com/nipponjo/tts - arabic - pytorch)、VITS、[Finetune VITS](https://github.com/ylacombe/finetune - hf - vits)和[Bert - VITS2](https://github.com/fishaudio/Bert - VITS2)。我們感謝他們的出色工作。