Adia TTS

🚀 Adia_TTS沃洛夫語語音合成模型

ADIA_TTS是由CONCREE開發的開源沃洛夫語語音合成（Text-to-Speech）模型。它基於parler-tts-mini-multilingual-v1.1模型，在沃洛夫語語音合成領域取得了顯著進展。該模型經過40小時的沃洛夫語語音數據訓練，並進行了100個週期（約168小時）的微調，能夠生成自然流暢的語音，還可通過描述控制語音特徵。

🚀 快速開始

ADIA_TTS是由CONCREE開發的用於沃洛夫語的開源語音合成模型。它基於parler-tts-mini-multilingual-v1.1模型，為沃洛夫語的語音合成帶來了顯著的進步。

✨ 主要特性

• 豐富的數據訓練：在40小時的沃洛夫語語音數據上進行訓練。
• 深度的模型微調：經過100個週期（約168小時）的微調。
• 自然的語音質量：生成的語音自然流暢。
• 靈活的語音控制：可通過描述控制語音的特徵。

📦 安裝指南

前置要求

• Python 3.8 或更高版本
• PyTorch 2.0 或更高版本
• CUDA（必需，用於GPU加速）

使用以下命令安裝：

pip install git+https://github.com/huggingface/parler-tts.git

💻 使用示例

基礎用法

import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

# 加載模型
model = ParlerTTSForConditionalGeneration.from_pretrained("CONCREE/Adia_TTS").to(device)
tokenizer = AutoTokenizer.from_pretrained("CONCREE/Adia_TTS")

# 待合成的沃洛夫語文本
text = "Entreprenariat ci Senegal dafa am solo lool ci yokkuteg koom-koom, di gëna yokk liggéey ak indi gis-gis yu bees ci dëkk bi."

# 語音風格描述
description = "A clear and educational voice, with a flow adapted to learning"

# 生成語音
input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_ids = tokenizer(text, return_tensors="pt").input_ids.to(device)

audio = model.generate(
    input_ids=input_ids,
    prompt_input_ids=prompt_ids,
)

# 保存語音
sf.write("output.wav", audio.cpu().numpy().squeeze(), model.config.sampling_rate)

點擊下面的音頻播放示例：

高級用法

generation_config = {
    "temperature": 0.8,           # 控制輸出的可變性
    "max_new_tokens": 1000,       # 生成序列的最大長度
    "do_sample": True,            # 啟用隨機採樣
    "top_k": 50,                  # 限制考慮的令牌數量
    "repetition_penalty": 1.2,    # 懲罰令牌重複
}

audio = model.generate(
    input_ids=input_ids,
    prompt_input_ids=prompt_ids,
    **generation_config
)

點擊下面的音頻播放示例：

語音風格示例

自然語音

description = "A warm and natural voice, with a conversational flow"

點擊下面的音頻播放示例：

專業語音

description = "A professional, clear and composed voice, perfect for formal presentations"

點擊下面的音頻播放示例：

教育語音

description = "A clear and educational voice, with a flow adapted to learning"

點擊下面的音頻播放示例：

📚 詳細文檔

技術規格

性能指標

🔧 技術細節

該模型基於parler-tts-mini-multilingual-v1.1架構，經過精心訓練和微調，以適應沃洛夫語的語音特點。訓練過程使用了40小時的沃洛夫語語音數據，並進行了100個週期的微調，以提高語音質量和自然度。

📄 許可證

本項目採用Apache 2.0許可證。有關詳細信息，請參閱LICENSE文件。

使用條件

• 用戶承諾以尊重沃洛夫語和塞內加爾文化的方式使用該模型。
• 鼓勵使用該模型開發解決方案，以提高沃洛夫語使用者的數字可及性，並減少數字鴻溝。特別歡迎旨在實現數字包容的項目。
• 任何對該模型的使用都必須註明CONCREE為原始創建者。強烈鼓勵用戶與社區分享他們的改進。
• 商業使用需遵循Apache 2.0許可證的條款。

參考文獻

@misc{CONCREE-2024-Adia_TTS,
  author = {CONCREE},
  title = {Adia_TTS},
  year = {2025},
  publisher = {Hugging Face},
  journal = {Hugging Face repository},
  howpublished = {\url{https://huggingface.co/CONCREE/Adia_TTS}}
}

@misc{lyth2024natural,
  title={Natural language guidance of high-fidelity text-to-speech with synthetic annotations},
  author={Dan Lyth and Simon King},
  year={2024},
  eprint={2402.01912},
  archivePrefix={arXiv},
  primaryClass={cs.SD}
}

聯繫我們

如有任何問題或需要支持，請發送電子郵件至：ai@concree.com