🚀 EGTTS V0.1
EGTTS V0.1是一款专门为埃及阿拉伯语设计的先进文本转语音(TTS)模型。它基于XTTS v2架构,能够将书面的埃及阿拉伯语文本转换为自然流畅的语音,可广泛应用于语音助手、教育工具和聊天机器人等各种场景,实现无缝交流。
🚀 快速开始
安装依赖
pip install git+https://github.com/coqui-ai/TTS
pip install transformers
pip install deepspeed
推理
加载模型
import os
import torch
import torchaudio
from TTS.tts.configs.xtts_config import XttsConfig
from TTS.tts.models.xtts import Xtts
CONFIG_FILE_PATH = 'path/to/config.json'
VOCAB_FILE_PATH = 'path/to/vocab.json'
MODEL_PATH = 'path/to/model'
SPEAKER_AUDIO_PATH = 'path/to/speaker.wav'
print("Loading model...")
config = XttsConfig()
config.load_json(CONFIG_FILE_PATH)
model = Xtts.init_from_config(config)
model.load_checkpoint(config, checkpoint_dir=MODEL_PATH, use_deepspeed=True, vocab_path=VOCAB_FILE_PATH)
model.cuda()
print("Computing speaker latents...")
gpt_cond_latent, speaker_embedding = model.get_conditioning_latents(audio_path=[SPEAKER_AUDIO_PATH])
运行模型
from IPython.display import Audio, display
text = "صباح الخير"
print("Inference...")
out = model.inference(
text,
"ar",
gpt_cond_latent,
speaker_embedding,
temperature=0.75,
)
AUDIO_OUTPUT_PATH = "path/to/output_audio.wav"
torchaudio.save("xtts_audio.wav", torch.tensor(out["wav"]).unsqueeze(0), 24000)
display(Audio(AUDIO_OUTPUT_PATH, autoplay=True))
✨ 主要特性
- 专为埃及阿拉伯语设计,能将书面文本转换为自然语音。
- 基于XTTS v2架构,可应用于语音助手、教育工具和聊天机器人等多种场景。
💻 使用示例
基础用法
import os
import torch
import torchaudio
from TTS.tts.configs.xtts_config import XttsConfig
from TTS.tts.models.xtts import Xtts
CONFIG_FILE_PATH = 'path/to/config.json'
VOCAB_FILE_PATH = 'path/to/vocab.json'
MODEL_PATH = 'path/to/model'
SPEAKER_AUDIO_PATH = 'path/to/speaker.wav'
print("Loading model...")
config = XttsConfig()
config.load_json(CONFIG_FILE_PATH)
model = Xtts.init_from_config(config)
model.load_checkpoint(config, checkpoint_dir=MODEL_PATH, use_deepspeed=True, vocab_path=VOCAB_FILE_PATH)
model.cuda()
print("Computing speaker latents...")
gpt_cond_latent, speaker_embedding = model.get_conditioning_latents(audio_path=[SPEAKER_AUDIO_PATH])
from IPython.display import Audio, display
text = "صباح الخير"
print("Inference...")
out = model.inference(
text,
"ar",
gpt_cond_latent,
speaker_embedding,
temperature=0.75,
)
AUDIO_OUTPUT_PATH = "path/to/output_audio.wav"
torchaudio.save("xtts_audio.wav", torch.tensor(out["wav"]).unsqueeze(0), 24000)
display(Audio(AUDIO_OUTPUT_PATH, autoplay=True))
📚 详细文档
试用模型
✨ 亲身体验EGTTS V0.1的魅力! 可直接通过此HuggingFace Space试用该模型。
查看代码
💻 深入了解实现细节! 可在GitHub上查看完整代码。
📄 许可证
- 许可证类型:other
- 许可证名称:coqui-public-model-license
引用
@misc{OmarSamir,
author = {Omar Samir, Youssef Waleed, Youssef Tamer ,and Amir Mohamed},
title = {Fine-Tuning XTTS V2 for Egyptian Arabic},
year = {2024},
url = {https://github.com/joejoe03/Egyptian-Text-To-Speech},
}
属性 |
详情 |
模型类型 |
文本转语音(TTS)模型 |
基础模型 |
coqui/XTTS - v2 |
语言 |
阿拉伯语(埃及阿拉伯语) |
任务类型 |
文本转语音 |