Speecht5 Tts Wolof

🚀 语音T5文本转语音 - 沃洛夫语模型

本模型是基于SpeechT5在沃洛夫语数据集上进行微调的文本转语音（TTS）模型。它使用了专门为沃洛夫语设计的自定义分词器，并调整了基线模型的配置，以适应自定义分词器引入的新词汇。此版本的SpeechT5提供了专门针对沃洛夫语进行优化的语音合成能力。

🚀 快速开始

安装必要依赖

要安装必要的依赖项，请运行以下命令：

!pip install transformers datasets

模型加载和语音生成代码

import torch
from transformers import SpeechT5ForTextToSpeech, SpeechT5Processor
from transformers import SpeechT5HifiGan

def load_speech_model(checkpoint="bilalfaye/speecht5_tts-wolof", vocoder_checkpoint="microsoft/speecht5_hifigan"):
    """
    加载用于文本转语音的SpeechT5模型、处理器和语音编码器。
    
    参数:
        checkpoint (str): SpeechT5 TTS的模型检查点。
        vocoder_checkpoint (str): HiFi-GAN语音编码器的检查点。
    
    返回:
        processor: 模型的处理器。
        model: 加载的SpeechT5模型。
        vocoder: 加载的HiFi-GAN语音编码器。
        device: 模型加载的设备（CPU或GPU）。
    """
    # 检查GPU可用性并相应设置设备
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    
    # 加载SpeechT5处理器和模型
    processor = SpeechT5Processor.from_pretrained(checkpoint)
    model = SpeechT5ForTextToSpeech.from_pretrained(checkpoint).to(device)  # 将模型移动到正确的设备

    # 加载HiFi-GAN语音编码器
    vocoder = SpeechT5HifiGan.from_pretrained(vocoder_checkpoint).to(device)  # 将语音编码器移动到正确的设备

    return processor, model, vocoder, device

# 示例用法
processor, model, vocoder, device = load_speech_model()

# 验证使用的设备
print(f"模型和语音编码器加载到的设备: {device}")

from datasets import load_dataset
# 加载说话人嵌入（此数据集包含特定说话人的嵌入）
embeddings_dataset = load_dataset("Matthijs/cmu-arctic-xvectors", split="validation")
speaker_embedding = torch.tensor(embeddings_dataset[7306]["xvector"]).unsqueeze(0)

import torch
from transformers import SpeechT5ForTextToSpeech, SpeechT5Processor, SpeechT5HifiGan
from IPython.display import Audio, display

def generate_speech_from_text(text, 
                              speaker_embedding=speaker_embedding,
                              processor=processor,
                              model=model,
                              vocoder=vocoder):            
    """
    使用SpeechT5和HiFi-GAN语音编码器从给定文本生成语音。

    参数:
        text (str): 要转换为语音的输入文本。
        checkpoint (str): SpeechT5 TTS的模型检查点。
        vocoder_checkpoint (str): HiFi-GAN语音编码器的检查点。
        speaker_embedding (torch.Tensor): 说话人嵌入张量。
        processor (SpeechT5Processor): 模型的处理器。
        model (SpeechT5ForTextToSpeech): 加载的SpeechT5模型。
        vocoder (SpeechT5HifiGan): 加载的HiFi-GAN语音编码器。

    返回:
        无
    """
    # 文本转语音生成的参数
    max_text_positions = model.config.max_text_positions  # 令牌限制
    max_length = model.config.max_length * 1.2  # 稍微扩展的最大长度
    min_length = max_length // 3  # 根据最大长度调整
    num_beams = 7  # 使用束搜索以提高质量
    temperature = 0.6  # 降低温度以提高稳定性

    # 对输入文本进行分词并将输入张量移动到正确的设备
    inputs = processor(text=text, return_tensors="pt", padding=True, truncation=True, max_length=max_text_positions)
    inputs = {key: value.to(model.device) for key, value in inputs.items()}  # 将输入移动到设备

    # 生成语音
    speech = model.generate(
        inputs["input_ids"],
        speaker_embeddings=speaker_embedding.to(model.device),  # 确保说话人嵌入也在正确的设备上
        vocoder=vocoder,
        max_length=int(max_length),
        min_length=int(min_length),
        num_beams=num_beams,
        temperature=temperature,
        no_repeat_ngram_size=3,
        repetition_penalty=1.5,
        eos_token_id=None,
        use_cache=True
    )

    # 将语音从计算图中分离并移动到CPU
    speech = speech.detach().cpu().numpy()

    # 使用IPython Audio播放生成的语音
    display(Audio(speech, rate=16000))


# 示例用法
text = "ñu ne ñoom ñooy nattukaay satélite yi"
generate_speech_from_text(text)

✨ 主要特性

• 该模型基于SpeechT5架构，将语音识别和合成集成到一个统一的框架中。
• 使用专门为沃洛夫语训练的自定义分词器和调整后的配置，以适应沃洛夫语独特的词汇。
• 能够将沃洛夫语文本转换为自然流畅的语音，可集成到需要语音接口、虚拟助手或语音合成的应用中，为讲沃洛夫语的社区服务。

📦 安装指南

要安装必要的依赖项，请运行以下命令：

!pip install transformers datasets

💻 使用示例

基础用法

import torch
from transformers import SpeechT5ForTextToSpeech, SpeechT5Processor
from transformers import SpeechT5HifiGan

def load_speech_model(checkpoint="bilalfaye/speecht5_tts-wolof", vocoder_checkpoint="microsoft/speecht5_hifigan"):
    """
    加载用于文本转语音的SpeechT5模型、处理器和语音编码器。
    
    参数:
        checkpoint (str): SpeechT5 TTS的模型检查点。
        vocoder_checkpoint (str): HiFi-GAN语音编码器的检查点。
    
    返回:
        processor: 模型的处理器。
        model: 加载的SpeechT5模型。
        vocoder: 加载的HiFi-GAN语音编码器。
        device: 模型加载的设备（CPU或GPU）。
    """
    # 检查GPU可用性并相应设置设备
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    
    # 加载SpeechT5处理器和模型
    processor = SpeechT5Processor.from_pretrained(checkpoint)
    model = SpeechT5ForTextToSpeech.from_pretrained(checkpoint).to(device)  # 将模型移动到正确的设备

    # 加载HiFi-GAN语音编码器
    vocoder = SpeechT5HifiGan.from_pretrained(vocoder_checkpoint).to(device)  # 将语音编码器移动到正确的设备

    return processor, model, vocoder, device

# 示例用法
processor, model, vocoder, device = load_speech_model()

# 验证使用的设备
print(f"模型和语音编码器加载到的设备: {device}")

from datasets import load_dataset
# 加载说话人嵌入（此数据集包含特定说话人的嵌入）
embeddings_dataset = load_dataset("Matthijs/cmu-arctic-xvectors", split="validation")
speaker_embedding = torch.tensor(embeddings_dataset[7306]["xvector"]).unsqueeze(0)

import torch
from transformers import SpeechT5ForTextToSpeech, SpeechT5Processor, SpeechT5HifiGan
from IPython.display import Audio, display

def generate_speech_from_text(text, 
                              speaker_embedding=speaker_embedding,
                              processor=processor,
                              model=model,
                              vocoder=vocoder):            
    """
    使用SpeechT5和HiFi-GAN语音编码器从给定文本生成语音。

    参数:
        text (str): 要转换为语音的输入文本。
        checkpoint (str): SpeechT5 TTS的模型检查点。
        vocoder_checkpoint (str): HiFi-GAN语音编码器的检查点。
        speaker_embedding (torch.Tensor): 说话人嵌入张量。
        processor (SpeechT5Processor): 模型的处理器。
        model (SpeechT5ForTextToSpeech): 加载的SpeechT5模型。
        vocoder (SpeechT5HifiGan): 加载的HiFi-GAN语音编码器。

    返回:
        无
    """
    # 文本转语音生成的参数
    max_text_positions = model.config.max_text_positions  # 令牌限制
    max_length = model.config.max_length * 1.2  # 稍微扩展的最大长度
    min_length = max_length // 3  # 根据最大长度调整
    num_beams = 7  # 使用束搜索以提高质量
    temperature = 0.6  # 降低温度以提高稳定性

    # 对输入文本进行分词并将输入张量移动到正确的设备
    inputs = processor(text=text, return_tensors="pt", padding=True, truncation=True, max_length=max_text_positions)
    inputs = {key: value.to(model.device) for key, value in inputs.items()}  # 将输入移动到设备

    # 生成语音
    speech = model.generate(
        inputs["input_ids"],
        speaker_embeddings=speaker_embedding.to(model.device),  # 确保说话人嵌入也在正确的设备上
        vocoder=vocoder,
        max_length=int(max_length),
        min_length=int(min_length),
        num_beams=num_beams,
        temperature=temperature,
        no_repeat_ngram_size=3,
        repetition_penalty=1.5,
        eos_token_id=None,
        use_cache=True
    )

    # 将语音从计算图中分离并移动到CPU
    speech = speech.detach().cpu().numpy()

    # 使用IPython Audio播放生成的语音
    display(Audio(speech, rate=16000))


# 示例用法
text = "ñu ne ñoom ñooy nattukaay satélite yi"
generate_speech_from_text(text)

📚 详细文档

预期用途

• 文本转语音生成：该模型可用于将沃洛夫语文本转换为自然流畅的语音。它可以集成到需要语音接口、虚拟助手或为讲沃洛夫语的社区提供语音合成的应用程序中。

局限性

• 适用范围有限：该模型是专门为沃洛夫语进行微调的，对于其他语言或口音可能表现不佳。
• 数据可用性：虽然模型在沃洛夫语数据集上进行了微调，但生成语音的质量可能会因输入文本的复杂性和训练数据集的不同而有所差异。
• 词汇和分词器限制：分词器是专门为沃洛夫语训练的，因此可能无法有效处理未登录词或未知字符。

🔧 技术细节

训练和评估数据

该模型在一个由沃洛夫语文本组成的自定义数据集上进行了微调。这个数据集用于调整模型，使其生成的语音能够准确反映沃洛夫语的语音和句法特性。

训练过程

训练超参数

以下是训练过程中使用的超参数：

• 学习率：1e-05
• 训练批次大小：8
• 评估批次大小：2
• 随机种子：42
• 梯度累积步数：8
• 总训练批次大小：64
• 优化器：Adam（β1=0.9，β2=0.999，ε=1e-08）
• 学习率调度器类型：线性
• 热身步数：500
• 训练步数：255000
• 混合精度训练：原生自动混合精度（Native AMP）

训练结果

评估表仅包含最后5个轮次的结果。

框架版本

• Transformers：4.41.2
• PyTorch：2.4.0+cu121
• Datasets：3.2.0
• Tokenizers：0.19.1

📄 许可证

本模型使用MIT许可证。

作者

• Bilal FAYE

信息表格