F5 TTS Pt Br

🚀 F5-TTS-pt-br：巴西葡萄牙语语音合成模型

F5-TTS-pt-br 包含了 F5-TTS 模型针对巴西葡萄牙语的预训练权重。作为初步测试，该模型仅支持葡萄牙语语音合成。其分词器与原始的 F5-TTS 模型（https://huggingface.co/SWivid/F5-TTS ）保持一致。

🔍 详细信息

🚀 快速开始

本项目的 AgentF5TTS 是一个 Python 类，为 F5-TTS 文本转语音模型提供了便捷的接口。它使用参考音频来驱动语音特征，还可以选择性地加入说话者和情感提示。以下将介绍如何安装依赖项、配置类并运行基本的 TTS 任务。

✨ 主要特性

• 支持多种声码器（如 vocos、bigvgan）。
• 能够处理说话者和情感参考信息。
• 可选择在生成步骤之间设置延迟，避免并发或资源瓶颈。
• 自动将生成的音频片段拼接成单个输出文件。
• 可选择将最终的 .wav 文件转换为 .mp3 文件。

📦 安装指南

前提条件

• 建议使用 Python 3.8+。
• FFmpeg 是音频拼接和可选的 MP3 转换所必需的。你可以在终端中运行 ffmpeg -version 来检查是否已安装 FFmpeg。

安装步骤

1. 克隆或下载 本仓库（或将 AgentF5TSS 类复制到你自己的代码库中）。
2. 安装所需的 Python 库。如果你使用的是虚拟环境，请激活它并运行以下命令：

pip install f5-tts
pip install safetensors
pip install torch
pip install --upgrade ffmpeg-python
pip install num2words

⚠️ 重要提示：根据你的环境，如果你想在 CUDA 设备上运行接口，可能需要确保 torch 已安装 GPU 支持。

3. 确保 ffmpeg 可从你的网络命令行访问，因为它用于拼接和转换生成的音频文件。
   • macOS：brew install ffmpeg

💻 使用示例

基础用法

from AgentF5TTSChunk import AgentF5TTS

agent = AgentF5TTS(
    ckpt_file="./F5-TTS/ckgs/pt-br/model_last.safetensors",
    vocoder_name="vocos",
    delay=0,
    device="mps"
)

*根据需要更改设备。

高级用法

生成带有情感的语音

speaker_emotion_refs = {
    ("speaker1", "happy"): "ref_audios/speaker1_happy.wav",
    ("speaker1", "sad"): "ref_audios/speaker1_sad.wav",
    ("speaker1", "angry"): "ref_audios/speaker1_angry.wav",
}

agent.generate_emotion_speech(
    text_file="input_text.txt",
    output_audio_file="output/final_output.wav",
    speaker_emotion_refs=speaker_emotion_refs,
    convert_to_mp3=True,
)

生成简单语音

agent.generate_speech(
    text_file="input_text2.txt",
    output_audio_file="output/final_output.wav",
    ref_audio="ref_audios/single_ref.wav",
    convert_to_mp3=True
)

📚 详细文档

类初始化

from AgentF5TTSChunk import AgentF5TTS

agent = AgentF5TTS(
    ckpt_file="./F5-TTS/ckgs/pt-br/model_last.safetensors",
    vocoder_name="vocos",
    delay=0,
    device="mps"
)

使用方法

• 生成带有情感的语音：使用 generate_emotion_speech 方法生成包含说话者和情感信息的语音。
• 生成简单语音：使用 generate_speech 方法生成不包含明确说话者/情感标记的语音。

示例脚本

import os
from AgentF5TTSChunk import AgentF5TTS

if __name__ == "__main__":
    # 可选：设置环境变量或配置日志
    env = os.environ.copy()
    env["PYTHONUNBUFFERED"] = "1"

    # F5-TTS 模型检查点的路径（.safetensors 格式）
    model_path = "./F5-TTS/ckgs/pt-br/model_last.safetensors"

    # 说话者 - 情感对到参考音频路径的映射字典
    speaker_emotion_refs = {
        ("speaker1", "happy"): "ref_audios/speaker1_happy.wav",
        ("speaker1", "sad"): "ref_audios/speaker1_sad.wav",
        ("speaker1", "angry"): "ref_audios/speaker1_angry.wav",
    }

    # 实例化 AgentF5TTS
    agent = AgentF5TTS(
        ckpt_file=model_path,
        vocoder_name="vocos",
        delay=6  # 音频片段之间的 6 秒延迟
    )

    # 示例 1：生成带有说话者/情感标记的语音
    agent.generate_emotion_speech(
        text_file="input_text.txt",
        output_audio_file="output/final_output_emo.wav",
        speaker_emotion_refs=speaker_emotion_refs,
        convert_to_mp3=True,
    )

    # 示例 2：使用单个参考音频生成简单语音
    agent.generate_speech(
        text_file="input_text2.txt",
        output_audio_file="output/final_output.wav",
        ref_audio="ref_audios/refaudio.mp3",
        convert_to_mp3=True,
    )

🔧 注意事项和提示

1. 模型检查点：确保提供正确的 .safetensors 模型检查点路径。
2. 参考音频：如果参考音频路径不存在，脚本将记录错误并跳过这些行。
3. 文本文件：确保每行格式正确（无多余空行）。
4. 延迟设置：如果需要限制生成速度，请调整 delay 参数。
5. 输出目录：如果指定的 output_audio_file 路径中的目录不存在，类将自动创建这些目录。
6. 音频按行分块：使用 5 秒到 9 秒的短参考音频，文本使用短行。如果开始失去跟踪，请使行变短。此外，尝试添加逗号以产生停顿，这有助于保持说话者的语音质量。

📄 许可证

AgentF5TTS 项目根据 MIT 许可证提供。有关详细信息，请参阅主仓库中的 ../LICENSEL 文件。

示例音频和文本

• 示例音频 1
• 示例音频 2

示例文本

带有情感标记的示例文本（input_text.txt）

[speaker:speaker1, emotion:happy] Oi pessoal! Bom dia, que dia maravilhoso!
[speaker:speaker1, emotion:sad] Meu deus, só podia ser notícia ruim, não sei nem o que pensar.. estou perdido.
[speaker:speaker1, emotion:angry] Porra! Porque você fez isso? Você tá maluco? tá doido?

简单文本示例（input_text1.txt）

Opinião: Essa medida é uma forma de proteger os usuários dos perigos da tecnologia mal utilizada. É interessante ver como as empresas estão sendo forçadas a se adaptarem às novas regras, mesmo que seja difícil para alguns usuários se adaptar a essa mudança.
A inteligência artificial vem tornando a vida das pessoas cada vez mais simples. Muitas pessoas tem trabalhado menos, por conta do uso da inteligência artificial. veja as novidades tecnológicas e do mercado de modelos de linguagem. Curioso para saber mais? se inscreva no canal, fique atualizado e receba novas notícias todos os dias. vamos lá!

故事文本示例

祝你语音合成愉快！如果你有任何问题或遇到问题，请随时打开一个 issue。