F5 TTS Pt Br

🚀 F5-TTS-pt-br：巴西葡萄牙語語音合成模型

F5-TTS-pt-br 包含了 F5-TTS 模型針對巴西葡萄牙語的預訓練權重。作為初步測試，該模型僅支持葡萄牙語語音合成。其分詞器與原始的 F5-TTS 模型（https://huggingface.co/SWivid/F5-TTS ）保持一致。

🔍 詳細信息

🚀 快速開始

本項目的 AgentF5TTS 是一個 Python 類，為 F5-TTS 文本轉語音模型提供了便捷的接口。它使用參考音頻來驅動語音特徵，還可以選擇性地加入說話者和情感提示。以下將介紹如何安裝依賴項、配置類並運行基本的 TTS 任務。

✨ 主要特性

• 支持多種聲碼器（如 vocos、bigvgan）。
• 能夠處理說話者和情感參考信息。
• 可選擇在生成步驟之間設置延遲，避免併發或資源瓶頸。
• 自動將生成的音頻片段拼接成單個輸出文件。
• 可選擇將最終的 .wav 文件轉換為 .mp3 文件。

📦 安裝指南

前提條件

• 建議使用 Python 3.8+。
• FFmpeg 是音頻拼接和可選的 MP3 轉換所必需的。你可以在終端中運行 ffmpeg -version 來檢查是否已安裝 FFmpeg。

安裝步驟

1. 克隆或下載 本倉庫（或將 AgentF5TSS 類複製到你自己的代碼庫中）。
2. 安裝所需的 Python 庫。如果你使用的是虛擬環境，請激活它並運行以下命令：

pip install f5-tts
pip install safetensors
pip install torch
pip install --upgrade ffmpeg-python
pip install num2words

⚠️ 重要提示：根據你的環境，如果你想在 CUDA 設備上運行接口，可能需要確保 torch 已安裝 GPU 支持。

3. 確保 ffmpeg 可從你的網絡命令行訪問，因為它用於拼接和轉換生成的音頻文件。
   • macOS：brew install ffmpeg

💻 使用示例

基礎用法

from AgentF5TTSChunk import AgentF5TTS

agent = AgentF5TTS(
    ckpt_file="./F5-TTS/ckgs/pt-br/model_last.safetensors",
    vocoder_name="vocos",
    delay=0,
    device="mps"
)

*根據需要更改設備。

高級用法

生成帶有情感的語音

speaker_emotion_refs = {
    ("speaker1", "happy"): "ref_audios/speaker1_happy.wav",
    ("speaker1", "sad"): "ref_audios/speaker1_sad.wav",
    ("speaker1", "angry"): "ref_audios/speaker1_angry.wav",
}

agent.generate_emotion_speech(
    text_file="input_text.txt",
    output_audio_file="output/final_output.wav",
    speaker_emotion_refs=speaker_emotion_refs,
    convert_to_mp3=True,
)

生成簡單語音

agent.generate_speech(
    text_file="input_text2.txt",
    output_audio_file="output/final_output.wav",
    ref_audio="ref_audios/single_ref.wav",
    convert_to_mp3=True
)

📚 詳細文檔

類初始化

from AgentF5TTSChunk import AgentF5TTS

agent = AgentF5TTS(
    ckpt_file="./F5-TTS/ckgs/pt-br/model_last.safetensors",
    vocoder_name="vocos",
    delay=0,
    device="mps"
)

使用方法

• 生成帶有情感的語音：使用 generate_emotion_speech 方法生成包含說話者和情感信息的語音。
• 生成簡單語音：使用 generate_speech 方法生成不包含明確說話者/情感標記的語音。

示例腳本

import os
from AgentF5TTSChunk import AgentF5TTS

if __name__ == "__main__":
    # 可選：設置環境變量或配置日誌
    env = os.environ.copy()
    env["PYTHONUNBUFFERED"] = "1"

    # F5-TTS 模型檢查點的路徑（.safetensors 格式）
    model_path = "./F5-TTS/ckgs/pt-br/model_last.safetensors"

    # 說話者 - 情感對到參考音頻路徑的映射字典
    speaker_emotion_refs = {
        ("speaker1", "happy"): "ref_audios/speaker1_happy.wav",
        ("speaker1", "sad"): "ref_audios/speaker1_sad.wav",
        ("speaker1", "angry"): "ref_audios/speaker1_angry.wav",
    }

    # 實例化 AgentF5TTS
    agent = AgentF5TTS(
        ckpt_file=model_path,
        vocoder_name="vocos",
        delay=6  # 音頻片段之間的 6 秒延遲
    )

    # 示例 1：生成帶有說話者/情感標記的語音
    agent.generate_emotion_speech(
        text_file="input_text.txt",
        output_audio_file="output/final_output_emo.wav",
        speaker_emotion_refs=speaker_emotion_refs,
        convert_to_mp3=True,
    )

    # 示例 2：使用單個參考音頻生成簡單語音
    agent.generate_speech(
        text_file="input_text2.txt",
        output_audio_file="output/final_output.wav",
        ref_audio="ref_audios/refaudio.mp3",
        convert_to_mp3=True,
    )

🔧 注意事項和提示

1. 模型檢查點：確保提供正確的 .safetensors 模型檢查點路徑。
2. 參考音頻：如果參考音頻路徑不存在，腳本將記錄錯誤並跳過這些行。
3. 文本文件：確保每行格式正確（無多餘空行）。
4. 延遲設置：如果需要限制生成速度，請調整 delay 參數。
5. 輸出目錄：如果指定的 output_audio_file 路徑中的目錄不存在，類將自動創建這些目錄。
6. 音頻按行分塊：使用 5 秒到 9 秒的短參考音頻，文本使用短行。如果開始失去跟蹤，請使行變短。此外，嘗試添加逗號以產生停頓，這有助於保持說話者的語音質量。

📄 許可證

AgentF5TTS 項目根據 MIT 許可證提供。有關詳細信息，請參閱主倉庫中的 ../LICENSEL 文件。

示例音頻和文本

• 示例音頻 1
• 示例音頻 2

示例文本

帶有情感標記的示例文本（input_text.txt）

[speaker:speaker1, emotion:happy] Oi pessoal! Bom dia, que dia maravilhoso!
[speaker:speaker1, emotion:sad] Meu deus, só podia ser notícia ruim, não sei nem o que pensar.. estou perdido.
[speaker:speaker1, emotion:angry] Porra! Porque você fez isso? Você tá maluco? tá doido?

簡單文本示例（input_text1.txt）

Opinião: Essa medida é uma forma de proteger os usuários dos perigos da tecnologia mal utilizada. É interessante ver como as empresas estão sendo forçadas a se adaptarem às novas regras, mesmo que seja difícil para alguns usuários se adaptar a essa mudança.
A inteligência artificial vem tornando a vida das pessoas cada vez mais simples. Muitas pessoas tem trabalhado menos, por conta do uso da inteligência artificial. veja as novidades tecnológicas e do mercado de modelos de linguagem. Curioso para saber mais? se inscreva no canal, fique atualizado e receba novas notícias todos os dias. vamos lá!

故事文本示例

祝你語音合成愉快！如果你有任何問題或遇到問題，請隨時打開一個 issue。