Voicerestore

🚀 VoiceRestore：用於語音錄音質量恢復的流匹配Transformer模型

VoiceRestore是一款前沿的語音恢復模型，旨在顯著提升受損語音錄音的質量。該模型藉助流匹配Transformer技術，能夠出色地處理語音中常見的各類音頻缺陷，包括背景噪音、混響、失真和信號丟失等問題。

它基於此倉庫，音頻恢復演示請見：VoiceRestore

🚀 快速開始

📦 安裝指南

!git lfs install
!git clone https://huggingface.co/jadechoghari/VoiceRestore
%cd VoiceRestore
!pip install -r requirements.txt

💻 使用示例

基礎用法

from transformers import AutoModel
# 模型文件夾路徑（在Colab上如下所示）
checkpoint_path = "/content/VoiceRestore"
model = AutoModel.from_pretrained(checkpoint_path, trust_remote_code=True)
model("test_input.wav", "test_output.wav")
# 如果音頻時長超過10秒，請添加 short=False
model("long.mp3", "long_output.mp3", short=False)

示例展示

受損輸入音頻

恢復後的音頻（步數=32，條件生成因子=1.0）

恢復後的音頻 - 16步，強度0.5

✨ 主要特性

• 通用恢復能力：該模型能夠處理任何程度和類型的語音錄音退化問題，效果堪稱神奇。
• 易於使用：提供簡單的接口，方便處理受損的音頻文件。
• 預訓練模型：包含一個具有3.01億參數的Transformer模型，並帶有預訓練權重。（模型仍在訓練中，後續會有更多檢查點更新）

📚 詳細文檔

模型詳情

侷限性和未來工作

• 當前模型針對語音進行了優化，在處理音樂或其他類型音頻時可能無法達到最佳性能。
• 正在進行的研究旨在提高模型在極端退化情況下的性能。
• 未來更新可能會增加即時處理功能。

引用說明

如果您在研究中使用了VoiceRestore，請引用我們的論文：

@article{kirdey2024voicerestore,
  title={VoiceRestore: Flow-Matching Transformers for Speech Recording Quality Restoration},
  author={Kirdey, Stanislav},
  journal={arXiv},
  year={2024}
}

📄 許可證

本項目採用MIT許可證 - 詳情請參閱LICENSE文件。

致謝

• 基於Lucidrains的E2 - TTS實現。
• 特別感謝開源社區的寶貴貢獻。
• 說明：本倉庫基於Lucidrains的E2 - TTS實現。