Voicerestore

🚀 VoiceRestore：用于语音录音质量恢复的流匹配Transformer模型

VoiceRestore是一款前沿的语音恢复模型，旨在显著提升受损语音录音的质量。该模型借助流匹配Transformer技术，能够出色地处理语音中常见的各类音频缺陷，包括背景噪音、混响、失真和信号丢失等问题。

它基于此仓库，音频恢复演示请见：VoiceRestore

🚀 快速开始

📦 安装指南

!git lfs install
!git clone https://huggingface.co/jadechoghari/VoiceRestore
%cd VoiceRestore
!pip install -r requirements.txt

💻 使用示例

基础用法

from transformers import AutoModel
# 模型文件夹路径（在Colab上如下所示）
checkpoint_path = "/content/VoiceRestore"
model = AutoModel.from_pretrained(checkpoint_path, trust_remote_code=True)
model("test_input.wav", "test_output.wav")
# 如果音频时长超过10秒，请添加 short=False
model("long.mp3", "long_output.mp3", short=False)

示例展示

受损输入音频

恢复后的音频（步数=32，条件生成因子=1.0）

恢复后的音频 - 16步，强度0.5

✨ 主要特性

• 通用恢复能力：该模型能够处理任何程度和类型的语音录音退化问题，效果堪称神奇。
• 易于使用：提供简单的接口，方便处理受损的音频文件。
• 预训练模型：包含一个具有3.01亿参数的Transformer模型，并带有预训练权重。（模型仍在训练中，后续会有更多检查点更新）

📚 详细文档

模型详情

局限性和未来工作

• 当前模型针对语音进行了优化，在处理音乐或其他类型音频时可能无法达到最佳性能。
• 正在进行的研究旨在提高模型在极端退化情况下的性能。
• 未来更新可能会增加实时处理功能。

引用说明

如果您在研究中使用了VoiceRestore，请引用我们的论文：

@article{kirdey2024voicerestore,
  title={VoiceRestore: Flow-Matching Transformers for Speech Recording Quality Restoration},
  author={Kirdey, Stanislav},
  journal={arXiv},
  year={2024}
}

📄 许可证

本项目采用MIT许可证 - 详情请参阅LICENSE文件。

致谢

• 基于Lucidrains的E2 - TTS实现。
• 特别感谢开源社区的宝贵贡献。
• 说明：本仓库基于Lucidrains的E2 - TTS实现。