Sepformer Rescuespeech

🚀 基于RescueSpeech数据集训练的SepFormer语音增强模型（16k采样频率）

本仓库提供了使用基于 SepFormer 架构、由 SpeechBrain 实现的模型进行语音增强（去噪）所需的所有工具。该模型首先在 Microsoft-DNS 4 数据集上进行预训练，然后在 16k 采样频率的 RescueSpeech 数据集上进行微调。为了获得更好的使用体验，我们建议你进一步了解 SpeechBrain。以下是该模型在 RescueSpeech 测试集上的性能表现。

🚀 快速开始

本项目提供了使用基于 SepFormer 架构的模型进行语音增强（去噪）的工具。模型在特定数据集上训练和微调，可在 RescueSpeech 测试集上达到一定性能。

✨ 主要特性

• 模型架构：采用 SepFormer 架构，由 SpeechBrain 实现。
• 训练数据：先在 Microsoft-DNS 4 数据集上预训练，再在 16k 采样频率的 RescueSpeech 数据集上微调。
• 性能指标：在 RescueSpeech 测试集上，Test-Set SI - SNRi 为 7.849，Test-Set SI - SDRi 为 8.414，Test-Set PESQ 为 2.24。

模型性能

其中，SI - SNRi 和 SI - SDRi 分别表示 SI - SNR 和 SI - SDR 指标的提升情况。

📦 安装指南

首先，请使用以下命令安装 SpeechBrain：

pip install speechbrain

请注意，我们建议你阅读我们的教程，进一步了解 SpeechBrain。

💻 使用示例

基础用法

对自己的音频文件进行语音增强：

from speechbrain.inference.separation import SepformerSeparation as separator
import torchaudio

model = separator.from_hparams(source="speechbrain/rescuespeech_sepformer", savedir='pretrained_models/rescuespeech_sepformer')

# 若使用自定义文件，请更改路径
est_sources = model.separate_file(path='speechbrain/rescuespeech_sepformer/example_rescuespeech16k.wav') 

torchaudio.save("enhanced_rescuespeech16k.wav", est_sources[:, :, 0].detach().cpu(), 16000)

高级用法

在 GPU 上进行推理： 在调用 from_hparams 方法时添加 run_opts={"device":"cuda"}。

你可以在 此处 找到我们的训练结果（模型、日志等）。

局限性

SpeechBrain 团队不对该模型在其他数据集上的性能提供任何保证。

📚 详细文档

引用 SpeechBrain

@misc{speechbrain,
  title={{SpeechBrain}: A General-Purpose Speech Toolkit},
  author={Mirco Ravanelli and Titouan Parcollet and Peter Plantinga and Aku Rouhe and Samuele Cornell and Loren Lugosch and Cem Subakan and Nauman Dawalatabad and Abdelwahab Heba and Jianyuan Zhong and Ju-Chieh Chou and Sung-Lin Yeh and Szu-Wei Fu and Chien-Feng Liao and Elena Rastorgueva and François Grondin and William Aris and Hwidong Na and Yan Gao and Renato De Mori and Yoshua Bengio},
  year={2021},
  eprint={2106.04624},
  archivePrefix={arXiv},
  primaryClass={eess.AS},
  note={arXiv:2106.04624}
}

引用 SepFormer

@inproceedings{subakan2021attention,
      title={Attention is All You Need in Speech Separation}, 
      author={Cem Subakan and Mirco Ravanelli and Samuele Cornell and Mirko Bronzi and Jianyuan Zhong},
      year={2021},
      booktitle={ICASSP 2021}
}

引用 RescueSpeech

@misc{sagar2023rescuespeech,
    title={RescueSpeech: A German Corpus for Speech Recognition in Search and Rescue Domain},
    author={Sangeet Sagar and Mirco Ravanelli and Bernd Kiefer and Ivana Kruijff Korbayova and Josef van Genabith},
    year={2023},
    eprint={2306.04054},
    archivePrefix={arXiv},
    primaryClass={eess.AS}
}

📄 许可证

本项目采用 Apache - 2.0 许可证。

关于 SpeechBrain

• 官网：https://speechbrain.github.io/
• 代码仓库：https://github.com/speechbrain/speechbrain/
• HuggingFace：https://huggingface.co/speechbrain/

模型信息