Sepformer Wham Enhancement

🚀 WHAM!データセットで学習されたSepFormer音声強化モデル（8kサンプリングレート）

このリポジトリは、SepFormer モデルを使用した音声強化（ノイズ除去）に必要なすべてのツールを提供します。このモデルはSpeechBrainを使用して実装され、WHAM! データセット（8kサンプリングレート）で事前学習されています。WHAM! データセットは本質的にWSJ0 - Mixデータセットのバージョンで、8kサンプリングレートでの環境ノイズと残響を含んでいます。より良い使用体験を得るために、SpeechBrain をさらに学ぶことをおすすめします。このモデルのWHAM! データセットのテストセットにおけるSI - SNRは14.35 dBです。

🚀 クイックスタート

このプロジェクトは、SepFormerモデルを使用した音声強化（ノイズ除去）のツールを提供します。このモデルはSpeechBrainを使用して実装され、WHAM! データセット（8kサンプリングレート）で事前学習されています。

📦 インストール

まず、以下のコマンドを使用してSpeechBrainをインストールしてください。

pip install speechbrain

SpeechBrain についてさらに学ぶために、私たちのチュートリアルを読むことをおすすめします。

💻 使用例

基本的な使用法

自分のオーディオファイルに対して音声強化を行います。

from speechbrain.inference.separation import SepformerSeparation as separator
import torchaudio

model = separator.from_hparams(source="speechbrain/sepformer-wham-enhancement", savedir='pretrained_models/sepformer-wham-enhancement')

# 独自のファイルを処理する場合は、パスを変更してください
est_sources = model.separate_file(path='speechbrain/sepformer-wham-enhancement/example_wham.wav') 

torchaudio.save("enhanced_wham.wav", est_sources[:, :, 0].detach().cpu(), 8000)

高度な使用法

GPUで推論を行うには、from_hparams メソッドを呼び出す際に run_opts={"device":"cuda"} を追加します。

📚 ドキュメント

学習

学習スクリプトは現在進行中のプルリクエストで開発されています。このPRがマージされたら、すぐにモデルカードを更新します。学習結果（モデル、ログなど）は こちら で見ることができます。

制限事項

SpeechBrainチームは、このモデルが他のデータセットでの性能を保証するものではありません。

📄 ライセンス

このプロジェクトは apache - 2.0 ライセンスの下で提供されています。

🔖 参考文献

SpeechBrainの引用

@misc{speechbrain,
  title={{SpeechBrain}: A General-Purpose Speech Toolkit},
  author={Mirco Ravanelli and Titouan Parcollet and Peter Plantinga and Aku Rouhe and Samuele Cornell and Loren Lugosch and Cem Subakan and Nauman Dawalatabad and Abdelwahab Heba and Jianyuan Zhong and Ju-Chieh Chou and Sung-Lin Yeh and Szu-Wei Fu and Chien-Feng Liao and Elena Rastorgueva and François Grondin and William Aris and Hwidong Na and Yan Gao and Renato De Mori and Yoshua Bengio},
  year={2021},
  eprint={2106.04624},
  archivePrefix={arXiv},
  primaryClass={eess.AS},
  note={arXiv:2106.04624}
}

SepFormerの引用

@inproceedings{subakan2021attention,
      title={Attention is All You Need in Speech Separation}, 
      author={Cem Subakan and Mirco Ravanelli and Samuele Cornell and Mirko Bronzi and Jianyuan Zhong},
      year={2021},
      booktitle={ICASSP 2021}
}

@article{subakan2023exploring,
  author={Subakan, Cem and Ravanelli, Mirco and Cornell, Samuele and Grondin, François and Bronzi, Mirko},
  journal={IEEE/ACM Transactions on Audio, Speech, and Language Processing}, 
  title={Exploring Self-Attention Mechanisms for Speech Separation}, 
  year={2023},
  volume={31},
  pages={2169-2180},
}

🔗 SpeechBrainについて

• 公式サイト：https://speechbrain.github.io/
• コードリポジトリ：https://github.com/speechbrain/speechbrain/
• HuggingFaceページ：https://huggingface.co/speechbrain/