Sepformer Rescuespeech

🚀 SepFormer を RescueSpeech で音声強化のために学習 (16kサンプリング周波数)

このリポジトリは、SepFormer モデルを使用して音声強化（ノイズ除去）を行うために必要なすべてのツールを提供します。このモデルは SpeechBrain を用いて実装されています。このモデルは、最初に Microsoft-DNS 4 データセットで学習され、その後 RescueSpeech データセット（16kサンプリング周波数）でファインチューニングされました。より良い体験を得るために、SpeechBrain についてもっと学ぶことをおすすめします。以下に RescueSpeech テストセットでのモデルの性能を示します。

ここで、SI-SNRi と SI-SDRi は SI-SNR と SI-SDR メトリックの改善を示しています。

🚀 クイックスタート

📦 インストール

まずは、以下のコマンドで SpeechBrain をインストールしてください。

pip install speechbrain

SpeechBrain のチュートリアルを読んで、もっと学ぶことをおすすめします。

💻 使用例

基本的な使用法

独自の音声ファイルで音声強化を行うには、以下のコードを使用します。

from speechbrain.inference.separation import SepformerSeparation as separator
import torchaudio

model = separator.from_hparams(source="speechbrain/rescuespeech_sepformer", savedir='pretrained_models/rescuespeech_sepformer')

# カスタムファイルの場合は、パスを変更してください
est_sources = model.separate_file(path='speechbrain/rescuespeech_sepformer/example_rescuespeech16k.wav') 

torchaudio.save("enhanced_rescuespeech16k.wav", est_sources[:, :, 0].detach().cpu(), 16000)

高度な使用法

GPU で推論を行うには、from_hparams メソッドを呼び出す際に run_opts={"device":"cuda"} を追加してください。

学習結果（モデル、ログなど）は こちら から確認できます。

📚 詳細ドキュメント

制限事項

このモデルを他のデータセットで使用した場合の性能について、SpeechBrain チームは一切の保証を提供しません。

引用

SpeechBrain の引用

@misc{speechbrain,
  title={{SpeechBrain}: A General-Purpose Speech Toolkit},
  author={Mirco Ravanelli and Titouan Parcollet and Peter Plantinga and Aku Rouhe and Samuele Cornell and Loren Lugosch and Cem Subakan and Nauman Dawalatabad and Abdelwahab Heba and Jianyuan Zhong and Ju-Chieh Chou and Sung-Lin Yeh and Szu-Wei Fu and Chien-Feng Liao and Elena Rastorgueva and François Grondin and William Aris and Hwidong Na and Yan Gao and Renato De Mori and Yoshua Bengio},
  year={2021},
  eprint={2106.04624},
  archivePrefix={arXiv},
  primaryClass={eess.AS},
  note={arXiv:2106.04624}
}

SepFormer の引用

@inproceedings{subakan2021attention,
      title={Attention is All You Need in Speech Separation}, 
      author={Cem Subakan and Mirco Ravanelli and Samuele Cornell and Mirko Bronzi and Jianyuan Zhong},
      year={2021},
      booktitle={ICASSP 2021}
}

RescueSpeech の引用

@misc{sagar2023rescuespeech,
    title={RescueSpeech: A German Corpus for Speech Recognition in Search and Rescue Domain},
    author={Sangeet Sagar and Mirco Ravanelli and Bernd Kiefer and Ivana Kruijff Korbayova and Josef van Genabith},
    year={2023},
    eprint={2306.04054},
    archivePrefix={arXiv},
    primaryClass={eess.AS}
}

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。

📚 モデル情報

📚 SpeechBrainについて

• ウェブサイト: https://speechbrain.github.io/
• コード: https://github.com/speechbrain/speechbrain/
• HuggingFace: https://huggingface.co/speechbrain/