Sepformer Wham

🚀 WHAM!データセットで訓練されたSepFormerモデル

このリポジトリは、SepFormerモデルを使用したオーディオソース分離に必要なすべてのツールを提供しています。このモデルはSpeechBrainをベースに実装され、WHAM!データセットで事前学習されています。WHAM!データセットは、本質的には環境ノイズ付きのWSJ0 - Mixデータセットのバージョンです。より良い体験を得るために、SpeechBrainについてさらに学ぶことをおすすめします。このモデルは、WHAM!データセットのテストセットでSI - SNRi指標が16.3 dBに達しています。

🚀 クイックスタート

📦 インストール

まず、以下のコマンドを使用してSpeechBrainをインストールしてください。

pip install speechbrain

SpeechBrainについてさらに学ぶために、私たちのチュートリアルを読むことをおすすめします。

💻 使用例

基本的な使用法

独自のオーディオファイルをソース分離するには、以下のコードを使用します。

from speechbrain.inference.separation import SepformerSeparation as separator
import torchaudio

model = separator.from_hparams(source="speechbrain/sepformer-wham", savedir='pretrained_models/sepformer-wham')

# カスタムファイルの場合は、パスを変更してください
est_sources = model.separate_file(path='speechbrain/sepformer-wsj02mix/test_mixture.wav') 

torchaudio.save("source1hat.wav", est_sources[:, :, 0].detach().cpu(), 8000)
torchaudio.save("source2hat.wav", est_sources[:, :, 1].detach().cpu(), 8000)

このシステムは、入力録音のサンプリングレートが8kHz（モノラル）であることを想定しています。信号のサンプリングレートが異なる場合は、このインターフェースを使用する前に、それをリサンプリングしてください（例えば、torchaudioまたはsoxを使用）。

高度な使用法

GPUで推論を行うには、from_hparamsメソッドを呼び出すときにrun_opts={"device":"cuda"}を追加してください。

訓練

このモデルはSpeechBrain (e375cd13)を使用して訓練されました。このモデルを最初から訓練するには、以下の手順に従ってください。

1. SpeechBrainをクローンします。

git clone https://github.com/speechbrain/speechbrain/

2. インストールします。

cd speechbrain
pip install -r requirements.txt
pip install -e .

3. 訓練を実行します。

cd  recipes/WHAMandWHAMR/separation
python train.py hparams/sepformer-wham.yaml --data_folder=your_data_folder

訓練結果（モデル、ログなど）はこちらで見ることができます。

制限事項

SpeechBrainチームは、このモデルが他のデータセットでどのように機能するかについて、何ら保証を提供しません。

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で提供されています。

引用

SpeechBrainの引用

@misc{speechbrain,
  title={{SpeechBrain}: A General-Purpose Speech Toolkit},
  author={Mirco Ravanelli and Titouan Parcollet and Peter Plantinga and Aku Rouhe and Samuele Cornell and Loren Lugosch and Cem Subakan and Nauman Dawalatabad and Abdelwahab Heba and Jianyuan Zhong and Ju-Chieh Chou and Sung-Lin Yeh and Szu-Wei Fu and Chien-Feng Liao and Elena Rastorgueva and François Grondin and William Aris and Hwidong Na and Yan Gao and Renato De Mori and Yoshua Bengio},
  year={2021},
  eprint={2106.04624},
  archivePrefix={arXiv},
  primaryClass={eess.AS},
  note={arXiv:2106.04624}
}

SepFormerの引用

@inproceedings{subakan2021attention,
      title={Attention is All You Need in Speech Separation}, 
      author={Cem Subakan and Mirco Ravanelli and Samuele Cornell and Mirko Bronzi and Jianyuan Zhong},
      year={2021},
      booktitle={ICASSP 2021}
}

SpeechBrainについて

• ウェブサイト：https://speechbrain.github.io/
• コード：https://github.com/speechbrain/speechbrain/
• HuggingFace：https://huggingface.co/speechbrain/