Sepformer Whamr16k

🚀 SepFormer（WHAMR!で学習、16kサンプリング周波数）

このリポジトリは、SepFormerモデルを使ってオーディオソース分離を行うための必要なツールをすべて提供します。このモデルはSpeechBrainで実装され、16kサンプリング周波数のWHAMR!データセットで事前学習されています。WHAMR!は基本的に、16kで環境ノイズと残響が加えられたWSJ0 - Mixデータセットのバージョンです。より良い体験のために、SpeechBrainについてもっと学ぶことをおすすめします。このモデルは、WHAMR!データセットのテストセットで13.5 dBのSI - SNRiを達成しています。

🚀 クイックスタート

このモデルを使用するには、まずSpeechBrainをインストールする必要があります。

📦 インストール

まず、以下のコマンドを使ってSpeechBrainをインストールしてください。

pip install speechbrain

SpeechBrainのチュートリアルを読み、もっと詳しく学ぶことをおすすめします。

💻 使用例

基本的な使用法

from speechbrain.inference.separation import SepformerSeparation as separator
import torchaudio

model = separator.from_hparams(source="speechbrain/sepformer-whamr16k", savedir='pretrained_models/sepformer-whamr16k')

# カスタムファイルの場合は、パスを変更してください
est_sources = model.separate_file(path='speechbrain/sepformer-whamr16k/test_mixture16k.wav') 

torchaudio.save("source1hat.wav", est_sources[:, :, 0].detach().cpu(), 16000)
torchaudio.save("source2hat.wav", est_sources[:, :, 1].detach().cpu(), 16000)

システムは16kHz（単チャンネル）でサンプリングされた入力録音を想定しています。信号のサンプルレートが異なる場合は、インターフェースを使用する前に（例えばtorchaudioやsoxを使って）リサンプリングしてください。

高度な使用法

GPUでの推論

GPUで推論を行うには、from_hparamsメソッドを呼び出す際にrun_opts={"device":"cuda"}を追加してください。

学習

このモデルはSpeechBrain (fc2eabb7) で学習されました。ゼロから学習するには、以下の手順に従ってください。

1. SpeechBrainをクローンします。

git clone https://github.com/speechbrain/speechbrain/

2. インストールします。

cd speechbrain
pip install -r requirements.txt
pip install -e .

3. 学習を実行します。

cd  recipes/WHAMandWHAMR/separation/
python train.py hparams/sepformer-whamr.yaml --data_folder=your_data_folder --sample_rate=16000

学習結果（モデル、ログなど）はこちらで確認できます。

制限事項

SpeechBrainチームは、このモデルを他のデータセットで使用した場合のパフォーマンスについて、いかなる保証も提供しません。

📚 ドキュメント

SpeechBrainの引用

@misc{speechbrain,
  title={{SpeechBrain}: A General-Purpose Speech Toolkit},
  author={Mirco Ravanelli and Titouan Parcollet and Peter Plantinga and Aku Rouhe and Samuele Cornell and Loren Lugosch and Cem Subakan and Nauman Dawalatabad and Abdelwahab Heba and Jianyuan Zhong and Ju-Chieh Chou and Sung-Lin Yeh and Szu-Wei Fu and Chien-Feng Liao and Elena Rastorgueva and François Grondin and William Aris and Hwidong Na and Yan Gao and Renato De Mori and Yoshua Bengio},
  year={2021},
  eprint={2106.04624},
  archivePrefix={arXiv},
  primaryClass={eess.AS},
  note={arXiv:2106.04624}
}

SepFormerの引用

@inproceedings{subakan2021attention,
      title={Attention is All You Need in Speech Separation}, 
      author={Cem Subakan and Mirco Ravanelli and Samuele Cornell and Mirko Bronzi and Jianyuan Zhong},
      year={2021},
      booktitle={ICASSP 2021}
}

SpeechBrainについて

• ウェブサイト: https://speechbrain.github.io/
• コード: https://github.com/speechbrain/speechbrain/
• HuggingFace: https://huggingface.co/speechbrain/

📄 ライセンス

このプロジェクトは、Apache 2.0ライセンスの下で公開されています。