Audio Source Separation

🚀 小惑星モデル Awais/Audio_Source_Separation

このモデルは、音声ソース分離を行うためのConvTasNetベースのモデルです。Libri2Mixデータセットを用いて学習されており、高い性能を発揮します。

🚀 クイックスタート

このモデルはZenodoからインポートされました。

✨ 主な機能

• 音声ソース分離タスクに特化したConvTasNetモデル
• Libri2Mixデータセットのsep_cleanタスクで学習

🔧 技術詳細

学習情報

このモデルはJoris Cosentinoによって、Asteroidのlibrimixレシピを使用して学習されました。学習データセットはLibri2Mixのsep_cleanタスクです。

学習設定

data:
    n_src: 2
    sample_rate: 8000
    segment: 3
    task: sep_clean
    train_dir: data/wav8k/min/train-360
    valid_dir: data/wav8k/min/dev
filterbank:
    kernel_size: 16
    n_filters: 512
    stride: 8
masknet:
    bn_chan: 128
    hid_chan: 512
    mask_act: relu
    n_blocks: 8
    n_repeats: 3
    skip_chan: 128
optim:
    lr: 0.001
    optimizer: adam
    weight_decay: 0.0
training:
    batch_size: 24
    early_stop: True
    epochs: 200
    half_lr: True
    num_workers: 2

結果

Libri2Mix minテストセットでの結果は以下の通りです。

si_sdr: 14.764543634468069
si_sdr_imp: 14.764029375607246
sdr: 15.29337970745095
sdr_imp: 15.114146605113111
sir: 24.092904661115366
sir_imp: 23.913669683141528
sar: 16.06055906916849
sar_imp: -51.980784441287454
stoi: 0.9311142440593033
stoi_imp: 0.21817376142710482

📄 ライセンス

この作品 "ConvTasNet_Libri2Mix_sepclean_8k" は、Vassil Panayotovによる LibriSpeech ASR corpus の派生作品であり、CC BY 4.0 の下で使用されています。"ConvTasNet_Libri2Mix_sepclean_8k" は、Cosentino Jorisによって Attribution-ShareAlike 3.0 Unported の下でライセンスされています。