ConvTasNet_Libri2Mix_sepclean_8kオープンソース音声分離モデル

ホーム

Convtasnet Libri2Mix Sepclean 8k

JorisCosによって開発

Asteroidフレームワークを基に訓練されたConvTasNetモデルで、8kHzサンプリングレートの音声分離タスクに使用され、Libri2Mixデータセットで訓練されています。

音声分離

PyTorch

#デュアル音声分離 #8kHzオーディオ処理 #ConvTasNetアーキテクチャ

ダウンロード数 179

リリース時間 : 3/2/2022

モデル概要

このモデルは、混合オーディオからクリーンな音声信号を分離するために使用され、特に2人の話者のシナリオに適しています。

モデル特徴

効率的な音声分離

8kHzサンプリングレートで混合音声中の話者を効果的に分離できます。

最適化されたConvTasNetアーキテクチャ

8つのブロックと3回の繰り返しの深層ネットワーク構造を使用し、128個のスキップ接続チャネルを持ちます。

軽量訓練

バッチサイズ24と3秒のオーディオフラグメント長を使用して効率的に訓練されます。

モデル能力

2人の話者の音声分離

オーディオ信号強化

音声信号処理

使用事例

音声処理

会議記録分離

複数人の会議録音から個々の話者の音声を分離します。

SI - SDRが14.76dB向上

音声強化

背景ノイズや他の話者からターゲット音声を抽出します。

STOIが0.218向上

🚀 小惑星モデル `JorisCos/ConvTasNet_Libri2Mix_sepclean_8k`

このモデルは、音声分離タスクに特化したConvTasNetベースのモデルです。Asteroidフレームワークを用いてLibri2Mixデータセットで学習され、高い性能を発揮します。

🚀 クイックスタート

このモデルはZenodoからインポートされました。

✨ 主な機能

小惑星（Asteroid）関連の音声処理タスクに対応
ConvTasNetアーキテクチャを使用した高精度な音声分離
Libri2Mixデータセットのsep_cleanタスクで訓練されたモデル

📚 ドキュメント

モデルの訓練情報

このモデルはJoris CosentinoによってAsteroidのlibrimixレシピを使用して訓練されました。訓練にはLibri2Mixデータセットのsep_cleanタスクが使用されました。

訓練設定

data:
    n_src: 2
    sample_rate: 8000
    segment: 3
    task: sep_clean
    train_dir: data/wav8k/min/train-360
    valid_dir: data/wav8k/min/dev
filterbank:
    kernel_size: 16
    n_filters: 512
    stride: 8
masknet:
    bn_chan: 128
    hid_chan: 512
    mask_act: relu
    n_blocks: 8
    n_repeats: 3
    skip_chan: 128
optim:
    lr: 0.001
    optimizer: adam
    weight_decay: 0.0
training:
    batch_size: 24
    early_stop: True
    epochs: 200
    half_lr: True
    num_workers: 2

結果

Libri2Mix minテストセットでの結果は以下の通りです。

si_sdr: 14.764543634468069
si_sdr_imp: 14.764029375607246
sdr: 15.29337970745095
sdr_imp: 15.114146605113111
sir: 24.092904661115366
sir_imp: 23.913669683141528
sar: 16.06055906916849
sar_imp: -51.980784441287454
stoi: 0.9311142440593033
stoi_imp: 0.21817376142710482

ライセンス情報

この作品「ConvTasNet_Libri2Mix_sepclean_8k」は、Vassil PanayotovによるLibriSpeech ASR corpusの派生作品であり、CC BY 4.0の下で使用されています。「ConvTasNet_Libri2Mix_sepclean_8k」はCosentino JorisによってAttribution-ShareAlike 3.0 Unportedの下でライセンスされています。