ConvTasNet_Libri2Mix_sepnoisy_8kオープンソースモデル - 無料でデプロイし、8kHzのノイズ混入音声分離の難問を解決

ホーム

Convtasnet Libri2Mix Sepnoisy 8k

JorisCosによって開発

Asteroidフレームワークを基に訓練されたConvTasNetモデルで、8kHzサンプリングレートの音声分離タスクに使用され、特にノイズを含む混合音声シーンに対応しています。

音声分離

PyTorch

#ステレオ音声分離 #低SN比強化 #8kHzオーディオ処理

ダウンロード数 31

リリース時間 : 3/2/2022

モデル概要

このモデルはConvTasNetアーキテクチャを採用し、Libri2Mixデータセットの「sep_noisy」タスクで訓練され、ノイズを含む混合オーディオから明瞭な音声信号を分離することができます。

モデル特徴

ノイズロバスト性

ノイズを含む混合音声に特化して最適化されており、背景ノイズと音声信号を効果的に分離できます。

軽量アーキテクチャ

ConvTasNetアーキテクチャを採用し、高い分離性能を維持しながら低い計算複雑度を持ちます。

8kHz最適化

8kHzサンプリングレートのオーディオに特化して最適化されており、電話音声などの低帯域シーンに適しています。

モデル能力

音声分離

ノイズ抑制

オーディオ強化

使用事例

音声通信

電話音声強化

騒がしい環境での電話通話の音声の明瞭度を向上させます。

SI - SDRが11.94dB向上、STOIが0.207向上

オーディオ後処理

録音ノイズ除去

環境ノイズを含む録音から純粋な音声を分離します。

SIRが22.46dB向上、SARが4.25dB向上

🚀 Asteroidモデル `JorisCos/ConvTasNet_Libri2Mix_sepnoisy_8k`

このモデルは、音声分離タスクに特化したAsteroidモデルで、Libri2Mixデータセットのsep_noisyタスクに対して訓練されています。

🚀 クイックスタート

このモデルはZenodoからインポートされました。

✨ 主な機能

このモデルはJoris Cosentinoによって、Asteroidのlibrimixレシピを使用して訓練されました。
Libri2Mixデータセットのsep_noisyタスクで訓練されています。

📚 ドキュメント

訓練設定

data:
    n_src: 2
    sample_rate: 8000
    segment: 3
    task: sep_noisy
    train_dir: data/wav8k/min/train-360
    valid_dir: data/wav8k/min/dev
filterbank:
    kernel_size: 16
    n_filters: 512
    stride: 8
masknet:
    bn_chan: 128
    hid_chan: 512
    mask_act: relu
    n_blocks: 8
    n_repeats: 3
    skip_chan: 128
optim:
    lr: 0.001
    optimizer: adam
    weight_decay: 0.0
training:
    batch_size: 24
    early_stop: True
    epochs: 200
    half_lr: True
    num_workers: 4

結果

Libri2Mixの最小テストセットでの結果は以下の通りです。

si_sdr: 9.944424856077259
si_sdr_imp: 11.939395359731192
sdr: 10.701526190782072
sdr_imp: 12.481757547845662
sir: 22.633644975545575
sir_imp: 22.45666740833025
sar: 11.131644100944868
sar_imp: 4.248489589311784
stoi: 0.852048619949357
stoi_imp: 0.2071994899565506

📄 ライセンス

この作品「ConvTasNet_Libri2Mix_sepnoisy_8k」は、Vassil PanayotovによるLibriSpeech ASR corpus（CC BY 4.0の下で使用）と、Whisper.aiによるThe WSJ0 Hipster Ambient Mixturesデータセット（CC BY - NC 4.0（研究目的のみ）の下で使用）の派生作品です。「ConvTasNet_Libri2Mix_sepnoisy_8k」はJoris CosentinoによってAttribution - ShareAlike 3.0 Unportedの下でライセンスされています。