ConvTasNet_Libri2Mix_sepnoisy_16kオープンソース音声モデル

ホーム

Convtasnet Libri2Mix Sepnoisy 16k

JorisCosによって開発

Asteroidフレームワークを基に訓練されたConvTasNetモデルで、雑音付き音声分離タスクに使用され、Libri2Mixデータセットで訓練されています。

音声分離

PyTorch

#雑音付き音声分離 #16kHzオーディオ処理 #ConvTasNetアーキテクチャ

ダウンロード数 8,407

リリース時間 : 3/2/2022

モデル概要

このモデルはConvTasNetアーキテクチャを採用し、雑音付きの混合オーディオから明瞭な音声信号を分離するために特別に設計されており、音声強化と分離タスクに適しています。

モデル特徴

効率的な音声分離

雑音環境下でも音声信号を効果的に分離し、音声の明瞭度を向上させることができます。

最適化されたConvTasNetアーキテクチャ

8つのブロックと3回の繰り返しのマスクネットワーク構造を採用し、スキップ接続を組み合わせて分離効果を最適化しています。

高品質の訓練データ

Libri2MixとWSJ0 Hipster Ambient Mixturesデータセットを基に訓練されており、モデルの汎化能力を確保しています。

モデル能力

雑音付き音声分離

音声強化

複数話者分離

使用事例

音声処理

音声強化

雑音の多い環境で明瞭な音声信号を抽出し、音声認識の前処理に適しています。

SI - SDRが12.55dB向上、STOIが0.224向上

会議記録

会議録音から異なる話者の音声を分離し、文字起こしの精度を向上させます。

SIRが24.37dB向上

🚀 Asteroidモデル `JorisCos/ConvTasNet_Libri2Mix_sepnoisy_16k`

このモデルは、音声分離タスクに特化したモデルです。Joris CosentinoによってAsteroidのlibrimixレシピを使用して訓練され、Libri2Mixデータセットのsep_noisyタスクに対応しています。

📚 詳細ドキュメント

説明

このモデルはJoris Cosentinoにより、Asteroidのlibrimixレシピを用いて訓練されました。Libri2Mixデータセットのsep_noisyタスクで訓練されています。

訓練設定

data:
    n_src: 2
    sample_rate: 16000
    segment: 3
    task: sep_noisy
    train_dir: data/wav16k/min/train-360
    valid_dir: data/wav16k/min/dev
filterbank:
    kernel_size: 32
    n_filters: 512
    stride: 16
masknet:
    bn_chan: 128
    hid_chan: 512
    mask_act: relu
    n_blocks: 8
    n_repeats: 3
    n_src: 2
    skip_chan: 128
optim:
    lr: 0.001
    optimizer: adam
    weight_decay: 0.0
training:
    batch_size: 6
    early_stop: true
    epochs: 200
    half_lr: true
    num_workers: 4

結果

Libri2Mix minテストセットでの結果は以下の通りです。

si_sdr: 10.617130949793383
si_sdr_imp: 12.551811412989263
sdr: 11.231867464482065
sdr_imp: 13.059765009747343
sir: 24.461138352988346
sir_imp: 24.371856452307703
sar: 11.5649982725426
sar_imp: 4.662525705768228
stoi: 0.8701085138712695
stoi_imp: 0.2245418019822898

ライセンス

この作品「ConvTasNet_Libri2Mix_sepnoisy_16k」は、Vassil PanayotovによるLibriSpeech ASR corpus（CC BY 4.0の下で使用）と、Whisper.aiによるThe WSJ0 Hipster Ambient Mixturesデータセット（CC BY - NC 4.0（研究のみ）の下で使用）の派生作品です。「ConvTasNet_Libri2Mix_sepnoisy_16k」はJoris CosentinoによりAttribution - ShareAlike 3.0 Unportedの下でライセンスされています。