ConvTasNet_Libri3Mix_sepnoisy_8kオープンソース音声分離モデル - 8kHzのノイズ混じりの音声から3つの独立した音源を高精度に分離

ホーム

Convtasnet Libri3Mix Sepnoisy 8k

JorisCosによって開発

AsteroidフレームワークでトレーニングされたConvTasNetモデルで、混合音声から3つの独立した音源を分離するために設計されており、特に8kHzサンプリングレートのノイズを含む音声データに最適化されています。

音声分離

PyTorch

#マルチスピーカー分離 #低サンプリングレート音声処理 #ノイズ環境下での音声強調

ダウンロード数 33

リリース時間 : 3/2/2022

モデル概要

このモデルはConvTasNetアーキテクチャを採用しており、音声源分離タスクに特化して設計されており、混合音声から3つの独立した音声源を分離することができ、特にノイズ環境下での音声分離に適しています。

モデル特徴

マルチソース音声分離

混合音声から3つの独立した音声源を同時に分離可能

ノイズ耐性

ノイズ環境下での音声分離に特化して最適化

軽量アーキテクチャ

効率的なConvTasNetアーキテクチャを採用し、リアルタイム処理に適している

モデル能力

音声源分離

ノイズ抑制

マルチスピーカー分離

使用事例

音声処理

会議録音の強化

複数人が同時に話している録音から個々の話者のクリアな音声を分離

音声認識精度の向上が可能

音声ポストプロダクション

混合音声トラックから特定の話者の声を抽出

リミックスや編集が容易になる

支援技術

補聴機器

騒がしい環境でターゲット話者の音声を分離

聴覚障害ユーザーの聴覚体験を改善

🚀 Asteroidモデル `JorisCos/ConvTasNet_Libri3Mix_sepnoisy_8k`

このモデルは、音声分離に特化したAsteroidモデルで、Libri3Mixデータセットのsep_noisyタスクで訓練されています。特定の設定で訓練を行い、一定の性能を達成しています。

🚀 クイックスタート

このモデルは、Asteroidのlibrimixレシピを使用してJoris Cosentinoによって訓練されました。Libri3Mixデータセットのsep_noisyタスクで訓練されています。

✨ 主な機能

音声分離タスクに特化したConvTasNetベースのモデルです。
Libri3Mixデータセットで訓練され、一定の性能を持っています。

📦 インストール

原READMEにインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

原READMEに使用例のコードが記載されていないため、このセクションは省略されます。

📚 ドキュメント

訓練設定

data:
  n_src: 3
  sample_rate: 8000
  segment: 3
  task: sep_noisy
  train_dir: data/wav8k/min/train-360
  valid_dir: data/wav8k/min/dev
filterbank:
  kernel_size: 16
  n_filters: 512
  stride: 8
masknet:
  bn_chan: 128
  hid_chan: 512
  mask_act: relu
  n_blocks: 8
  n_repeats: 3
  n_src: 3
  skip_chan: 128
optim:
  lr: 0.001
  optimizer: adam
  weight_decay: 0.0
training:
  batch_size: 24
  early_stop: true
  epochs: 200
  half_lr: true
  num_workers: 4

結果

Libri3Mix minテストセットでの結果は以下の通りです。

si_sdr: 5.978836560066222
si_sdr_imp: 10.388889689413096
sdr: 6.8651365291740225
sdr_imp: 10.928018056925016
sir: 14.997089638783114
sir_imp: 18.08248357801549
sar: 8.127504792061933
sar_imp: -0.7869320540959925
stoi: 0.7669414686111115
stoi_imp: 0.20416563213078837

🔧 技術詳細

原READMEに技術詳細の具体的な説明が50文字以上記載されていないため、このセクションは省略されます。

📄 ライセンス

この作品 "ConvTasNet_Libri3Mix_sepnoisy_8k" は、Vassil Panayotovによる LibriSpeech ASR corpus の派生作品であり、CC BY 4.0 の下で使用されています。また、Whisper.ai によるThe WSJ0 Hipster Ambient Mixturesデータセットを CC BY - NC 4.0 (研究目的のみ) の下で使用しています。"ConvTasNet_Libri3Mix_sepnoisy_8k" は、Joris Cosentinoによって Attribution - ShareAlike 3.0 Unported の下でライセンスされています。