ConvTasNet_Libri3Mix_sepnoisy_8kオープンソース音声分離モデル - 8kHzのノイズ混じりの音声から3つの独立した音源を高精度に分離

Home

Convtasnet Libri3Mix Sepnoisy 8k

Developed by JorisCos

AsteroidフレームワークでトレーニングされたConvTasNetモデルで、混合音声から3つの独立した音源を分離するために設計されており、特に8kHzサンプリングレートのノイズを含む音声データに最適化されています。

音声分離

PyTorch

#マルチスピーカー分離 #低サンプリングレート音声処理 #ノイズ環境下での音声強調

Downloads 33

Release Time : 3/2/2022

Model Overview

このモデルはConvTasNetアーキテクチャを採用しており、音声源分離タスクに特化して設計されており、混合音声から3つの独立した音声源を分離することができ、特にノイズ環境下での音声分離に適しています。

Model Features

マルチソース音声分離

混合音声から3つの独立した音声源を同時に分離可能

ノイズ耐性

ノイズ環境下での音声分離に特化して最適化

軽量アーキテクチャ

効率的なConvTasNetアーキテクチャを採用し、リアルタイム処理に適している

Model Capabilities

音声源分離

ノイズ抑制

マルチスピーカー分離

Use Cases

音声処理

会議録音の強化

複数人が同時に話している録音から個々の話者のクリアな音声を分離

音声認識精度の向上が可能

音声ポストプロダクション

混合音声トラックから特定の話者の声を抽出

リミックスや編集が容易になる

支援技術

補聴機器

騒がしい環境でターゲット話者の音声を分離

聴覚障害ユーザーの聴覚体験を改善

🚀 Asteroidモデル `JorisCos/ConvTasNet_Libri3Mix_sepnoisy_8k`

このモデルは、音声分離に特化したAsteroidモデルで、Libri3Mixデータセットのsep_noisyタスクで訓練されています。特定の設定で訓練を行い、一定の性能を達成しています。

🚀 クイックスタート

このモデルは、Asteroidのlibrimixレシピを使用してJoris Cosentinoによって訓練されました。Libri3Mixデータセットのsep_noisyタスクで訓練されています。

✨ 主な機能

音声分離タスクに特化したConvTasNetベースのモデルです。
Libri3Mixデータセットで訓練され、一定の性能を持っています。

📦 インストール

原READMEにインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

原READMEに使用例のコードが記載されていないため、このセクションは省略されます。

📚 ドキュメント

訓練設定

data:
  n_src: 3
  sample_rate: 8000
  segment: 3
  task: sep_noisy
  train_dir: data/wav8k/min/train-360
  valid_dir: data/wav8k/min/dev
filterbank:
  kernel_size: 16
  n_filters: 512
  stride: 8
masknet:
  bn_chan: 128
  hid_chan: 512
  mask_act: relu
  n_blocks: 8
  n_repeats: 3
  n_src: 3
  skip_chan: 128
optim:
  lr: 0.001
  optimizer: adam
  weight_decay: 0.0
training:
  batch_size: 24
  early_stop: true
  epochs: 200
  half_lr: true
  num_workers: 4

結果

Libri3Mix minテストセットでの結果は以下の通りです。

si_sdr: 5.978836560066222
si_sdr_imp: 10.388889689413096
sdr: 6.8651365291740225
sdr_imp: 10.928018056925016
sir: 14.997089638783114
sir_imp: 18.08248357801549
sar: 8.127504792061933
sar_imp: -0.7869320540959925
stoi: 0.7669414686111115
stoi_imp: 0.20416563213078837

🔧 技術詳細

原READMEに技術詳細の具体的な説明が50文字以上記載されていないため、このセクションは省略されます。

📄 ライセンス

この作品 "ConvTasNet_Libri3Mix_sepnoisy_8k" は、Vassil Panayotovによる LibriSpeech ASR corpus の派生作品であり、CC BY 4.0 の下で使用されています。また、Whisper.ai によるThe WSJ0 Hipster Ambient Mixturesデータセットを CC BY - NC 4.0 (研究目的のみ) の下で使用しています。"ConvTasNet_Libri3Mix_sepnoisy_8k" は、Joris Cosentinoによって Attribution - ShareAlike 3.0 Unported の下でライセンスされています。