DPRNNTasNet-ks2 音声強化モデル - オープンソース無料のシングルチャンネル音声強化ツール

ホーム

Dprnntasnet Ks2 Libri1Mix Enhsingle 16k

JorisCosによって開発

Asteroidフレームワークを基に訓練されたオーディオ強化モデルで、単チャンネル音声強化タスクに特化し、Libri1Mixデータセットで訓練されました。

オーディオ拡張

PyTorch

#単チャンネル音声強化 #16kHzオーディオ処理 #DPRNNアーキテクチャ

ダウンロード数 4,859

リリース時間 : 3/2/2022

モデル概要

このモデルはDPRNNTasNetアーキテクチャを採用し、単チャンネル音声強化タスクに焦点を当て、混合オーディオからターゲット音声信号を分離し強化することができます。

モデル特徴

効率的な音声分離

DPRNNTasNetアーキテクチャを採用し、混合オーディオ中のターゲット音声を効果的に分離できます。

高品質強化

Libri1Mixテストセットで14.72dBのSI - SDR向上を達成しました。

リアルタイム処理能力

モデルの設計にはリアルタイム処理の要件が考慮され、ブロック処理能力を備えています。

モデル能力

単チャンネル音声強化

音声信号分離

オーディオ品質向上

使用事例

音声通信

ノイズ環境下の音声強化

背景ノイズのある環境で音声通話の品質を向上させます。

SI - SDRが11.27dB向上し、STOIが0.134向上しました。

オーディオ後処理

録音品質の改善

低品質の録音を強化処理します。

SDRが11.85dB向上しました。

🚀 小惑星モデル `JorisCos/DPRNNTasNet_Libri1Mix_enhsignle_16k`

このモデルは、音声分離や強化に特化したモデルで、Asteroid のライブラリを用いて訓練されました。Libri1Mixデータセットの enh_single タスクに対して最適化されています。

🚀 クイックスタート

このモデルは、音声データの強化や分離に使用できます。具体的な使用方法は、Asteroidライブラリのドキュメントを参照してください。

✨ 主な機能

音声分離と強化に特化したモデルです。
Libri1Mixデータセットの enh_single タスクに対して訓練されています。

🔧 技術詳細

訓練設定

data:
  n_src: 1
  sample_rate: 16000
  segment: 1
  task: enh_single
  train_dir: data/wav16k/min/train-360
  valid_dir: data/wav16k/min/dev
filterbank:
  kernel_size: 2
  n_filters: 64
  stride: 1
masknet:
  bidirectional: true
  bn_chan: 128
  chunk_size: 250
  dropout: 0
  hid_size: 128
  hop_size: 125
  in_chan: 64
  mask_act: sigmoid
  n_repeats: 6
  n_src: 1
  out_chan: 64
optim:
  lr: 0.001
  optimizer: adam
  weight_decay: 1.0e-05
training:
  batch_size: 2
  early_stop: true
  epochs: 200
  gradient_clipping: 5
  half_lr: true
  num_workers: 4

結果

Libri1Mix minテストセットでの結果は以下の通りです。

si_sdr: 14.7228101708889
si_sdr_imp: 11.2730288650292
sdr: 15.35661405197161
sdr_imp: 11.853951252758595
sir: Infinity
sir_imp: NaN
sar: 15.35661405197161
sar_imp: 11.853951252758595
stoi: 0.9300461826351578
stoi_imp: 0.13412635909461715

📄 ライセンス

この作品 "DPRNNTasNet_Libri1Mix_enhsignle_16k" は、Vassil Panayotovによる LibriSpeech ASR corpus の派生作品であり、CC BY 4.0 の下で使用されています。また、Whisper.ai による The WSJ0 Hipster Ambient Mixtures データセットを CC BY-NC 4.0 (研究目的のみ) の下で使用しています。"DPRNNTasNet_Libri1Mix_enhsignle_16k" は、Joris Cosentinoによって Attribution-ShareAlike 3.0 Unported の下でライセンスされています。