ConvTasNet_Libri1Mix_enhsingleオープンソースモデル - 無料でデプロイし、単チャンネル音声増強をサポート

ホーム

Convtasnet Libri1Mix Enhsingle

mhu-coderによって開発

AsteroidフレームワークでトレーニングされたConvTasNetモデル、単一チャネル音声強調タスク用

オーディオ拡張

PyTorch

#単一チャネル音声強調 #高忠実度分離 #ConvTasNetアーキテクチャ

ダウンロード数 18

リリース時間 : 3/2/2022

モデル概要

このモデルはConvTasNetアーキテクチャを採用し、Libri1Mixデータセットのenh_singleタスクでトレーニングされ、主に単一チャネル音声強調に使用され、混合音声からターゲット音声信号を分離できます。

モデル特徴

効率的な音声分離

ConvTasNetアーキテクチャを採用し、混合音声からターゲット音声信号を効果的に分離できます

最適化されたトレーニング設定

Adamオプティマイザを使用し、学習率0.001、200エポックのトレーニングで最高のパフォーマンスを実現

高品質な結果

Libri1MixデータセットでSI-SDR 13.94とSTOI 0.92の優れたパフォーマンスを達成

モデル能力

単一チャネル音声強調

音声信号分離

音声品質向上

使用事例

音声処理

音声通信の強化

騒がしい環境での音声通信品質を向上

SI-SDRが10.49dB向上、音声明瞭度(STOI)が0.12向上

会議記録の強化

複数人の会議録音から特定の発言者の音声を分離

SDRが11.06dB向上

🚀 Asteroidモデル `mhu-coder/ConvTasNet_Libri1Mix_enhsingle`

このモデルは、音声処理に特化したAsteroidモデルで、小惑星（asteroid）や音声（audio）関連のタスクに使用できます。ConvTasNetアーキテクチャを採用し、libri1mixデータセットのenh_singleタスクで訓練されています。

🚀 クイックスタート

このモデルはZenodoからインポートされました。

✨ 主な機能

音声処理タスクに特化したConvTasNetベースのモデルです。
libri1mixデータセットのenh_singleタスクで訓練されています。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

このREADMEには具体的な使用例のコードが記載されていないため、このセクションをスキップします。

📚 ドキュメント

説明

このモデルは、Mathieu Hu氏によってAsteroidのlibrimix/ConvTasNetレシピを使用して訓練されました。Libri1Mixデータセットのenh_singleタスクで訓練されています。

訓練設定

data:
    n_src: 1
    sample_rate: 16000
    segment: 3
    task: enh_single
    train_dir: data/wav16k/min/train-100
    valid_dir: data/wav16k/min/dev
filterbank:
    kernel_size: 16
    n_filters: 512
    stride: 8
main_args:
    exp_dir: exp/train_convtasnet_f34664b9
    help: None
masknet:
    bn_chan: 128
    hid_chan: 512
    mask_act: relu
    n_blocks: 8
    n_repeats: 3
    n_src: 1
    skip_chan: 128
optim:
    lr: 0.001
    optimizer: adam
    weight_decay: 0.0
positional arguments:
training:
    batch_size: 2
    early_stop: True
    epochs: 200
    half_lr: True
    num_workers: 4

結果

si_sdr: 13.938355526049932
si_sdr_imp: 10.488574220190232
sdr: 14.567380104207393
sdr_imp: 11.064717304994337
sir: inf
sir_imp: nan
sar: 14.567380104207393
sar_imp: 11.064717304994337
stoi: 0.9201010933251715
stoi_imp: 0.1241812697846321

🔧 技術詳細

このREADMEには具体的な技術詳細の説明が50文字以上記載されていないため、このセクションをスキップします。

📄 ライセンス

この作品「ConvTasNet_Libri1Mx_enhsingle」は、LDCによるCSR-I (WSJ0) Completeの派生作品です。LDC User Agreement for Non - Members（研究用途のみ）の下で使用されています。「ConvTasNet_Libri1Mix_enhsingle」は、Mathieu Hu氏によってAttribution - ShareAlike 3.0 Unportedのライセンスの下で提供されています。