TIGER DnR

🚀 Apollo: Band-sequence Modeling for High-Quality Audio Restoration

Apolloは、高品質な音声復元のための帯域シーケンスモデリング技術を用いた音声分離モデルです。このモデルは、周波数帯域分割、マルチスケール、全周波数フレームモデリングを通じて、重要な音響特徴を効果的に抽出します。

🚀 クイックスタート

事前学習済みモデルでのテスト

# 音声を使ったテスト
python inference_speech.py --audio_path test/mix.wav

# DnRを使ったテスト
python inference_dnr.py --audio_path test/test_mixture_466.wav

EchoSetでの学習

python audio_train.py --conf_dir configs/tiger.yml

EchoSetでの評価

python audio_test.py --conf_dir configs/tiger.yml

✨ 主な機能

• TIGERは、音声分離のための軽量モデルで、周波数帯域分割、マルチスケール、全周波数フレームモデリングを通じて、重要な音響特徴を効果的に抽出します。
• マルチスケール選択的注意機構（MSA）モジュールを用いて文脈特徴を抽出し、全周波数フレーム注意機構（F^3A）モジュールを導入して時間的および周波数的な文脈情報を捕捉します。
• 複雑な音響環境における音声分離モデルの性能をより現実的に評価するために、EchoSetという新しいデータセットを導入しました。

💥 ニュース

• [2025-01-23] TIGERのコードと事前学習済みモデルをリリースしました！ 🚀
• [2025-01-23] TIGERモデルとEchoSetデータセットをリリースしました！ 🚀

📜 概要

本論文では、パラメータサイズと計算コストを大幅に削減した音声分離モデルであるTime-Frequency Interleaved Gain Extraction and Reconstruction Network (TIGER)を提案します。TIGERは、事前知識を利用して周波数帯域を分割し、周波数情報に対して圧縮を適用します。マルチスケール選択的注意機構（MSA）モジュールを用いて文脈特徴を抽出し、全周波数フレーム注意機構（F^3A）モジュールを導入して時間的および周波数的な文脈情報を捕捉します。さらに、複雑な音響環境における音声分離モデルの性能をより現実的に評価するために、EchoSetという新しいデータセットを導入しました。このデータセットには、ノイズとより現実的な残響（物体の遮蔽や材料特性を考慮）が含まれ、2人の話者の音声がランダムな比率で重なっています。実験結果から、TIGERはEchoSetデータセット上で、最先端（SOTA）のモデルであるTF-GridNetを推論速度と分離品質の両面で大幅に上回り、パラメータ数を94.3％、MACsを95.3％削減しました。これらの結果は、周波数帯域分割とインターリーブモデリング構造を利用することで、TIGERが高性能を維持しながらパラメータと計算コストを大幅に削減できることを示しています。特に、TIGERは100万未満のパラメータでSOTAモデルに近い性能を達成した最初の音声分離モデルです。

📖 引用

@article{xu2024tiger,
  title={TIGER: Time-frequency Interleaved Gain Extraction and Reconstruction for Efficient Speech Separation},
  author={Xu, Mohan and Li, Kai and Chen, Guo and Hu, Xiaolin},
  journal={arXiv preprint arXiv:2410.01469},
  year={2024}
}

📧 連絡先

何か質問があれば、tsinghua.kaili@gmail.com までお気軽にご連絡ください。

Mohan Xu^*, Kai Li^*, Guo Chen, Xiaolin Hu
清華大学, 北京, 中国
^*同等の貢献
📜 ICLR 2025 | 🎶 デモ | 🤗 データセット

> TIGERは、周波数帯域分割、マルチスケール、全周波数フレームモデリングを通じて、重要な音響特徴を効果的に抽出する音声分離のための軽量モデルです。