Voicerestore

🚀 VoiceRestore: 音声録音品質回復のためのFlow-Matching Transformers

VoiceRestoreは、劣化した音声録音の品質を大幅に向上させるために設計された最先端の音声回復モデルです。Flow-Matching Transformersを活用して、このモデルは、背景雑音、残響、歪み、信号損失など、音声に一般的に見られるさまざまな音声の不備を解消するのに優れています。

このモデルは、このリポジトリをベースにしており、音声回復のデモはVoiceRestoreで確認できます。

🚀 クイックスタート

📦 インストール

!git lfs install
!git clone https://huggingface.co/jadechoghari/VoiceRestore
%cd VoiceRestore
!pip install -r requirements.txt

💻 使用例

基本的な使用法

from transformers import AutoModel
# モデルフォルダへのパス (Colabでは以下の通り)
checkpoint_path = "/content/VoiceRestore"
model = AutoModel.from_pretrained(checkpoint_path, trust_remote_code=True)
model("test_input.wav", "test_output.wav")
# 音声が10秒を超える場合はshort=Falseを追加
model("long.mp3", "long_output.mp3", short=False)

サンプル音声

劣化した入力音声

回復後の音声 (steps=32, cfg=1.0)

回復後の音声 - 16 steps, 強度 0.5

✨ 主な機能

• 万能回復機能：どのようなレベルやタイプの音声録音の劣化にも対応できます。まるで魔法のようです。
• 使いやすさ：劣化した音声ファイルを処理するためのシンプルなインターフェースが用意されています。
• 事前学習済みモデル：3億1000万のパラメータを持つ事前学習済みのTransformerモデルが含まれています。（モデルはまだ学習中であり、今後さらにチェックポイントが更新されます）

📚 ドキュメント

モデル詳細

制限事項と今後の展望

• 現在のモデルは音声に最適化されており、音楽やその他のタイプのオーディオでは最適な性能が得られない場合があります。
• 極端な劣化に対する性能向上のための研究が進行中です。
• 将来のアップデートでは、リアルタイム処理機能が追加される可能性があります。

引用

あなたの研究でVoiceRestoreを使用する場合は、以下の論文を引用してください。

@article{kirdey2024voicerestore,
  title={VoiceRestore: Flow-Matching Transformers for Speech Recording Quality Restoration},
  author={Kirdey, Stanislav},
  journal={arXiv},
  year={2024}
}

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。詳細についてはLICENSEファイルを参照してください。

謝辞

• LucidrainsによるE2-TTSの実装をベースにしています。
• オープンソースコミュニティの貴重な貢献に感謝します。
• このリポジトリはLucidrainsによるE2-TTSの実装をベースにしています。