Free Svc

🚀 FreeSVC: ゼロショット多言語歌唱音声変換

FreeSVC は、有望な多言語ゼロショット歌唱音声変換モデルです。多くの言語固有の学習を必要とせずに、言語を越えた歌唱音声の変換を可能にします。GitHubリポジトリ。論文のarXivプレプリント。

🚀 クイックスタート

FreeSVCは、有望な多言語ゼロショット歌唱音声変換モデルです。多くの言語固有の学習を必要とせずに、言語を越えた歌唱音声の変換を可能にします。詳細については、GitHubリポジトリ と 論文のarXivプレプリント を参照してください。

✨ 主な機能

FreeSVCは、Speaker-invariant Clustering (SPIN) とECAPA2話者エンコーダを統合した拡張VITSアーキテクチャを利用しています。この組み合わせにより、話者の特徴を言語内容から効果的に分離し、複数の言語にわたる高品質で自然な音声変換を実現します。

📦 サポートされる言語

*注: "その他" カテゴリは、内容のないボーカルテクニックに使用されます。

🔧 モデルの概要

FreeSVCは、Speaker-invariant Clustering (SPIN) とECAPA2話者エンコーダを統合した拡張VITSアーキテクチャを利用しています。この組み合わせにより、話者の特徴を言語内容から効果的に分離し、複数の言語にわたる高品質で自然な音声変換を実現します。

📦 学習データセット

FreeSVCは、複数の言語をカバーする多様な音声と歌唱のデータセットで学習されました。

📄 ライセンス

FreeSVCは、Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0) ライセンスの下で公開されています。これは以下の意味を持ちます。

• このモデルは 研究および非商用目的でのみ使用できます。商用利用は厳禁です。
• 派生作品は 同じライセンスの下で共有されなければなりません。
• モデルを使用する際には、適切な引用を行わなければなりません。

ユーザーはまた、学習に使用された 元のデータセットのライセンスにも準拠しなければなりません。一部のデータセットには、CC BY-NC-SA 4.0 を超える追加の制限がある場合があります。モデルを使用する前に、それらの条件を確認し、遵守してください。

詳細については、CC BY-NC-SA 4.0ライセンス を参照してください。

📚 引用

@INPROCEEDINGS{10890068,
  author={Ferreira, Alef Iury and Gris, Lucas Rafael and Da Rosa, Augusto and Oliveira, Frederico and Casanova, Edresson and Sousa, Rafael and Junior, Arnaldo and Soares, Anderson and Filho, Arlindo Galvão},
  booktitle={ICASSP 2025 - 2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)}, 
  title={FreeSVC: Towards Zero-shot Multilingual Singing Voice Conversion}, 
  year={2025},
  volume={},
  number={},
  pages={1-5},
  keywords={Training;Source coding;Zero shot learning;Refining;Signal processing;Data models;Acoustics;Multilingual;Data mining;Speech synthesis;Singing Voice Conversion;Synthesis of Singing Voices;Cross-lingual and multilingual aspects in speech synthesis},
  doi={10.1109/ICASSP49660.2025.10890068}}