🚀 SONICS: Synthetic Or Not - Identifying Counterfeit Songs

SONICSは、合成楽曲の検出を目的としたプロジェクトです。新しいデータセットとアーキテクチャを用いて、偽の楽曲を高精度に識別します。これにより、音楽の芸術性を守り、偽の楽曲の拡散を防ぎます。

SONICS: Synthetic Or Not - Identifying Counterfeit Songs

ICLR 2025 [Poster]

✨ 主な機能

• 新しいデータセットSONICSを用いて、エンドツーエンドの合成楽曲検出を行います。
• 新しいアーキテクチャSpecTTTraを導入し、時間とメモリ効率を大幅に向上させます。
• 長い楽曲に対しても高精度な検出を行い、既存のモデルを上回る性能を発揮します。

📦 インストール

# Install from GitHub
!pip install git+https://github.com/awsaf49/sonics.git

💻 使用例

基本的な使用法

# Load model
from sonics import HFAudioClassifier
model = HFAudioClassifier.from_pretrained("awsaf49/sonics-spectttra-alpha-120s")

📚 ドキュメント

概要

最近のAI生成楽曲の急増は、新しい可能性と課題をもたらしています。これらの革新により、人間が作曲した楽曲と合成楽曲を区別する能力が必要となっています。既存の研究やデータセットは、歌唱のディープフェイク検出に焦点を当てていますが、現代のエンドツーエンドの人工楽曲の検出には不十分です。そこで、我々はSONICSという新しいデータセットを導入し、楽曲の長期的な時間依存性をモデリングする重要性を強調します。また、SpecTTTraという新しいアーキテクチャを提案し、従来のCNNやTransformerベースのモデルよりも時間とメモリ効率を大幅に向上させました。

リンク

• 論文
• データセット
• ArXiv
• GitHub

モデルの性能

モデル名	HFリンク	バリアント	時間	f_clip	t_clip	F1	感度	特異度	速度 (A/S)	FLOPs (G)	メモリ (GB)	# Act. (M)	# パラメータ (M)
sonics-spectttra-alpha-5s	HF	SpecTTTra-α	5s	1	3	0.78	0.69	0.94	148	2.9	0.5	6	17
sonics-spectttra-beta-5s	HF	SpecTTTra-β	5s	3	5	0.78	0.69	0.94	152	1.1	0.2	5	17
sonics-spectttra-gamma-5s	HF	SpecTTTra-γ	5s	5	7	0.76	0.66	0.92	154	0.7	0.1	2	17
sonics-spectttra-alpha-120s	HF	SpecTTTra-α	120s	1	3	0.97	0.96	0.99	47	23.7	3.9	50	19
sonics-spectttra-beta-120s	HF	SpecTTTra-β	120s	3	5	0.92	0.86	0.99	80	14.0	2.3	29	21
sonics-spectttra-gamma-120s	HF	SpecTTTra-γ	120s	5	7	0.88	0.79	0.99	97	10.1	1.6	20	24

モデルアーキテクチャ

音声処理

🔧 技術詳細

楽曲の長期的な時間依存性をモデリングすることは、合成楽曲の検出において重要です。既存の方法ではこの点が全く無視されていましたが、我々のSpecTTTraアーキテクチャはこの問題を解決します。SpecTTTraは、時間とメモリ効率を大幅に向上させ、長い楽曲に対しても高精度な検出を行うことができます。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

üìù 引用

@inproceedings{rahman2024sonics,
        title={SONICS: Synthetic Or Not - Identifying Counterfeit Songs},
        author={Rahman, Md Awsafur and Hakim, Zaber Ibn Abdul and Sarker, Najibul Haque and Paul, Bishmoy and Fattah, Shaikh Anowarul},
        booktitle={International Conference on Learning Representations (ICLR)},
        year={2025},
      }