🚀 SONICS: Synthetic Or Not - 偽の曲を識別する

SONICSは、AI生成曲と人間が作曲した曲を区別することで、音楽の芸術的な完全性を守ります。新しいデータセットとアーキテクチャを導入することで、効果的な偽曲検出を実現します。

SONICS: Synthetic Or Not - Identifying Counterfeit Songs

ICLR 2025 [Poster]

🚀 クイックスタート

このセクションでは、SONICSを使って始めるための基本的な手順を説明します。

✨ 主な機能

• AI生成曲と人間が作曲した曲の識別
• 新しいデータセットSONICSを使用した学習
• 長時間の曲の検出に適したSpecTTTraアーキテクチャ

📦 インストール

# Install from GitHub
!pip install git+https://github.com/awsaf49/sonics.git

💻 使用例

基本的な使用法

# Install from GitHub
!pip install git+https://github.com/awsaf49/sonics.git

# Load model
from sonics import HFAudioClassifier
model = HFAudioClassifier.from_pretrained("awsaf49/sonics-spectttra-gamma-5s")

📚 ドキュメント

🔗 リンク

• 📄 論文
• 🎵 データセット
• 🔬 ArXiv
• 💻 GitHub

🏆 モデルの性能

モデル名	HFリンク	バリアント	時間	f_clip	t_clip	F1	感度	特異度	速度 (A/S)	FLOPs (G)	メモリ (GB)	# Act. (M)	# パラメータ (M)
sonics-spectttra-alpha-5s	HF	SpecTTTra-α	5s	1	3	0.78	0.69	0.94	148	2.9	0.5	6	17
sonics-spectttra-beta-5s	HF	SpecTTTra-β	5s	3	5	0.78	0.69	0.94	152	1.1	0.2	5	17
sonics-spectttra-gamma-5s	HF	SpecTTTra-γ	5s	5	7	0.76	0.66	0.92	154	0.7	0.1	2	17
sonics-spectttra-alpha-120s	HF	SpecTTTra-α	120s	1	3	0.97	0.96	0.99	47	23.7	3.9	50	19
sonics-spectttra-beta-120s	HF	SpecTTTra-β	120s	3	5	0.92	0.86	0.99	80	14.0	2.3	29	21
sonics-spectttra-gamma-120s	HF	SpecTTTra-γ	120s	5	7	0.88	0.79	0.99	97	10.1	1.6	20	24

📐 モデルアーキテクチャ

🎶 音声処理

🔧 技術詳細

最近のAI生成曲の急増により、AI生成曲と人間が作曲した曲を区別する必要が生じています。既存の研究やデータセットは、歌唱音声のディープフェイク検出に焦点を当てており、すべての要素がAI生成された現代のエンドツーエンドの人工曲の検出には不十分です。そこで、我々は新しいデータセットSONICSと、長時間の曲の検出に適したSpecTTTraアーキテクチャを導入しました。SpecTTTraは、従来のCNNやTransformerベースのモデルよりも時間とメモリ効率を大幅に向上させます。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📝 引用

@inproceedings{rahman2024sonics,
        title={SONICS: Synthetic Or Not - Identifying Counterfeit Songs},
        author={Rahman, Md Awsafur and Hakim, Zaber Ibn Abdul and Sarker, Najibul Haque and Paul, Bishmoy and Fattah, Shaikh Anowarul},
        booktitle={International Conference on Learning Representations (ICLR)},
        year={2025},
      }