Ced Small

🚀 CED-Smallモデル

CEDは、オーディオタギングに特化したシンプルなViT-Transformerベースのモデルで、AudioSetで最先端の性能を達成しています。

他の既存モデルとの顕著な違いは以下の通りです：

1. ファインチューニングの簡素化：メルスペクトログラムのバッチ正規化。ファインチューニング時に、ASTで一般的なデータセット全体の平均/分散の事前計算は不要です。
2. 可変長入力のサポート。他の多くのモデルは静的な時間周波数位置埋め込みを使用しており、10秒未満のセグメントへのモデルの汎化能力を制限しています。以前の多くのトランスフォーマーは、性能への影響を避けるために入力を10秒にパディングしており、これがトレーニング/推論を大幅に遅くしていました。
3. トレーニング/推論の高速化：64次元のメルフィルタバンクと16x16の非重複パッチを使用し、10秒のスペクトログラムから248個のパッチを生成します。これに対し、ASTは128のメルフィルタバンクと16x16（10x10の重複）の畳み込みを使用し、トレーニング/推論時に1212個のパッチを生成します。CED-Tinyは、一般的なCPU上で同等のMobileNetV3と同じくらい速く動作します。
4. 性能：1000万のパラメータを持つCEDは、以前のアプローチの大部分（約8000万）を上回っています。

モデルのソース

• オリジナルリポジトリ: https://github.com/RicherMans/CED
• リポジトリ: https://github.com/jimbozhang/hf_transformers_custom_model_ced
• 論文: CED: Consistent ensemble distillation for audio tagging
• デモ: https://huggingface.co/spaces/mispeech/ced-base

🚀 クイックスタート

📦 インストール

pip install git+https://github.com/jimbozhang/hf_transformers_custom_model_ced.git

💻 使用例

基本的な使用法

>>> from ced_model.feature_extraction_ced import CedFeatureExtractor
>>> from ced_model.modeling_ced import CedForAudioClassification

>>> model_name = "mispeech/ced-small"
>>> feature_extractor = CedFeatureExtractor.from_pretrained(model_name)
>>> model = CedForAudioClassification.from_pretrained(model_name)

>>> import torchaudio
>>> audio, sampling_rate = torchaudio.load("resources/JeD5V5aaaoI_931_932.wav")
>>> assert sampling_rate == 16000
>>> inputs = feature_extractor(audio, sampling_rate=sampling_rate, return_tensors="pt")

>>> import torch
>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = torch.argmax(logits, dim=-1).item()
>>> model.config.id2label[predicted_class_id]
'Finger snapping'

📚 ドキュメント

ファインチューニング

example_finetune_esc50.ipynb は、CEDエンコーダを固定した状態でESC-50データセット上で線形ヘッドをトレーニングする方法を示しています。

📄 ライセンス

本モデルはApache-2.0ライセンスの下で提供されています。