Ced Mini

🚀 CED-Miniモデル

CEDは、オーディオタギングに特化したシンプルなViT-Transformerベースのモデルで、Audiosetで最先端の性能を達成しています。

🚀 クイックスタート

CEDモデルは、オーディオタギングタスクにおいて高い性能を発揮します。以下のセクションでは、モデルのインストール、推論、ファインチューニングの方法を説明します。

✨ 主な機能

• 微調整の簡素化：メルスペクトログラムのバッチ正規化を行うことで、微調整時にデータセット全体の平均/分散を事前に計算する必要がありません（ASTでは一般的な処理）。
• 可変長入力のサポート：他の多くのモデルが静的な時間周波数位置埋め込みを使用しているのに対し、このモデルは10秒未満のセグメントへの汎化能力が高いです。多くの以前のトランスフォーマーは、性能への影響を避けるために入力を10秒にパディングしていましたが、これによりトレーニング/推論が大幅に遅くなっていました。
• トレーニング/推論の高速化：64次元のメルフィルタバンクと16x16の非重複パッチを使用することで、10秒のスペクトログラムから248個のパッチが生成されます。これに対し、ASTは128のメルフィルタバンクと16x16（10x10の重複）の畳み込みを使用し、トレーニング/推論時に1212個のパッチが生成されます。CED-Tinyは、一般的なCPU上で比較可能なMobileNetV3と同じくらい速く動作します。
• 性能：1000万のパラメータを持つCEDは、以前のアプローチの大部分（約8000万）を上回る性能を発揮します。

📦 インストール

pip install git+https://github.com/jimbozhang/hf_transformers_custom_model_ced.git

💻 使用例

基本的な使用法

>>> from ced_model.feature_extraction_ced import CedFeatureExtractor
>>> from ced_model.modeling_ced import CedForAudioClassification

>>> model_name = "mispeech/ced-mini"
>>> feature_extractor = CedFeatureExtractor.from_pretrained(model_name)
>>> model = CedForAudioClassification.from_pretrained(model_name)

>>> import torchaudio
>>> audio, sampling_rate = torchaudio.load("resources/JeD5V5aaaoI_931_932.wav")
>>> assert sampling_rate == 16000
>>> inputs = feature_extractor(audio, sampling_rate=sampling_rate, return_tensors="pt")

>>> import torch
>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = torch.argmax(logits, dim=-1).item()
>>> model.config.id2label[predicted_class_id]
'Finger snapping'

📚 ドキュメント

モデルのソース

• オリジナルリポジトリ: https://github.com/RicherMans/CED
• リポジトリ: https://github.com/jimbozhang/hf_transformers_custom_model_ced
• 論文: CED: Consistent ensemble distillation for audio tagging
• デモ: https://huggingface.co/spaces/mispeech/ced-base

モデルのパフォーマンス

ファインチューニング

example_finetune_esc50.ipynb は、CEDエンコーダを凍結した状態でESC-50データセット上で線形ヘッドをトレーニングする方法を示しています。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。