Ced Base

🚀 CED-Baseモデル

CEDは、オーディオタギングに特化したシンプルなViT-Transformerベースのモデルで、Audiosetで最先端の性能を達成しています。

他の既存モデルとの顕著な違いは以下の通りです。

1. ファインチューニングの簡素化：メルスペクトログラムのバッチ正規化。ファインチューニング時に、ASTで一般的なデータセット全体の平均/分散を事前に計算する必要がありません。
2. 可変長入力のサポート。他の多くのモデルは静的な時間周波数位置埋め込みを使用しており、これは10秒未満のセグメントへのモデルの汎化能力を阻害します。以前の多くのトランスフォーマーは、性能への影響を避けるために入力を10秒にパディングしていましたが、これによりトレーニング/推論が大幅に遅くなります。
3. トレーニング/推論の高速化：64次元のメルフィルタバンクと16x16の重複しないパッチを使用することで、10秒のスペクトログラムから248個のパッチが生成されます。これに対し、ASTは1212個のパッチを生成する128のメルフィルタバンクと16x16（10x10の重複）の畳み込みを使用しています。CED-Tinyは、一般的なCPU上で同等のMobileNetV3と同じくらい速く動作します。
4. 性能：10Mのパラメータを持つCEDは、以前のアプローチの大部分（約80M）を上回っています。

モデルのソース

• オリジナルリポジトリ: https://github.com/RicherMans/CED
• リポジトリ: https://github.com/jimbozhang/hf_transformers_custom_model_ced
• 論文: CED: Consistent ensemble distillation for audio tagging
• デモ: https://huggingface.co/spaces/mispeech/ced-base

🚀 クイックスタート

📦 インストール

pip install git+https://github.com/jimbozhang/hf_transformers_custom_model_ced.git

💻 使用例

基本的な使用法

>>> from ced_model.feature_extraction_ced import CedFeatureExtractor
>>> from ced_model.modeling_ced import CedForAudioClassification

>>> model_name = "mispeech/ced-base"
>>> feature_extractor = CedFeatureExtractor.from_pretrained(model_name)
>>> model = CedForAudioClassification.from_pretrained(model_name)

>>> import torchaudio
>>> audio, sampling_rate = torchaudio.load("resources/JeD5V5aaaoI_931_932.wav")
>>> assert sampling_rate == 16000
>>> inputs = feature_extractor(audio, sampling_rate=sampling_rate, return_tensors="pt")

>>> import torch
>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = torch.argmax(logits, dim=-1).item()
>>> model.config.id2label[predicted_class_id]
'Finger snapping'

🔧 技術詳細

ファインチューニング

example_finetune_esc50.ipynb は、CEDエンコーダを凍結した状態でESC-50データセット上で線形ヘッドをトレーニングする方法を示しています。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。