Ced Tiny

🚀 CED-Tinyモデル

CEDは、オーディオタギングに特化したシンプルなViT-Transformerベースのモデルで、AudioSetデータセットにおいて最先端の性能を達成しています。

🚀 クイックスタート

CED-Tinyモデルは、オーディオ分類タスクにおいて高い性能を発揮するモデルです。以下では、このモデルのインストール方法や使用例を紹介します。

✨ 主な機能

• シンプルなファインチューニング：Melスペクトログラムのバッチ正規化を行うことで、ファインチューニング時にデータセット全体の平均や分散を事前に計算する必要がありません。
• 可変長入力のサポート：多くの他のモデルが静的な時間周波数位置埋め込みを使用しているのに対し、このモデルは可変長入力をサポートしており、10秒未満のセグメントに対する汎化能力が高いです。
• 高速な学習と推論：64次元のメルフィルタバンクと16x16の非オーバーラップパッチを使用することで、学習と推論の速度が向上しています。
• 高い性能：1000万パラメータのCEDモデルが、約8000万パラメータの従来のアプローチを上回る性能を発揮します。

📦 インストール

pip install git+https://github.com/jimbozhang/hf_transformers_custom_model_ced.git

💻 使用例

基本的な使用法

>>> from ced_model.feature_extraction_ced import CedFeatureExtractor
>>> from ced_model.modeling_ced import CedForAudioClassification

>>> model_name = "mispeech/ced-tiny"
>>> feature_extractor = CedFeatureExtractor.from_pretrained(model_name)
>>> model = CedForAudioClassification.from_pretrained(model_name)

>>> import torchaudio
>>> audio, sampling_rate = torchaudio.load("resources/JeD5V5aaaoI_931_932.wav")
>>> assert sampling_rate == 16000
>>> inputs = feature_extractor(audio, sampling_rate=sampling_rate, return_tensors="pt")

>>> import torch
>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> predicted_class_id = torch.argmax(logits, dim=-1).item()
>>> model.config.id2label[predicted_class_id]
'Finger snapping'

高度な使用法

example_finetune_esc50.ipynb は、CEDエンコーダを固定した状態でESC-50データセット上で線形ヘッドを学習する方法を示しています。

📚 ドキュメント

モデルの性能比較

モデルのソース

• オリジナルリポジトリ: https://github.com/RicherMans/CED
• リポジトリ: https://github.com/jimbozhang/hf_transformers_custom_model_ced
• 論文: CED: Consistent ensemble distillation for audio tagging
• デモ: https://huggingface.co/spaces/mispeech/ced-base

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。