Ssast Base Patch Audioset 16 16

🚀 Self Supervised Audio Spectrogram Transformer (AudioSet/Librispeechで事前学習済み)

Self Supervised Audio Spectrogram Transformer (SSAST) モデルは、未初期化の分類器ヘッドを持っています。このモデルは、Gongらによる論文 SSAST: Self-Supervised Audio Spectrogram Transformer で紹介され、このリポジトリ で最初に公開されました。

📚 ドキュメント

データセット

モデルの説明

Audio Spectrogram Transformerは、ViT と同等ですが、オーディオに適用されています。オーディオは最初に画像（スペクトログラム）に変換され、その後にVision Transformerが適用されます。このモデルは、いくつかのオーディオ分類ベンチマークで最先端の結果を得ています。

使用方法

このモデルは大量のオーディオデータで事前学習されています。分類器ヘッドは未初期化の状態で提供されているため、使用前に微調整してください。

ライセンス

⚠️ 重要提示

このモデルのモデルカードを作成したのは、Audio Spectrogram Transformerを公開したチームではありません。