Ssast Base Patch Audioset 16 16

🚀 自監督音頻頻譜圖變換器（在AudioSet/LibriSpeech上預訓練）

自監督音頻頻譜圖變換器（SSAST）模型，其分類器頭部未初始化。該模型由Gong等人在論文 SSAST: Self-Supervised Audio Spectrogram Transformer 中提出，並首次在 此倉庫 發佈。

⚠️ 重要提示

發佈音頻頻譜圖變換器的團隊並未為此模型撰寫模型卡片。

✨ 主要特性

• 數據集：
  • agkphysics/AudioSet
  • openslr/librispeech_asr
• 任務標籤：音頻分類
• 許可證：BSD-3條款許可證
• 標籤：音頻分類

📚 詳細文檔

模型描述

音頻頻譜圖變換器相當於 ViT，不過是應用於音頻領域。首先將音頻轉換為圖像（頻譜圖），然後應用視覺變換器。該模型在多個音頻分類基準測試中取得了最先進的成果。

使用說明

該模型在大量音頻數據上進行了預訓練。由於分類器頭部未初始化，請在使用前對其進行微調。