Ssast Base Patch Audioset 16 16

🚀 自监督音频频谱图变换器（在AudioSet/LibriSpeech上预训练）

自监督音频频谱图变换器（SSAST）模型，其分类器头部未初始化。该模型由Gong等人在论文 SSAST: Self-Supervised Audio Spectrogram Transformer 中提出，并首次在 此仓库 发布。

⚠️ 重要提示

发布音频频谱图变换器的团队并未为此模型撰写模型卡片。

✨ 主要特性

• 数据集：
  • agkphysics/AudioSet
  • openslr/librispeech_asr
• 任务标签：音频分类
• 许可证：BSD-3条款许可证
• 标签：音频分类

📚 详细文档

模型描述

音频频谱图变换器相当于 ViT，不过是应用于音频领域。首先将音频转换为图像（频谱图），然后应用视觉变换器。该模型在多个音频分类基准测试中取得了最先进的成果。

使用说明

该模型在大量音频数据上进行了预训练。由于分类器头部未初始化，请在使用前对其进行微调。