Hubert Base Audioset

🚀 事前学習済みオーディオ表現モデル（AudioSet）のモデルカード

このモデルカードは、ALMによって公開された事前学習済みオーディオ表現モデルに関する情報を提供します。これらのモデルは、全AudioSetデータセットで事前学習されており、汎用的なオーディオ表現学習（ARL）タスクに使用されます。

🚀 クイックスタート

これらの事前学習済みモデルは、音声認識、音楽分類、音響イベント検出など、幅広いARLタスクに使用できます。特徴抽出の強力なツールとして機能し、下流のアプリケーション用にタスク固有のデータセットで微調整することができます。

✨ 主な機能

• 全AudioSetデータセットで事前学習された、汎用的なオーディオ表現学習モデル。
• 音声認識、音楽分類、音響イベント検出などの幅広いタスクに対応。
• 特徴抽出に使用でき、下流のアプリケーション用に微調整可能。

📚 ドキュメント

モデル

1. ALM/hubert-base-audioset

• アーキテクチャ：HuBERT（Hubert-Base）トランスフォーマーベースのモデル
• 説明：このモデルはHuBERTアーキテクチャに基づいており、全AudioSetデータセットで事前学習されています。

2. ALM/hubert-large-audioset

• アーキテクチャ：HuBERT（Hubert-Large）トランスフォーマーベースのモデル
• 説明：hubert-base-audiosetモデルと同様ですが、サイズが大きく、全AudioSetデータセットからのオーディオ表現を捉える能力が向上しています。

3. ALM/wav2vec2-base-audioset

• アーキテクチャ：Wav2Vec 2.0（Wav2Vec2-Base）トランスフォーマーベースのモデル
• 説明：このモデルはWav2Vec 2.0アーキテクチャに基づいており、SSLとCPCを使用して全AudioSetデータセットで学習されています。HuBERTモデルとは異なるアプローチでオーディオ表現学習を行います。

4. ALM/wav2vec2-large-audioset

• アーキテクチャ：Wav2Vec 2.0（Wav2Vec2-Large）トランスフォーマーベースのモデル
• 説明：wav2vec2-base-audiosetモデルと同様ですが、サイズが大きく、全AudioSetデータセットからのオーディオ表現を学習する能力が向上しています。

想定される用途

これらの事前学習済みモデルは、音声認識、音楽分類、音響イベント検出など、幅広いARLタスクに使用されることを想定しています。特徴抽出の強力なツールとして機能し、下流のアプリケーション用にタスク固有のデータセットで微調整することができます。 ただし、これらのモデルは様々なオーディオドメインで汎用性を持っていますが、音声関連のタスクでは、元のWav2VecやHuBERTモデルなどの専用モデルと比較して性能が相対的に低い場合があります。これは、事前学習に使用されるAudioSetデータセットが音声以外の幅広いオーディオソースを含んでいるためです。

制限事項と考慮事項

• モデルは全AudioSetデータセットで事前学習されていますが、すべての可能なオーディオドメインを網羅しているわけではありません。
• 特定のタスクで最適な性能を達成するために、ドメイン固有のデータでの微調整が必要な場合があります。
• これらのモデル、特に大きなバリアントをデプロイして微調整するには、計算リソースが必要になる場合があります。

引用

これらの事前学習済みモデルをあなたの研究で使用する場合は、以下を引用してください。

@INPROCEEDINGS{ARCH,
  author={La Quatra, Moreno and Koudounas, Alkis and Vaiani, Lorenzo and Baralis, Elena and Cagliero, Luca and Garza, Paolo and Siniscalchi, Sabato Marco},
  booktitle={2024 IEEE International Conference on Acoustics, Speech, and Signal Processing Workshops (ICASSPW)}, 
  title={Benchmarking Representations for Speech, Music, and Acoustic Events}, 
  year={2024},
  pages={505-509},
  keywords={Representation learning; Systematics; Conferences; Benchmark testing; Signal processing; Acoustics; Data models; Audio Representation Learning; Benchmark; Pre-trained Models; Self-Supervised Learning},
  doi={10.1109/ICASSPW62465.2024.10625960}
}

arXiv版: arxiv.org/abs/2405.00934

📄 ライセンス

このモデルはCC BY-NC-SA 4.0ライセンスの下で提供されています。