Distil Ast Audioset

🚀 Distil Audio Spectrogram Transformer AudioSet

Distil Audio Spectrogram Transformer AudioSetは、Audio Spectrogram Transformerアーキテクチャに基づく音声分類モデルです。このモデルは、AudioSetデータセット上でMIT/ast-finetuned-audioset-10-10-0.4593を蒸留したバージョンです。

このモデルは、HuggingFaceのPyTorchフレームワークを使用してトレーニングされました。すべてのトレーニングは、Tesla A100 GPUを搭載したGoogle Cloud Engine VM上で行われました。トレーニングに使用されたすべての必要なスクリプトは、Files and versionsタブにあり、Tensorboardを介して記録されたTraining metricsも参照できます。

📚 詳細ドキュメント

🔍 モデル

📊 評価結果

モデルは、評価で次の結果を達成しています。

🛠️ トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは次のとおりです。

• learning_rate: 3e-05
• train_batch_size: 32
• eval_batch_size: 32
• seed: 0
• gradient_accumulation_steps: 4
• total_train_batch_size: 128
• optimizer: Adam (betas=(0.9,0.999) かつ epsilon=1e-08)
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.1
• num_epochs: 10.0
• mixed_precision_training: Native AMP

トレーニング結果

⚠️ 免責事項

事前トレーニングデータセットに由来するバイアスが、このモデルの結果に引き継がれる可能性があることを考慮してください。

👨‍💻 作成者

Distil Audio Spectrogram Transformer AudioSetは、Ananto Joyoadikusumo、David Samuel Setiawan、Wilson Wongsoによってトレーニングおよび評価されました。すべての計算と開発はGoogle Cloud上で行われました。

📦 フレームワークバージョン

• Transformers 4.27.0.dev0
• Pytorch 1.13.1+cu117
• Datasets 2.10.0
• Tokenizers 0.13.2

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下でライセンスされています。