A

Ast Finetuned Audioset 10 10 0.4593

MITによって開発
オーディオスペクトログラムトランスフォーマー(AST)はAudioSetでファインチューニングされたモデルで、オーディオをスペクトログラムに変換後、ビジョントランスフォーマーを適用してオーディオ分類を行います。
ダウンロード数 308.88k
リリース時間 : 11/14/2022

モデル概要

このモデルはオーディオ信号をスペクトログラム画像に変換し、ビジョントランスフォーマー(ViT)アーキテクチャを適用してオーディオ分類タスクを実行します。複数のオーディオ分類ベンチマークテストで優れた性能を発揮しています。

モデル特徴

スペクトログラム変換
オーディオ信号を視覚的なスペクトログラム表現に変換し、ビジョントランスフォーマーがオーディオデータを処理できるようにします
高性能オーディオ分類
複数のオーディオ分類ベンチマークテストで最先端の結果を達成しました
ViTアーキテクチャベース
ビジョントランスフォーマーアーキテクチャを採用してオーディオスペクトログラムを処理し、クロスモーダルアプリケーションの可能性を示しています

モデル能力

オーディオ分類
オーディオ特徴量抽出
スペクトログラム分析

使用事例

オーディオコンテンツ分析
環境音分類
動物の鳴き声や乗り物の音など、様々な環境音を識別・分類します
AudioSetなどのベンチマークテストで優れた性能を発揮
音楽分類
音楽フラグメントをジャンルや楽器で分類します
マルチメディアコンテンツ理解
ビデオオーディオ分析
ビデオコンテンツと組み合わせてマルチモーダル分析を行います
AIbase
未来を切り開く、あなたのAIソリューション知識ベース
© 2025AIbase