Ast Finetuned Audioset 10 10 0.4593
オーディオスペクトログラムトランスフォーマー(AST)はAudioSetでファインチューニングされたモデルで、オーディオをスペクトログラムに変換後、ビジョントランスフォーマーを適用してオーディオ分類を行います。
ダウンロード数 308.88k
リリース時間 : 11/14/2022
モデル概要
このモデルはオーディオ信号をスペクトログラム画像に変換し、ビジョントランスフォーマー(ViT)アーキテクチャを適用してオーディオ分類タスクを実行します。複数のオーディオ分類ベンチマークテストで優れた性能を発揮しています。
モデル特徴
スペクトログラム変換
オーディオ信号を視覚的なスペクトログラム表現に変換し、ビジョントランスフォーマーがオーディオデータを処理できるようにします
高性能オーディオ分類
複数のオーディオ分類ベンチマークテストで最先端の結果を達成しました
ViTアーキテクチャベース
ビジョントランスフォーマーアーキテクチャを採用してオーディオスペクトログラムを処理し、クロスモーダルアプリケーションの可能性を示しています
モデル能力
オーディオ分類
オーディオ特徴量抽出
スペクトログラム分析
使用事例
オーディオコンテンツ分析
環境音分類
動物の鳴き声や乗り物の音など、様々な環境音を識別・分類します
AudioSetなどのベンチマークテストで優れた性能を発揮
音楽分類
音楽フラグメントをジャンルや楽器で分類します
マルチメディアコンテンツ理解
ビデオオーディオ分析
ビデオコンテンツと組み合わせてマルチモーダル分析を行います
おすすめAIモデル
Llama 3 Typhoon V1.5x 8b Instruct
タイ語専用に設計された80億パラメータの命令モデルで、GPT-3.5-turboに匹敵する性能を持ち、アプリケーションシナリオ、検索拡張生成、制限付き生成、推論タスクを最適化
大規模言語モデル
Transformers 複数言語対応

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-TinyはSODAデータセットでトレーニングされた超小型対話モデルで、エッジデバイス推論向けに設計されており、体積はCosmo-3Bモデルの約2%です。
対話システム
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
RoBERTaアーキテクチャに基づく中国語抽出型QAモデルで、与えられたテキストから回答を抽出するタスクに適しています。
質問応答システム 中国語
R
uer
2,694
98