Wavlm Large Finetuned SER

Facebookの大規模多言語音声プロジェクトを基にファインチューニングした言語識別モデルで、126言語の音声分類をサポート

このモデルはfacebook/wav2vec2-baseをspeech_commandsデータセットでファインチューニングした音声コマンド認識モデルで、精度は97.59%です。

OpenAI Whisper-mediumをファインチューニングした音声言語識別モデルで、FLEURSデータセットで88.05%の精度を達成

このモデルはWav2Vec2-Large-Robustをファインチューニングして訓練され、音声感情認識に使用され、覚醒度、支配度、価値の3つの次元の予測値を出力します。

SpeechBrainフレームワークとECAPA-TDNNアーキテクチャに基づく音声言語識別モデルで、107言語の識別と音声埋め込みベクトル抽出をサポートします。

オーディオスペクトログラムトランスフォーマー（AST）はAudioSetでファインチューニングされたモデルで、オーディオをスペクトログラムに変換後、ビジョントランスフォーマーを適用してオーディオ分類を行います。

openai/whisper-smallをファインチューニングした汎用言語識別モデルで、評価データセットでの精度は88.6%

ファインチューニングされたwav2vec2モデルを使用した音声感情認識で、IEMOCAPデータセットでトレーニング

AudioSetデータセットでファインチューニングされたオーディオスペクトログラムトランスフォーマーで、音声をスペクトログラムに変換後、ビジョントランスフォーマーアーキテクチャで処理し、音声分類タスクで優れた性能を発揮します。

Librispeech-clean-100データセットで微調整された性別認識モデルで、テストセットでF1スコア0.9993を達成