wav2vec2-large-xls-r-300m-slovakオープンソースモデル - スロバキア語の自動音声認識を高精度で実現

Wav2vec2 Large Xls R 300m Slovak

infinitejoyによって開発

facebook/wav2vec2-xls-r-300mをベースに、スロバキア語音声データセットで微調整した自動音声認識モデル

ダウンロード数 77

リリース時間 : 3/2/2022

モデル概要

これはスロバキア語に最適化された自動音声認識モデルで、XLS - Rアーキテクチャに基づき、Common Voice 7.0スロバキア語データセットで微調整されています。

複数データセットでの検証

Common Voiceやロバスト音声イベントなどの複数のデータセットで評価されました。

性能の最適化

Common Voice 7スロバキア語テストセットで24.85%の単語誤り率(WER)を達成しました。

大規模事前学習

3億パラメータのXLS - Rアーキテクチャに基づいて微調整されました。

スロバキア語音声認識

会話音声をテキストに変換

ロバスト音声処理

音声書き起こし

スロバキア語音声の文字起こし

スロバキア語の音声内容をテキストに変換します。

Common VoiceテストセットでWER 24.85%

音声アシスタント

スロバキア語音声コマンドの認識

スロバキア語の音声コマンドを認識します。

ロバスト音声イベントテストセットでWER 59.25%

このモデルは、facebook/wav2vec2-xls-r-300m をベースに、MOZILLA-FOUNDATION/COMMON_VOICE_7_0 - SK データセットでファインチューニングしたバージョンです。評価セットでは、以下の成果を達成しています。

このモデルは、スロバキア語の音声認識に対してファインチューニングされたバージョンで、音声認識タスクに直接適用できます。

ファインチューニングベースモデル：facebook/wav2vec2-xls-r-300m モデルをベースにファインチューニングされており、強力な音声特徴抽出能力を引き継いでいます。
複数データセットでの評価：Common Voice 7 や Robust Speech Event 関連のデータセットを含む複数のデータセットで評価されており、様々なシナリオでの性能を示しています。

属性	詳細
モデルタイプ	自動音声認識モデル
訓練データ	mozilla-foundation/common_voice_7_0
ラベル	automatic-speech-recognition、mozilla-foundation/common_voice_7_0、generated_from_trainer、sk、robust-speech-event、model_for_talk、hf-asr-leaderboard

タスク名	データセット	テスト単語誤り率（WER）	テスト文字誤り率（CER）
自動音声認識	Common Voice 7	24.852	5.09
自動音声認識	Robust Speech Event - Dev Data	56.388	20.654
自動音声認識	Robust Speech Event - Test Data	59.25	未提及