Xls R Nl V1 Cv8 Lm

🚀 XLS-RベースのCTCモデルとCommon Voiceからの5-gram言語モデル

このモデルは、facebook/wav2vec2-xls-r-2b-22-to-16 を主にMOZILLA-FOUNDATION/COMMON_VOICE_8_0 - NLデータセットでファインチューニングしたバージョンです（詳細は以下を参照）。Common Voiceの学習コーパスに基づく小さな5-gram言語モデルが追加されています。このモデルは、評価セット（Common Voice 8.0）で以下の結果を達成しています。

• 単語誤り率 (Wer): 0.0669
• 文字誤り率 (Cer): 0.0197

📚 ドキュメント

モデルの説明

このモデルは16kHzの音声入力を受け取り、48文字のWav2Vec2ForCTCデコーダを使用して最終結果を出力します。

精度を向上させるために、ビームデコーダが使用されています。ビームは、Common Voice 8コーパスで学習された5-gram言語モデルに基づいてスコア付けされます。

想定される用途と制限

このモデルは、オランダ語またはフランダース語の話し言葉をテキストに変換する（句読点なし）ために使用できます。

学習と評価データ

0. モデルは Facebookの20億パラメータモデル で初期化されました。
1. その後、モデルは 「multilingual_librispeech」データセットの「dutch」設定 で 2000 イテレーション（バッチサイズ32）学習されました。
2. 次に、モデルは 「common_voice_8_0」データセットの「nl」設定 で 2000 イテレーション（バッチサイズ32）学習されました。
3. その後、モデルは 「cgn」データセット で 6000 イテレーション（バッチサイズ32）学習されました。
4. 最後に、モデルは 「common_voice_8_0」データセットの「nl」設定 で 6000 イテレーション（バッチサイズ32）学習されました。

フレームワークのバージョン

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.2.dev0
• Tokenizers 0.11.0

🔧 技術詳細

モデル情報

評価結果