Xls R 2b Nl V2 Lm 5gram Os2 Hunspell

🚀 XLS-RベースのCTCモデルとOpen Subtitlesの5-gram言語モデル

このモデルは、facebook/wav2vec2-xls-r-2b-22-to-16 を主に CGNデータセット と MOZILLA-FOUNDATION/COMMON_VOICE_8_0 - NL データセット（詳細は以下を参照）でファインチューニングしたバージョンです。そして、Open Subtitlesのオランダ語コーパスに基づく大規模な5-gram言語モデルが追加されています。このモデルは、評価セット（Common Voice 8.0）で以下の結果を達成しています。

• Wer: 0.03931
• Cer: 0.01224

⚠️ 重要提示

ウェブサイトでは hunspell のタイポ修正機能は 有効になっていません。生のCTC+LMの結果が返されます。Hunspellの再ランキングは eval.py デコードスクリプトでのみ利用可能です。最良の結果を得るためには、モデルをローカルで推論に使用する際には、そのファイル内のコードを使用してください。

⚠️ 重要提示

このモデルを評価するには、pipy-kenlm と pyctcdecode をpipインストールする他に、apt install libhunspell-dev と hunspell のpipインストールが必要です（install_requirements.sh を参照）。さらに、チャンキングの長さとストライドはそれぞれ 12s と 2s に最適化されています（eval.sh を参照）。

💡 使用建议

"Robust Speech Event" セットにはクリーンな文字起こしテキストが含まれていないため、WER/CERは大幅に過大評価されています。たとえば、開発セットの 2014 は数値のまま残されていますが、tweeduizend veertien と認識され、3つの誤りとしてカウントされます（2014 が欠落し、tweeduizend と veertien が誤って挿入されたとみなされます）。開発セットの他の正規化問題には、いくつかの単語の周りにシングルクォートがあることで、正しい単語であっても（クォートなしで）マッチしない結果になることや、最終的な文字起こしからいくつかの発話単語（ja など）が削除されることが含まれます。その結果、開発セットでの実際のエラー率は報告されているよりも大幅に低くなっています。

開発セットの 予測結果 と ターゲット を、たとえば この差分ツール を使って自分で比較することができます。

💡 使用建议

この（または他の）モデルを本番環境で使用することを検討しているが、特定のユースケースに合わせてファインチューニングされたモデル（テキストおよび/またはラベル付き音声を使用）が必要な場合は、当チームに連絡 してください。このモデルは、Robust Speech Recognition challenge イベント中に François REMY (twitter) と Geoffroy VANDERREYDT によって開発されました。

当チームは、V100S GPUを提供してくれた OVH に感謝します。

📚 ドキュメント

モデルの説明

このモデルは16kHzの音声入力を受け取り、48文字のWav2Vec2ForCTCデコーダを使用して、フレームごとの文字起こし確率を出力します。

精度を向上させるために、pyctcdecode に基づくビームサーチデコーダが使用されます。これは、Open Subtitlesのオランダ語コーパスで学習された5-gram言語モデルに基づいて、最も有望なアラインメントを再ランキングします。

さらにタイポを処理するために、hunspell を使用して、言語モデルのユニグラムに含まれない単語の代替綴りを提案します。これらの代替案は、上記で学習された言語モデルに基づいて再ランキングされ、代替案と認識された単語の間のレーベンシュタイン編集距離に比例したペナルティが適用されます。これにより、たとえば collegas を collega's に、gogol を google に修正することができます。

想定される用途と制限

このモデルは、オランダ語またはフランダース語の音声を（句読点なしで）文字起こしするために使用できます。

学習と評価データ

このモデルは以下のように構築されました。 0. Facebookの2Bパラメータモデル で初期化。

1. cv8/nl データセット で 5 エポック（バッチサイズ32の6000回の反復）学習。
2. cgn データセット で 1 エポック（バッチサイズ32の36000回の反復）学習。
3. cv8/nl データセット で 5 エポック（バッチサイズ32の6000回の反復）学習。

フレームワークのバージョン