Xls R Uzbek Cv8

🚀 XLS-R-300M Uzbek CV8

このモデルは、MOZILLA-FOUNDATION/COMMON_VOICE_8_0 - UZデータセット上でfacebook/wav2vec2-xls-r-300mをファインチューニングしたバージョンです。検証セットでは以下の結果を達成しています。

• 損失: 0.3063
• 単語誤り率 (Wer): 0.3852
• 文字誤り率 (Cer): 0.0777

✨ 主な機能

🔍 モデルの説明

モデルアーキテクチャの説明については、facebook/wav2vec2-xls-r-300mを参照してください。

モデルの語彙は、句読点を除いたウズベク語の現代ラテン文字で構成されています。ただし、<‘>と<’>は句読点とはみなされません。<‘>は<o>と<g>を修飾し、<’>は声門閉鎖音または長母音を示します。

デコーダは、common_voiceのテキストに基づいて構築されたkenlm言語モデルを使用しています。

🎯 想定される用途と制限

このモデルは、以下のような低忠実度のユースケースに役立つことが期待されます。

• ドラフト動画のキャプション
• 録画された放送のインデックス作成

ただし、このモデルはアクセシビリティ目的のライブキャプションの代替として使用するには十分な信頼性がありません。また、Common Voiceデータセットの貢献者や他の話者のプライバシーを侵害するような方法で使用してはいけません。

📊 学習と評価データ

学習データとして、trainコモンボイスの公式分割の50%が使用されました。検証データとして、公式dev分割の50%が使用され、完全なtestセットがLMなしのモデルの最終評価に使用されました。一方、LM付きのモデルは、testセットから500のサンプルのみで評価されました。

kenlm言語モデルは、学習データセットとその他のデータセット分割のターゲット文からコンパイルされました。

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• 学習率: 3e-05
• 学習バッチサイズ: 32
• 評価バッチサイズ: 8
• シード: 42
• 勾配累積ステップ: 4
• 総学習バッチサイズ: 128
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラのタイプ: 線形
• 学習率スケジューラのウォームアップステップ: 500
• エポック数: 100.0
• 混合精度学習: Native AMP

学習結果

フレームワークバージョン

• Transformers 4.16.2
• Pytorch 1.10.2+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。