Xls R 2B Te

🚀 XLS - R - 1B - TE モデル

このモデルは、OPENSLR_SLR66 - NA データセットで [facebook/wav2vec2 - xls - r - 2b](https://huggingface.co/facebook/wav2vec2 - xls - r - 2b) をファインチューニングしたものです。自動音声認識タスクに使用できます。

🚀 クイックスタート

このモデルは、[facebook/wav2vec2 - xls - r - 2b](https://huggingface.co/facebook/wav2vec2 - xls - r - 2b) を OPENSLR_SLR66 - NA データセットでファインチューニングしたものです。評価セットでは以下の結果を達成しています。

• 損失: 0.4253
• 単語誤り率 (Wer): 0.5109

📚 ドキュメント

評価指標

モデルの詳細

詳細情報は後日提供予定です。

想定される用途と制限

詳細情報は後日提供予定です。

トレーニングと評価データ

詳細情報は後日提供予定です。

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました。

• 学習率: 2e - 05
• トレーニングバッチサイズ: 4
• 評価バッチサイズ: 4
• シード: 42
• 勾配累積ステップ: 12
• 総トレーニングバッチサイズ: 64
• オプティマイザ: Adam (ベータ = (0.9, 0.999)、イプシロン = 1e - 08)
• 学習率: 3e - 6
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップステップ: 2000
• エポック数: 150.0
• 隠れ層のドロップアウト: 0.15
• 混合精度トレーニング: Native AMP

トレーニング結果

詳細情報は後日提供予定です。

フレームワークのバージョン

• Transformers 4.16.0.dev0
• Pytorch 1.10.1+cu102
• Datasets 1.17.1.dev0
• Tokenizers 0.11.0

📄 ライセンス

このモデルは Apache - 2.0 ライセンスの下で提供されています。