Xls R 300m Sv Robust

🚀 XLS - R - 300M - スウェーデン語

このモデルは、自動音声認識を行うためのモデルで、MOZILLA - FOUNDATION/COMMON_VOICE_9_0 - SV - SEデータセットでKBLab/wav2vec2 - large - voxrexを微調整したものです。評価セット（「test」スプリット、LMなし）で以下の結果を達成しています。

• 損失: 0.1318
• 単語誤り率 (Wer): 0.1121

🚀 クイックスタート

このモデルは、スウェーデン語の自動音声認識タスクに使用できます。以下の手順で利用を開始できます。

✨ 主な機能

• スウェーデン語の自動音声認識に特化した微調整済みモデル。
• 特定のハイパーパラメータ設定により、良好な認識精度を達成。

📦 インストール

インストールに関する具体的なコマンドは元文書に記載されていないため、このセクションは省略されます。

💻 使用例

使用例に関するコードは元文書に記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの説明

詳細な情報は必要です。

想定される用途と制限

詳細な情報は必要です。

学習と評価データ

詳細な情報は必要です。

🔧 技術詳細

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• 学習率 (learning_rate): 7.5e - 05
• 学習バッチサイズ (train_batch_size): 32
• 評価バッチサイズ (eval_batch_size): 32
• 乱数シード (seed): 42
• 勾配累積ステップ数 (gradient_accumulation_steps): 4
• 総学習バッチサイズ (total_train_batch_size): 128
• オプティマイザ (optimizer): Adam（ベータ=(0.9, 0.999)、イプシロン=1e - 08）
• 学習率スケジューラの種類 (lr_scheduler_type): 線形
• 学習率スケジューラのウォームアップ比率 (lr_scheduler_warmup_ratio): 0.2
• エポック数 (num_epochs): 100.0
• 混合精度学習 (mixed_precision_training): ネイティブAMP

学習結果

フレームワークのバージョン

• Transformers: 4.17.0.dev0
• Pytorch: 1.10.2+cu102
• Datasets: 2.2.2
• Tokenizers: 0.11.0

📄 ライセンス

このモデルはCC0 - 1.0ライセンスの下で提供されています。

その他の情報

このモデルは、以下のタスクでの評価結果を持っています。

自動音声認識タスクの評価結果

データセット: mozilla - foundation/common_voice_9_0

• タスク: 自動音声認識
• スプリット: test
• 引数: sv - SE
• 評価指標:
  • テスト単語誤り率 (Test WER): 7.72
  • テスト文字誤り率 (Test CER): 2.61

データセット: speech - recognition - community - v2/dev_data（検証）

• タスク: 自動音声認識
• スプリット: validation
• 引数: sv
• 評価指標:
  • テスト単語誤り率 (Test WER): 16.23
  • テスト文字誤り率 (Test CER): 8.21

データセット: speech - recognition - community - v2/dev_data（テスト）

• タスク: 自動音声認識
• スプリット: test
• 引数: sv
• 評価指標:
  • テスト単語誤り率 (Test WER): 15.08
  • テスト文字誤り率 (Test CER): 7.51