Aradia Ctc Hubert Ft

🚀 aradia-ctc-hubert-ft

このモデルは、ABDUSAHMBZUAI/ARABIC_SPEECH_MASSIVE_300HRS - NAデータセット上で/l/users/abdulwahab.sahyoun/aradia/aradia-ctc-hubert-ftをファインチューニングしたバージョンです。 評価セットでは以下の結果を達成しています。

• 損失: 0.8536
• 単語誤り率 (Wer): 0.3737

📚 詳細ドキュメント

モデルの説明

このモデルは、自動音声認識タスクに特化したモデルです。元のモデルを特定のデータセットでファインチューニングすることで、特定の音声データに対する性能を向上させています。

想定される用途と制限

このモデルは、アラビア語の自動音声認識に使用することを想定しています。ただし、特定のデータセットで訓練されているため、そのデータセットと異なる音声データ（例えば、異なるアクセントや環境音のある音声）に対しては性能が低下する可能性があります。

訓練と評価データ

このモデルは、ABDUSAHMBZUAI/ARABIC_SPEECH_MASSIVE_300HRS - NAデータセットを使用して訓練および評価されました。

訓練手順

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです。

• 学習率 (learning_rate): 0.0003
• 訓練バッチサイズ (train_batch_size): 32
• 評価バッチサイズ (eval_batch_size): 32
• 乱数シード (seed): 42
• 勾配累積ステップ数 (gradient_accumulation_steps): 2
• 総訓練バッチサイズ (total_train_batch_size): 64
• オプティマイザ (optimizer): Adam（ベータ=(0.9, 0.999)、イプシロン=1e-08）
• 学習率スケジューラの種類 (lr_scheduler_type): 線形
• 学習率スケジューラのウォームアップステップ数 (lr_scheduler_warmup_steps): 500
• エポック数 (num_epochs): 30.0
• 混合精度訓練 (mixed_precision_training): Native AMP

訓練結果

フレームワークバージョン

• Transformers: 4.18.0.dev0
• Pytorch: 1.10.2+cu113
• Datasets: 1.18.4
• Tokenizers: 0.11.6

情報テーブル