Wav2vec2 Urdu

🚀 wav2vec2-large-xls-r-300m-Urdu

このモデルは、common_voiceデータセット上でHarveenchadha/vakyansh-wav2vec2-urdu-urm-60をファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• Wer: 0.5747
• Cer: 0.3268

✨ 主な機能

• 自動音声認識 (Automatic Speech Recognition)
• ロバストな音声イベント検出 (Robust Speech Event)
• Hugging Faceの音声認識ランキング (HF ASR Leaderboard)

📦 インストール

原READMEにインストール手順が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデル概要

学習データセットと検証データセットは0.58時間です。少ないデータ量でモデルを学習するのは難しかったため、vakyansh-wav2vec2-urdu-urm-60のチェックポイントを使用してwav2vec2モデルをファインチューニングすることにしました。

学習手順

サンプル数が少ないため、Harveenchadha/vakyansh-wav2vec2-urdu-urm-60をベースに学習を行いました。

学習ハイパーパラメータ

学習時に使用されたハイパーパラメータは以下の通りです。

• 学習率 (learning_rate): 0.0003
• 学習バッチサイズ (train_batch_size): 64
• 評価バッチサイズ (eval_batch_size): 8
• シード (seed): 42
• 勾配累積ステップ (gradient_accumulation_steps): 2
• 総学習バッチサイズ (total_train_batch_size): 128
• オプティマイザ (optimizer): Adam (betas=(0.9, 0.999), epsilon=1e-08)
• 学習率スケジューラの種類 (lr_scheduler_type): 線形 (linear)
• 学習率スケジューラのウォームアップステップ (lr_scheduler_warmup_steps): 100
• エポック数 (num_epochs): 100
• 混合精度学習 (mixed_precision_training): Native AMP

学習結果

フレームワークバージョン

• Transformers 4.16.0.dev0
• Pytorch 1.10.1+cu102
• Datasets 1.17.1.dev0
• Tokenizers 0.11.0

モデル指標

🔧 技術詳細

原READMEに十分な技術的詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。