Wav2vec2 Large Xls R 300m Albanian Colab

🚀 wav2vec2-large-xls-r-300m-albanian-colab

このモデルは、facebook/wav2vec2-xls-r-300m を common_voice_albanian データセットでファインチューニングしたもので、関連する音声処理タスクに使用できます。

🚀 クイックスタート

このモデルは、facebook/wav2vec2-xls-r-300m を common_voice_albanian データセットでファインチューニングしたもので、関連する音声処理タスクに使用できます。

✨ 主な機能

このモデルは、音声処理タスクに使用できるよう、facebook/wav2vec2-xls-r-300m を common_voice_albanian データセットでファインチューニングしています。

📦 インストール

READMEにインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

READMEにコード例が記載されていないため、このセクションをスキップします。

📚 ドキュメント

このモデルは、facebook/wav2vec2-xls-r-300m を common_voice_albanian データセットでファインチューニングしたもので、関連する音声処理タスクに使用できます。

🔧 技術詳細

訓練ハイパーパラメータ

訓練中に以下のハイパーパラメータが使用されました：

• 学習率（learning_rate）：0.0003
• 訓練バッチサイズ（train_batch_size）：16
• 評価バッチサイズ（eval_batch_size）：8
• 乱数シード（seed）：42
• 勾配累積ステップ数（gradient_accumulation_steps）：2
• 総訓練バッチサイズ（total_train_batch_size）：32
• オプティマイザ（optimizer）：Adam、β値は (0.9, 0.999)、ε値は 1e-08
• 学習率スケジューラの種類（lr_scheduler_type）：線形
• 学習率スケジューラのウォームアップステップ数（lr_scheduler_warmup_steps）：500
• 訓練エポック数（num_epochs）：30
• 混合精度訓練（mixed_precision_training）：Native AMP

フレームワークバージョン

• Transformers：4.35.2
• Pytorch：2.1.0+cu118
• Datasets：2.14.7
• Tokenizers：0.15.0

📄 ライセンス

このモデルは、Apache-2.0 ライセンスの下で提供されています。

📋 モデル情報