Wav2vec2 Large Xlsr 53 842h Luxembourgish 14h

🚀 Lemswasabi/wav2vec2-large-xlsr-53-842h-luxembourgish-14h-with-lm

このモデルは、自動音声認識を行うためのモデルです。ルクセンブルク語の音声データを用いて学習されており、高い精度で音声認識を行うことができます。

🚀 クイックスタート

このモデルは自動音声認識タスクに使用されます。以下に、このモデルの主な情報をまとめます。

✨ 主な機能

• ルクセンブルク語の音声を高精度で認識します。
• 学習には、大量のルクセンブルク語の音声データが使用されています。

📚 ドキュメント

モデルの説明

私たちは、RTL.lu から収集された842時間のラベルなしのルクセンブルク語の音声で、wav2vec 2.0 large XLSR - 53のチェックポイントをファインチューニングしました。その後、同じドメインからの14時間のラベル付きのルクセンブルク語の音声でモデルをさらにファインチューニングしました。

想定される用途と制限

詳細な情報は後日提供予定です。

学習と評価データ

詳細な情報は後日提供予定です。

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• learning_rate: 7.5e - 05
• train_batch_size: 3
• eval_batch_size: 3
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 12
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e - 08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 2000
• num_epochs: 50.0
• mixed_precision_training: Native AMP

フレームワークのバージョン

• Transformers 4.20.0.dev0
• Pytorch 1.11.0+cu113
• Datasets 2.2.1
• Tokenizers 0.12.1

引用

このモデルは、IEEE SLT 2022ワークショップに提出された論文 IMPROVING LUXEMBOURGISH SPEECH RECOGNITION WITH CROSS - LINGUAL SPEECH REPRESENTATIONS の成果です。

@misc{lb-wav2vec2,
  author = {Nguyen, Le Minh and Nayak, Shekhar and Coler, Matt.},
  keywords = {Luxembourgish, multilingual speech recognition, language modelling, wav2vec 2.0 XLSR-53, under-resourced language},
  title = {IMPROVING LUXEMBOURGISH SPEECH RECOGNITION WITH CROSS-LINGUAL SPEECH REPRESENTATIONS},
  year = {2022},
  copyright = {2023 IEEE}
}

📄 ライセンス

このモデルはMITライセンスの下で提供されています。