Wav2vec2 Large Xlsr 53 842h Luxembourgish 4h

🚀 Lemswasabi/wav2vec2-large-xlsr-53-842h-luxembourgish-4h

このモデルは、自動音声認識タスクに特化したモデルです。842時間のランダムなルクセンブルク語の音声データで事前学習され、さらに4時間のラベル付きデータでファインチューニングされています。

🚀 クイックスタート

このモデルは自動音声認識タスクに使用できます。以下の情報を参考に、モデルを利用してみてください。

✨ 主な機能

• 自動音声認識タスクに対応しています。
• ルクセンブルク語の音声認識に特化しています。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

このREADMEには具体的なコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの説明

私たちは、RTL.lu から収集した842時間のラベルなしのルクセンブルク語の音声で、wav2vec 2.0 large XLSR-53のチェックポイントをファインチューニングしました。その後、同じドメインからの4時間のラベル付きのルクセンブルク語の音声でモデルをファインチューニングしました。

想定される用途と制限

このセクションには詳細な情報が提供されていないため、このセクションは省略されます。

学習と評価データ

このセクションには詳細な情報が提供されていないため、このセクションは省略されます。

学習手順

学習ハイパーパラメータ

学習中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 7.5e-05
• train_batch_size: 3
• eval_batch_size: 3
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 12
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 2000
• num_epochs: 50.0
• mixed_precision_training: Native AMP

フレームワークのバージョン

• Transformers 4.20.0.dev0
• Pytorch 1.11.0+cu113
• Datasets 2.2.1
• Tokenizers 0.12.1

引用

このモデルは、IEEE SLT 2022ワークショップに投稿された論文 IMPROVING LUXEMBOURGISH SPEECH RECOGNITION WITH CROSS-LINGUAL SPEECH REPRESENTATIONS の成果物です。

@misc{lb-wav2vec2,
  author = {Nguyen, Le Minh and Nayak, Shekhar and Coler, Matt.},
  keywords = {Luxembourgish, multilingual speech recognition, language modelling, wav2vec 2.0 XLSR-53, under-resourced language},
  title = {IMPROVING LUXEMBOURGISH SPEECH RECOGNITION WITH CROSS-LINGUAL SPEECH REPRESENTATIONS},
  year = {2022},
  copyright = {2023 IEEE}
}

🔧 技術詳細

このセクションには具体的な技術説明が50文字以上記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。