Wav2vec2 Xls R 300m Zh HK V2

🚀 Wav2Vec2 XLS - R 300M 広東語 (zh - HK)

Wav2Vec2 XLS - R 300M 広東語 (zh - HK) は、XLS - R アーキテクチャに基づく自動音声認識モデルです。このモデルは、Common Voice データセットの zh - HK サブセット上で Wav2Vec2 - XLS - R - 300M をファインチューニングしたバージョンです。

このモデルは、HuggingFaceのPyTorchフレームワークを使用してトレーニングされ、HuggingFaceが主催する Robust Speech Challenge Event の一部です。すべてのトレーニングは、OVHがスポンサーするTesla V100上で行われました。

トレーニングに使用されたすべての必要なスクリプトは、Files and versions タブに、またTensorboardを介して記録された Training metrics も見ることができます。

✨ 主な機能

このモデルは、広東語の自動音声認識タスクに特化しており、XLS - Rアーキテクチャを利用することで高精度な音声認識を実現します。

📦 インストール

READMEにインストール手順に関する具体的な内容が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデル

評価結果

このモデルは、以下の評価結果を達成しています。

トレーニング手順

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 0.0001
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 32
• optimizer: Adam (betas=(0.9, 0.999) および epsilon = 1e-08)
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 2000
• num_epochs: 100.0
• mixed_precision_training: Native AMP

トレーニング結果

免責事項

事前学習データセットに由来するバイアスが、このモデルの結果に引き継がれる可能性があることを考慮してください。

作成者

Wav2Vec2 XLS - R 300M 広東語 (zh - HK) は、Wilson Wongso によってトレーニングおよび評価されました。すべての計算と開発は、OVH Cloud上で行われました。

フレームワークのバージョン

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.4.dev0
• Tokenizers 0.11.0

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。