Wav2vec2 Xls R 1b Japanese

🚀 wav2vec2-xls-r-1b 日本語音声認識モデル

このモデルは、日本語の自動音声認識タスクに特化したモデルです。複数の公開データセットを用いて微調整され、高い精度で音声をテキストに変換することができます。

🚀 クイックスタート

評価の実行

評価を行うには、以下のコマンドを実行してください。

pip install mecab-python3 unidic-lite pykakasi
python eval.py --model_id vumichien/wav2vec2-xls-r-1b-japanese --dataset mozilla-foundation/common_voice_7_0 --config ja --split test --chunk_length_s 5.0 --stride_length_s 1.0 --log_outputs

✨ 主な機能

• 日本語の自動音声認識に特化した微調整済みモデル
• 複数の公開データセットを用いて訓練され、高い精度を実現

📚 ドキュメント

モデルの説明

このモデルは、facebook/wav2vec2-xls-r-1b を、複数の公開日本語音声データセット Common Voice 7.0、JUST、JSSS、CSS10 を用いて微調整したものです。前処理データセットは VUMICHIEN/COMMON_VOICE_LARGE_JSUT_JSSS_CSS10 で確認できます。

総訓練データ

約60時間

ベンチマーク WER 結果

ベンチマーク CER 結果

訓練手順

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです。

• learning_rate: 5e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 64
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 1000
• num_epochs: 100.0
• mixed_precision_training: Native AMP

訓練結果

フレームワークバージョン

• Transformers 4.16.0.dev0
• Pytorch 1.10.1+cu102
• Datasets 1.17.1.dev0
• Tokenizers 0.11.0

🔧 技術詳細

モデルの性能指標

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。