Wav2vec2 Xls R Myv A1

🚀 自動語音識別模型 - wav2vec2-xls-r-myv-a1

本模型是基於自動語音識別技術的微調模型，在MOZILLA - FOUNDATION/COMMON_VOICE_8_0 - MYV數據集上對[facebook/wav2vec2 - xls - r - 300m](https://huggingface.co/facebook/wav2vec2 - xls - r - 300m)進行微調。它在評估集上取得了較好的效果，可用於自動語音識別相關任務。

📄 許可證

本模型採用Apache - 2.0許可證。

✨ 主要特性

• 多語言支持：支持Erzya語（myv）的自動語音識別。
• 多數據集驗證：在MOZILLA - FOUNDATION/COMMON_VOICE_8_0和speech - recognition - community - v2/dev_data等數據集上進行評估。
• 評估指標良好：在測試集上有一定的WER和CER指標表現。

📚 詳細文檔

模型信息

評估結果

本模型在評估集上取得了以下結果：

• Loss: 1.0356
• Wer: 0.6524

不同數據集評估指標

評估命令

1. 在mozilla - foundation/common_voice_8_0測試集上評估

python eval.py  --model_id DrishtiSharma/wav2vec2-xls-r-myv-a1 --dataset mozilla-foundation/common_voice_8_0 --config myv --split test --log_outputs

2. 在speech - recognition - community - v2/dev_data上評估

Erzya語言在speech - recognition - community - v2/dev_data中未找到。

訓練超參數

訓練過程中使用了以下超參數：

• learning_rate: 0.0004
• train_batch_size: 16
• eval_batch_size: 32
• seed: 42
• optimizer: Adam with betas=(0.9, 0.999) and epsilon = 1e - 08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 800
• num_epochs: 200.0
• mixed_precision_training: Native AMP

訓練結果

框架版本

• Transformers 4.17.0.dev0
• Pytorch 1.10.2+cu102
• Datasets 1.18.2.dev0
• Tokenizers 0.11.0

評估命令示例

!python eval.py \
    --model_id DrishtiSharma/wav2vec2-large-xls-r-300m-myv-v1 \
    --dataset mozilla-foundation/common_voice_8_0 --config myv --split test --log_outputs