Wav2vec2 Xls R 300m Cs 250

🚀 チェコ語 wav2vec2-xls-r-300m-cs-250

このモデルは、facebook/wav2vec2-xls-r-300m を Common Voice 8.0 データセットや以下に挙げる他のデータセットでファインチューニングしたバージョンです。 評価セットでは以下の結果を達成しています。

• 損失: 0.1271
• 単語誤り率 (Wer): 0.1475
• 文字誤り率 (Cer): 0.0329

eval.py スクリプトを使用した結果は以下の通りです。

• 単語誤り率 (Wer): 0.07274312090176113
• 文字誤り率 (Cer): 0.021207369275558875

✨ 主な機能

モデルの説明

facebook/wav2vec2-large-xlsr-53 を Common Voice データセットを用いてチェコ語でファインチューニングしたモデルです。このモデルを使用する際は、音声入力が16kHzでサンプリングされていることを確認してください。

使用例

基本的な使用法

import torch
import torchaudio
from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor

test_dataset = load_dataset("mozilla-foundation/common_voice_8_0", "cs", split="test[:2%]")

processor = Wav2Vec2Processor.from_pretrained("comodoro/wav2vec2-xls-r-300m-cs-250")
model = Wav2Vec2ForCTC.from_pretrained("comodoro/wav2vec2-xls-r-300m-cs-250")

resampler = torchaudio.transforms.Resample(48_000, 16_000)

# データセットの前処理
# 音声ファイルを配列として読み込む必要があります
def speech_file_to_array_fn(batch):
	speech_array, sampling_rate = torchaudio.load(batch["path"])
	batch["speech"] = resampler(speech_array).squeeze().numpy()
	return batch

test_dataset = test_dataset.map(speech_file_to_array_fn)
inputs = processor(test_dataset[:2]["speech"], sampling_rate=16_000, return_tensors="pt", padding=True)

with torch.no_grad():
	logits = model(inputs.input_values, attention_mask=inputs.attention_mask).logits

predicted_ids = torch.argmax(logits, dim=-1)

print("Prediction:", processor.batch_decode(predicted_ids))
print("Reference:", test_dataset[:2]["sentence"])

評価

このモデルは、添付の eval.py スクリプトを使用して評価できます。

python eval.py --model_id comodoro/wav2vec2-xls-r-300m-cs-250 --dataset mozilla-foundation/common-voice_8_0 --split test --config cs

訓練と評価データ

訓練には Common Voice 8.0 の train と validation データセット、および以下のデータセットが使用されました。

• Šmídl, Luboš and Pražák, Aleš, 2013, OVM – Otázky Václava Moravce, LINDAT/CLARIAH-CZ digital library at the Institute of Formal and Applied Linguistics (ÚFAL), Faculty of Mathematics and Physics, Charles University, http://hdl.handle.net/11858/00-097C-0000-000D-EC98-3.
• Pražák, Aleš and Šmídl, Luboš, 2012, Czech Parliament Meetings, LINDAT/CLARIAH-CZ digital library at the Institute of Formal and Applied Linguistics (ÚFAL), Faculty of Mathematics and Physics, Charles University, http://hdl.handle.net/11858/00-097C-0000-0005-CF9C-4.
• Plátek, Ondřej; Dušek, Ondřej and Jurčíček, Filip, 2016, Vystadial 2016 – Czech data, LINDAT/CLARIAH-CZ digital library at the Institute of Formal and Applied Linguistics (ÚFAL), Faculty of Mathematics and Physics, Charles University, http://hdl.handle.net/11234/1-1740.

訓練ハイパーパラメータ

訓練中に使用されたハイパーパラメータは以下の通りです。

• 学習率: 0.0001
• 訓練バッチサイズ: 32
• 評価バッチサイズ: 8
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップステップ: 800
• エポック数: 5
• 混合精度訓練: Native AMP

訓練結果

フレームワークのバージョン

• Transformers 4.16.2
• Pytorch 1.10.1+cu102
• Datasets 1.18.3
• Tokenizers 0.11.0

📄 ライセンス

このモデルは Apache-2.0 ライセンスの下で提供されています。

📚 ドキュメント

モデル情報

モデルの評価結果

• タスク: 自動音声認識 (Automatic Speech Recognition)
• データセット:
  • Common Voice 8 (mozilla-foundation/common_voice_8_0, cs)
    • 単語誤り率 (Wer): 7.3
    • 文字誤り率 (Cer): 2.1
  • Robust Speech Event - Dev Data (speech-recognition-community-v2/dev_data, cs)
    • 単語誤り率 (Wer): 43.44
  • Robust Speech Event - Test Data (speech-recognition-community-v2/eval_data, cs)
    • 単語誤り率 (Wer): 38.5