Wav2vec2 Xls R 300m Cs Cv8

🚀 wav2vec2-xls-r-300m-cs-cv8

このモデルは、facebook/wav2vec2-xls-r-300m をCommon Voice 8.0データセットでファインチューニングしたバージョンです。学習中の評価セットで以下の結果を達成しています。

• 損失: 0.2327
• 単語誤り率 (WER): 0.1608
• 文字誤り率 (CER): 0.0376

eval.py スクリプトを使用した言語モデルの結果は以下の通りです。 WER: 0.10281503199350225 CER: 0.02622802241689026

✨ 主な機能

このモデルは、自動音声認識タスクに特化しており、コモドーロ社によって開発されたモデルです。モデルは、Common Voice 8.0データセットを使用してファインチューニングされており、チェコ語の音声認識に適しています。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを使用して、必要なライブラリをインストールできます。

pip install transformers datasets torchaudio

💻 使用例

基本的な使用法

import torch
import torchaudio
from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor

test_dataset = load_dataset("mozilla-foundation/common_voice_8_0", "cs", split="test[:2%]")

processor = Wav2Vec2Processor.from_pretrained("comodoro/wav2vec2-xls-r-300m-cs-cv8")
model = Wav2Vec2ForCTC.from_pretrained("comodoro/wav2vec2-xls-r-300m-cs-cv8")

resampler = torchaudio.transforms.Resample(48_000, 16_000)

# データセットの前処理
# 音声ファイルを配列として読み込む必要があります
def speech_file_to_array_fn(batch):
	speech_array, sampling_rate = torchaudio.load(batch["path"])
	batch["speech"] = resampler(speech_array).squeeze().numpy()
	return batch

test_dataset = test_dataset.map(speech_file_to_array_fn)
inputs = processor(test_dataset[:2]["speech"], sampling_rate=16_000, return_tensors="pt", padding=True)

with torch.no_grad():
	logits = model(inputs.input_values, attention_mask=inputs.attention_mask).logits

predicted_ids = torch.argmax(logits, dim=-1)

print("予測結果:", processor.batch_decode(predicted_ids))
print("参照結果:", test_dataset[:2]["sentence"])

📚 ドキュメント

評価

モデルは、添付の eval.py スクリプトを使用して評価できます。

python eval.py --model_id comodoro/wav2vec2-xls-r-300m-cs-cv8 --dataset mozilla-foundation/common-voice_8_0 --split test --config cs

学習と評価データ

学習には、Common Voice 8.0の train と validation データセットが使用されました。

学習手順

学習ハイパーパラメータ

学習の最初の段階では、以下のハイパーパラメータが使用されました。

• 学習率: 7e-05
• 学習バッチサイズ: 32
• 評価バッチサイズ: 8
• シード: 42
• 勾配累積ステップ: 20
• 総学習バッチサイズ: 640
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップステップ: 500
• エポック数: 150
• 混合精度学習: Native AMP

学習の2段階目では、以下のハイパーパラメータが使用されました。

• 学習率: 0.001
• 学習バッチサイズ: 32
• 評価バッチサイズ: 8
• シード: 42
• 勾配累積ステップ: 20
• 総学習バッチサイズ: 640
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップステップ: 500
• エポック数: 50
• 混合精度学習: Native AMP

学習結果

少し異なるアーキテクチャとより高い学習率でのさらなるファインチューニング:

フレームワークバージョン

• Transformers 4.16.0.dev0
• Pytorch 1.10.1+cu102
• Datasets 1.17.1.dev0
• Tokenizers 0.11.0

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。