Wav2vec2 Xls R 300m Lm Hebrew

🚀 wav2vec2-xls-r-300m-lm-hebrew

このモデルは、facebook/wav2vec2-xls-r-300m を未指定のデータセットでファインチューニングしたもので、Boosting Wav2Vec2 with n-grams in 🤗 Transformers に基づいて ngram モデルを追加しています。

🚀 クイックスタート

依存パッケージの確認

こちらを参照できます：https://github.com/imvladikon/wav2vec2-hebrew

Transformers パイプラインの使用

import torch
from datasets import load_dataset
from transformers import AutoModelForCTC, AutoProcessor
import torchaudio.functional as F


model_id = "imvladikon/wav2vec2-xls-r-300m-lm-hebrew"

sample_iter = iter(load_dataset("google/fleurs", "he_il", split="test", streaming=True))

sample = next(sample_iter)
resampled_audio = F.resample(torch.tensor(sample["audio"]["array"]), sample["audio"]["sampling_rate"], 16_000).numpy()

model = AutoModelForCTC.from_pretrained(model_id)
processor = AutoProcessor.from_pretrained(model_id)

input_values = processor(resampled_audio, return_tensors="pt").input_values

with torch.no_grad():
    logits = model(input_values).logits

transcription = processor.batch_decode(logits.numpy()).text
print(transcription)

📚 ドキュメント

予想される用途と制限

詳細は後日追加予定です。

トレーニングと評価データ

詳細は後日追加予定です。

🔧 技術詳細

トレーニングプロセス

トレーニングハイパーパラメータ

トレーニング中に以下のハイパーパラメータが使用されました：

• 学習率：0.0003
• トレーニングバッチサイズ：64
• 評価バッチサイズ：16
• 乱数シード：42
• 勾配累積ステップ数：2
• 総トレーニングバッチサイズ：128
• オプティマイザ：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 学習率スケジューラタイプ：線形
• 学習率スケジューラウォームアップステップ数：500
• トレーニングエポック数：100
• 混合精度トレーニング：ネイティブ自動混合精度（Native AMP）

トレーニング結果

詳細は後日追加予定です。

フレームワークバージョン

• Transformers 4.16.0.dev0
• Pytorch 1.10.1+cu102
• Datasets 1.17.1.dev0
• Tokenizers 0.11.0

📄 ライセンス

このプロジェクトは Apache-2.0 ライセンスの下で提供されています。