Wav2vec2 Large Xlsr Bengali

🚀 Wav2Vec2-Large-XLSR-Bengali

このモデルは、facebook/wav2vec2-large-xlsr-53 をベンガル語で微調整したものです。微調整には、約196,000の発話を含むベンガル語ASRトレーニングデータセット から40,000の発話のサブセットを使用しています。テストでは、トレーニングデータから約4,200の発話をホールドアウトしてWERを測定しています。このモデルを使用する際には、音声入力が16kHzでサンプリングされていることを確認してください。トレーニングスクリプトは train.py で見つけることができます。

データ準備と推論ノートブック

• データ準備ノートブック : リンク
• 推論ノートブック : リンク

🚀 クイックスタート

このモデルを使用するには、音声入力が16kHzでサンプリングされていることを確認してください。以下のセクションでは、モデルの使用方法を説明します。

💻 使用例

基本的な使用法

import torch
import torchaudio
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor

processor = Wav2Vec2Processor.from_pretrained("arijitx/wav2vec2-large-xlsr-bengali")
model = Wav2Vec2ForCTC.from_pretrained("arijitx/wav2vec2-large-xlsr-bengali")
# model = model.to("cuda")

resampler = torchaudio.transforms.Resample(TEST_AUDIO_SR, 16_000)
def speech_file_to_array_fn(batch):
    speech_array, sampling_rate = torchaudio.load(batch)
    speech =  resampler(speech_array).squeeze().numpy()
    return speech

speech_array = speech_file_to_array_fn("test_file.wav")
inputs = processor(speech_array, sampling_rate=16_000, return_tensors="pt", padding=True)
with torch.no_grad():
    logits = model(inputs.input_values).logits

    
predicted_ids = torch.argmax(logits, dim=-1)
preds = processor.batch_decode(predicted_ids)[0]
print(preds.replace("[PAD]",""))

テスト結果

テスト結果 : 約4,200の発話に対するWERは32.45%です。

📄 ライセンス

このモデルは、cc-by-sa-4.0ライセンスの下で提供されています。