Wav2vec2 Large Xlsr Bengali

🚀 Wav2Vec2-Large-XLSR-孟加拉語模型

本項目基於facebook/wav2vec2-large-xlsr-53模型，使用來自包含約19.6萬個語音片段的孟加拉語自動語音識別訓練數據集中的4萬個語音片段子集進行微調。使用從訓練集中預留的約4200個語音片段進行測試，得到字錯率（WER）。使用此模型時，請確保輸入的語音採樣率為16kHz。

🚀 快速開始

本模型可直接使用（無需語言模型），具體操作如下：

• 訓練腳本：train.py
• 數據準備筆記本：點擊查看
• 推理筆記本：點擊查看

💻 使用示例

基礎用法

import torch
import torchaudio
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor

processor = Wav2Vec2Processor.from_pretrained("arijitx/wav2vec2-large-xlsr-bengali")
model = Wav2Vec2ForCTC.from_pretrained("arijitx/wav2vec2-large-xlsr-bengali")
# model = model.to("cuda")

resampler = torchaudio.transforms.Resample(TEST_AUDIO_SR, 16_000)
def speech_file_to_array_fn(batch):
    speech_array, sampling_rate = torchaudio.load(batch)
    speech =  resampler(speech_array).squeeze().numpy()
    return speech

speech_array = speech_file_to_array_fn("test_file.wav")
inputs = processor(speech_array, sampling_rate=16_000, return_tensors="pt", padding=True)
with torch.no_grad():
    logits = model(inputs.input_values).logits

    
predicted_ids = torch.argmax(logits, dim=-1)
preds = processor.batch_decode(predicted_ids)[0]
print(preds.replace("[PAD]",""))

測試結果：約4200個語音片段的字錯率（WER）為32.45%。

📄 許可證

本模型採用知識共享署名-相同方式共享4.0國際許可協議（cc-by-sa-4.0）。