Wav2vec2 Xls R 300m Wolof Lm

🚀 wav2vec2-xls-r-300m-wolof-lm

沃洛夫語是在塞內加爾及周邊國家使用的語言，該語言的相關資源較少，在文本和語音領域的資料更是稀缺。本項目旨在為此做出貢獻，此倉庫便應運而生。

本模型是 facebook/wav2vec2-xls-r-300m 的微調版本，使用了基於 ALFFA_PUBLIC 中最大可用語音數據集微調的語言模型。

該模型在評估集上取得了以下成績：

• 損失率（Loss）：0.367826
• 字錯率（Wer）：0.212565

✨ 主要特性

• 基於微調的 facebook/wav2vec2-xls-r-300m 模型，適配沃洛夫語語音識別。
• 使用了大規模的沃洛夫語語音數據集進行微調，提升了模型在該語言上的性能。

📦 安裝指南

文檔未提供安裝步驟，此章節跳過。

💻 使用示例

基礎用法

import librosa
import warnings
from transformers import AutoProcessor, AutoModelForCTC
from datasets import Dataset, DatasetDict
from datasets import load_metric

wer_metric = load_metric("wer")

wolof = pd.read_csv('Test.csv') # wolof contains the columns of file , and transcription
wolof = DatasetDict({'test': Dataset.from_pandas(wolof)})

chars_to_ignore_regex = '[\"\?\.\!\-\;\:\(\)\,]'

def remove_special_characters(batch):
    batch["transcription"] = re.sub(chars_to_ignore_regex, '', batch["transcription"]).lower() + " "
    return batch
    
    
wolof = wolof.map(remove_special_characters)

processor = AutoProcessor.from_pretrained("abdouaziiz/wav2vec2-xls-r-300m-wolof-lm")
model = AutoModelForCTC.from_pretrained("abdouaziiz/wav2vec2-xls-r-300m-wolof-lm")

warnings.filterwarnings("ignore")
def speech_file_to_array_fn(batch):
    speech_array, sampling_rate = librosa.load(batch["file"], sr = 16000)
    batch["speech"] = speech_array.astype('float16')
    batch["sampling_rate"] = sampling_rate
    batch["target_text"] = batch["transcription"]
    return batch
 
wolof = wolof.map(speech_file_to_array_fn, remove_columns=wolof.column_names["test"], num_proc=1)   
  
def map_to_result(batch):
    model.to("cuda")
    input_values = processor(
      batch["speech"], 
      sampling_rate=batch["sampling_rate"], 
      return_tensors="pt"
    ).input_values.to("cuda")

    with torch.no_grad():
        logits = model(input_values).logits
        pred_ids = torch.argmax(logits, dim=-1)
        batch["pred_str"] = processor.batch_decode(pred_ids)[0]

    return batch
   
 results = wolof["test"].map(map_to_result) 
 
 print("Test WER: {:.3f}".format(wer_metric.compute(predictions=results["pred_str"], references=results["transcription"])))

高級用法

文檔未提供高級用法示例，此部分跳過。

📚 詳細文檔

模型描述

訓練數據時長為 16.8 小時，我們將其劃分為 10,000 個音頻文件用於訓練，3,339 個用於測試。

訓練和評估數據

我們每 1500 步評估一次模型並記錄日誌，每 33340 步保存一次模型。

訓練超參數

訓練過程中使用了以下超參數：

訓練結果

🔧 技術細節

文檔未提供更多技術細節，此章節跳過。

📄 許可證

本項目採用 MIT 許可證。