Wav2vec2 Xls R 300m Wolof Lm

🚀 wav2vec2-xls-r-300m-wolof-lm

このモデルは、セネガルやその周辺国で話されているウォロフ語の自動音声認識に貢献するために開発されまし。ウォロフ語は資源が少ない言語であり、本モデルはその状況を改善するための試みです。

🚀 クイックスタート

このモデルは、facebook/wav2vec2-xls-r-300m をベースに、ALFFA_PUBLIC の最大の音声データセットで言語モデルを微調整したものです。評価セットでは以下の結果を達成しています。

• 損失率 (Loss): 0.367826
• 単語誤り率 (Wer): 0.212565

✨ 主な機能

• ウォロフ語の自動音声認識に特化したモデルです。
• 大規模な音声データセットで微調整されており、高精度な認識を実現します。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコードを参考にしてください。

import librosa
import warnings
from transformers import AutoProcessor, AutoModelForCTC
from datasets import Dataset, DatasetDict
from datasets import load_metric

wer_metric = load_metric("wer")

💻 使用例

基本的な使用法

import librosa
import warnings
from transformers import AutoProcessor, AutoModelForCTC
from datasets import Dataset, DatasetDict
from datasets import load_metric

wer_metric = load_metric("wer")

wolof = pd.read_csv('Test.csv') # wolof contains the columns of file , and transcription
wolof = DatasetDict({'test': Dataset.from_pandas(wolof)})

chars_to_ignore_regex = '[\"\?\.\!\-\;\:\(\)\,]'

def remove_special_characters(batch):
    batch["transcription"] = re.sub(chars_to_ignore_regex, '', batch["transcription"]).lower() + " "
    return batch
    
    
wolof = wolof.map(remove_special_characters)

processor = AutoProcessor.from_pretrained("abdouaziiz/wav2vec2-xls-r-300m-wolof-lm")
model = AutoModelForCTC.from_pretrained("abdouaziiz/wav2vec2-xls-r-300m-wolof-lm")

warnings.filterwarnings("ignore")
def speech_file_to_array_fn(batch):
    speech_array, sampling_rate = librosa.load(batch["file"], sr = 16000)
    batch["speech"] = speech_array.astype('float16')
    batch["sampling_rate"] = sampling_rate
    batch["target_text"] = batch["transcription"]
    return batch
 
wolof = wolof.map(speech_file_to_array_fn, remove_columns=wolof.column_names["test"], num_proc=1)   
  
def map_to_result(batch):
    model.to("cuda")
    input_values = processor(
      batch["speech"], 
      sampling_rate=batch["sampling_rate"], 
      return_tensors="pt"
    ).input_values.to("cuda")

    with torch.no_grad():
        logits = model(input_values).logits
        pred_ids = torch.argmax(logits, dim=-1)
        batch["pred_str"] = processor.batch_decode(pred_ids)[0]

    return batch
   
 results = wolof["test"].map(map_to_result) 
 
 print("Test WER: {:.3f}".format(wer_metric.compute(predictions=results["pred_str"], references=results["transcription"])))

📚 ドキュメント

モデルの説明

トレーニングデータの総時間は16.8時間で、トレーニング用に10,000個の音声ファイル、テスト用に3,339個の音声ファイルに分割しています。

トレーニングと評価データ

モデルは1500ステップごとに評価し、ログを記録します。また、33340ステップごとに保存します。

トレーニングハイパーパラメータ

トレーニング中に使用されたハイパーパラメータは以下の通りです。

トレーニング結果

🔧 技術詳細

• モデルは facebook/wav2vec2-xls-r-300m をベースに構築されています。
• 言語モデルは ALFFA_PUBLIC の音声データセットで微調整されています。

📄 ライセンス

このモデルは MIT ライセンスの下で公開されています。