Wav2vec2 Large Xlsr Moroccan Darija

🚀 Wav2Vec2-Large-XLSR-53-摩洛哥達裡賈語模型

本項目基於Wav2Vec2-Large-XLSR-53模型，針對摩洛哥達裡賈語進行了微調，能夠有效實現摩洛哥達裡賈語的自動語音識別，為相關語音處理任務提供了有力支持。

🚀 快速開始

本模型可以直接按以下步驟使用：

import librosa
import torch
from transformers import Wav2Vec2CTCTokenizer, Wav2Vec2ForCTC, Wav2Vec2Processor, TrainingArguments, Wav2Vec2FeatureExtractor, Trainer

tokenizer = Wav2Vec2CTCTokenizer("./vocab.json", unk_token="[UNK]", pad_token="[PAD]", word_delimiter_token="|")
processor = Wav2Vec2Processor.from_pretrained('boumehdi/wav2vec2-large-xlsr-moroccan-darija', tokenizer=tokenizer)
model=Wav2Vec2ForCTC.from_pretrained('boumehdi/wav2vec2-large-xlsr-moroccan-darija')


# load the audio data (use your own wav file here!)
input_audio, sr = librosa.load('file.wav', sr=16000)

# tokenize
input_values = processor(input_audio, return_tensors="pt", padding=True).input_values

# retrieve logits
logits = model(input_values).logits

tokens = torch.argmax(logits, axis=-1)

# decode using n-gram
transcription = tokenizer.batch_decode(tokens)

# print the output
print(transcription)

輸出示例：قالت ليا هاد السيد هادا ما كاينش بحالو

✨ 主要特性

• 數據來源優質：在從MDVC（https://ijeecs.iaescore.com/index.php/IJEECS/article/view/35709）中提取的57小時標註達裡賈語音頻上進行了微調，該數據集包含超過1000小時的摩洛哥達裡賈語“ary”。
• 持續優化：模型正在進行全天候的微調以提高準確性。
• 數據持續更新：每天都會持續為模型添加數據，並且會逐步規範摩洛哥達裡賈語的書寫方式。

📦 安裝指南

暫未提供相關安裝步驟，可參考代碼中的依賴庫進行安裝，如librosa、torch、transformers等。

💻 使用示例

基礎用法

import librosa
import torch
from transformers import Wav2Vec2CTCTokenizer, Wav2Vec2ForCTC, Wav2Vec2Processor, TrainingArguments, Wav2Vec2FeatureExtractor, Trainer

tokenizer = Wav2Vec2CTCTokenizer("./vocab.json", unk_token="[UNK]", pad_token="[PAD]", word_delimiter_token="|")
processor = Wav2Vec2Processor.from_pretrained('boumehdi/wav2vec2-large-xlsr-moroccan-darija', tokenizer=tokenizer)
model=Wav2Vec2ForCTC.from_pretrained('boumehdi/wav2vec2-large-xlsr-moroccan-darija')


# load the audio data (use your own wav file here!)
input_audio, sr = librosa.load('file.wav', sr=16000)

# tokenize
input_values = processor(input_audio, return_tensors="pt", padding=True).input_values

# retrieve logits
logits = model(input_values).logits

tokens = torch.argmax(logits, axis=-1)

# decode using n-gram
transcription = tokenizer.batch_decode(tokens)

# print the output
print(transcription)

高級用法

目前文檔未提供高級用法示例。

📚 詳細文檔

訓練和驗證指標如下：

📄 許可證

本項目採用Apache-2.0許可證。

聯繫方式

郵箱：souregh@gmail.com 作者：BOUMEHDI Ahmed