Wav2vec Test

🚀 エジプトアラビア語でのWav2Vec2テスト

facebook/wav2vec2-large-xlsr-53 を arabicspeech.org MGB-3 を使用してエジプトアラビア語でファインチューニングしました。このモデルを使用する際には、音声入力が16kHzでサンプリングされていることを確認してください。

🚀 クイックスタート

このモデルは、音声認識タスクに使用できます。エジプトアラビア語の音声を入力として受け取り、その内容をテキストに変換します。

✨ 主な機能

• エジプトアラビア語に特化した音声認識が可能です。
• 事前学習済みの facebook/wav2vec2-large-xlsr-53 モデルをファインチューニングしているため、高精度な認識が期待できます。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコマンドを使用して、必要なライブラリをインストールできます。

pip install torch torchaudio datasets transformers

💻 使用例

基本的な使用法

import torch
import torchaudio
from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
dataset = load_dataset("arabic_speech_corpus", split="test")
processor = Wav2Vec2Processor.from_pretrained("othrif/wav2vec_test")
model = Wav2Vec2ForCTC.from_pretrained("othrif/wav2vec_test")
resampler = torchaudio.transforms.Resample(48_000, 16_000)
# Preprocessing the datasets.
# We need to read the aduio files as arrays
def speech_file_to_array_fn(batch):
    speech_array, sampling_rate = torchaudio.load(batch["path"])
    batch["speech"] = resampler(speech_array).squeeze().numpy()
    return batch
test_dataset = test_dataset.map(speech_file_to_array_fn)
inputs = processor(test_dataset["speech"][:2], sampling_rate=16_000, return_tensors="pt", padding=True)
with torch.no_grad():
    logits = model(inputs.input_values, attention_mask=inputs.attention_mask).logits
predicted_ids = torch.argmax(logits, dim=-1)
print("Prediction:", processor.batch_decode(predicted_ids))
print("Reference:", test_dataset["sentence"][:2])

📚 ドキュメント

データセット

• このモデルは、arabicspeech.org MGB-3 データセットを使用してファインチューニングされています。
• データセットの詳細については、arabicspeech.org を参照してください。

モデルの評価

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で公開されています。詳細については、Apache 2.0ライセンス を参照してください。