Wav2vec2 Large Xlsr Korean

🚀 Wav2Vec2 XLSR Korean

このモデルは、韓国語の自動音声認識タスクに特化したWav2Vec2 XLSRベースのモデルです。高い精度で韓国語の音声をテキストに変換することができます。

🚀 クイックスタート

このモデルは、韓国語の自動音声認識タスクに使用されます。以下の評価コードを参照して、モデルを使用することができます。

💻 使用例

基本的な使用法

# コードとコメントを保持
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
from datasets import load_dataset
import soundfile as sf
import torch
from jiwer import wer

processor = Wav2Vec2Processor.from_pretrained("kresnik/wav2vec2-large-xlsr-korean")

model = Wav2Vec2ForCTC.from_pretrained("kresnik/wav2vec2-large-xlsr-korean").to('cuda')

ds = load_dataset("kresnik/zeroth_korean", "clean")

test_ds = ds['test']

def map_to_array(batch):
    speech, _ = sf.read(batch["file"])
    batch["speech"] = speech
    return batch

test_ds = test_ds.map(map_to_array)

def map_to_pred(batch):
    inputs = processor(batch["speech"], sampling_rate=16000, return_tensors="pt", padding="longest")
    input_values = inputs.input_values.to("cuda")
    
    with torch.no_grad():
        logits = model(input_values).logits

    predicted_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(predicted_ids)
    batch["transcription"] = transcription
    return batch

result = test_ds.map(map_to_pred, batched=True, batch_size=16, remove_columns=["speech"])

print("WER:", wer(result["text"], result["transcription"]))

期待される評価指標

• 期待されるWER: 4.74%
• 期待されるCER: 1.78%

📚 ドキュメント

Zeroth-Korean ASRコーパスでの評価

Google colab notebook(韓国語)

モデル情報

ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。