Wav2vec2 Base Da Ft Nst

🚀 wav2vec2-base-da-ft-nst

這是由Alvenir在公共NST數據集上微調的用於丹麥語自動語音識別（ASR）的alvenir wav2vec2模型。該模型在16kHz採樣率下進行訓練，因此請確保您的數據採樣率相同。

🚀 快速開始

模型訓練信息

該模型使用fairseq進行訓練，然後轉換為huggingface/transformers格式。Alvenir始終樂於為您的開源ASR項目、定製領域專業化或高級模型提供幫助。

模型使用

import soundfile as sf
import torch

from transformers import Wav2Vec2CTCTokenizer, Wav2Vec2Tokenizer, Wav2Vec2Processor, \
    Wav2Vec2ForCTC


def get_tokenizer(model_path: str) -> Wav2Vec2CTCTokenizer:
    return Wav2Vec2Tokenizer.from_pretrained(model_path)


def get_processor(model_path: str) -> Wav2Vec2Processor:
    return Wav2Vec2Processor.from_pretrained(model_path)


def load_model(model_path: str) -> Wav2Vec2ForCTC:
    return Wav2Vec2ForCTC.from_pretrained(model_path)


model_id = "Alvenir/wav2vec2-base-da-ft-nst"

model = load_model(model_id)
model.eval()
tokenizer = get_tokenizer(model_id)
processor = get_processor(model_id)

audio_file = "<path/to/audio.wav>"

audio, _ = sf.read(audio_file)

input_values = processor(audio, return_tensors="pt", padding="longest", sampling_rate=16_000).input_values
with torch.no_grad():
    logits = model(input_values).logits

predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)
print(transcription)

基準測試結果

以下是該模型在公開可用的丹麥語數據集上的一些基準測試結果。

📄 許可證

本項目採用Apache 2.0許可證。