Wav2vec2 Base Da Ft Nst

🚀 wav2vec2-base-da-ft-nst

このモデルは、Alvenirによって公開されているNSTデータセットでファインチューニングされた、デンマーク語の自動音声認識（ASR）用のalvenir wav2vec2モデルです。このモデルは16kHzで学習されているため、使用するデータも同じサンプルレートであることを確認してください。

このモデルはfairseqを使用して学習され、その後huggingface/transformers形式に変換されました。

Alvenirは、オープンソースのASRプロジェクト、カスタマイズされたドメイン特化モデル、またはプレミアムモデルに関するお手伝いをいつでも喜んで行います。 ;-)

🚀 クイックスタート

💻 使用例

基本的な使用法

import soundfile as sf
import torch

from transformers import Wav2Vec2CTCTokenizer, Wav2Vec2Tokenizer, Wav2Vec2Processor, \
    Wav2Vec2ForCTC


def get_tokenizer(model_path: str) -> Wav2Vec2CTCTokenizer:
    return Wav2Vec2Tokenizer.from_pretrained(model_path)


def get_processor(model_path: str) -> Wav2Vec2Processor:
    return Wav2Vec2Processor.from_pretrained(model_path)


def load_model(model_path: str) -> Wav2Vec2ForCTC:
    return Wav2Vec2ForCTC.from_pretrained(model_path)


model_id = "Alvenir/wav2vec2-base-da-ft-nst"

model = load_model(model_id)
model.eval()
tokenizer = get_tokenizer(model_id)
processor = get_processor(model_id)

audio_file = "<path/to/audio.wav>"

audio, _ = sf.read(audio_file)

input_values = processor(audio, return_tensors="pt", padding="longest", sampling_rate=16_000).input_values
with torch.no_grad():
    logits = model(input_values).logits

predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)
print(transcription)

📚 ドキュメント

ベンチマーク結果

これは、デンマーク語で公開されているデータセットに対するいくつかのベンチマーク結果です。

📄 ライセンス

このモデルはApache 2.0ライセンスの下で提供されています。