Wav2vec2 Large Slavic Parlaspeech Hr

🚀 wav2vec2-large-slavic-parlaspeech-hr

该模型用于克罗地亚语的自动语音识别（ASR），基于 facebook/wav2vec2-large-slavic-voxpopuli-v2 模型，并使用来自克罗地亚议会 ASR 数据集 ParlaSpeech-HR v1.0 的 300 小时录音和文字转录进行了微调。

如果您使用此模型，请引用以下论文：

Nikola Ljubešić, Danijel Koržinek, Peter Rupnik, Ivo - Pavao Jazbec. ParlaSpeech - HR -- a freely available ASR dataset for Croatian bootstrapped from the ParlaMint corpus. http://www.lrec-conf.org/proceedings/lrec2022/workshops/ParlaCLARINIII/pdf/2022.parlaclariniii-1.16.pdf

✨ 主要特性

• 基于成熟的 facebook/wav2vec2-large-slavic-voxpopuli-v2 模型进行微调，适用于克罗地亚语的自动语音识别任务。
• 利用了 300 小时的克罗地亚议会录音及转录数据进行训练，具有较好的性能表现。

📦 安装指南

文档中未提及具体安装步骤，若有相关需求，可参考 transformers 库的安装方式。

💻 使用示例

基础用法

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
import soundfile as sf
import torch
import os
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
# load model and tokenizer
processor = Wav2Vec2Processor.from_pretrained(
    "classla/wav2vec2-large-slavic-parlaspeech-hr")
model = Wav2Vec2ForCTC.from_pretrained("classla/wav2vec2-large-slavic-parlaspeech-hr")
# download the example wav files:
os.system("wget https://huggingface.co/classla/wav2vec2-large-slavic-parlaspeech-hr/raw/main/00020570a.flac.wav")
# read the wav file 
speech, sample_rate = sf.read("00020570a.flac.wav")
input_values = processor(speech, sampling_rate=sample_rate, return_tensors="pt").input_values.to(device)
# remove the raw wav file
os.system("rm 00020570a.flac.wav")
# retrieve logits
logits = model.to(device)(input_values).logits
# take argmax and decode
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.decode(predicted_ids[0]).lower()
# transcription: 'veliki broj poslovnih subjekata posluje sa minusom velik dio'

📚 详细文档

指标

评估是在 ParlaSpeech - HR v1.0 数据集的开发集和测试集上进行的。

有多个可用的模型，就 CER 和 WER 而言，性能最佳的模型是 wav2vec2-large-slavic-parlaspeech-hr-lm。

训练超参数

在微调过程中，使用了以下参数：