Wav2vec2 Xls R Parlaspeech Hr Lm

🚀 wav2vec2-xls-r-parlaspeech-hr-lm

該模型用於克羅地亞語的自動語音識別（ASR），基於 facebook/wav2vec2-xls-r-300m 模型，並使用來自克羅地亞議會自動語音識別數據集 ParlaSpeech-HR v1.0 的 300 小時錄音和文字轉錄進行了微調。

如果您使用此模型，請引用以下論文：

@inproceedings{ljubevsic2022parlaspeech,
  title={ParlaSpeech-HR-a Freely Available ASR Dataset for Croatian Bootstrapped from the ParlaMint Corpus},
  author={Ljube{\v{s}}i{\'c}, Nikola and Kor{\v{z}}inek, Danijel and Rupnik, Peter and Jazbec, Ivo-Pavao},
  booktitle={Proceedings of the Workshop ParlaCLARIN III within the 13th Language Resources and Evaluation Conference},
  pages={111--116},
  year={2022},
  url={http://www.lrec-conf.org/proceedings/lrec2022/workshops/ParlaCLARINIII/pdf/2022.parlaclariniii-1.16.pdf}
}

🚀 快速開始

✨ 主要特性

• 基於 facebook/wav2vec2-xls-r-300m 模型，針對克羅地亞語自動語音識別進行微調。
• 使用 ParlaSpeech-HR v1.0 數據集的 300 小時錄音和文字轉錄進行訓練。

📦 安裝指南

本部分文檔未提供安裝步驟，可參考 transformers 庫的官方安裝指南進行安裝。

💻 使用示例

基礎用法

from transformers import Wav2Vec2ProcessorWithLM, Wav2Vec2ForCTC
import soundfile as sf
import torch
import os
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
# load model and tokenizer
processor = Wav2Vec2ProcessorWithLM.from_pretrained(
    "classla/wav2vec2-xls-r-parlaspeech-hr-lm")
model = Wav2Vec2ForCTC.from_pretrained("classla/wav2vec2-xls-r-parlaspeech-hr-lm")
# download the example wav files:
os.system("wget https://huggingface.co/classla/wav2vec2-large-slavic-parlaspeech-hr/raw/main/00020570a.flac.wav")
# read the wav file 
speech, sample_rate = sf.read("00020570a.flac.wav")
input_values = processor(speech, sampling_rate=sample_rate, return_tensors="pt").input_values.cuda()
inputs = processor(speech, sampling_rate=sample_rate, return_tensors="pt")
with torch.no_grad():
    logits = model(**inputs).logits
transcription = processor.batch_decode(logits.numpy()).text[0]

# remove the raw wav file
os.system("rm 00020570a.flac.wav")
transcription

# transcription: 'velik broj poslovnih subjekata posluje sa minusom velik dio'

📚 詳細文檔

指標

評估是在 ParlaSpeech-HR v1.0 數據集的開發集和測試集上進行的。

有多個可用的模型，就字符錯誤率（CER）和詞錯誤率（WER）而言，性能最佳的模型是 wav2vec2-large-slavic-parlaspeech-hr-lm。

🔧 技術細節

訓練超參數

在微調過程中，使用了以下參數：

📄 許可證

文檔未提及許可證信息。