Romanian Wav2vec2

🚀 羅馬尼亞語語音識別模型（wav2vec2-ro-300m_01）

本模型是一個用於羅馬尼亞語語音識別的模型，基於facebook/wav2vec2-xls-r-300m微調而來。它在多個數據集上進行訓練和評估，在羅馬尼亞語語音識別任務中表現出色，可用於將音頻中的羅馬尼亞語語音轉換為文本。

🚀 快速開始

你可以通過以下鏈接在線測試該模型：羅馬尼亞語語音識別Space

此模型在HuggingFace的Robust Speech Challenge中，羅馬尼亞語語音識別排名第一：

• 🤗 語音基準
• 語音挑戰排行榜

✨ 主要特性

• 基於預訓練模型：以facebook/wav2vec2-xls-r-300m為基礎模型，利用其強大的特徵提取能力。
• 多數據集訓練：使用了Common Voice 8.0和Romanian Speech Synthesis 0.8.1等數據集進行訓練，提高模型的泛化能力。
• 語言模型增強：添加了5-gram語言模型，提升語音識別的準確率。

📦 安裝指南

確保你已安裝語言模型增強版本所需的正確依賴。你可以運行以下命令安裝kenlm和pyctcdecode庫：

pip install https://github.com/kpu/kenlm/archive/master.zip pyctcdecode

💻 使用示例

基礎用法

使用transformers框架加載模型：

from transformers import AutoProcessor, AutoModelForCTC

processor = AutoProcessor.from_pretrained("gigant/romanian-wav2vec2")
model = AutoModelForCTC.from_pretrained("gigant/romanian-wav2vec2")

高級用法

如果你想測試模型，可以從transformers加載自動語音識別管道：

from transformers import pipeline

asr = pipeline("automatic-speech-recognition", model="gigant/romanian-wav2vec2")

使用datasets庫的示例

首先，加載數據，這裡使用Romanian Speech Synthesis數據集：

from datasets import load_dataset

dataset = load_dataset("gigant/romanian_speech_synthesis_0_8_1")

你可以使用IPython.display庫收聽樣本：

from IPython.display import Audio

i = 0
sample = dataset["train"][i]
Audio(sample["audio"]["array"], rate = sample["audio"]["sampling_rate"])

由於模型是針對16kHz採樣的音頻進行訓練的，如果數據集中音頻的採樣率不同，需要進行重採樣：

import torchaudio
import torch

i = 0
audio = sample["audio"]["array"]
rate = sample["audio"]["sampling_rate"]
resampler = torchaudio.transforms.Resample(rate, 16_000)
audio_16 = resampler(torch.Tensor(audio)).numpy()

收聽重採樣後的樣本：

Audio(audio_16, rate=16000)

最後，獲取模型預測結果：

predicted_text = asr(audio_16)
ground_truth = dataset["train"][i]["sentence"]

print(f"Predicted text : {predicted_text}")
print(f"Ground truth : {ground_truth}")

📚 詳細文檔

模型描述

該模型的架構基於facebook/wav2vec2-xls-r-300m，添加了語音識別CTC頭部和一個5-gram語言模型（使用pyctcdecode和kenlm），該語言模型在Romanian Corpora Parliament數據集上進行訓練。為了使語言模型增強的解碼器正常工作，需要安裝這些庫。

預期用途和限制

該模型用於識別採樣率為16kHz的羅馬尼亞語音頻片段。預測的文本為小寫，不包含任何標點符號。

訓練和評估數據

• 訓練數據：
  • Common Voice 8.0 - 羅馬尼亞子集：訓練集、驗證集和其他分割集
  • Romanian Speech Synthesis：訓練集和測試集
• 評估數據：
  • Common Voice 8.0 - 羅馬尼亞子集：測試集

訓練過程

訓練超參數

以下是訓練過程中使用的超參數：

訓練結果

框架版本

• Transformers 4.16.2
• Pytorch 1.10.0+cu111
• Tokenizers 0.11.0
• pyctcdecode 0.3.0
• kenlm

🔧 技術細節

該模型在多個數據集上進行訓練和評估，使用了特定的超參數和優化器，結合了預訓練模型和語言模型，以提高羅馬尼亞語語音識別的準確率。在訓練過程中，採用了混合精度訓練，提高了訓練效率。

📄 許可證

本模型使用Apache-2.0許可證。

信息表格