Romanian Wav2vec2

🚀 罗马尼亚语语音识别模型（wav2vec2-ro-300m_01）

本模型是一个用于罗马尼亚语语音识别的模型，基于facebook/wav2vec2-xls-r-300m微调而来。它在多个数据集上进行训练和评估，在罗马尼亚语语音识别任务中表现出色，可用于将音频中的罗马尼亚语语音转换为文本。

🚀 快速开始

你可以通过以下链接在线测试该模型：罗马尼亚语语音识别Space

此模型在HuggingFace的Robust Speech Challenge中，罗马尼亚语语音识别排名第一：

• 🤗 语音基准
• 语音挑战排行榜

✨ 主要特性

• 基于预训练模型：以facebook/wav2vec2-xls-r-300m为基础模型，利用其强大的特征提取能力。
• 多数据集训练：使用了Common Voice 8.0和Romanian Speech Synthesis 0.8.1等数据集进行训练，提高模型的泛化能力。
• 语言模型增强：添加了5-gram语言模型，提升语音识别的准确率。

📦 安装指南

确保你已安装语言模型增强版本所需的正确依赖。你可以运行以下命令安装kenlm和pyctcdecode库：

pip install https://github.com/kpu/kenlm/archive/master.zip pyctcdecode

💻 使用示例

基础用法

使用transformers框架加载模型：

from transformers import AutoProcessor, AutoModelForCTC

processor = AutoProcessor.from_pretrained("gigant/romanian-wav2vec2")
model = AutoModelForCTC.from_pretrained("gigant/romanian-wav2vec2")

高级用法

如果你想测试模型，可以从transformers加载自动语音识别管道：

from transformers import pipeline

asr = pipeline("automatic-speech-recognition", model="gigant/romanian-wav2vec2")

使用datasets库的示例

首先，加载数据，这里使用Romanian Speech Synthesis数据集：

from datasets import load_dataset

dataset = load_dataset("gigant/romanian_speech_synthesis_0_8_1")

你可以使用IPython.display库收听样本：

from IPython.display import Audio

i = 0
sample = dataset["train"][i]
Audio(sample["audio"]["array"], rate = sample["audio"]["sampling_rate"])

由于模型是针对16kHz采样的音频进行训练的，如果数据集中音频的采样率不同，需要进行重采样：

import torchaudio
import torch

i = 0
audio = sample["audio"]["array"]
rate = sample["audio"]["sampling_rate"]
resampler = torchaudio.transforms.Resample(rate, 16_000)
audio_16 = resampler(torch.Tensor(audio)).numpy()

收听重采样后的样本：

Audio(audio_16, rate=16000)

最后，获取模型预测结果：

predicted_text = asr(audio_16)
ground_truth = dataset["train"][i]["sentence"]

print(f"Predicted text : {predicted_text}")
print(f"Ground truth : {ground_truth}")

📚 详细文档

模型描述

该模型的架构基于facebook/wav2vec2-xls-r-300m，添加了语音识别CTC头部和一个5-gram语言模型（使用pyctcdecode和kenlm），该语言模型在Romanian Corpora Parliament数据集上进行训练。为了使语言模型增强的解码器正常工作，需要安装这些库。

预期用途和限制

该模型用于识别采样率为16kHz的罗马尼亚语音频片段。预测的文本为小写，不包含任何标点符号。

训练和评估数据

• 训练数据：
  • Common Voice 8.0 - 罗马尼亚子集：训练集、验证集和其他分割集
  • Romanian Speech Synthesis：训练集和测试集
• 评估数据：
  • Common Voice 8.0 - 罗马尼亚子集：测试集

训练过程

训练超参数

以下是训练过程中使用的超参数：

训练结果

框架版本

• Transformers 4.16.2
• Pytorch 1.10.0+cu111
• Tokenizers 0.11.0
• pyctcdecode 0.3.0
• kenlm

🔧 技术细节

该模型在多个数据集上进行训练和评估，使用了特定的超参数和优化器，结合了预训练模型和语言模型，以提高罗马尼亚语语音识别的准确率。在训练过程中，采用了混合精度训练，提高了训练效率。

📄 许可证

本模型使用Apache-2.0许可证。

信息表格