Wav2vec2 Large Xlsr Catala

🚀 加泰罗尼亚语XLSR Wav2Vec2大模型

本项目基于加泰罗尼亚语，使用通用语音和议会演讲数据集，对facebook/wav2vec2-large-xlsr-53进行了微调。该模型可用于自动语音识别任务，为加泰罗尼亚语的语音处理提供了有效的解决方案。

⚠️ 重要提示

本模型使用的训练/开发/测试拆分与CommonVoice 6.1数据集并不完全匹配。使用了结合通用语音和议会演讲数据集的自定义拆分，可在此处找到。在CV测试数据集上进行评估会产生有偏差的字错率（WER），因为该数据集中的1144个音频文件已用于本模型的训练/评估。字错率是使用此test.csv计算得出的，该文件在训练/评估期间模型并未见过。

💡 使用建议

使用此模型时，请确保您的语音输入采样率为16kHz。

🚀 快速开始

本模型可直接使用（无需语言模型），以下是具体的使用步骤。

✨ 主要特性

• 基于加泰罗尼亚语进行微调，适用于加泰罗尼亚语的自动语音识别任务。
• 使用了通用语音和议会演讲两个数据集进行训练，提高了模型的泛化能力。

📦 安装指南

文档中未提及安装相关内容，可参考github仓库 ccoreilly/wav2vec2-catala 中的训练和评估脚本。

💻 使用示例

基础用法

import torch
import torchaudio
from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor

test_dataset = load_dataset("common_voice", "ca", split="test[:2%]")

processor = Wav2Vec2Processor.from_pretrained("ccoreilly/wav2vec2-large-xlsr-catala") 
model = Wav2Vec2ForCTC.from_pretrained("ccoreilly/wav2vec2-large-xlsr-catala")

resampler = torchaudio.transforms.Resample(48_000, 16_000)

# Preprocessing the datasets.
# We need to read the audio files as arrays
def speech_file_to_array_fn(batch):
	speech_array, sampling_rate = torchaudio.load(batch["path"])
	batch["speech"] = resampler(speech_array).squeeze().numpy()
	return batch

test_dataset = test_dataset.map(speech_file_to_array_fn)
inputs = processor(test_dataset["speech"][:2], sampling_rate=16_000, return_tensors="pt", padding=True)

with torch.no_grad():
	logits = model(inputs.input_values, attention_mask=inputs.attention_mask).logits

predicted_ids = torch.argmax(logits, dim=-1)

print("Prediction:", processor.batch_decode(predicted_ids))
print("Reference:", test_dataset["sentence"][:2])

📚 详细文档

模型信息

评估结果

字错率（WER）在模型未见过的以下数据集上进行了评估：

📄 许可证

本项目采用Apache 2.0许可证。