Wav2vec2 Large Xlsr Catala

🚀 加泰罗尼亚语XLSR Wav2Vec2大模型

本项目是在加泰罗尼亚语上对 facebook/wav2vec2-large-xlsr-53 进行微调的成果，使用了 Common Voice 和 ParlamentParla 数据集。该模型可用于自动语音识别任务，为加泰罗尼亚语的语音处理提供了有效的解决方案。

🚀 快速开始

本模型是基于 facebook/wav2vec2-large-xlsr-53 在加泰罗尼亚语上微调得到的。使用时，请确保语音输入的采样率为 16kHz。

⚠️ 重要提示

本项目使用的训练/开发/测试划分与 CommonVoice 6.1 数据集并不完全一致。采用了自定义的划分方式，结合了 CommonVoice 和 ParlamentParla 数据集，具体可查看 此处。在 CV 测试数据集上进行评估会产生有偏差的字错误率（WER），因为该数据集中有 1144 个音频文件已用于本模型的训练/评估。WER 是使用 test.csv 计算得出的，该文件在训练/评估过程中未被模型使用。

✨ 主要特性

• 基于加泰罗尼亚语进行微调，适用于加泰罗尼亚语的自动语音识别任务。
• 结合了 Common Voice 和 ParlamentParla 两个数据集进行训练，提高了模型的泛化能力。

📦 安装指南

文档未提及安装步骤，故跳过此章节。

💻 使用示例

基础用法

import torch
import torchaudio
from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor

test_dataset = load_dataset("common_voice", "ca", split="test[:2%]")

processor = Wav2Vec2Processor.from_pretrained("ccoreilly/wav2vec2-large-xlsr-catala") 
model = Wav2Vec2ForCTC.from_pretrained("ccoreilly/wav2vec2-large-xlsr-catala")

resampler = torchaudio.transforms.Resample(48_000, 16_000)

# Preprocessing the datasets.
# We need to read the audio files as arrays
def speech_file_to_array_fn(batch):
	speech_array, sampling_rate = torchaudio.load(batch["path"])
	batch["speech"] = resampler(speech_array).squeeze().numpy()
	return batch

test_dataset = test_dataset.map(speech_file_to_array_fn)
inputs = processor(test_dataset["speech"][:2], sampling_rate=16_000, return_tensors="pt", padding=True)

with torch.no_grad():
	logits = model(inputs.input_values, attention_mask=inputs.attention_mask).logits

predicted_ids = torch.argmax(logits, dim=-1)

print("Prediction:", processor.batch_decode(predicted_ids))
print("Reference:", test_dataset["sentence"][:2])

📚 详细文档

你可以在 GitHub 仓库 ccoreilly/wav2vec2-catala 中找到训练和评估脚本。

🔧 技术细节

文档未提供足够的技术实现细节（具体说明少于 50 字），故跳过此章节。

📄 许可证

本项目采用 Apache-2.0 许可证。

📋 模型信息

📈 评估结果

字错误率（WER）在以下模型未见过的数据集上进行评估：