Wav2vec2 Large Ru Golos

🚀 Wav2Vec2-Large-Ru-Golos

Wav2Vec2-Large-Ru-Golos 模型基于 facebook/wav2vec2-large-xlsr-53，使用 Sberdevices Golos 数据集针对俄语进行了微调，并采用了诸如音高变换、声音加速/减速、混响等音频增强技术。使用该模型时，请确保输入语音的采样率为 16kHz。

🚀 快速开始

本模型可作为独立的声学模型对音频文件进行转录，以下是使用示例：

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import torch
 
# 加载模型和分词器
processor = Wav2Vec2Processor.from_pretrained("bond005/wav2vec2-large-ru-golos")
model = Wav2Vec2ForCTC.from_pretrained("bond005/wav2vec2-large-ru-golos")
     
# 加载 Golos 数据集的测试部分并读取第一个音频文件
ds = load_dataset("bond005/sberdevices_golos_10h_crowd", split="test")
 
# 分词
processed = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest")  # 批量大小为 1
 
# 获取对数概率
logits = model(processed.input_values, attention_mask=processed.attention_mask).logits
 
# 取最大值并解码
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)[0]
print(transcription)

✨ 主要特性

• 基于预训练模型：基于 facebook/wav2vec2-large-xlsr-53 进行微调，继承了强大的语音处理能力。
• 音频增强：在微调过程中使用了音高变换、声音加速/减速、混响等音频增强技术，提高了模型的鲁棒性。
• 多数据集支持：可在多个俄语语音数据集上进行训练和评估，如 SberDevices/Golos、bond005/sova_rudevices、bond005/rulibrispeech 等。

💻 使用示例

基础用法

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import torch
 
# 加载模型和分词器
processor = Wav2Vec2Processor.from_pretrained("bond005/wav2vec2-large-ru-golos")
model = Wav2Vec2ForCTC.from_pretrained("bond005/wav2vec2-large-ru-golos")
     
# 加载 Golos 数据集的测试部分并读取第一个音频文件
ds = load_dataset("bond005/sberdevices_golos_10h_crowd", split="test")
 
# 分词
processed = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest")  # 批量大小为 1
 
# 获取对数概率
logits = model(processed.input_values, attention_mask=processed.attention_mask).logits
 
# 取最大值并解码
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)[0]
print(transcription)

📚 详细文档

评估

以下代码展示了如何在 Golos 数据集的 “crowd” 和 “farfield” 测试数据上评估 bond005/wav2vec2-large-ru-golos 模型：

from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
import torch
from jiwer import wer, cer  # 需要单词错误率 (WER) 和字符错误率 (CER)

# 加载 Golos Crowd 的测试部分并移除 “真实” 转录为空的样本
golos_crowd_test = load_dataset("bond005/sberdevices_golos_10h_crowd", split="test")
golos_crowd_test = golos_crowd_test.filter(
    lambda it1: (it1["transcription"] is not None) and (len(it1["transcription"].strip()) > 0)
)

# 加载 Golos Farfield 的测试部分并移除 “真实” 转录为空的样本
golos_farfield_test = load_dataset("bond005/sberdevices_golos_100h_farfield", split="test")
golos_farfield_test = golos_farfield_test.filter(
    lambda it2: (it2["transcription"] is not None) and (len(it2["transcription"].strip()) > 0)
)

# 加载模型和分词器
model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-base-960h").to("cuda")
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-base-960h")

# 识别一个音频
def map_to_pred(batch):
    # 分词和向量化
    processed = processor(
        batch["audio"]["array"], sampling_rate=batch["audio"]["sampling_rate"],
        return_tensors="pt", padding="longest"
    )
    input_values = processed.input_values.to("cuda")
    attention_mask = processed.attention_mask.to("cuda")

    # 识别
    with torch.no_grad():
        logits = model(input_values, attention_mask=attention_mask).logits
    predicted_ids = torch.argmax(logits, dim=-1)

    # 解码
    transcription = processor.batch_decode(predicted_ids)
    batch["text"] = transcription[0]
    return batch

# 计算 “crowd” 领域的 WER 和 CER
crowd_result = golos_crowd_test.map(map_to_pred, remove_columns=["audio"])
crowd_wer = wer(crowd_result["transcription"], crowd_result["text"])
crowd_cer = cer(crowd_result["transcription"], crowd_result["text"])
print("Word error rate on the Crowd domain:", crowd_wer)
print("Character error rate on the Crowd domain:", crowd_cer)

# 计算 “farfield” 领域的 WER 和 CER
farfield_result = golos_farfield_test.map(map_to_pred, remove_columns=["audio"])
farfield_wer = wer(farfield_result["transcription"], farfield_result["text"])
farfield_cer = cer(farfield_result["transcription"], farfield_result["text"])
print("Word error rate on the Farfield domain:", farfield_wer)
print("Character error rate on the Farfield domain:", farfield_cer)

结果 (WER, %):

结果 (CER, %):

你可以在我的 Kaggle 网页 https://www.kaggle.com/code/bond005/wav2vec2-ru-eval 上查看该模型在其他数据集（包括 Russian Librispeech 和 SOVA RuDevices）上的评估脚本。

📄 许可证

本项目采用 Apache-2.0 许可证。

📚 详细信息

数据集

模型索引

• 模型名称：XLSR Wav2Vec2 Russian by Ivan Bondarenko
• 评估结果：
  • 任务：语音识别（Automatic Speech Recognition）
  • 数据集：Sberdevices Golos (crowd)、Sberdevices Golos (farfield)、Common Voice ru、Sova RuDevices、Russian Librispeech、Voxforge Ru
  • 评估指标：单词错误率 (WER)、字符错误率 (CER)

引用

如果你想引用此模型，可以使用以下 BibTeX 格式：

@misc{bondarenko2022wav2vec2-large-ru-golos,
  title={XLSR Wav2Vec2 Russian by Ivan Bondarenko},
  author={Bondarenko, Ivan},
  publisher={Hugging Face},
  journal={Hugging Face Hub},
  howpublished={\url{https://huggingface.co/bond005/wav2vec2-large-ru-golos}},
  year={2022}
}