Wav2vec2 Large Ru Golos
基于facebook/wav2vec2-large-xlsr-53微调的俄语语音识别模型,使用Sberdevices Golos数据集训练,支持16kHz音频输入
下载量 1,182
发布时间 : 6/21/2022
模型简介
该模型是针对俄语优化的自动语音识别(ASR)模型,通过音高变换、速度调整和混响等增强技术提升识别效果,适用于多种俄语语音场景
模型特点
俄语优化
专门针对俄语语音特点进行微调,在多个俄语测试集上表现优异
音频增强
训练时应用了音高变换、速度调整和混响等增强技术,提升模型鲁棒性
多场景适配
在近距离(crowd)和远场(farfield)语音场景下均有良好表现
模型能力
俄语语音转文本
16kHz音频处理
远场语音识别
使用案例
语音转写
俄语语音转录
将俄语语音内容转换为文本
在Golos crowd测试集上WER 10.144%
智能助手
俄语语音指令识别
用于俄语智能家居设备的语音指令识别
在远场场景下WER 20.353%
🚀 Wav2Vec2-Large-Ru-Golos
Wav2Vec2-Large-Ru-Golos 模型基于 facebook/wav2vec2-large-xlsr-53,使用 Sberdevices Golos 数据集针对俄语进行了微调,并采用了诸如音高变换、声音加速/减速、混响等音频增强技术。使用该模型时,请确保输入语音的采样率为 16kHz。
🚀 快速开始
本模型可作为独立的声学模型对音频文件进行转录,以下是使用示例:
from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import torch
# 加载模型和分词器
processor = Wav2Vec2Processor.from_pretrained("bond005/wav2vec2-large-ru-golos")
model = Wav2Vec2ForCTC.from_pretrained("bond005/wav2vec2-large-ru-golos")
# 加载 Golos 数据集的测试部分并读取第一个音频文件
ds = load_dataset("bond005/sberdevices_golos_10h_crowd", split="test")
# 分词
processed = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest") # 批量大小为 1
# 获取对数概率
logits = model(processed.input_values, attention_mask=processed.attention_mask).logits
# 取最大值并解码
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)[0]
print(transcription)
✨ 主要特性
- 基于预训练模型:基于 facebook/wav2vec2-large-xlsr-53 进行微调,继承了强大的语音处理能力。
- 音频增强:在微调过程中使用了音高变换、声音加速/减速、混响等音频增强技术,提高了模型的鲁棒性。
- 多数据集支持:可在多个俄语语音数据集上进行训练和评估,如 SberDevices/Golos、bond005/sova_rudevices、bond005/rulibrispeech 等。
💻 使用示例
基础用法
from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import torch
# 加载模型和分词器
processor = Wav2Vec2Processor.from_pretrained("bond005/wav2vec2-large-ru-golos")
model = Wav2Vec2ForCTC.from_pretrained("bond005/wav2vec2-large-ru-golos")
# 加载 Golos 数据集的测试部分并读取第一个音频文件
ds = load_dataset("bond005/sberdevices_golos_10h_crowd", split="test")
# 分词
processed = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest") # 批量大小为 1
# 获取对数概率
logits = model(processed.input_values, attention_mask=processed.attention_mask).logits
# 取最大值并解码
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)[0]
print(transcription)
📚 详细文档
评估
以下代码展示了如何在 Golos 数据集的 “crowd” 和 “farfield” 测试数据上评估 bond005/wav2vec2-large-ru-golos 模型:
from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
import torch
from jiwer import wer, cer # 需要单词错误率 (WER) 和字符错误率 (CER)
# 加载 Golos Crowd 的测试部分并移除 “真实” 转录为空的样本
golos_crowd_test = load_dataset("bond005/sberdevices_golos_10h_crowd", split="test")
golos_crowd_test = golos_crowd_test.filter(
lambda it1: (it1["transcription"] is not None) and (len(it1["transcription"].strip()) > 0)
)
# 加载 Golos Farfield 的测试部分并移除 “真实” 转录为空的样本
golos_farfield_test = load_dataset("bond005/sberdevices_golos_100h_farfield", split="test")
golos_farfield_test = golos_farfield_test.filter(
lambda it2: (it2["transcription"] is not None) and (len(it2["transcription"].strip()) > 0)
)
# 加载模型和分词器
model = Wav2Vec2ForCTC.from_pretrained("facebook/wav2vec2-base-960h").to("cuda")
processor = Wav2Vec2Processor.from_pretrained("facebook/wav2vec2-base-960h")
# 识别一个音频
def map_to_pred(batch):
# 分词和向量化
processed = processor(
batch["audio"]["array"], sampling_rate=batch["audio"]["sampling_rate"],
return_tensors="pt", padding="longest"
)
input_values = processed.input_values.to("cuda")
attention_mask = processed.attention_mask.to("cuda")
# 识别
with torch.no_grad():
logits = model(input_values, attention_mask=attention_mask).logits
predicted_ids = torch.argmax(logits, dim=-1)
# 解码
transcription = processor.batch_decode(predicted_ids)
batch["text"] = transcription[0]
return batch
# 计算 “crowd” 领域的 WER 和 CER
crowd_result = golos_crowd_test.map(map_to_pred, remove_columns=["audio"])
crowd_wer = wer(crowd_result["transcription"], crowd_result["text"])
crowd_cer = cer(crowd_result["transcription"], crowd_result["text"])
print("Word error rate on the Crowd domain:", crowd_wer)
print("Character error rate on the Crowd domain:", crowd_cer)
# 计算 “farfield” 领域的 WER 和 CER
farfield_result = golos_farfield_test.map(map_to_pred, remove_columns=["audio"])
farfield_wer = wer(farfield_result["transcription"], farfield_result["text"])
farfield_cer = cer(farfield_result["transcription"], farfield_result["text"])
print("Word error rate on the Farfield domain:", farfield_wer)
print("Character error rate on the Farfield domain:", farfield_cer)
结果 (WER, %):
"crowd" | "farfield" |
---|---|
10.144 | 20.353 |
结果 (CER, %):
"crowd" | "farfield" |
---|---|
2.168 | 6.030 |
你可以在我的 Kaggle 网页 https://www.kaggle.com/code/bond005/wav2vec2-ru-eval 上查看该模型在其他数据集(包括 Russian Librispeech 和 SOVA RuDevices)上的评估脚本。
📄 许可证
本项目采用 Apache-2.0 许可证。
📚 详细信息
数据集
属性 | 详情 |
---|---|
训练数据集 | SberDevices/Golos、bond005/sova_rudevices、bond005/rulibrispeech |
评估指标 | 单词错误率 (WER)、字符错误率 (CER) |
模型索引
- 模型名称:XLSR Wav2Vec2 Russian by Ivan Bondarenko
- 评估结果:
- 任务:语音识别(Automatic Speech Recognition)
- 数据集:Sberdevices Golos (crowd)、Sberdevices Golos (farfield)、Common Voice ru、Sova RuDevices、Russian Librispeech、Voxforge Ru
- 评估指标:单词错误率 (WER)、字符错误率 (CER)
引用
如果你想引用此模型,可以使用以下 BibTeX 格式:
@misc{bondarenko2022wav2vec2-large-ru-golos,
title={XLSR Wav2Vec2 Russian by Ivan Bondarenko},
author={Bondarenko, Ivan},
publisher={Hugging Face},
journal={Hugging Face Hub},
howpublished={\url{https://huggingface.co/bond005/wav2vec2-large-ru-golos}},
year={2022}
}
Voice Activity Detection
MIT
基于pyannote.audio 2.1版本的语音活动检测模型,用于识别音频中的语音活动时间段
语音识别
V
pyannote
7.7M
181
Wav2vec2 Large Xlsr 53 Portuguese
Apache-2.0
这是一个针对葡萄牙语语音识别任务微调的XLSR-53大模型,基于Common Voice 6.1数据集训练,支持葡萄牙语语音转文本。
语音识别 其他
W
jonatasgrosman
4.9M
32
Whisper Large V3
Apache-2.0
Whisper是由OpenAI提出的先进自动语音识别(ASR)和语音翻译模型,在超过500万小时的标注数据上训练,具有强大的跨数据集和跨领域泛化能力。
语音识别 支持多种语言
W
openai
4.6M
4,321
Whisper Large V3 Turbo
MIT
Whisper是由OpenAI开发的最先进的自动语音识别(ASR)和语音翻译模型,经过超过500万小时标记数据的训练,在零样本设置下展现出强大的泛化能力。
语音识别
Transformers 支持多种语言

W
openai
4.0M
2,317
Wav2vec2 Large Xlsr 53 Russian
Apache-2.0
基于facebook/wav2vec2-large-xlsr-53模型微调的俄语语音识别模型,支持16kHz采样率的语音输入
语音识别 其他
W
jonatasgrosman
3.9M
54
Wav2vec2 Large Xlsr 53 Chinese Zh Cn
Apache-2.0
基于facebook/wav2vec2-large-xlsr-53模型微调的中文语音识别模型,支持16kHz采样率的语音输入。
语音识别 中文
W
jonatasgrosman
3.8M
110
Wav2vec2 Large Xlsr 53 Dutch
Apache-2.0
基于facebook/wav2vec2-large-xlsr-53微调的荷兰语语音识别模型,在Common Voice和CSS10数据集上训练,支持16kHz音频输入。
语音识别 其他
W
jonatasgrosman
3.0M
12
Wav2vec2 Large Xlsr 53 Japanese
Apache-2.0
基于facebook/wav2vec2-large-xlsr-53模型微调的日语语音识别模型,支持16kHz采样率的语音输入
语音识别 日语
W
jonatasgrosman
2.9M
33
Mms 300m 1130 Forced Aligner
基于Hugging Face预训练模型的文本与音频强制对齐工具,支持多种语言,内存效率高
语音识别
Transformers 支持多种语言

M
MahmoudAshraf
2.5M
50
Wav2vec2 Large Xlsr 53 Arabic
Apache-2.0
基于facebook/wav2vec2-large-xlsr-53微调的阿拉伯语语音识别模型,在Common Voice和阿拉伯语语音语料库上训练
语音识别 阿拉伯语
W
jonatasgrosman
2.3M
37
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98