Wav2vec2 Large 10min Lv60 Self

🚀 Wav2Vec2-Large-10min-Lv60 + 自训练

本项目是将模型状态字典（state_dict）从fairseq直接迁移至Hugging Face，权重保持一致。Facebook的Wav2Vec2 是一个在16kHz采样的语音音频上，基于10分钟的Libri-Light和Librispeech数据进行预训练和微调的大型模型。该模型采用 自训练目标 进行训练。使用该模型时，请确保输入的语音也采样为16kHz。

论文

作者：Alexei Baevski、Henry Zhou、Abdelrahman Mohamed、Michael Auli

摘要

他们首次证明，先从纯语音音频中学习强大的表征，再在转录语音上进行微调，这种方法在概念上更简单的同时，还能超越最佳的半监督方法。wav2vec 2.0在潜在空间中对语音输入进行掩码处理，并解决了一个基于潜在表征量化的对比任务，这些潜在表征是联合学习得到的。在Librispeech的所有标注数据上进行实验，在干净/其他测试集上的字错率（WER）分别达到1.8%/3.3%。当将标注数据量减少到一小时时，wav2vec 2.0在100小时子集上的表现优于之前的最优方法，且使用的标注数据量减少了100倍。仅使用十分钟的标注数据并在53000小时的未标注数据上进行预训练，仍能达到4.8%/8.2%的WER。这证明了在有限标注数据下进行语音识别的可行性。

原始模型可在 此处 找到。

🚀 快速开始

数据集

• librispeech_asr

标签

• 语音
• 音频
• 自动语音识别
• hf-asr-leaderboard

许可证

• apache-2.0

模型信息

💻 使用示例

基础用法

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import torch

# 加载模型和处理器
processor = Wav2Vec2Processor.from_pretrained("Splend1dchan/wav2vec2-large-10min-lv60-self")
model = Wav2Vec2ForCTC.from_pretrained("Splend1dchan/wav2vec2-large-10min-lv60-self")

# 加载虚拟数据集并读取音频文件
ds = load_dataset("patrickvonplaten/librispeech_asr_dummy", "clean", split="validation")

# 分词
input_values = processor(ds[0]["audio"]["array"], return_tensors="pt", padding="longest").input_values

# 获取对数概率
logits = model(input_values).logits

# 取最大值并解码
predicted_ids = torch.argmax(logits, dim=-1)
transcription = processor.batch_decode(predicted_ids)

高级用法

from datasets import load_dataset
from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
import torch
from jiwer import wer

# 加载LibriSpeech测试集
librispeech_eval = load_dataset("librispeech_asr", "clean", split="test")

# 加载模型和处理器，并将模型移至GPU
model = Wav2Vec2ForCTC.from_pretrained("Splend1dchan/wav2vec2-large-10min-lv60-self").to("cuda")
processor = Wav2Vec2Processor.from_pretrained("Splend1dchan/wav2vec2-large-10min-lv60-self")

# 定义映射函数，用于预测转录结果
def map_to_pred(batch):
    inputs = processor(batch["audio"]["array"], return_tensors="pt", padding="longest")
    input_values = inputs.input_values.to("cuda")
    attention_mask = inputs.attention_mask.to("cuda")

    with torch.no_grad():
        logits = model(input_values, attention_mask=attention_mask).logits
    predicted_ids = torch.argmax(logits, dim=-1)
    transcription = processor.batch_decode(predicted_ids)
    batch["transcription"] = transcription
    return batch

# 对测试集进行预测
result = librispeech_eval.map(map_to_pred, remove_columns=["speech"])

# 计算字错率（WER）
print("WER:", wer(result["text"], result["transcription"]))

📄 许可证

本项目采用apache-2.0许可证。