Wav2vec En Finetuned On Cryptocurrency

🚀 加密货币音频自动语音识别模型

本项目基于预训练模型进行微调，用于处理加密货币相关音频的自动语音识别任务，有效提升了识别准确率，降低了词错误率（WER）。

🚀 快速开始

本项目使用了 facebook/wav2vec2-large-960h 模型，并使用来自各种加密货币相关播客的1400个音频片段（每个片段约10 - 15秒）对其进行了微调。为了标注数据，我们从YouTube下载了带有字幕数据的加密货币播客，并按句子分割音频片段。然后，我们将YouTube的转录内容与 facebook/wav2vec2-large-960h 的输出进行比较，以纠正YouTube转录中的许多错误。如果进行更多的数据清理，可能会取得更好的结果。

在我们的数据上，该模型实现了13.1%的词错误率（WER），而 facebook/wav2vec2-large-960h 在我们的数据上仅达到27%的WER。

💻 使用示例

基础用法

from transformers import Wav2Vec2Processor, Wav2Vec2ForCTC
from datasets import load_dataset
import soundfile as sf
import torch

# 加载模型和分词器
processor = Wav2Vec2Processor.from_pretrained("distractedm1nd/wav2vec-en-finetuned-on-cryptocurrency")
model = Wav2Vec2ForCTC.from_pretrained("distractedm1nd/wav2vec-en-finetuned-on-cryptocurrency")

filename = "INSERT_FILENAME"
audio, sampling_rate = sf.read(filename)

input_values = processor(audio, return_tensors="pt", padding="longest", sampling_rate=sampling_rate).input_values  # 批量大小为1

# 获取对数概率
logits = model(input_values).logits

# 取最大值并解码
predicted_ids = torch.argmax(logits, dim=-1)
tokenizer.batch_decode(predicted_ids)

📄 许可证

本项目采用MIT许可证。