Lite Whisper Large V3 Fast

🚀 Lite-Whisper large-v3-fast

Lite-Whisper large-v3-fast 是一款经过压缩优化的语音识别模型，它基于 OpenAI 的 Whisper 模型，并结合了 LiteASR 技术。该模型在保持一定识别准确率的同时，显著减小了模型体积，提高了运行效率。

🚀 快速开始

您可以使用 transformers 库来加载和使用 Lite-Whisper large-v3-fast 模型。以下是一个简单的示例代码：

from transformers import AutoProcessor, AutoModelForSpeechSeq2Seq
import torch
from datasets import load_dataset

# 加载处理器和模型
processor = AutoProcessor.from_pretrained("efficient-speech/lite-whisper-large-v3-fast")
model = AutoModelForSpeechSeq2Seq.from_pretrained("efficient-speech/lite-whisper-large-v3-fast")

# 加载示例音频数据
dataset = load_dataset("hf-internal-testing/librispeech_asr_demo", "clean", split="validation")
audio = dataset[0]["audio"]["array"]

# 处理音频数据
inputs = processor(audio, sampling_rate=16000, return_tensors="pt")

# 进行推理
with torch.no_grad():
    predicted_ids = model.generate(**inputs)

# 解码预测结果
transcription = processor.decode(predicted_ids[0], skip_special_tokens=True)
print(transcription)

✨ 主要特性

• 模型压缩：通过 LiteASR 技术对 OpenAI Whisper 模型进行压缩，显著减小了模型体积。
• 高效运行：在保持一定识别准确率的前提下，提高了模型的运行效率。
• 广泛适用：适用于自动语音识别（Automatic Speech Recognition）任务。

📚 详细文档

模型信息

基准测试结果

以下是在 ESB 数据集 上评估的平均词错误率（WER）：

相关资源

• GitHub 仓库：包含了 LiteASR 技术的详细实现和代码。
• 论文：深入介绍了 Lite-Whisper 模型的技术原理和实验结果。
• Hugging Face 论文页面：提供了论文的详细信息和下载链接。

📄 许可证

本项目采用 Apache 2.0 许可证。有关详细信息，请参阅 许可证文件。