Distil Whisper Large V3 Int8 Ov

🚀 distil-whisper-large-v3-int8-ov

distil-whisper-large-v3-int8-ov 是一个经过转换和量化的语音识别模型，它将 distil-large-v3 模型转换为 OpenVINO™ IR 格式，并将权重压缩为 INT8，以提升性能和兼容性。

🚀 快速开始

本模型可用于自动语音识别任务，以下为你介绍不同方式运行模型推理的步骤。

✨ 主要特性

• 模型转换：将 distil-large-v3 模型转换为 OpenVINO™ IR（中间表示）格式。
• 权重压缩：使用 NNCF 将权重压缩为 INT8，具体参数如下：
  • 模式：INT8_ASYM
  • 分组大小：128
• 兼容性良好：与 OpenVINO 2025.1.0 及更高版本、Optimum Intel 1.23.0 及更高版本兼容。

📦 安装指南

使用 Optimum Intel 运行模型推理

1. 安装使用 Optimum Intel 与 OpenVINO 后端集成所需的包：

pip install optimum[openvino]

2. 运行模型推理：

from datasets import load_dataset
from transformers import AutoProcessor
from optimum.intel.openvino import OVModelForSpeechSeq2Seq

model_id = "OpenVINO/distil-whisper-large-v3-int8-ov"
tokenizer = AutoProcessor.from_pretrained(model_id)
model = OVModelForSpeechSeq2Seq.from_pretrained(model_id)

dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation", trust_remote_code=True)
sample = dataset[0]

input_features = tokenizer(
    sample["audio"]["array"],
    sampling_rate=sample["audio"]["sampling_rate"],
    return_tensors="pt",
).input_features

outputs = model.generate(input_features)
text = tokenizer.batch_decode(outputs)[0]
print(text)

使用 OpenVINO GenAI 运行模型推理

1. 安装使用 OpenVINO GenAI 所需的包：

pip install huggingface_hub
pip install -U --pre --extra-index-url https://storage.openvinotoolkit.org/simple/wheels/nightly openvino openvino-tokenizers openvino-genai

2. 从 HuggingFace Hub 下载模型：

import huggingface_hub as hf_hub

model_id = "OpenVINO/distil-whisper-large-v3-int8-ov"
model_path = "distil-whisper-large-v3-int8-ov"

hf_hub.snapshot_download(model_id, local_dir=model_path)

3. 运行模型推理：

import openvino_genai as ov_genai
import datasets

device = "CPU"
pipe = ov_genai.WhisperPipeline(model_path, device)

dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation", trust_remote_code=True)
sample = dataset[0]["audio"]["array"]
print(pipe.generate(sample))

更多 GenAI 使用示例可在 OpenVINO GenAI 库的 文档 和 示例 中找到。

📚 详细文档

量化参数

权重压缩使用 nncf.compress_weights 完成，具体参数如下：

更多量化信息，请查看 OpenVINO 模型优化指南。

兼容性

提供的 OpenVINO™ IR 模型与以下版本兼容：

• OpenVINO 版本 2025.1.0 及更高版本
• Optimum Intel 1.23.0 及更高版本

局限性

有关局限性，请查看 原始模型卡片。

法律信息

原始模型根据 MIT 许可证分发。更多详细信息可在 原始模型卡片 中找到。

免责声明

英特尔致力于尊重人权，避免对人权造成或促成不利影响。请参阅 英特尔全球人权原则。英特尔的产品和软件仅用于不会对人权造成或促成不利影响的应用程序。

📄 许可证

本项目遵循 MIT 许可证。