Whisper Large Onnx Int4 Inc

🚀 INT4 Whisper large ONNX模型

Whisper是一個用於自動語音識別（ASR）和語音翻譯的預訓練模型。該模型在68萬小時的標註數據上進行訓練，展現出強大的泛化能力，無需微調即可適用於眾多數據集和領域。本倉庫提供的是採用ONNX格式的Whisper large模型的INT4僅權重量化版本，由英特爾®神經壓縮器和英特爾®Transformer擴展提供支持。

這個INT4 ONNX模型是通過英特爾®神經壓縮器的僅權重量化方法生成的。

🚀 快速開始

導出為ONNX模型

使用openai/whisper-large導出FP32模型：

optimum-cli export onnx --model openai/whisper-large whisper-large-with-past/ --task automatic-speech-recognition-with-past --opset 13

安裝ONNX運行時

安裝onnxruntime>=1.16.0以支持MatMulFpQ4運算符。

運行量化

從主分支構建英特爾®神經壓縮器並運行INT4僅權重量化。

僅權重量化配置如下：

以下是關鍵代碼，完整腳本請參考whisper示例。

from neural_compressor import quantization, PostTrainingQuantConfig
from neural_compressor.utils.constant import FP32

model_list = ['encoder_model.onnx', 'decoder_model.onnx', 'decoder_with_past_model.onnx']
for model in model_list:
    config = PostTrainingQuantConfig(
        approach="weight_only",
        calibration_sampling_size=[8],
        op_type_dict={".*": {"weight": {"bits": 4, 
                                        "algorithm": ["RTN"], 
                                        "scheme": ["sym"], 
                                        "group_size": 32}}},)
    q_model = quantization.fit(
        os.path.join("/path/to/whisper-large-with-past", model), # FP32模型路徑
        config,
        calib_dataloader=dataloader)
    q_model.save(os.path.join("/path/to/whisper-large-onnx-int4", model)) # INT4模型路徑

評估

運算符統計

以下展示了INT4 ONNX模型中的運算符統計信息：

字錯誤率（wer）評估

使用以下代碼在librispeech_asr數據集上評估模型：

import os
from evaluate import load
from datasets import load_dataset
from transformers import WhisperForConditionalGeneration, WhisperProcessor, AutoConfig
model_name = 'openai/whisper-large'
model_path = 'whisper-large-onnx-int4'
processor = WhisperProcessor.from_pretrained(model_name)
model = WhisperForConditionalGeneration.from_pretrained(model_name)
config = AutoConfig.from_pretrained(model_name)
wer = load("wer")
librispeech_test_clean = load_dataset("librispeech_asr", "clean", split="test")

from optimum.onnxruntime import ORTModelForSpeechSeq2Seq
from transformers import PretrainedConfig
model_config = PretrainedConfig.from_pretrained(model_name)
predictions = []
references = []
sessions = ORTModelForSpeechSeq2Seq.load_model(
            os.path.join(model_path, 'encoder_model.onnx'),
            os.path.join(model_path, 'decoder_model.onnx'),
            os.path.join(model_path, 'decoder_with_past_model.onnx'))
model = ORTModelForSpeechSeq2Seq(sessions[0], sessions[1], model_config, model_path, sessions[2])
for idx, batch in enumerate(librispeech_test_clean):
    audio = batch["audio"]
    input_features = processor(audio["array"], sampling_rate=audio["sampling_rate"], return_tensors="pt").input_features
    reference = processor.tokenizer._normalize(batch['text'])
    references.append(reference)
    predicted_ids = model.generate(input_features)[0]
    transcription = processor.decode(predicted_ids)
    prediction = processor.tokenizer._normalize(transcription)
    predictions.append(prediction)
wer_result = wer.compute(references=references, predictions=predictions)
print(f"字錯誤率結果: {wer_result * 100}")

✨ 主要特性

• 強大的泛化能力：在68萬小時的標註數據上訓練，無需微調即可適用於眾多數據集和領域。
• 低精度量化：採用INT4僅權重量化，有效減小模型大小。

📦 模型詳情

📚 預期用途

📊 指標（模型性能）

📄 許可證

本項目採用Apache 2.0許可證。