Vit Base Patch16 224 Int8 Static Inc

🚀 基於vit - base - patch16 - 224在imagenet - 1k上微調的INT8模型

本項目是一個基於vit - base - patch16 - 224模型，在imagenet - 1k數據集上進行微調後得到的INT8模型。它利用了英特爾神經壓縮器（Intel® Neural Compressor）進行後訓練靜態量化，在保持較高準確率的同時顯著減小了模型大小。

🚀 快速開始

加載模型

使用英特爾神經壓縮器（Intel® Neural Compressor）加載INT8模型：

from neural_compressor.utils.load_huggingface import OptimizedModel
int8_model = OptimizedModel.from_pretrained(
    'Intel/vit-base-patch16-224-int8-static',
)

✨ 主要特性

後訓練靜態量化

這是一個使用英特爾神經壓縮器進行量化的INT8 PyTorch模型。原始的FP32模型來自於微調後的[google/vit - base - patch16 - 224](https://huggingface.co/google/vit - base - patch16 - 224)。

• 校準數據加載器：使用訓練數據加載器作為校準數據加載器。由於imagenet - 1k有1000個類別，默認校準採樣大小為1000。
• 模塊回退：線性模塊vit.encoder.layer.5.output.dense和vit.encoder.layer.9.attention.attention.query.module回退到FP32，以保證相對準確率損失小於1%。

評估結果

📄 許可證

本項目採用Apache 2.0許可證。