Distilbert Base Uncased Distilled Squad Int8 Static Inc

🚀 INT8 DistilBERT Base Uncased在SQuAD上微調模型卡

本模型是DistilBERT base uncased的INT8量化版本，該模型已在斯坦福問答數據集（SQuAD）上進行了微調。量化過程使用了Hugging Face的Optimum-Intel，並藉助了英特爾®神經壓縮器（Intel® Neural Compressor）。

✨ 主要特性

• 量化優勢：通過訓練後靜態量化將模型從原始的FP32精度轉換為INT8，在優化模型大小和推理速度的同時，儘可能保留原始模型的準確性。
• 適用場景：專為問答任務設計，適用於需要快速推理和減小模型大小，同時又不顯著降低準確性的場景。
• 目標用戶：適用於研究人員、開發者和企業，特別是在計算資源有限的應用中，需要高效、低延遲問答能力的用戶。

📦 安裝指南

此部分未提供具體安裝步驟，暫不展示。

💻 使用示例

基礎用法

# Optimum Intel w/ Neural Compressor
from optimum.intel import INCModelForQuestionAnswering

model_id = "Intel/distilbert-base-uncased-distilled-squad-int8-static"
int8_model = INCModelForQuestionAnswering.from_pretrained(model_id)

高級用法

# Optimum w/ ONNX Runtime
from optimum.onnxruntime import ORTModelForQuestionAnswering
model = ORTModelForQuestionAnswering.from_pretrained('Intel/distilbert-base-uncased-distilled-squad-int8-static')

📚 詳細文檔

模型詳情

預期用途

評估

PyTorch版本

這是一個使用 huggingface/optimum-intel 通過 英特爾®神經壓縮器 進行量化的INT8 PyTorch模型。

ONNX版本

這是一個使用 英特爾®神經壓縮器 進行量化的INT8 ONNX模型。

🔧 技術細節

模型經過訓練後靜態量化，將其從原始的FP32精度轉換為INT8。在PyTorch中，校準數據加載器使用訓練數據加載器，實際採樣大小為304；在ONNX版本中，使用評估數據加載器進行校準，默認校準採樣大小為100。這種量化方式在優化模型大小和推理速度的同時，儘可能保留了原始模型的準確性。

📄 許可證

本模型使用的許可證為apache-2.0。

⚠️ 重要提示

用戶應注意訓練數據（SQuAD和Wikipedia）中可能存在的潛在偏差，並考慮這些偏差對模型輸出的影響。此外，量化在某些情況下可能會引入或加劇偏差。

💡 使用建議

• 用戶在關鍵應用中部署量化模型時，應考慮性能和準確性之間的平衡。
• 對於特定用例或滿足更嚴格的準確性要求，可能需要進一步的微調或校準。