Distilbert Base Uncased Distilled Squad Int8 Static Inc

🚀 INT8 DistilBERT Base Uncased を SQuAD でファインチューニングしたモデルカード

このモデルは、DistilBERT base uncased のINT8量子化バージョンで、Stanford Question Answering Dataset (SQuAD) でファインチューニングされています。量子化は、Hugging FaceのOptimum-Intelを使用し、Intel® Neural Compressorを活用して行われました。

✨ 主な機能

• INT8量子化により、モデルサイズと推論速度が最適化されています。
• 質問応答タスクに最適化されており、文脈を与えられた質問に対して回答を提供できます。

📚 ドキュメント

モデル詳細

想定される使用方法

評価

PyTorchバージョン

これは、huggingface/optimum-intel を使用し、Intel® Neural Compressor を通じて量子化されたINT8 PyTorchモデルです。

ONNXバージョン

これは、Intel® Neural Compressor を使用して量子化されたINT8 ONNXモデルです。

💻 使用例

基本的な使用法

# Optimum Intel w/ Neural Compressor
from optimum.intel import INCModelForQuestionAnswering

model_id = "Intel/distilbert-base-uncased-distilled-squad-int8-static"
int8_model = INCModelForQuestionAnswering.from_pretrained(model_id)

# Optimum w/ ONNX Runtime
from optimum.onnxruntime import ORTModelForQuestionAnswering
model = ORTModelForQuestionAnswering.from_pretrained('Intel/distilbert-base-uncased-distilled-squad-int8-static')

🔧 技術詳細

• モデルは、トレーニング後の静的量子化を使用して、元のFP32精度からINT8に変換されました。
• PyTorchとONNXバージョンのキャリブレーションには、それぞれ異なるデータローダーとサンプリングサイズが使用されました。

📄 ライセンス

このモデルは、apache-2.0ライセンスの下で提供されています。

⚠️ 重要提示

• トレーニングデータ（SQuADとWikipedia）に潜在的なバイアスが存在する可能性があり、これらのバイアスがモデルの出力に与える影響を考慮する必要があります。
• 量子化により、特定のシナリオでバイアスが生じたり悪化したりする可能性があります。

💡 使用建议

• 量子化モデルを重要なアプリケーションにデプロイする際には、パフォーマンスと精度のバランスを考慮する必要があります。
• 特定のユースケースやより厳格な精度要件を満たすために、さらなるファインチューニングまたはキャリブレーションが必要になる場合があります。