Vit Base Patch16 224 Int8 Static Inc

🚀 INT8モデル（vit-base-patch16-224ベース、imagenet-1kでファインチューニング済み）

このプロジェクトは、imagenet-1kでファインチューニングされたvit-base-patch16-224ベースのINT8モデルを提供します。Post-training static quantization技術を用いて、モデルの精度を維持しながらサイズを大幅に削減しています。

✨ 主な機能

• Intel® Neural Compressorを用いたINT8量子化により、モデルサイズを大幅に削減。
• imagenet-1kデータセットでファインチューニングされた高精度モデル。
• 一部の線形モジュールをfp32に戻すことで、精度損失を最小限に抑える。

📦 インストール

本モデルの使用には、neural_compressorライブラリが必要です。以下のコマンドでインストールできます。

pip install neural_compressor

💻 使用例

基本的な使用法

from neural_compressor.utils.load_huggingface import OptimizedModel
int8_model = OptimizedModel.from_pretrained(
    'Intel/vit-base-patch16-224-int8-static',
)

📚 ドキュメント

事後学習静的量子化

これは、Intel® Neural Compressorを使用して量子化されたINT8 PyTorchモデルです。 元のfp32モデルは、ファインチューニングされたモデルgoogle/vit-base-patch16-224から取得されます。 キャリブレーションデータローダーはトレーニングデータローダーです。imagenet-1kのクラス数が1000であるため、デフォルトのキャリブレーションサンプリングサイズは1000です。 線形モジュール vit.encoder.layer.5.output.dense、vit.encoder.layer.9.attention.attention.query.module は、相対的な精度損失が1%未満になるようにfp32にフォールバックしています。

評価結果

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。