# INT8量子化

BAGELはオープンソースの7Bアクティブパラメータマルチモーダル基盤モデルで、マルチモーダル理解と生成タスクをサポートします

これはMeta-Llama-3.1-8B-InstructモデルのINT8量子化バージョンで、重み量子化と活性化量子化により最適化され、多言語のビジネスや研究用途に適しています。

これはRed HatとNeural Magicによって最適化されたINT8量子化されたMistral-Small-3.1-24B-Instruct-2503モデルで、高速応答と低遅延シナリオに適しています。

QWQ-32BのINT8量子化バージョン、重みと活性化のビット数を減らして性能を最適化

Qwen2.5-VL-7B-Instructの量子化バージョンで、視覚-テキスト入力とテキスト出力をサポートし、INT8重み量子化により推論効率を最適化

DeepSeek-R1-Distill-Qwen-32BのINT8量子化バージョンで、重み量子化と活性化値量子化によりVRAM使用量を削減し計算効率を向上。

DeepSeek-R1-Distill-Qwen-14Bの量子化バージョンで、INT8量子化により重みと活性化を最適化し、GPUメモリ要件を低減し計算効率を向上させました。

Qwen2.5-7B-InstructのINT8量子化バージョンで、商業および研究用途の多言語シナリオに適しており、メモリ要件と計算スループットを最適化しています。

FLUX.1-devはテキストから画像を生成する拡散モデルで、Optimum QuantoによりINT8形式に量子化されており、非商用用途に適しています。

BAAI/bge-m3のONNX INT8量子化バージョンで、密集検索タスクに適しており、Vespa Embeddingとの互換性を最適化しています。

BGE-large-en-v1.5の量子化(INT8)ONNXバリアント、DeepSparseによる推論加速

これはRoBERTa-base-go_emotionsモデルのONNXバージョンで、フル精度とINT8量子化をサポートし、マルチラベル感情分析タスクに使用されます。

これはIntel® Neural Compressorを使用して学習後に静的量子化されたINT8 PyTorchモデルで、GoogleのViTモデルを基にファインチューニングされており、高い精度を維持しながら大幅にモデルサイズを削減しています。

これはDistilBERTベース未エンコードモデルのINT8量子化バージョンで、質問応答タスク向けに設計されており、学習後静的量子化によりモデルサイズと推論速度が最適化されています。

I-BERTはRoBERTa-largeの純整数量子化バージョンで、INT8でパラメータを保存し整数演算で推論を実行することで、最大4倍の推論加速を実現します。

全単語マスキング技術を用いて事前学習され、SQuAD v1.1で微調整されたBERT-largeの英語質問応答モデルで、INT8精度に量子化されています。