# INT4量子化

これはgoogle/gemma-3-27b-itの量子化バージョンで、ビジュアル - テキスト入力とテキスト出力をサポートし、重み量子化と活性化量子化による最適化を行い、vLLMを使用して高効率推論が可能です。

Qwen3-30B-A3BのINT4量子化バージョン、重み量子化によりディスクとGPUメモリ要件を75%削減し、高性能を維持。

Qwen3-32BのINT4量子化バージョン、重み量子化によりディスクとGPUメモリ要件を75%削減、高性能を維持

DeepSeek-R1のINT4重み量子化バージョンで、重みのビット数を減らすことでGPUメモリとディスクスペースの要件を約50%削減し、元のモデルの性能を維持しています。

これはINT4量子化されたMistral-Small-3.1-24B-Instruct-2503モデルで、Red Hat (Neural Magic)によって最適化され、高速応答のダイアログエージェントや低遅延推論シナリオに適しています。

このモデルはgoogle/gemma-3-12b-itをINT4量子化したバージョンで、GPTQアルゴリズムによりパラメータを16ビットから4ビットに削減し、ディスク容量とGPUメモリ要件を大幅に削減しました。

gemma-3-4b-itモデルを基にINT4量子化を施したバージョンで、ストレージと計算リソースの需要を大幅に削減

openai/whisper-large-v3-turboをベースにしたINT4重み量子化バージョンで、効率的な音声をテキストに変換するタスクをサポートします。

本モデルはMistral-Small-3.1-24B-Instruct-2503をINT4量子化したバージョンで、GPTQアルゴリズムにより重みを16ビットから4ビットに削減し、ディスクサイズとGPUメモリ要件を大幅に削減しました。

このモデルはgemma-3-27b-itをINT4量子化したバージョンで、各パラメータのビット数を減らすことでディスクとGPUメモリの要件を低減しています。

これはopenai/whisper-large-v3の量子化バージョンで、INT4重み量子化とFP16活性化量子化を採用し、vLLM推論に適しています。

FLUX.1-Depth-devのINT4量子化バージョンで、テキスト記述に基づいて画像を生成すると同時に入力画像の構造を保持します。元のBF16モデルと比較して、約4倍のメモリを節約し、実行速度が2-3倍向上します。

FLUX.1-dev はテキストから画像を生成するモデルで、Optimum Quantoを使用してINT4形式に量子化されており、非商用目的に適しています。

Meta-Llama-3.1-8B-Instructの量子化バージョンで、ディスク容量とGPUメモリの要件を削減するように最適化されており、英語のビジネスおよび研究用途のチャットアシスタントシナリオに適しています。

Llama 3.1 70B InstructのINT4量子化バージョン、AutoAWQ技術に基づいて最適化され、多言語対話シナリオに適しています。

Llama 3.1 8B InstructのINT4量子化バージョンで、AutoAWQツールを使用して量子化されており、多言語対話シナリオに適しています。

Whisperは自動音声認識（ASR）と音声翻訳のための事前学習済みモデルです。このリポジトリでは、インテル®ニューラルコンプレッサーとインテル®Transformers拡張機能によって駆動されるONNX形式のWhisper大型モデルINT4重み量子化バージョンを提供しています。