# 8ビット量子化推論

Qwen3 30B A3BはGPTQメソッドを用いて8ビット量子化処理を施した大規模言語モデルで、効率的な推論シナリオに適しています。

Qwen3-8Bを最適化した8ビット量子化バージョン、MLXフレームワーク向けの効率的な推論に適応

Kimi-VL-A3B-Thinking-8bitは、MLX形式に変換されたマルチモーダル視覚言語モデルで、画像テキストからテキストへの生成タスクをサポートしています。

Google Gemma 3 12Bモデルを基に変換された8ビット量子化バージョンで、画像テキストからテキストへのタスクに適しています。

Stable Diffusion 3.5 Large Turboの8ビット量子化バージョンで、OpenVINO形式に変換され、効率的なテキストから画像生成タスクに使用されます。

Meta Llama 3 - 8B Instruct大規模言語モデルの8ビット量子化バージョン、モデルサイズを縮小し推論速度を向上、リソースが限られたデバイスでの展開に適しています。

これはMeta社のMeta-Llama-3-8B-Instructモデルの8ビット量子化バージョンで、bitsandbytesを使用して量子化されており、効率的なテキスト生成タスクに適しています。

Pinokio_v1.0 は英語とトルコ語をサポートするテキスト生成モデルで、Apache-2.0 ライセンスの下で公開されています。

InstructBLIPはBLIP-2の視覚的指示チューニングバージョンで、視覚と言語モデルを組み合わせ、画像とテキスト指示に基づいて説明を生成したり質問に答えたりできます。