# 4ビット量子化推論

DeepSeek - R1 - 0528 671Bモデルの4ビットAWQ量子化バージョンで、ハイエンドGPUノードでの使用に適しています。

これはTHUDM/GLM-4-32B-0414モデルのMLXフォーマット版で、4ビットDWQ量子化処理が施されており、Appleチップデバイス向けの効率的な推論に適しています。

Gemma 3 12Bモデルの4ビット量子化バージョンで、MLXフレームワークに適しており、効率的なテキスト生成タスクをサポートします。

これはGPTQ手法を用いてGLM-4-32B-0414を4ビット量子化したモデルで、コンシューマー向けハードウェアに適しています。

これはQwen3-4BモデルをMLX形式に変換した4ビット量子化バージョンで、テキスト生成タスクに適しています。

GLM-4-32B-0414-4bit は THUDM/GLM-4-32B-0414 から変換された MLX フォーマットモデルで、中国語と英語のテキスト生成タスクをサポートします。

これはUnslothとHuggingface TRLライブラリで最適化されたMistral-7B命令微調整モデルで、トレーニング速度が2倍向上しました

Gemma 3 4B IT QAT 4bit は、量子化認識トレーニング（QAT）を経た4ビット量子化大規模言語モデルで、Gemma 3アーキテクチャに基づき、MLXフレームワーク向けに最適化されています。

google/gemma-3-12b-it-qat-q4_0-unquantized から変換されたMLX形式モデルで、画像テキスト生成タスクをサポート

Gemma 2 27B ITは、AutoAWQ量子化に基づく4ビットの大規模言語モデルで、対話と命令追従タスクに適しています。

UnslothとHuggingface TRLライブラリでトレーニングされたLlamaモデル、推論速度が2倍向上

Unslothで最適化されたLlama 3.2 11B視覚命令ファインチューニングモデル、4ビット量子化技術を採用、トレーニング速度が2倍向上

Qwen2-VL-7Bモデルを基にした4ビット量子化バージョンで、UnslothとHuggingface TRLライブラリを使用してトレーニングされ、推論速度が2倍向上

Gemma 3 12B IT MLX 4Bitは、unsloth/gemma-3-12b-itから変換されたMLX形式モデルで、Appleシリコンデバイスに適しています。

UnslothとHuggingface TRLライブラリで最適化されたQwen2モデル、推論速度が2倍向上

Qwen2-VL-7Bモデルを基にした微調整バージョンで、UnslothとHuggingfaceのTRLライブラリを使用して訓練され、速度が2倍向上しました。

Meta-Llama-3.1-8Bの4ビット量子化版を微調整したボド語-英語双方向翻訳モデル、Unslothで訓練速度を最適化

コギト・マキシマスは、Qwen2.5 - 72B指令微調整モデルをベースに最適化された高度なテキスト生成モデルで、Unsloth加速トレーニングとTRL微調整フレームワークを採用しており、さまざまなテキスト生成シナリオに適用できます。

これはQVikhr-2.5-1.5B-Instruct-SMPOモデルを基にした4ビット量子化バージョンで、MLXフレームワーク向けに最適化されており、ロシア語と英語のコマンド理解と生成タスクをサポートします。

Mistral 7Bアーキテクチャに基づくテキスト要約モデルで、LoRA技術を用いて微調整の効率と性能を最適化しています。

QwQ-32B-PreviewのAWQ 4ビット量子化バージョンで、メモリ使用量と計算要件を大幅に削減し、リソースが限られたハードウェアに適しています。

これはStable Diffusion 3.5 LargeモデルをDiffusionKit MLXフレームワーク上で量子化したバージョンで、画像生成タスクに適しています。

Aria-sequential_mlpベースのBitsAndBytes NF4量子化バージョンで、画像テキストからテキストタスクに適しており、VRAM要件は約15.5GBです。

Meta-Llama-3.1-8Bを基にした4ビット量子化ファインチューニングモデルで、テキスト生成タスク、特にテキストからSQLへの変換に特化

AWPortrait-FLのBNB-NF4量子化バージョン、FLUX.1-devで開発されたテキストから画像生成モデル

このモデルはgoogle/gemma-2-9b-itをファインチューニングしたText2Cypherモデルで、自然言語の質問をNeo4jグラフデータベースのCypherクエリ文に変換できます。

Mistral-7B-Instruct-v0.3はMistral-7B-v0.3を基に命令ファインチューニングされた大規模言語モデルで、4ビットAWQ量子化技術により推論効率を最適化

google/gemma-2bモデルを基に、AWQ技術を用いて圧縮した4ビット量子化バージョンで、推論効率の向上とリソース消費の削減を目的としています。

Phi-3 4k Instructは、リソース要件を低減するために4ビット量子化処理された軽量ながら強力な言語モデルです。

Llama 2 7Bモデルを数学分野でファインチューニングしたチャットモデルで、テキスト生成タスクをサポート

Deepseek LLM 7B Baseは7Bパラメータ規模のベース大規模言語モデルで、AWQ量子化技術を用いて推論効率を最適化しています。

AceGPT 13Bチャット版のAWQ量子化バージョンで、英語とアラビア語をサポートし、一般的なGPUユーザー向けに設計され、効率的な4ビット量子化推論能力を提供します。

これはMeta Llama 2 7Bモデルをファインチューニングしたアダプターで、チェコ語テキストを英語に翻訳するために特別に設計されています。

Llama2アーキテクチャに基づく事前学習済み言語モデルで、英語テキスト生成タスクに適しています

Llama - 2 - 7b - chatモデルを医学質問応答データセットMedQuADで微調整した医療質問応答モデル

Falcon-7B-Instructの4ビット量子化バージョンで、AutoGPTQツールを使用して量子化され、リソースが制限された環境での効率的な推論に適しています。

GPT4とAlpaca命令ファインチューニングを基にした13Bパラメータ言語モデル、4ビット量子化推論をサポート