# ローカル推論

INTELLECT-2-GGUF は PrimeIntellect/INTELLECT-2 の GGUF フォーマット量子化バージョンで、テキスト生成タスクに適しています。

Qwen3-8B-4bit-DWQ は Qwen/Qwen3-8B を MLX フォーマットに変換した 4 ビット量子化バージョンで、Apple デバイス上で効率的に動作します。

Qwen3-30B-A3B-MLX-8bit は Qwen/Qwen3-30B-A3B を変換した 8 ビット量子化バージョンで、MLX フレームワーク向けに最適化されており、テキスト生成タスクに適しています。

Gemma 3 27B 命令調整モデルのGGUF量子化バージョン、テキスト生成タスクに適しています。

Gemma 3 12B の GGUF 量子化バージョン、テキスト生成タスクに適しています。

Gemma 3BモデルのGGUF量子化バージョン、ローカルテキスト生成タスクに適しています

PLLuM-8x7B-chatのGGUF量化バージョンで、ローカル推論に最適化されており、さまざまなハードウェア要件に対応するための複数の量化レベルをサポートしています。

Llama-3.2-3B-Instruct-abliteratedのGGUF形式量子化バージョンで、複数のビット量子化オプションをサポートし、テキスト生成タスクに適しています。

Llama-3.2-3B-Instruct モデルの GGUF 形式ファイルで、ユーザーがテキスト生成タスクを行うのに便利です。

Phi-3.5-mini-instructのGGUF形式モデルファイルで、テキスト生成タスクに適しています。

Mistral-Nemo-Instruct-2407-GGUF は mistralai/Mistral-Nemo-Instruct-2407 の GGUF 形式量子化バージョンで、複数の量子化ビット数（2-bit から 8-bit）をサポートし、テキスト生成タスクに適しています。

DeepSeek-V2-Lite の GGUF 量子化バージョンで、Llama.cpp imatrix 量子化処理により、ストレージと計算リソースの要件を削減し、デプロイを容易にします。