# 軽量推論

Phi-3-Mini-4K-Instructは38億パラメータの軽量で最先端のオープンソースモデルで、Phi-3データセットを使用して訓練され、高品質と推論集中特性に重点を置いています。

これはmistralai/Devstral-Small-2505モデルを変換した3ビット量子化バージョンで、MLXフレームワークに適しており、多言語テキスト生成タスクをサポートします。

Magma-8BはGGUF形式の画像テキストからテキストへの変換モデルで、マルチモーダルタスク処理に適しています。

Qwen3は通義千問シリーズの大規模言語モデルの最新バージョンで、一連の高密度型および混合エキスパート（MoE）モデルを提供しています。大規模なトレーニングに基づき、Qwen3は推論、指示追従、エージェント能力、多言語サポートにおいて画期的な進歩を実現しました。

Qwen3は通義千問シリーズの大規模言語モデルの最新バージョンで、一連の高密度型および混合専門家（MoE）モデルを提供しています。大規模なトレーニングに基づき、Qwen3は推論能力、命令追従、エージェント機能、多言語サポートにおいて画期的な進歩を実現しました。

これは、マイクロソフトのPhi-4-mini-reasoningモデルを変換したMLX形式の4ビット量子化バージョンで、テキスト生成タスクに適しています。

Phi-4-mini-reasoning は軽量なオープンソースモデルで、数学推論タスクに特化しており、128Kトークンのコンテキスト長をサポートします。

GLM-4-9B-0414はGLMファミリーの軽量メンバーで、90億のパラメータを持ち、数学的推論と汎用タスクで優れたパフォーマンスを発揮し、リソースが制限されたシナリオに効率的なソリューションを提供します。

これはQwen3-8BモデルのGGUFフォーマット版で、llama.cppフレームワークに適しており、テキスト生成タスクをサポートします。

Gemma 2.9Bの量子化バージョンで、llama.cppを使用して最適化されており、LM Studioでの実行に適しています。

Phi-4-mini-instructは、高品質で推論に富んだデータに焦点を当てた軽量オープンソースモデルで、128Kトークンのコンテキスト長をサポートします。

このモデルはcanopylabs/3b-zh-ft-research_releaseから変換されたGGUF形式のモデルで、中国語テキスト生成タスクに適しています。

Google Gemma 3B QAT重みに基づく多様な量子化バージョン、ローカル推論展開に適応

Google QAT（量子化対応トレーニング）による重み量子化を施したGemma-3-12bモデルで、様々なハードウェアニーズに対応する複数量子化バージョンを提供します。

これは韓国語に最適化された3Bパラメータ規模の言語モデルで、llama.cppとの互換性のためにGGUF形式に変換されています。

GLM-4-9B-0414はGLMファミリーの軽量メンバーで、90億のパラメータ規模を持ち、数学的推論と一般的なタスクで卓越した能力を発揮し、同規模のオープンソースモデルの中でトップクラスの総合性能を示しています。

このモデルはcanopylabs/orpheus-3b-0.1-ftから変換されたGGUF形式モデルで、テキスト生成タスクに適しています。

このモデルはcanopylabs/orpheus-3b-0.1-ftを変換したGGUF形式モデルで、テキスト生成タスクに適しています。

このモデルはcanopylabs/orpheus-3b-0.1-ftから変換されたGGUF形式モデルで、テキスト生成タスクに適しています。

DeepSeek-V3の5層簡易開発バージョン、軽量タスクと迅速な実験に適しています。

潜在ブリッジマッチング(LBM)技術に基づく画像深度推定モデル。潜在空間ブリッジにより高速な画像変換を実現

Gemma 3アーキテクチャを基に微調整されたペルシャ語専用モデルで、QLoRA 4ビット量子化技術を使用し、一般的なハードウェアでの実行に適しています。

AIバーチャルYouTuber（AI VTuber）向けに会話最適化された日本語言語モデル、Googleのgemma-3-4b-itを基に開発

Orpheus-3B-0.1-FT の GGUF 量子化バージョン、効率的な推論に適しています

このモデルはllama.cppを使用してgoogle/gemma-3-4b-itからGGUF形式に変換されたもので、ローカル展開と推論に適しています。

このモデルはggml.aiのGGUF-my-repoスペースで、llama.cppを使用してBAAI/bge-reranker-v2-m3から変換されたGGUF形式のモデルで、主にテキスト分類タスクに使用されます。

これはcanopylabs/orpheus-3b-0.1-ftモデルから変換されたGGUF形式のモデルで、テキスト生成タスクに適しています。

これはmrfakename/mistral-small-3.1-24b-instruct-2503-hfモデルに基づくGGUFフォーマットの量子化バージョンで、テキスト生成タスクに適しています。

これはGoogle Gemma 3.4Bパラメータモデルを変換したGGUF形式のモデルで、テキスト生成タスクに適しています。

Phi-4-mini-instructは合成データと精選された公開ウェブサイトに基づいて構築された軽量オープンソースモデルで、高品質で強力な推論能力を持つデータに焦点を当てています。128Kトークンのコンテキスト長をサポートし、教師あり微調整と直接選好最適化により、正確な命令追従と安全性を確保しています。

Phi-4-multimodal-instructは、軽量でオープンソースのマルチモーダル基盤モデルで、Phi-3.5と4.0モデルの言語、視覚、音声研究データを統合しています。テキスト、画像、音声入力をサポートし、テキスト出力を生成し、128Kトークンのコンテキスト長を備えています。

Phi-4-mini-instructは軽量なオープンソースモデルで、合成データとフィルタリングされた公開ウェブサイトデータに基づいて構築され、高品質で推論能力に富んだデータに焦点を当てています。128Kトークンのコンテキスト長と多言語処理をサポートしています。

Mistral-Small-24B-Instruct-2501のGGUF量子化バージョンで、ローカル展開とテキスト生成タスクに適しています。

AtlaAI/Selene-1-Mini-Llama-3.1-8Bを変換したGGUF形式モデルで、テキスト生成タスクに適しており、複数のヨーロッパ言語をサポートしています。

これはcastorini/rank_zephyr_7b_v1_fullモデルのGGUF量子化バージョンで、テキストランキングタスクに適しています。

このモデルはdeepvk/USER-bge-m3から変換されたGGUF形式モデルで、主に文の類似性と特徴抽出タスクに使用されます。

このモデルはGoogleのflan-t5-baseモデルを変換したGGUF形式バージョンで、複数の言語とタスクをサポートし、テキスト生成や推論タスクに適しています。

最適化された量子化モデルで、出力と埋め込みテンソルはf16形式を使用し、残りのテンソルはq5_kまたはq6_k形式を使用します。これにより、モデルのサイズが小さくなり、純粋なf16と同等の性能を維持します。

Gemma 2 Baku 2Bに基づく指令微調整モデルで、指令遵守能力を最適化し、自然言語処理タスクに適しています。

これはMetaがリリースしたLlama 3.2シリーズの10億パラメータ命令ファインチューニングモデルで、GGUF形式に変換されllama.cppでの使用が容易