# 低リソース推論

DiffuCoder-7B-cpGRPO-4bitは、AppleのDiffuCoder-7B-cpGRPOモデルを基に変換された4ビット量子化バージョンで、MLXフレームワーク用に最適化されています。

Kimi-Dev-72Bの量子化バージョンで、先進的な非線形最適量子化とマルチヘッド潜在注意力機構を採用し、ストレージと計算要件を削減します。

Delta-VectorのAustral-24B-Wintonモデルの量子化バージョンで、llama.cppツールを使用して量子化処理を行い、さまざまなハードウェア構成での効率的な実行に適しています。

AceReason-Nemotron-14Bは強化学習によって訓練された数学とコード推論モデルで、複数の数学とコード推論の基準テストで優れた成績を収めています。

Motif 2.6Bは26億のパラメータを持つ言語モデルで、AMD Instinct™ MI250 GPU上で最初から訓練され、人間の価値観に沿った、有用で信頼できるAIを構築することを目的としています。

これはQwen3-235B-A22B-8ビットモデルから変換された4ビット量子化バージョンで、MLXフレームワーク用に最適化され、テキスト生成タスクに適しています。

これはbytedance-research/PhantomモデルのGGUF直接変換バージョンで、ComfyUIでComfyUI-GGUFカスタムノードと組み合わせて使用できます。

これはbytedance-research/Phantomを直接GGUF形式に変換したプロジェクトで、画像から動画への変換タスクに使用されます。

DeepSeek-R1-0528-Qwen3-8Bモデルに基づく8ビット量子化バージョンで、Apple Siliconチップ用に最適化され、テキスト生成タスクに適しています。

unsloth/Llama-3.3-70B-Instruct-bnb-4bitをベースに微調整された多言語テキスト生成モデルで、英語、スペイン語、ラテン語、アラビア語、フランス語をサポートします。

Mistral-Small-3.1-24B-Base-2503に基づく多言語テキスト生成モデルで、10種類の言語をサポートし、ロールプレイングと対話シーンに適しています。

低スペックハードウェアとCPU専用環境向けに最適化された量子化バージョン、リソース制約下でプロダクション利用可能な推論設定

このモデルはllava-hf/llava-1.5-7b-hfから変換されたGGUF形式モデルで、画像テキスト生成タスクをサポートします。

これはByteDance-Seed/Seed-Coder-8B-Reasoning-bf16から変換されたGGUF形式のモデルで、コード生成と推論タスクに適しています。

MagTie-v1-12BのGGUF量子化バージョンセットで、mergekitツールを使用して事前訓練された言語モデルを統合し作成され、テキスト生成タスクに適しています。

Bielik-4.5B-v3.0-Instruct-GGUFはSpeakLeashがリリースしたポーランド語大規模言語モデルで、Bielik-4.5B-v3.0-InstructをGGUF量子化フォーマットに変換したもので、ローカル推論に適しています。

Qwen3は通義千問シリーズの大規模言語モデルの最新バージョンで、密モデルと混合専門家（MoE）モデルの完全なスイートを提供します。大規模なトレーニングに基づき、Qwen3は推論能力、命令追従、エージェント機能、および多言語サポートにおいて画期的な進歩を実現しました。

Qwen3-8BのGGUF形式量子化バージョン、TensorBlock提供、llama.cpp互換

Llama-3-3Bアーキテクチャをベースにした命令ファインチューニングモデルで、対話、推論、ロールプレイなどのタスクをサポートし、汎用人工知能アシスタントシナリオに適しています。

LLaMA-3-8B-Instructのアブレーションバージョンで、特定の技術手段によりモデルにトルコ語で応答させる

玲瓏線形プレビュー版はInclusionAIによってオープンソースで公開されたハイブリッド線形スパース大規模言語モデルで、総パラメータ数は17.1B、活性化パラメータ数は3.0Bです。このモデルはハイブリッド線形アテンションメカニズムに基づいて長文推論を実現し、推論プロセスにおいてほぼ線形の計算複雑性とほぼ一定の空間複雑性を持ちます。

Zero-Mistral-24B は Mistral アーキテクチャに基づく大規模言語モデルで、ロシア語と英語をサポートし、対話やテキスト生成タスクに適しています。

DeepSeek-R1 は効率的な大規模言語モデルで、Unsloth Dynamic v2.0 量子化技術を採用し、卓越した精度を実現しています。

Google Gemma 3 270億パラメータ命令調整モデルの量子化バージョンで、量子化対応トレーニング(QAT)重み生成を採用し、さまざまなハードウェア要件に対応する複数の量子化レベルをサポートします。

Canopy Labsの事前学習モデルをファインチューニングしたテキスト音声変換モデルで、英語をサポートし、GGUF Q2_K量子化フォーマットにより効率的な推論を実現

Canopy Labsの事前学習モデルをファインチューニングしたテキスト読み上げモデル、量子化後は効率的な推論をサポート

Canopy Labsの事前学習モデルをファインチューニングしたテキスト読み上げ(TTS)モデルで、GGUF FP16形式に量子化され効率的な推論を実現

Canopy Labsの事前学習モデルをファインチューニングした8ビット量子化テキスト音声変換モデル、英語24kHz音声生成をサポート

このモデルはgoogle/gemma-3-12b-itをINT4量子化したバージョンで、GPTQアルゴリズムによりパラメータを16ビットから4ビットに削減し、ディスク容量とGPUメモリ要件を大幅に削減しました。

これはcanopylabs/3b-hi-ft-research_releaseモデルを変換したGGUFフォーマットのモデルで、ヒンディー語テキスト処理をサポートします。

Phi-4-miniはPyTorchチームによって開発された量子化言語モデルで、8ビット埋め込みと8ビット動的活性化、および4ビット重み線形層（8da4w）の量子化スキームを採用しており、モバイルデバイスへの展開に適しています。

Llama-4-Scout-17B-16E-InstructはMetaがリリースした17Bパラメータの命令微調整大規模言語モデルで、量子化処理を行って実行効率を向上させています。

このモデルはmlabonne/gemma-3-4b-it-abliteratedのGGUF形式変換バージョンで、x-ray_alphaの視覚コンポーネントを統合し、よりスムーズなマルチモーダル体験を提供します。

Gemma 3 4B Instruct は Google が開発した40億パラメータの大規模言語モデルで、テキスト生成と理解タスクに特化しています。

Dogeモデルは動的マスクアテンション機構を使用してシーケンス変換を行い、多層パーセプトロンまたはクロスドメイン混合エキスパートを使用して状態変換が可能です。

BAAI/bge-reranker-baseモデルを変換したGGUF形式のリランキングモデルで、中国語と英語のテキストランキングタスクをサポート

これはTurkish-Llama-8b-DPO-v0.1モデルをファインチューニングしたトルコ語関数呼び出しモデルで、トルコ語の関数呼び出しタスクを実行するために特別に設計されています。

このモデルはQwen2.5-VL-7B-Instructを変換したGGUF形式のモデルで、マルチモーダルタスクをサポートし、画像とテキストのインタラクティブな処理に適しています。

これはQwen2.5-VL-7B-InstructモデルのGGUF量子化バージョンで、マルチモーダルタスクに適しており、画像とテキスト入力をサポートします。

Phi 4アーキテクチャに基づく大規模言語モデルで、140億のパラメータを持ち、自然言語処理とテキスト対話タスクに最適化されています。