# 高効率推論

DiffuCoder-7B-cpGRPO-8bitはMLX形式に変換されたコード生成モデルで、apple/DiffuCoder-7B-cpGRPOをベースに変換され、開発者に高効率なコード生成ツールを提供するために設計されています。

Qwen2.5-Coder-1.5BのGGUF量子化バージョンで、コード生成タスクに最適化され、性能とリソース消費をバランスさせるための複数の量子化オプションを提供します。

これはchandar - lab/NeoBERTモデルの静的量子化バージョンで、モデルの保存スペースと計算リソースの要件を削減することを目的としています。

これはQwen3-30Bモデルから変換された4ビット量子化バージョンで、MLXフレームワークのテキスト生成タスクに適しています。

慧慧AI量子化モデルはMagistral-Small-2506-abliteratedの量子化バージョンで、知識を誰もが利用できるようにすることに取り組んでいます。

SLANet_plusは表構造認識に使用されるモデルで、編集できない表画像を編集可能な表形式（HTMLなど）に変換でき、表認識システムで重要な役割を果たし、表認識の精度と効率を効果的に向上させることができます。

Qwen3-Reranker-0.6Bの量子化バージョンで、知識を誰もが利用できるようにすることを目指しています。

MiniCPM4-MCPはオープンソースのエッジサイド大規模言語モデルのインテリジェントエージェントモデルで、80億パラメータのMiniCPM - 4をベースに構築されており、MCPを通じて様々なツールやデータリソースとインタラクションし、幅広い現実世界のタスクを解決することができます。

これはgoogle/gemma-3-27b-itの量子化バージョンで、ビジュアル - テキスト入力とテキスト出力をサポートし、重み量子化と活性化量子化による最適化を行い、vLLMを使用して高効率推論が可能です。

このプロジェクトは最適化されたGGUF量子化ファイルを提供し、モデルの性能を大幅に向上させることができます。これらの量子化ファイルはFeatherless AIによってサポートされており、ユーザーは少量の費用を支払うだけで、任意の必要なモデルを実行することができます。

DeepSeek-R1-0528モデルのGPTQ量子化バージョンで、Int4 + 選択的Int8の量子化方式を採用し、生成品質を保ちながらファイルサイズを縮小します。

DeepSeek-R1-0528-Qwen3-8BのAWQ量子化バージョンで、特定のシーンでの高効率推論に適しています。

QVikhr-3-1.7B-Instruction-noreasoningは、Qwen/Qwen3-1.7Bに基づく命令モデルで、ロシア語データセットGrandMaster2で訓練され、ロシア語と英語のテキストを高効率に処理するために設計されています。

DeepSeek AIによって開発された大規模言語モデルで、4ビット量子化による最適化が施され、Appleチップ搭載のデバイスに適しています。

このプロジェクトでは、academic - ds - 9Bの量子化バージョンを提供し、知識を誰もが利用できるようにすることを目指しています。

これはHugging Face Hub上で公開されたtransformersモデルで、具体的な機能と用途は後日追加予定です。

Qwen3-14B-FP8-dynamicは最適化された大規模言語モデルで、活性化値と重みをFP8データ型に量子化することで、GPUメモリの要件を効果的に削減し、計算スループットを向上させます。

Mistralアーキテクチャに基づいて最適化された命令微調整モデルで、ゼロショット分類タスクに適しています。

このモデルはQwen3-32BのMLX形式の4ビット量子化バージョンで、Apple Siliconデバイスでの高効率実行に最適化されています。

InternVL2_5-1Bに基づく4ビット量子化バージョンで、テキスト生成とチャットシーンに適しています。

これはLlamaアーキテクチャに基づく70Bパラメータの大規模言語モデルで、6ビット量子化処理が施され、テキスト生成タスクに適しています。

SLERP手法を用いて融合されたGemma-2Bの変種モデルで、2つの異なる重みのGemma-2Bモデルバージョンを組み合わせています。

これはLlama-3.1-8B-RainbowLight-EtherealMixモデルに基づくGGUF形式の量子化バージョンで、テキスト生成関連のアプリケーション開発を行いやすくなっています。

Snowflake Arctic-embed-l-v2.0はSnowflakeがリリースした最新の埋め込みモデルで、多言語ワークロード向けに設計され、検索性能と推論効率が最適化されています。

Aion-RP-Llama-3.1-8BのLlamacpp imatrix量化バージョンで、さまざまなハードウェア要件に対応するための複数の量化オプションを提供します。

画像テキストからテキストへの変換をサポートする高効率生成モデルで、様々なアプリケーションシーンに適用可能です。

jinaai/jina-embeddings-v3に基づく蒸留バージョンで、計算リソースが限られているか、リアルタイム性能が求められるシーンに特化して設計され、多言語テキスト埋め込み計算をサポートします。

Flux.1 Q_4_kはTakara.ai研究チームによって開発された4ビット量子化GGUFモデルで、stable-diffusion.cpp向けに最適化されており、低スペックハードウェアでも高品質な画像を効率的に生成できます。

Lucie-7Bは、LINAGORAとOpenLLM-Franceが共同で構築した70億パラメータの多言語自己回帰型言語モデルで、Llama-3アーキテクチャに基づき、3兆トークンの多言語データで事前学習されています。

Llama-3.2-1B-Instructをベースにしたロシア語最適化指令モデルで、効率が5倍向上し、低消費電力デバイスへのデプロイに適しています。

Molmo-7B-DはBnB 4ビット量子化を施した大規模言語モデルで、モデルサイズが30GBから7GBに縮小され、VRAM要件が約12GBに抑えられます。

FLUX.1-schnellの.gguf量子化バージョンで、テキストから画像への変換タスクに使用されます。

AI21 Jamba 1.5は一連の高度な基礎モデルで、強力な長文脈処理能力と高効率な推論速度を備え、さまざまな業務シーンに適しています。

Meta-Llama-3.1-8B-Instructの量子化バージョンで、ディスク容量とGPUメモリの要件を削減するように最適化されており、英語のビジネスおよび研究用途のチャットアシスタントシナリオに適しています。

Meta-Llama-3-70B-Instruct-FP8はMeta-Llama-3-70B-Instructの量子化バージョンで、FP8量子化によりディスク容量とGPUメモリの要件を削減し、同時に高いパフォーマンスを維持し、英語のビジネスおよび研究用途に適しています。

PrunaAIが圧縮したMPT-7Bストーリーライティングモデル。llm-int8技術により高効率推論を実現

Mambaは、transformersと互換性のある高効率シーケンスモデルで、7.9億のパラメータを持ち、因果言語モデリングタスクに適しています。

Mythalion Kimiko v2 - AWQは、nRuaifによって作成されたMythalion Kimiko v2モデルのAWQ量子化バージョンで、高効率、高精度、高速推論などの特徴を持っています。

Meditron 7Bは、EPFL LLMチームによって開発された医療分野の大規模言語モデルで、Llama - 2 - 7Bをベースにさらに事前学習を行い、医療知識のエンコーディングと臨床決定支援に特化しています。

Mistral 7B Instruct v0.1のGPTQ量子化バージョンで、ExLlamaまたはTransformersフレームワークでの実行をサポートします。