# 効率的な推論

ERNIE-4.5-21B-A3B-PT-8bitは、百度のERNIE-4.5-21B-A3B-PTモデルの8ビット量子化バージョンで、MLX形式に変換されており、Appleチップ搭載のデバイスに適しています。

これはテキストからビデオへの変換を行う量子化モデルで、テキスト記述をビデオコンテンツに変換することができ、GGUF量子化処理を施して推論効率を向上させています。

Qwen2-Audio-7B-Instructの重み/行列量子化モデルで、英語音声テキスト変換タスクをサポート

DeepSeek-R1-0528-4bit は DeepSeek-R1-0528 をベースに変換された4ビット量子化モデルで、MLXフレームワーク向けに最適化されています。

日本国立情報学研究所によって開発された大規模言語モデルで、LLM-jp-3をベースに構築され、指令事前学習技術を通じて指令に従う能力が大幅に向上しています。

LLM-jp-3.1-1.8bは日本国立情報学研究所によって開発された大規模言語モデルで、LLM-jp-3シリーズに基づき、指令事前学習を組み込んで指令遵守能力を強化しています。

DMind-1はテキスト生成の基盤モデルであり、知識の自由な伝播を目指しています。

DMind-1-miniは軽量なテキスト生成モデルで、様々な自然言語処理タスクに適しています。

Devstral-Small-2505の量子化バージョン、さまざまなハードウェア要件に対応するための複数の精度オプションを提供

MedGemma-27B-Text-ITはGoogleが開発した大規模言語モデルで、医療分野のテキスト生成タスクに特化しています。

mistralaiによって開発されたDevstral-Small-2505モデルは、MLX 4ビット量子化で最適化され、Apple Siliconデバイスに適しています。

KernelLLMはFacebookが開発した大規模言語モデルで、このバージョンはllama.cppツールを使用してimatrix量子化を行ったバージョンです。さまざまなハードウェア要件に対応するために複数の量子化オプションを提供します。

a-m-team/AM-Thinking-v1モデルに基づくLlamacpp imatrix量子化バージョンで、複数の量子化タイプをサポートし、テキスト生成タスクに適しています。

Vintern-1B-v3_5は10億パラメータの視覚言語モデルで、画像テキスト生成タスクをサポートします。

Sam-reason-S2.1の静的量子化バージョンで、さまざまなハードウェア要件に対応するための複数量子化オプションを提供

DeepSeek-R1T-Chimeraはテキスト生成モデルで、tngtechの技術を基に開発され、効率的な自然言語処理タスクに特化しています。

TheDrummer/Snowpiercer-15B-v1モデルを基にした量子化バージョンで、llama.cppを使用して量子化されており、テキスト生成タスクに適しています。

Rustコードの中間補完(FIM)タスク向けにファインチューニングされた大規模言語モデル、JetBrains/Mellum-4b-baseを基に構築

霊曦はInclusionAIがオープンソース化した大規模混合エキスパート言語モデルで、簡易版は総パラメータ168億、活性化パラメータ27.5億を有し、卓越した性能を発揮します。

ServiceNowが提供する150億パラメータの効率的な推論モデルで、メモリ使用量は同クラスの先進モデルの半分のみ

これはQwen3-30B-A3Bモデルを基にした4ビット量子化バージョンで、6ビット量子化から4ビットに蒸留したカスタムDWQ量子化技術を使用して作成され、テキスト生成タスクに適しています。

Qwen3-30B-A3B-FP8-dynamicはQwen3-30B-A3BモデルをFP8量子化で最適化したバージョンで、メモリ要件と計算コストを大幅に削減しながら、元のモデルの高い精度を維持しています。

Qwen3-8B-AWQは通義千問シリーズ最新世代の8.2Bパラメータを持つ大規模言語モデルで、AWQ 4-bit量子化技術を用いて推論効率を最適化しています。思考モードと非思考モードの切り替えをサポートし、優れた推論能力、指示追従能力、エージェント能力を備えています。

Qwen3-8B-FP8-dynamicはQwen3-8BモデルをFP8量子化で最適化したバージョンで、GPUメモリ要件とディスク使用量を大幅に削減しながら、元のモデルの性能を維持しています。

ファルコンH1はアラブ首長国連邦技術革新研究所によって開発されたハイブリッドアーキテクチャ言語モデルで、TransformerとMambaアーキテクチャを組み合わせ、多言語処理をサポート

Qwen3-4BはQwen3-4B-Baseを基にしたGGUF形式モデルで、テキスト生成タスクに適しています。

MiMo-7B-RLはMiMo-7B-SFTモデルを基に強化学習で訓練されたモデルで、数学とコード推論タスクで優れた性能を発揮し、OpenAI o1-miniに匹敵する性能を持っています。

ZeroWwは量子化されたテキスト生成モデルで、出力と埋め込みテンソルはf16形式を使用し、残りのテンソルはq5_kまたはq6_k形式を使用しており、体積が小さく純粋なf16と同等の性能を発揮します。

量子化されたテキスト生成モデルで、出力と埋め込みテンソルはf16形式、その他のテンソルはq5_kまたはq6_k量子化されており、体積が小さく純粋なf16バージョンと同等の性能を維持しています。

Qwenチームが提供するQwen3-4BのLlamacpp imatrix量子化バージョンで、複数の量子化タイプをサポートし、テキスト生成タスクに適しています。

Qwen3-8B-Baseは通義大規模言語モデルシリーズの最新世代の製品で、82億のパラメータを持ち、119種類の言語をサポートし、様々な自然言語処理タスクに適しています。

Qwen3-0.6B-Baseは通義シリーズの最新世代の大規模言語モデルで、0.6Bのパラメータ規模を持ち、119種類の言語をサポートし、文脈長は32,768トークンに達します。

これはMeta-Llama-3.1-8B-InstructモデルのINT8量子化バージョンで、重み量子化と活性化量子化により最適化され、多言語のビジネスや研究用途に適しています。

Deepthink-1.5B-Open-PRMは1.5Bパラメータのオープンソース言語モデルで、llama.cppで使用できるようGGUF形式に変換されています。

阿里巴巴PAIがリリースした軽量版Qwen2.5大規模言語モデル、効率的なテキスト生成タスクに特化

このモデルはTHUDM/GLM-Z1-32B-0414を変換した4ビット量子化バージョンで、テキスト生成タスクに適しています。

これはpixtral-12bモデルの量子化バージョンで、llama.cppを使用して量子化されており、画像テキストからテキストへのタスクをサポートします。

これはBAAI/bge-multilingual-gemma2モデルの4ビットGPTQ量子化バージョンで、多言語テキスト埋め込みタスクをサポートします。

Gemma 3はGoogleがGemini技術に基づいて構築した軽量オープンモデルシリーズで、マルチモーダル入力とテキスト出力をサポートし、128Kの大規模コンテキストウィンドウと140以上の言語サポートを備えています。

SigLIPアーキテクチャに基づく軽量な視覚言語モデルで、より大きなSigLIP-400mモデルから蒸留技術を用いて知識を抽出し、ゼロショット画像分類タスクに適しています。