# 効率的な量子化推論

Qwen3は通義千問シリーズの最新世代大規模言語モデルで、完全な密モデルと混合エキスパート（MoE）モデルの組み合わせを提供します。大規模なトレーニングに基づき、Qwen3は推論能力、命令追従、エージェント機能、多言語サポートにおいて画期的な進歩を実現しました。

これはmistralai/Mistral-Small-3.1-24B-Instruct-2503を変換したGGUF形式モデルで、多言語テキスト生成タスクをサポートします。

これはLGAI-EXAONEがリリースしたEXAONE-Deep-2.4Bモデルの量子化バージョンで、llama.cppを使用して量子化されており、英語と韓国語のテキスト生成タスクをサポートしています。

これはQwen2.5-14B-Instructモデルを基に量子化処理を行ったバージョンで、引用意図分類タスク専用です。

Qwen2-VL-7B-Instructを基にしたマルチモーダルモデルの量子化バージョンで、画像テキストからテキストタスクをサポートし、様々な量子化レベルに対応しています。

OpenCerebrum-1.0-7b-SFTはLocutusque/OpenCerebrum-1.0-7b-SFTに基づく静的量子化モデルで、複数の量子化バージョンをサポートし、コード生成、数学、化学、生物学などの分野のテキスト生成やQ&Aタスクに適しています。

EuroLLM-9B-Instructは40以上の言語をサポートする多言語命令追従型大規模言語モデルで、特にヨーロッパ言語の処理能力を最適化しています。

このモデルはggml.aiのGGUF-my-repoスペースを使用し、llama.cppによってgoogle-t5/t5-3bからGGUF形式に変換された量子化バージョンです。

これはllama.cppを使用してWizardLM-2-7Bを量子化したバージョンで、直交化bfloat16 safetensor重み処理に基づいており、マルチターン対話をサポートします。

DeepSeek-V2-Lite-ChatのGGUF量子化バージョンで、複数の量子化タイプをサポートし、ローカル展開と推論に適しています。

Mixtralは多言語対応のテキスト生成モデルで、混合エキスパート（MoE）アーキテクチャを採用し、英語、フランス語、イタリア語、ドイツ語、スペイン語をサポートしています。

TinyLlama-1.1B-Chat-v0.6は、1.1BパラメータのLlamaアーキテクチャを基にした軽量なチャットモデルで、対話タスクに最適化されています。