# CPU効率的推論

Qwen3-8Bをベースにした量子化バージョンで、IQ-DynamicGate超低ビット量子化技術を採用し、メモリ効率と推論速度を最適化

GLM-Z1-9B-0414 は中英バイリンガルのテキスト生成モデルで、GGUFフォーマットを採用し、BF16から超低ビット量子化（1-2ビット）までの複数の量子化レベルに対応しています。

OlympicCoder-7BはQwen2.5-Coder-7B-Instructを最適化したコード生成モデルで、IQ-DynamicGate超低ビット量子化技術を採用し、メモリ制約環境向けに設計されています。

IQ-DynamicGate技術を採用した超低位量子化(1-2ビット)モデルで、メモリ制約のあるデバイスやエッジコンピューティングシナリオに適しています

Llama-3-8Bアーキテクチャを基に最適化された超低ビット量子化モデル。IQ-DynamicGate技術により1-2ビット精度の適応的量子化を実現し、メモリ制約環境に適しています。

Llama-3アーキテクチャに基づく8Bパラメータモデルで、IQ-DynamicGate超低ビット量子化技術によりメモリ使用を最適化

これはMistral-Small-3.1-24B-Base-2503を基にした命令微調整モデルで、GGUFフォーマットとIQ-DynamicGate超低ビット量子化技術を採用しています。

Llama-3.1-8B-Instruct は Llama-3-8B の命令調整バージョンで、IQ-DynamicGate 技術を用いた超低ビット量子化（1-2 ビット）を採用し、メモリ効率を維持しながら精度を向上させています。

Mistral-7B-Instruct-v0.2はMistral-7Bアーキテクチャに基づく命令微調整モデルで、テキスト生成タスクをサポートし、IQ-DynamicGate超低ビット量子化技術によりメモリ効率を最適化しています。

bert-tinyとvit-smallに基づく軽量な画像説明生成モデルで、わずか100MBの重さで、CPU上で非常に高速に動作します。

bert-miniとvit-smallに基づく軽量画像キャプション生成モデルで、わずか130MBの重さで、CPU上で非常に高速に動作します。

このプロジェクトは、GGUF形式で保存されたBGE埋め込みモデルを提供し、llama.cppとの併用に適しており、transformersよりも優れたパフォーマンスを提供します。

Llama 2 7Bを微調整したReLU活性化スパース大規模言語モデル、動的パラメータ選択により計算効率を向上