# 軽量級推論

百度ERNIE-4.5-0.3B-PTモデルに基づく量子化バージョンで、llama.cppツールを通じて最適化され、モデルサイズを削減し、実行効率を向上させます。

DeepSeek-R1-Distill-Qwen-14Bは、14Bパラメータ規模の最適化された大規模言語モデルで、DeepSeek AIによってリリースされ、Qwenアーキテクチャに基づいて蒸留され、性能向上のために複数のGGUF量子化バージョンを提供します。

このモデルはmlabonne/gemma-3-4b-it-abliteratedをベースに変換されたGGUF形式のバージョンで、ローカルでの実行と推論に適しています。

mlabonne/gemma-3-1b-it-abliteratedをベースに変換されたGGUF形式のモデルで、ローカル推論タスクに適しています。

Qwen2-VL-7Bは視覚言語モデルで、複数の量子化バージョンのGGUF形式のモデルファイルを提供し、llama.cppでの使用に適しています。

sentence - transformersに基づくモデルで、短テキストと質問の間の関連性を判断するために使用されます。