AIbase
TW
模型選型
標籤
量化優化

# 量化優化

Huihui Ai.magistral Small 2506 Abliterated GGUF
慧慧AI量化模型是Magistral-Small-2506-abliterated的量化版本，致力於讓知識為每個人所用。
大型語言模型
H
DevQuasar
423
1
Servicenow AI Apriel Nemotron 15b Thinker GGUF
MIT
這是一個由ServiceNow語言模型（SLAM）實驗室構建的15B參數大語言模型，經過llama.cpp工具量化處理，適用於本地推理部署。
大型語言模型
S
bartowski
3,707
11
Gemma 2 9b It Abliterated GGUF
基於Gemma 2.9B的量化版本，使用llama.cpp進行優化，適合在LM Studio中運行。
大型語言模型 英語
G
bartowski
3,941
37
Illustrious XL V2.0 GGUF
Illustrious-XL-v2.0 是一個文本生成圖像的基礎模型，適用於多種圖像生成任務。
圖像生成
I
btaskel
365
3
Gemma 3 12B It Qat GGUF
Gemma 3 12B IT是由谷歌開發的大語言模型，支持多模態輸入和長上下文處理。
圖像生成文本
G
lmstudio-community
36.65k
4
Elastic Llama 3.1 8B Instruct
Apache-2.0
Meta-Llama-3.1-8B-Instruct 的彈性優化版本，提供不同速度與精度的模型變體，適合自部署場景。
大型語言模型
E
TheStageAI
125
3
Qwen Ai Research Qa Q4 K M.gguf
MIT
專為回答研究型人工智能問題設計的問答模型，採用Q4_K_M量化格式優化，在保持高質量響應的同時實現高效推理。
大型語言模型 英語
Q
InduwaraR
29
2
Llava 1.6 Mistral 7b Gguf
Apache-2.0
LLaVA是一個開源的多模態聊天機器人，通過在多模態指令跟隨數據上微調LLM訓練而成。本版本為GGUF量化版本，提供多種量化選項。
文本生成圖像
L
cjpais
9,652
106
Multilingual E5 Small Optimized
MIT
這是multilingual-e5-small的量化版本，通過逐層量化優化了推理性能，同時保持了原始模型的大部分質量。
文本嵌入 支持多種語言
M
elastic
201
15
AIbase
智啟未來，您的人工智能解決方案智庫
English简体中文繁體中文にほんご
© 2025AIbase