AIbase
TW
模型選型
標籤
多級量化

# 多級量化

Hacker News Comments Summarization Gemma 3 27b It GGUF
這是一個基於Gemma 3 27B模型的量化版本，專門用於生成黑客新聞（Hacker News）評論的摘要。
大型語言模型 英語
H
mradermacher
190
0
Lightblue Reranker 0.5 Bin Filt Gguf
這是一個文本排序模型，用於對文本進行重新排序和評分，以提高搜索結果的相關性。
文本嵌入
L
RichardErkhov
2,101
0
Open R1 OlympicCoder 7B GGUF
Apache-2.0
OlympicCoder-7B是一個專注於代碼生成的7B參數大語言模型，基於open-r1/OlympicCoder-7B進行llama.cpp量化，支持多種量化級別選擇。
大型語言模型 英語
O
bartowski
5,859
9
SDXL GGUF
MIT
Stable Diffusion XL的GGUF格式量化版本，提供不同量化級別以適應不同硬件配置。
文本生成圖像
S
HyperX-Sentience
2,189
5
Rank Zephyr 7b V1 Full GGUF
MIT
這是castorini/rank_zephyr_7b_v1_full模型的GGUF量化版本，適用於文本排序任務。
大型語言模型 英語
R
tensorblock
66
0
Llama 3 70B Instruct Abliterated GGUF
基於Meta LLaMA-3 70B的指令微調模型，經過量化處理，適用於本地部署和高效推理。
大型語言模型
L
bartowski
686
6
AIbase
智啟未來，您的人工智能解決方案智庫
English简体中文繁體中文にほんご
© 2025AIbase