AIbase
TW
模型選型
標籤
高效量化部署

# 高效量化部署

Mistralai Mistral Small 3.2 24B Instruct 2506 GGUF
Apache-2.0
這是Mistral-Small-3.2-24B-Instruct-2506模型的Llamacpp imatrix量化版本，提供多種量化類型以滿足不同硬件需求。
大型語言模型 支持多種語言
M
bartowski
3,769
12
Mistralai Devstral Small 2505 GGUF
Apache-2.0
Devstral-Small-2505的量化版本，支持多語言文本生成任務，適用於本地部署和推理。
大型語言模型 支持多種語言
M
bartowski
4,817
10
Seed Coder 8B Reasoning Bf16 Q6 K GGUF
MIT
這是一個基於ByteDance-Seed/Seed-Coder-8B-Reasoning-bf16轉換的GGUF格式模型，適用於代碼生成和推理任務。
大型語言模型
S
GrimsenClory
100
1
Nvidia OpenMath Nemotron 14B Kaggle GGUF
這是NVIDIA開源的14B參數數學大語言模型，經過llama.cpp量化處理，可在不同硬件條件下高效運行。
大型語言模型 英語
N
bartowski
432
1
Meta Llama 3.1 8B GGUF
Meta-Llama-3.1-8B的GGUF量化版本，基於llama.cpp工具生成，支持多語言文本生成任務。
大型語言模型 支持多種語言
M
fedric95
253
3
Llama 4 Scout 17B 16E Instruct GGUF
其他
Llama-4-Scout-17B-16E-Instruct-GGUF是一款基於Llama-4-Scout-17B-16E-Instruct模型的量化版本，支持多語言處理，適用於聊天和指令任務。
大型語言模型 Transformers 支持多種語言
L
gaianet
2,263
0
Meta Llama Llama 4 Scout 17B 16E Instruct Old GGUF
其他
Llama-4-Scout-17B-16E-Instruct是Meta發佈的17B參數指令微調大語言模型，經過量化處理以提高運行效率
大型語言模型 支持多種語言
M
bartowski
3,142
30
Minicpm O 2 6 Gguf
MiniCPM-o 2.6是一個多模態模型，支持視覺和語言任務，專為llama.cpp設計。
圖像生成文本
M
openbmb
5,660
101
Dolphin3.0 Llama3.2 1B GGUF
基於Llama3.2架構的1B參數量化模型，支持文本生成任務，適用於多種量化版本選擇
大型語言模型 英語
D
bartowski
1,134
4
Qwen2 VL 7B GGUF
Apache-2.0
Qwen2-VL-7B 是一個視覺語言模型，提供多種量化版本的 GGUF 格式模型文件，適用於 llama.cpp 使用。
文本生成圖像 Transformers 英語
Q
tensorblock
108
1
Mixtral 8x22B Instruct V0.1 GGUF
Apache-2.0
基於mistralai/Mixtral-8x22B-Instruct-v0.1模型的GGUF量化版本，支持多語言文本生成任務
大型語言模型 支持多種語言
M
MaziyarPanahi
1,333
33
AIbase
智啟未來，您的人工智能解決方案智庫
English简体中文繁體中文にほんご
© 2025AIbase