# 精度自適應

Qwen2.5 7B Instruct GGUF
Apache-2.0
Qwen2.5-7B-Instruct是基於Qwen2.5-7B的指令微調模型,支持文本生成任務,特別優化了聊天場景下的表現。
大型語言模型 英語
Q
Mungert
706
4
Qwen2.5 3B Instruct GGUF
其他
採用IQ-DynamicGate技術的超低位量化(1-2位)模型,適用於內存受限設備和高效推理場景
大型語言模型 英語
Q
Mungert
704
4
Llama 3.2 3B Instruct GGUF
Llama-3.2-3B-Instruct GGUF是Meta發佈的3B參數規模的大語言模型,採用IQ-DynamicGate技術進行超低位量化(1-2位),在保持內存效率的同時優化推理性能。
大型語言模型 支持多種語言
L
Mungert
656
3
Phi 2 GGUF
MIT
phi-2 是一個採用 IQ-DynamicGate 超低比特量化(1-2 比特)的文本生成模型,適用於自然語言處理和代碼生成任務。
大型語言模型 支持多種語言
P
Mungert
472
2
GLM Z1 32B 0414 GGUF
MIT
GLM-Z1-32B-0414是一個32B參數規模的多語言文本生成模型,支持中文和英文,採用MIT許可證發佈。
大型語言模型 支持多種語言
G
Mungert
994
3
Deepcoder 14B Preview GGUF
MIT
採用IQ-DynamicGate技術的超低位量化(1-2比特)模型,適用於內存受限設備和邊緣計算場景
大型語言模型 英語
D
Mungert
1,764
6
Llama 3.1 Nemotron 70B Instruct HF GGUF
基於Meta Llama-3.1-70B-Instruct微調的模型,採用NVIDIA HelpSteer2數據集優化,支持文本生成任務。
大型語言模型 英語
L
Mungert
1,434
3
Olmo 2 0325 32B Instruct GGUF
Apache-2.0
基於OLMo-2-0325-32B-DPO的指令微調模型,採用IQ-DynamicGate超低比特量化技術,專為內存受限環境優化。
大型語言模型 英語
O
Mungert
15.57k
2
Llama 3 3 Nemotron Super 49B V1 GGUF
其他
採用IQ-DynamicGate超低位量化技術的49B參數大語言模型,支持1-2位精度自適應量化,優化內存效率與推理速度
大型語言模型 英語
L
Mungert
434
4
Granite 3.2 8b Instruct GGUF
Apache-2.0
IBM Granite系列8B參數指令微調語言模型,採用IQ-DynamicGate超低比特量化技術,適用於高效推理場景
大型語言模型
G
Mungert
1,048
2
Mistral Small 3.1 24B Instruct 2503 GGUF
Apache-2.0
這是一個基於 Mistral-Small-3.1-24B-Base-2503 的指令微調模型,採用 GGUF 格式和 IQ-DynamicGate 超低比特量化技術。
大型語言模型 支持多種語言
M
Mungert
10.01k
7
Qwen2.5 7B Instruct 1M GGUF
Apache-2.0
Qwen2.5-7B-Instruct-1M是基於Qwen2.5-7B的指令微調版本,採用IQ-DynamicGate超低位量化技術(1-2比特),適用於內存受限環境下的高效推理。
大型語言模型 英語
Q
Mungert
1,342
4
Qwen2.5 14B Instruct 1M GGUF
Apache-2.0
Qwen2.5-14B-Instruct-1M 是一個基於 Qwen2.5-14B 的指令微調模型,支持文本生成任務,適用於聊天場景。
大型語言模型 英語
Q
Mungert
1,600
3
Meta Llama 3 8B Instruct GGUF
基於Llama-3-8B-Instruct的IQ-DynamicGate超低位量化(1-2比特)模型,採用精度自適應量化技術,在保持極致內存效率的同時提升推理精度。
大型語言模型 英語
M
Mungert
1,343
3
Mistral 7B Instruct V0.1 GGUF
Apache-2.0
Mistral-7B-Instruct-v0.1是一個基於Mistral-7B-v0.1的微調模型,支持文本生成任務,採用IQ-DynamicGate超低比特量化技術,適用於內存受限的部署環境。
大型語言模型
M
Mungert
632
3
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase