# 超低比特量化

Holo1 3B GGUF
其他
Holo1-3B是基於Transformer架構的多模態模型,專注於視覺文檔檢索任務,在WebVoyager基準測試中表現出色,平衡了準確性和成本。
圖像生成文本 Transformers 英語
H
Mungert
583
0
Holo1 7B GGUF
Apache-2.0
Holo1-7B GGUF模型是Surfer-H系統的一部分,適用於視覺文檔檢索等多模態任務,特別擅長網頁交互和網絡監控,能以較低成本實現高準確性。
圖像生成文本 Transformers 英語
H
Mungert
663
0
Devstral Small 2505 GGUF
Apache-2.0
專為軟件工程項目打造的高效語言模型,輕量級設計,支持128k大上下文窗口,適用於複雜編碼任務。
大型語言模型 支持多種語言
D
Mungert
1,409
1
Qwq 32B ArliAI RpR V4 GGUF
Apache-2.0
基於Qwen/QwQ-32B的文本生成模型,專注於角色扮演和創意寫作任務,支持超低比特量化和長對話處理。
大型語言模型 Transformers 英語
Q
Mungert
523
2
Kanana 1.5 8b Instruct 2505 GGUF
Apache-2.0
Kanana 1.5 是 Kanana 模型系列的新版本,在編碼、數學和函數調用能力方面有顯著提升,能夠處理長達32K個令牌的輸入,使用YaRN時可處理多達128K個令牌。
大型語言模型 Transformers 支持多種語言
K
Mungert
606
2
Medgemma 4b It GGUF
其他
MedGemma-4B-IT是基於Gemma 3的醫學領域多模態模型,支持醫學文本和圖像理解,適用於醫療AI應用開發。
圖像生成文本 Transformers
M
Mungert
637
2
Medgemma 27b Text It GGUF
其他
MedGemma-27B-Text-IT是基於Gemma 3架構的醫療專用大語言模型,針對醫療文本處理進行了優化,提供多種量化版本以適應不同硬件環境。
大型語言模型 Transformers
M
Mungert
1,464
3
Qwenlong L1 32B GGUF
Apache-2.0
QwenLong-L1-32B 是專為長上下文推理設計的大語言模型,通過強化學習訓練,在多個長上下文問答基準測試中表現出色,能有效處理複雜的推理任務。
大型語言模型 Transformers
Q
Mungert
927
7
Dans PersonalityEngine V1.3.0 24b GGUF
Apache-2.0
Dans-PersonalityEngine-V1.3.0-24b是一個多功能模型系列,在50多個專業數據集上進行了微調,支持多語言和專業領域任務。
大型語言模型 Transformers
D
Mungert
678
2
Qwen3 30B A6B 16 Extreme GGUF
基於Qwen/Qwen3-30B-A3B-Base生成的超低比特量化模型,支持32k上下文長度,適用於多種硬件環境
大型語言模型 Transformers
Q
Mungert
1,321
1
Llama 3.1 Nemotron Nano 4B V1.1 GGUF
其他
Llama-3.1-Nemotron-Nano-4B-v1.1是一款基於Llama 3.1優化的大語言模型,在準確性和效率間取得良好平衡,適用於AI代理、聊天機器人等多種場景。
大型語言模型 Transformers 英語
L
Mungert
2,177
1
Opencodereasoning Nemotron 32B IOI GGUF
Apache-2.0
基於Qwen2.5-32B-Instruct的大語言模型,專為代碼生成推理而進行了後訓練,支持32K上下文長度,適用於商業和非商業用途。
大型語言模型 Transformers
O
Mungert
1,317
2
UI TARS 1.5 7B GGUF
Apache-2.0
UI-TARS-1.5-7B是基於先進技術的多模態模型,在圖像文本轉換等任務中表現出色,採用創新的量化方法,能在極低比特率下保持較高的準確性。
文本生成圖像 Transformers
U
Mungert
2,526
3
Phi 4 Mini Reasoning GGUF
MIT
Phi-4-mini-reasoning 是一個基於合成數據構建的輕量級開放模型,專注於高質量、富含推理的數據,並針對更高級的數學推理能力進行了進一步微調。
大型語言模型 Transformers
P
Mungert
3,592
3
Foundation Sec 8B GGUF
Apache-2.0
Foundation-Sec-8B是一款專為網絡安全應用設計的語言模型,基於Llama-3.1架構,經過大量網絡安全相關文本數據的預訓練,能夠理解和處理多種網絡安全領域的概念、術語和實踐。
大型語言模型 Transformers 英語
F
Mungert
7,603
4
Qwen3 14B GGUF
Apache-2.0
Qwen3-14B是基於Qwen/Qwen3-14B-Base生成的GGUF格式模型,支持文本生成任務,採用IQ-DynamicGate超低比特量化技術優化內存效率。
大型語言模型
Q
Mungert
1,597
6
Qwen2.5 7B Instruct GGUF
Apache-2.0
Qwen2.5-7B-Instruct是基於Qwen2.5-7B的指令微調模型,支持文本生成任務,特別優化了聊天場景下的表現。
大型語言模型 英語
Q
Mungert
706
4
Olympiccoder 7B GGUF
Apache-2.0
OlympicCoder-7B是基於Qwen2.5-Coder-7B-Instruct優化的代碼生成模型,採用IQ-DynamicGate超低比特量化技術,專為內存受限環境設計。
大型語言模型 英語
O
Mungert
849
3
Phi 2 GGUF
MIT
phi-2 是一個採用 IQ-DynamicGate 超低比特量化(1-2 比特)的文本生成模型,適用於自然語言處理和代碼生成任務。
大型語言模型 支持多種語言
P
Mungert
472
2
GLM Z1 32B 0414 GGUF
MIT
GLM-Z1-32B-0414是一個32B參數規模的多語言文本生成模型,支持中文和英文,採用MIT許可證發佈。
大型語言模型 支持多種語言
G
Mungert
994
3
GLM 4 32B 0414 GGUF
MIT
GLM-4-32B-0414 GGUF模型是一系列強大的文本生成模型,具有多種量化格式,適用於不同硬件和內存條件。
大型語言模型 Transformers 支持多種語言
G
Mungert
817
4
Llama 3.1 Nemotron 70B Instruct HF GGUF
基於Meta Llama-3.1-70B-Instruct微調的模型,採用NVIDIA HelpSteer2數據集優化,支持文本生成任務。
大型語言模型 英語
L
Mungert
1,434
3
Orpheus 3b 0.1 Ft GGUF
Apache-2.0
基於Llama-3-8B架構優化的超低比特量化模型,採用IQ-DynamicGate技術實現1-2比特精度自適應量化,適用於內存受限環境。
大型語言模型 英語
O
Mungert
1,427
1
Olmo 2 0325 32B Instruct GGUF
Apache-2.0
基於OLMo-2-0325-32B-DPO的指令微調模型,採用IQ-DynamicGate超低比特量化技術,專為內存受限環境優化。
大型語言模型 英語
O
Mungert
15.57k
2
Qwen2.5 VL 7B Instruct GGUF
Apache-2.0
Qwen2.5-VL-7B-Instruct 是一個多模態視覺語言模型,支持圖像理解和文本生成任務。
圖像生成文本 英語
Q
Mungert
17.10k
10
Llama 3.1 Nemotron Nano 8B V1 GGUF
其他
基於Llama-3架構的8B參數模型,採用IQ-DynamicGate超低比特量化技術優化內存使用
大型語言模型 英語
L
Mungert
2,088
4
Granite 3.2 8b Instruct GGUF
Apache-2.0
IBM Granite系列8B參數指令微調語言模型,採用IQ-DynamicGate超低比特量化技術,適用於高效推理場景
大型語言模型
G
Mungert
1,048
2
Mistral Small 3.1 24B Instruct 2503 GGUF
Apache-2.0
這是一個基於 Mistral-Small-3.1-24B-Base-2503 的指令微調模型,採用 GGUF 格式和 IQ-DynamicGate 超低比特量化技術。
大型語言模型 支持多種語言
M
Mungert
10.01k
7
Qwen2.5 14B Instruct 1M GGUF
Apache-2.0
Qwen2.5-14B-Instruct-1M 是一個基於 Qwen2.5-14B 的指令微調模型,支持文本生成任務,適用於聊天場景。
大型語言模型 英語
Q
Mungert
1,600
3
Mistral 7B Instruct V0.2 GGUF
Apache-2.0
Mistral-7B-Instruct-v0.2是基於Mistral-7B架構的指令微調模型,支持文本生成任務,採用IQ-DynamicGate超低比特量化技術優化內存效率。
大型語言模型
M
Mungert
742
2
Mistral 7B Instruct V0.1 GGUF
Apache-2.0
Mistral-7B-Instruct-v0.1是一個基於Mistral-7B-v0.1的微調模型,支持文本生成任務,採用IQ-DynamicGate超低比特量化技術,適用於內存受限的部署環境。
大型語言模型
M
Mungert
632
3
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase