AIbase
TW
模型選型
標籤
4比特量化

# 4比特量化

Moondream 2b 2025 04 14 4bit
Apache-2.0
Moondream是一款輕量級視覺語言模型，專為高效全平臺運行而設計。2025年4月14日發佈的4比特量化版在保持高精度的同時大幅降低內存佔用。
圖像生成文本 Safetensors
M
moondream
6,037
38
Qwen3 4B Rpg Roleplay
Apache-2.0
基於千問3-4B模型微調的角色扮演對話模型，擅長生成符合角色特徵的連貫對話
大型語言模型 英語
Q
Chun121
1,657
6
Mistral 7B Instruct V0.3 Forensics V1
本模型是基於Mistral-7B-Instruct-v0.3優化的微調版本，專為法醫調查領域的問答任務設計，支持高級法醫調查推理和快速知識檢索。
大型語言模型 Transformers
M
gerasmark
28
2
Hidream I1 Full Nf4
MIT
HiDream-I1是擁有170億參數的開源圖像生成基礎模型，可在數秒內生成達到業界頂尖水平的圖像。
圖像生成
H
azaneko
16.95k
38
Hidream I1 Fast Nf4
MIT
HiDream-I1是擁有170億參數的開源圖像生成基礎模型，4比特量化版本可在16GB顯存下運行，實現快速高質量的圖像生成。
圖像生成
H
azaneko
19.22k
7
Hidream I1 Dev Nf4
MIT
HiDream-I1是擁有170億參數的開源圖像生成基礎模型，能在數秒內生成達到業界頂尖水平的圖像。
圖像生成
H
azaneko
23.29k
12
Qwen2.5 Omni 7B GPTQ 4bit
MIT
基於Qwen2.5-Omni-7B模型的4比特GPTQ量化版本，支持多語言和多模態任務。
多模態融合 Safetensors 支持多種語言
Q
FunAGI
3,957
51
Travelbot
Apache-2.0
基於Unsloth和Huggingface TRL庫訓練的Llama模型，推理速度提升2倍
大型語言模型 Transformers 英語
T
kitty528
9,146
2
Llama 3 2 3B SFT GGUF
MIT
基於Llama-3.2-3B預訓練模型的指令微調版本，採用4比特量化和LoRA技術進行高效微調
大型語言模型 英語
L
SURESHBEEKHANI
53
1
Qwen2 7B Int4 Inc
Apache-2.0
基於Qwen2-7B的INT4自動量化模型，由英特爾auto-round工具生成，適用於高效推理任務
大型語言模型 Transformers
Q
Intel
48
6
Llama3 8B Medical
Apache-2.0
基於LLAMA-3-8B模型的醫療微調4比特量化版本，專為醫療問答設計
大型語言模型 Transformers 英語
L
ruslanmv
132
11
Mythalion Kimiko V2 AWQ
其他
Mythalion Kimiko v2 - AWQ 是 nRuaif 創建的 Mythalion Kimiko v2 模型的 AWQ 量化版本，具有高效、準確和快速推理等特點。
大型語言模型 Transformers
M
TheBloke
403
7
Evolcodellama 7b
Apache-2.0
基於CodeLlama-7b-hf模型，採用QLoRA（4比特精度）在Evol-Instruct-Python-1k數據集上微調而成的代碼生成模型
大型語言模型 Transformers
E
mlabonne
34
6
AIbase
智啟未來，您的人工智能解決方案智庫
English简体中文繁體中文にほんご
© 2025AIbase