Gemma 3 4b It Quantized.w4a16
基於google/gemma-3-4b-it的量化版本,採用INT4權重量化和FP16激活量化,優化推理效率
圖像生成文本
Transformers

G
RedHatAI
195
1
Bielik 4.5B V3.0 Instruct FP8 Dynamic
Apache-2.0
該模型是Bielik-4.5B-v3.0-Instruct的FP8量化版本,通過AutoFP8技術將權重和激活量化為FP8數據類型,減少約50%的磁盤空間和GPU內存需求。
大型語言模型 其他
B
speakleash
74
1
Qwq 32B INT8 W8A8
Apache-2.0
QWQ-32B的INT8量化版本,通過減少權重和激活的表示位數來優化性能
大型語言模型
Transformers 英語

Q
ospatch
590
4
Qwq 32B FP8 Dynamic
MIT
QwQ-32B的FP8量化版本,通過動態量化技術減少50%存儲和內存需求,同時保持99.75%的原始模型精度
大型語言模型
Transformers

Q
RedHatAI
3,107
8
Whisper Large V3.w4a16
Apache-2.0
這是openai/whisper-large-v3的量化版本,採用INT4權重量化和FP16激活量化,適用於vLLM推理。
語音識別
Transformers 英語

W
nm-testing
20
1
Qwen2.5 VL 3B Instruct Quantized.w8a8
Apache-2.0
Qwen/Qwen2.5-VL-3B-Instruct的量化版本,支持視覺-文本輸入和文本輸出,權重量化為INT8,激活量化為INT8。
圖像生成文本
Transformers 英語

Q
RedHatAI
274
1
Pixtral 12b FP8 Dynamic
Apache-2.0
pixtral-12b-FP8-dynamic 是 mistral-community/pixtral-12b 的量化版本,通過將權重和激活量化為 FP8 數據類型,減少磁盤大小和 GPU 內存需求約 50%,適用於多種語言的商業和研究用途。
文本生成圖像
Safetensors 支持多種語言
P
RedHatAI
87.31k
9
Meta Llama 3.1 70B FP8
Meta-Llama-3.1-70B的FP8量化版本,適用於多語言的商業和研究用途,權重和激活均量化為FP8格式,減少約50%的存儲和內存需求。
大型語言模型
Transformers 支持多種語言

M
RedHatAI
191
2
Meta Llama 3.1 8B FP8
Meta-Llama-3.1-8B的FP8量化版本,適用於多種語言的商業和研究用途。
大型語言模型
Transformers 支持多種語言

M
RedHatAI
4,154
7
Meta Llama 3.1 70B Instruct FP8
Meta-Llama-3.1-70B-Instruct的FP8量化版本,適用於多語言的商業和研究用途,特別適合類似助手的聊天場景。
大型語言模型
Transformers 支持多種語言

M
RedHatAI
71.73k
45
Deepseek Coder V2 Lite Instruct FP8
其他
DeepSeek-Coder-V2-Lite-Instruct的FP8量化版本,適用於英語的商業和研究用途,優化了推理效率。
大型語言模型
Transformers

D
RedHatAI
11.29k
7
Dolphin 2.9 Llama3 70b Awq
Dolphin 2.9 Llama3 70B 的 AWQ 量化版本,適用於 vllm 和其他推理引擎。
大型語言模型
Transformers

D
julep-ai
19
5
精選推薦AI模型
Llama 3 Typhoon V1.5x 8b Instruct
專為泰語設計的80億參數指令模型,性能媲美GPT-3.5-turbo,優化了應用場景、檢索增強生成、受限生成和推理任務
大型語言模型
Transformers 支持多種語言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一個基於SODA數據集訓練的超小型對話模型,專為邊緣設備推理設計,體積僅為Cosmo-3B模型的2%左右。
對話系統
Transformers 英語

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基於RoBERTa架構的中文抽取式問答模型,適用於從給定文本中提取答案的任務。
問答系統 中文
R
uer
2,694
98