# 8位量化推理

Qwen3 30B A3B Gptq 8bit
Apache-2.0
Qwen3 30B A3B是一個採用GPTQ方法進行8位量化處理的大語言模型,適用於高效推理場景。
大型語言模型 Transformers
Q
btbtyler09
301
2
Llama 4 Scout 17B 16E 8bit
其他
這是一個基於Meta的Llama-4-Scout-17B-16E模型轉換而來的MLX格式模型,支持多語言和視覺語言任務。
文本生成圖像 Transformers 支持多種語言
L
mlx-community
252
0
Stable Diffusion 3.5 Large Turbo Openvino 8bit
其他
Stable Diffusion 3.5 Large Turbo 的 8 位量化版本,轉換為 OpenVINO 格式,用於高效文本生成圖像任務。
文本生成圖像 英語
S
AIFunOver
28
1
LLAMA 3 Quantized
MIT
Meta Llama 3 - 8B Instruct大語言模型的8位量化版本,減小模型體積並提升推理速度,適合資源有限設備部署。
大型語言模型 Transformers
L
Kameshr
18
9
Meta Llama 3 8B Instruct Bnb 8bit
其他
這是Meta公司的Meta-Llama-3-8B-Instruct模型的8位量化版本,使用bitsandbytes進行量化,適用於高效的文本生成任務。
大型語言模型 Transformers
M
alokabhishek
2,310
2
Pinokio V1.0
Apache-2.0
Pinokio_v1.0 是一個支持英語和土耳其語的文本生成模型,基於 Apache-2.0 許可證發佈。
大型語言模型 Transformers 支持多種語言
P
Eurdem
2,810
4
Instructblip Flan T5 Xxl 8bit Nf4
MIT
InstructBLIP是BLIP-2的視覺指令調優版本,結合了視覺和語言模型,能夠根據圖像和文本指令生成描述或回答問題。
圖像生成文本 Transformers 英語
I
Mediocreatmybest
22
1
AIbase
智啟未來,您的人工智能解決方案智庫
© 2025AIbase