# 8位量化推理

Qwen3 30B A3B Gptq 8bit
Apache-2.0
Qwen3 30B A3B是一个采用GPTQ方法进行8位量化处理的大语言模型,适用于高效推理场景。
大型语言模型 Transformers
Q
btbtyler09
301
2
Llama 4 Scout 17B 16E 8bit
其他
这是一个基于Meta的Llama-4-Scout-17B-16E模型转换而来的MLX格式模型,支持多语言和视觉语言任务。
文本生成图像 Transformers 支持多种语言
L
mlx-community
252
0
Stable Diffusion 3.5 Large Turbo Openvino 8bit
其他
Stable Diffusion 3.5 Large Turbo 的 8 位量化版本,转换为 OpenVINO 格式,用于高效文本生成图像任务。
文本生成图像 英语
S
AIFunOver
28
1
LLAMA 3 Quantized
MIT
Meta Llama 3 - 8B Instruct大语言模型的8位量化版本,减小模型体积并提升推理速度,适合资源有限设备部署。
大型语言模型 Transformers
L
Kameshr
18
9
Meta Llama 3 8B Instruct Bnb 8bit
其他
这是Meta公司的Meta-Llama-3-8B-Instruct模型的8位量化版本,使用bitsandbytes进行量化,适用于高效的文本生成任务。
大型语言模型 Transformers
M
alokabhishek
2,310
2
Pinokio V1.0
Apache-2.0
Pinokio_v1.0 是一个支持英语和土耳其语的文本生成模型,基于 Apache-2.0 许可证发布。
大型语言模型 Transformers 支持多种语言
P
Eurdem
2,810
4
Instructblip Flan T5 Xxl 8bit Nf4
MIT
InstructBLIP是BLIP-2的视觉指令调优版本,结合了视觉和语言模型,能够根据图像和文本指令生成描述或回答问题。
图像生成文本 Transformers 英语
I
Mediocreatmybest
22
1
AIbase
智启未来,您的人工智能解决方案智库
© 2025AIbase