# 8位量化推理

Qwen3 30B A3B是一个采用GPTQ方法进行8位量化处理的大语言模型，适用于高效推理场景。

这是一个基于Meta的Llama-4-Scout-17B-16E模型转换而来的MLX格式模型，支持多语言和视觉语言任务。

Stable Diffusion 3.5 Large Turbo 的 8 位量化版本，转换为 OpenVINO 格式，用于高效文本生成图像任务。

Meta Llama 3 - 8B Instruct大语言模型的8位量化版本，减小模型体积并提升推理速度，适合资源有限设备部署。

这是Meta公司的Meta-Llama-3-8B-Instruct模型的8位量化版本，使用bitsandbytes进行量化，适用于高效的文本生成任务。

Pinokio_v1.0 是一个支持英语和土耳其语的文本生成模型，基于 Apache-2.0 许可证发布。

InstructBLIP是BLIP-2的视觉指令调优版本，结合了视觉和语言模型，能够根据图像和文本指令生成描述或回答问题。