# 8位量化推理

Qwen3 30B A3B是一個採用GPTQ方法進行8位量化處理的大語言模型，適用於高效推理場景。

這是一個基於Meta的Llama-4-Scout-17B-16E模型轉換而來的MLX格式模型，支持多語言和視覺語言任務。

Stable Diffusion 3.5 Large Turbo 的 8 位量化版本，轉換為 OpenVINO 格式，用於高效文本生成圖像任務。

Meta Llama 3 - 8B Instruct大語言模型的8位量化版本，減小模型體積並提升推理速度，適合資源有限設備部署。

這是Meta公司的Meta-Llama-3-8B-Instruct模型的8位量化版本，使用bitsandbytes進行量化，適用於高效的文本生成任務。

Pinokio_v1.0 是一個支持英語和土耳其語的文本生成模型，基於 Apache-2.0 許可證發佈。

InstructBLIP是BLIP-2的視覺指令調優版本，結合了視覺和語言模型，能夠根據圖像和文本指令生成描述或回答問題。