# 低顯存推理

Qwen3-14B-ft-limo模型的多種量化版本，使用llama.cpp的imatrix選項生成，適用於不同性能和存儲需求

該模型是Bielik-4.5B-v3.0-Instruct的FP8量化版本，通過AutoFP8技術將權重和激活量化為FP8數據類型，減少約50%的磁盤空間和GPU內存需求。

這是一個基於Bielik-1.5B-v3.0-Instruct模型的FP8動態量化版本，適配vLLM或SGLang推理框架，通過AutoFP8量化技術將參數字節數從16位降至8位，顯著降低磁盤空間和GPU顯存需求。

OpenHands LM是一款基於Qwen Coder 2.5 Instruct 32B構建的開源編碼模型，通過特殊微調在軟件工程任務中表現出色。

這是一個基於Qwen2.5-VL-7B-Instruct模型的非官方GPTQ-Int3量化版本，適用於圖像文本到文本的多模態任務。

QwQ-32B的4位量化版本，使用Bitsandbytes技術進行優化，適用於資源受限環境下的高效推理

這是Qwen2.5-VL-3B-Instruct模型的GPTQ-Int4量化版本，適用於圖像文本到文本的多模態任務，支持中文和英語。

SmolVLM2-256M-Video是一款輕量級多模態模型，專為分析視頻內容而設計，能夠處理視頻、圖像和文本輸入並生成文本輸出。

輕量級多模態模型，專為分析視頻內容設計，可處理視頻、圖像和文本輸入以生成文本輸出。

SmolVLM2-2.2B 是一款輕量級多模態模型，專為分析視頻內容而設計，可處理視頻、圖像和文本輸入並生成文本輸出。

Molmo-7B-D-0924的4Bit量化版本，通過NF4量化策略降低顯存佔用，適用於顯存受限環境。

CogVideoX 是一個類似於清影的開源視頻生成模型，支持高分辨率視頻生成

Llama 3.1 8B Instruct的INT4量化版本，基於AutoAWQ工具進行量化，適用於多語言對話場景。

Dorna-Llama3-8B-Instruct的4位量化版本，針對波斯語優化，集成Flash Attention 2技術提升推理效率

RWKV-4是一種融合RNN與Transformer優勢的大語言模型，具備高性能、快速推理和高效訓練特點

MOSS是一個支持插件增強的開源對話語言模型，參數量160億，支持中英文對話及工具調用能力。