# 低資源部署

DiffuCoder-7B-cpGRPO-8bit是一個轉換為MLX格式的代碼生成模型，基於apple/DiffuCoder-7B-cpGRPO轉換而來，專為開發者提供高效的代碼生成工具。

UniReason-Qwen3-14B-RL的靜態量化版本，適用於文本生成和數學推理研究場景。

Google Gemma-3n-E2B模型的靜態量化版本，提供多種量化類型以平衡模型大小和性能。

這是對Delta-Vector的Austral-70B-Winton模型進行的量化處理版本，通過量化技術減少模型的存儲和計算資源需求，同時保持較好性能，適用於資源有限的場景。

這是chandar-lab/NeoBERT模型的靜態量化版本，旨在減少模型存儲空間和計算資源需求。

Gama-12B的量化版本，提供多種量化類型的文件，適用於文本生成任務，支持英語和葡萄牙語。

Gama-12B是一個多語言支持的大語言模型，提供多種量化版本以適應不同性能和精度需求。

LongWriter-Zero-32B 量化模型基於 THU-KEG/LongWriter-Zero-32B 基礎模型，支持中英雙語，適用於強化學習、寫作等長上下文場景。

Skywork-SWE-32B是一個32B參數的大語言模型，經過Llamacpp imatrix量化，可在資源受限環境下高效運行。

這是NVIDIA AceReason - Nemotron - 1.1 - 7B模型的量化版本，通過優化模型在不同硬件上的運行效率，同時保持一定的性能和質量。

這是OpenBuddy-R1-0528-Distill-Qwen3-32B-Preview0-QAT的量化版本，藉助量化技術可以在不同硬件條件下更高效地運行模型。

這是一個基於ONNX的量化模型，是Qwen/Qwen3-Embedding-0.6B的uint8量化版本，在保持檢索性能的同時減少了模型大小。

這是一個文本到視頻量化模型，基於特定基礎模型進行量化轉換，支持多種視頻生成任務。

這是一個文本到視頻的量化模型，將基礎模型轉換為GGUF格式，可在ComfyUI中使用，為文本到視頻生成提供更多選擇。

基於DeepSeek-R1-0528-Qwen3-8B模型轉換的6位量化版本，適用於MLX框架的文本生成任務。

Blitzar-Coder-4B-F.1是一個高效的多語言編碼模型，基於Qwen3-4B微調，支持10多種編程語言，具備出色的代碼生成、調試和推理能力。

這是一個經過A8W8量化的多模態大語言模型，基於Qwen2.5-VL-7B-Instruct，支持視覺和語言任務。

該項目提供了Echelon-AI/Med-Qwen2-7B模型的GGUF量化文件，由Featherless AI提供支持，旨在增強模型性能並降低運行成本。

DeepSeek-R1-Distill-Qwen-14B 是一個經過優化的14B參數規模的大語言模型，由DeepSeek AI發佈，基於Qwen架構蒸餾而來，提供多種GGUF量化版本以提升性能。

Gemma 3n是Google推出的輕量級、最先進的開源多模態模型家族，基於與Gemini模型相同的研究和技術構建，支持文本、音頻和視覺輸入。

Bielik-11B-v2.6-Instruct 是一個波蘭語的大語言模型，由 SpeakLeash 和 ACK Cyfronet AGH 開發，基於 Bielik-11B-v2 微調而來，適用於指令跟隨任務。

Phi-3.5-mini-instruct是一款輕量級、先進的開源模型，基於Phi-3使用的數據集構建，專注於高質量、富含推理的數據。支持128K令牌上下文長度，具有強大的多語言能力和長上下文處理能力。

Qwen2-Audio-7B-Instruct模型的靜態量化版本，支持英文音頻文本轉文本任務

DrMedra4B是一個專注於醫學領域的量化模型，支持英語和羅馬尼亞語，適用於醫療人工智能、臨床推理、摘要生成和診斷等任務。

基於DeepSeek-R1-0528的量化模型，專注於文本生成任務，提供更高效的使用方式。

這是Sarvam-m模型的量化版本，支持多種印度語言和英語的文本生成任務。

基於infly/inf-o1-pi0模型的量化版本，支持多語言文本生成任務，採用llama.cpp工具進行imatrix量化優化。

AceReason-Nemotron-7B 是一個基於 Nemotron 架構的 7B 參數規模的大型語言模型，提供多種量化版本以適應不同硬件需求。

基於allura-org/Q3-30B-A3B-Designant的Llamacpp imatrix量化版本，適用於多種量化需求，支持角色扮演和對話式任務。

medgemma-4b-it 是一個專注於醫療領域的多模態模型，能夠處理圖像和文本輸入，適用於放射學、臨床推理等多個醫療場景。

Qwen3是Qwen系列最新一代的大語言模型，提供0.6B參數的密集模型，在推理、指令遵循、代理能力和多語言支持方面有突破性進展。

AM-Thinking-v1 是一個基於 GGUF 格式的文本生成模型，適用於多種自然語言處理任務。

KernelLLM是Facebook開發的大語言模型，此版本為使用llama.cpp工具進行imatrix量化的版本，提供多種量化選項以適應不同硬件需求。

這是Nellyw888/VeriReason-Qwen2.5-1.5B-grpo-small模型的靜態量化版本，專注於Verilog代碼生成和推理任務。

基於a-m-team/AM-Thinking-v1模型的Llamacpp imatrix量化版本，支持多種量化類型，適用於文本生成任務。

Big-Alice-28B-v1是一個28B參數的大語言模型，經過llama.cpp的imatrix量化處理，提供多種量化版本以適應不同硬件需求。

這是Wan-AI/Wan2.1-VACE-14B模型的GGUF量化轉換版本，主要用於文本生成視頻任務。

這是一個基於MLX格式的4位量化語言模型，適用於文本生成任務。

這是一個12B參數的大語言模型，經過llama.cpp的imatrix量化處理，提供多種量化版本以適應不同硬件需求。

Qwen3是通義千問系列最新一代大語言模型，提供完整的稠密模型與混合專家（MoE）模型組合。基於大規模訓練，Qwen3在推理能力、指令遵循、智能體功能及多語言支持方面實現突破性進展。