# 低資源推理

DiffuCoder-7B-cpGRPO-4bit 是一個基於蘋果 DiffuCoder-7B-cpGRPO 模型轉換而來的 4 位量化版本，專為 MLX 框架優化。

Kimi-Dev-72B的量化版本，採用先進的非線性最優量化和多頭潛在注意力機制，減少存儲和計算需求。

Delta-Vector的Austral-24B-Winton模型的量化版本，使用llama.cpp工具進行量化處理，適用於不同硬件配置的高效運行。

AceReason-Nemotron-14B是一個通過強化學習訓練的數學和代碼推理模型，在多個數學和代碼推理基準測試中表現出色。

Qwen3是通義千問系列大語言模型的最新迭代，提供稠密模型與混合專家（MoE）模型的完整套件。基於大規模訓練，Qwen3在推理能力、指令遵循、智能體功能及多語言支持方面實現突破性進展。

Motif 2.6B是一個擁有26億參數的語言模型，在AMD Instinct™ MI250 GPU上從頭開始訓練，旨在構建符合人類價值觀、有用且可靠的AI。

這是一個基於Qwen3-235B-A22B-8bit模型轉換而來的4位量化版本，專為MLX框架優化，適用於文本生成任務。

這是bytedance-research/Phantom模型的GGUF直接轉換版本，可在ComfyUI中結合ComfyUI-GGUF自定義節點使用。

這是一個將 bytedance-research/Phantom 直接轉換為 GGUF 格式的項目，用於圖像到視頻的轉換任務。

基於DeepSeek-R1-0528-Qwen3-8B模型的8位量化版本，專為蘋果Silicon芯片優化，適用於文本生成任務。

基於unsloth/Llama-3.3-70B-Instruct-bnb-4bit微調的多語言文本生成模型，支持英語、西班牙語、拉丁語、阿拉伯語和法語。

基於Mistral-Small-3.1-24B-Base-2503的多語言文本生成模型，支持10種語言，適用於角色扮演和對話場景

針對低端硬件和純CPU環境優化的量化版本，在資源限制下實現生產可用的推理就緒配置

該模型是基於llava-hf/llava-1.5-7b-hf轉換的GGUF格式模型，支持圖像文本生成任務。

這是一個基於ByteDance-Seed/Seed-Coder-8B-Reasoning-bf16轉換的GGUF格式模型，適用於代碼生成和推理任務。

MagTie-v1-12B的GGUF量化版本集合，通過mergekit工具合併預訓練語言模型創建，適用於文本生成任務。

Bielik-4.5B-v3.0-Instruct-GGUF 是 SpeakLeash 發佈的波蘭語大語言模型，基於 Bielik-4.5B-v3.0-Instruct 轉換的 GGUF 量化格式，適用於本地推理。

Qwen3-8B的GGUF格式量化版本，由TensorBlock提供，兼容llama.cpp

這是NVIDIA開源的14B參數數學大語言模型，經過llama.cpp量化處理，可在不同硬件條件下高效運行。

基於Llama-3-3B架構的指令微調模型，支持對話、推理和角色扮演等任務，適用於通用人工智能輔助場景。

LLaMA-3-8B-Instruct的消融版本，通過特定技術手段強制模型用土耳其語響應

玲瓏線性預覽版是由InclusionAI開源發佈的混合線性稀疏大語言模型，總參數量17.1B，激活參數量3.0B。該模型基於混合線性注意力機制實現長文本推理，在推理過程中具備近線性計算複雜度與近恆定空間複雜度。

Zero-Mistral-24B 是一個基於 Mistral 架構的大型語言模型，支持俄語和英語，適用於對話和文本生成任務。

DeepSeek-R1 是一個高效的大語言模型，採用了 Unsloth Dynamic v2.0 量化技術，實現了卓越的準確性。

基於Canopy Labs預訓練模型微調的文本轉語音模型，支持英語，採用GGUF Q2_K量化格式實現高效推理

基於Canopy Labs預訓練模型微調的文本轉語音模型，量化後支持高效推理

基於Canopy Labs預訓練模型微調的文本轉語音(TTS)模型，量化為GGUF FP16格式以實現高效推理

基於Canopy Labs預訓練模型微調的8位量化文本轉語音模型，支持英語24kHz音頻生成

基於Google Gemma 3 270億參數指令調優模型的量化版本，採用量化感知訓練(QAT)權重生成，支持多種量化級別以適應不同硬件需求。

該模型是對google/gemma-3-12b-it進行INT4量化的版本，通過GPTQ算法將參數從16比特降至4比特，顯著減少了磁盤空間和GPU內存需求。

這是一個基於canopylabs/3b-hi-ft-research_release模型轉換的GGUF格式模型，支持印地語文本處理。

Phi-4-mini 是由 PyTorch 團隊開發的量化語言模型，採用8位嵌入和8位動態激活，以及4位權重線性層（8da4w）的量化方案，適合移動端部署。

Llama-4-Scout-17B-16E-Instruct是Meta發佈的17B參數指令微調大語言模型，經過量化處理以提高運行效率

該模型是mlabonne/gemma-3-4b-it-abliterated的GGUF格式轉換版本，結合了x-ray_alpha的視覺組件，提供更流暢的多模態體驗。

Gemma 3 4B Instruct 是 Google 開發的一個 40 億參數的大語言模型，專注於文本生成和理解任務。

Doge模型採用動態掩碼注意力機制進行序列轉換，並可使用多層感知機或跨域專家混合進行狀態轉換。

基於BAAI/bge-reranker-base模型轉換的GGUF格式重排序模型，支持中英文文本排序任務

這是一個基於Turkish-Llama-8b-DPO-v0.1模型微調的土耳其語函數調用模型，專門用於執行土耳其語的函數調用任務。

該模型是基於Qwen2.5-VL-7B-Instruct轉換的GGUF格式模型，支持多模態任務，適用於圖像和文本的交互處理。

這是Qwen2.5-VL-7B-Instruct模型的GGUF量化版本，適用於多模態任務，支持圖像和文本輸入。