# 輕量級推理

基於百度ERNIE-4.5-0.3B-PT模型的量化版本，通過llama.cpp工具進行優化，減少模型大小並提升運行效率。

DeepSeek-R1-Distill-Qwen-14B 是一個經過優化的14B參數規模的大語言模型，由DeepSeek AI發佈，基於Qwen架構蒸餾而來，提供多種GGUF量化版本以提升性能。

這是一個基於mistralai/Devstral-Small-2505模型轉換的3位量化版本，適用於MLX框架，支持多語言文本生成任務。

Phi-4-mini-reasoning 是一個輕量級的開源模型，專注於數學推理任務，支持128K令牌的上下文長度。

GLM-4-9B-0414是GLM家族中的輕量級成員，擁有90億參數，在數學推理和通用任務上表現出色，為資源受限場景提供了高效的解決方案。

這是Qwen3-8B模型的GGUF格式版本，適用於llama.cpp框架，支持文本生成任務。

Phi-4-mini-instruct 是一個輕量級開源模型，專注於高質量、富含推理的數據，支持128K token的上下文長度。

本模型是基於canopylabs/3b-zh-ft-research_release轉換而來的GGUF格式模型，適用於中文文本生成任務。

基於Google Gemma 3B QAT權重的多種量化版本，適用於本地推理部署

基於Google QAT（量化感知訓練）權重量化的Gemma-3-12b模型，提供多種量化版本以適應不同硬件需求。

這是一個基於韓語優化的3B參數規模的語言模型，轉換為GGUF格式以便與llama.cpp兼容使用。

GLM-4-9B-0414是GLM家族中的輕量級成員，擁有90億參數規模，在數學推理和通用任務上展現出卓越能力，綜合表現在同規模開源模型中名列前茅。

該模型是基於canopylabs/orpheus-3b-0.1-ft轉換而來的GGUF格式模型，適用於文本生成任務。

該模型是基於canopylabs/orpheus-3b-0.1-ft轉換的GGUF格式模型，適用於文本生成任務。

該模型是基於canopylabs/orpheus-3b-0.1-ft轉換而來的GGUF格式模型，適用於文本生成任務。

DeepSeek-V3的5層簡化開發版本，適用於輕量級任務和快速實驗。

基於潛在橋接匹配(LBM)技術的圖像深度估計模型，通過潛在空間橋接實現快速圖像轉換

Orpheus-3B-0.1-FT 的 GGUF 量化版本，適用於高效推理

該模型是通過llama.cpp從google/gemma-3-4b-it轉換為GGUF格式的，適用於本地部署和推理。

這是一個基於canopylabs/orpheus-3b-0.1-ft模型轉換而來的GGUF格式模型，適用於文本生成任務。

這是一個基於mrfakename/mistral-small-3.1-24b-instruct-2503-hf模型的GGUF格式量化版本，適用於文本生成任務。

這是一個基於Google Gemma 3.4B參數模型轉換的GGUF格式模型，適用於文本生成任務。

Phi-4-mini-instruct是基於合成數據和精選公開網站構建的輕量級開源模型，專注於高質量、強推理能力的數據。支持128K令牌上下文長度，通過監督微調和直接偏好優化進行增強，以確保精準的指令遵循和安全性。

Phi-4-multimodal-instruct是一款輕量級開源多模態基礎模型，融合了Phi-3.5和4.0模型的語言、視覺及語音研究數據。支持文本、圖像和音頻輸入，生成文本輸出，並具備128K token的上下文長度。

Phi-4-mini-instruct是一個輕量級開源模型，基於合成數據和過濾後的公開網站數據構建，專注於高質量、富含推理能力的數據。支持128K令牌的上下文長度和多語言處理。

Mistral-Small-24B-Instruct-2501的GGUF量化版本，適用於本地部署和文本生成任務。

基於AtlaAI/Selene-1-Mini-Llama-3.1-8B轉換的GGUF格式模型，適用於文本生成任務，支持多種歐洲語言。

一個經過優化的量化模型，輸出和嵌入張量使用f16格式，其餘張量使用q5_k或q6_k格式，體積更小且性能與純f16相當。

基於Gemma 2 Baku 2B的指令微調模型，優化了指令遵循能力，適用於自然語言處理任務。

這是Meta發佈的Llama 3.2系列中的10億參數指令微調模型，已轉換為GGUF格式便於在llama.cpp中使用

本模型是google-t5/t5-large的GGUF格式轉換版本，支持摘要生成、翻譯等任務，適用於英語、法語、羅馬尼亞語、德語等多種語言。

Phi-3.5-mini-instruct_Uncensored 是一個經過量化的語言模型，適用於多種硬件條件下的使用。

Stable Diffusion v1.5 是一個文本到圖像的生成模型，能夠根據文本描述生成高質量的圖像。

Phi-3-Vision-128K-Instruct是一個輕量級、前沿的開放多模態模型，支持128K令牌的上下文長度，專注於文本和視覺領域的高質量推理。

Phi-3-Small-8K-Instruct是一個70億參數的輕量級開源模型，專注於高質量推理能力，支持8K上下文長度，適用於英語環境下的商業和研究用途。

Phi-3-Medium-4K-Instruct是一個140億參數的輕量級開源模型，專注於高質量推理能力，支持4K上下文長度，適用於英語環境下的商業和研究用途。

Vecteus-v1的GGUF格式版本，支持英文和日文文本生成

Llama-3-8B-Instruct-32k-v0.1的GGUF量化版本，支持多種比特量化，適用於文本生成任務。

Phi-3-Mini-4K-Instruct是一個38億參數的輕量級前沿開源模型，使用Phi-3數據集訓練而成，注重高質量和推理密集特性。

Phi-3-Mini-4K-Instruct是一個擁有38億參數的輕量級、前沿開源模型，專注於高質量和推理密集的特性，適用於英語的商業和研究用途。