# 輕量化部署

Apollo2-7B-GGUF 是 FreedomIntelligence/Apollo2-7B 的量化版本，支持多種語言的醫學大語言模型應用。

這是一個基於Qwen/Qwen3-Embedding-8B轉換的4位DWQ量化版本，適用於MLX框架的嵌入模型。

PP-OCRv4_mobile_det 是由 PaddleOCR 團隊開發的針對移動設備優化的高效文本檢測模型，適合邊緣設備部署。

Qwen3-Reranker-0.6B的量化版本，致力於讓知識為每個人所用。

PP-OCRv5_mobile_det是PaddleOCR團隊研發的最新一代輕量級文本檢測模型，支持多語言、多場景下的高效文本檢測。

Qwen2.5-Omni-7B-GGUF 是基於 Qwen2.5-Omni-7B 模型的 GGUF 格式版本，支持多模態輸入，包括文本、音頻和圖像。

本項目提供了academic-ds-9B的量化版本，旨在讓知識為每個人所用。

Cosmos-Reason1-7B是英偉達發佈的7B參數規模的基礎模型，專注於圖文轉文本任務。

Devstral-Small-2505是一個基於Mistral架構的小型語言模型，支持文本生成任務，並可通過兼容的mmproj文件實現基礎視覺功能。

Devstral是一款專為軟件工程任務設計的智能大語言模型，由Mistral AI和All Hands AI合作開發，擅長代碼庫探索、多文件編輯和驅動軟件工程代理。

基於Qwen/Qwen2-VL-2B-Instruct微調的多模態模型，專為OCR、圖像轉文本、LaTeX數學求解及手寫識別優化

該模型是基於llava-hf/llava-1.5-7b-hf轉換的GGUF格式模型，支持圖像文本生成任務。

Skywork-OR1-7B 是一個 7B 參數規模的大語言模型，提供多種量化版本以適應不同硬件需求。

ACE-Step-v1-3.5B是一個文本轉音頻模型，支持高質量音頻生成，適用於音樂和聲音效果創作。

OpenVision是一個全開放、高性價比的先進視覺編碼器家族，專注於多模態學習。

基於Qwen3-8B優化的8位量化版本，適用於MLX框架的高效推理

該模型是基於MYZY-AI/Muyan-TTS-SFT轉換的GGUF格式文本轉語音模型，支持中文語音合成。

Foundation-Sec-8B 是一個基於 Transformer 架構的大型語言模型，專注於文本生成任務。

基於Mistral架構優化的指令微調模型，適用於零樣本分類任務

Qwen3-4B的MNN模型4位量化版本，用於高效文本生成任務

Gemma 3是Google推出的輕量級、最先進的開放模型家族，基於與Gemini模型相同的研究和技術構建。支持多模態輸入和文本輸出。

Gemma 3是谷歌推出的輕量級、最先進的多模態開源模型，能處理文本和圖像輸入並生成文本輸出，適用於多種文本生成和圖像理解任務。

GLM-4-9B-0414-abliterated 是一個基於 GLM 架構的 9B 參數規模的大型語言模型，適用於文本生成任務。

基於Gemma 3 4B的量化版本圖像文本轉文本模型，旨在讓知識為大眾所用

這是一個基於Llama架構的多模態模型，支持視覺和文本指令，經過4位量化優化。

Kimi-VL-A3B-Thinking-8bit 是一個基於 MLX 格式轉換的多模態視覺語言模型，支持圖像文本到文本的生成任務。

本模型是THUDM/GLM-Z1-9B-0414的GGUF格式轉換版本，支持中英文文本生成任務。

基於Google Gemma 3 12B模型轉換的8位量化版本，適用於圖像文本到文本任務。

Salesforce發佈的8億參數規模的Llama-xLAM-2模型量化版本，專注於文本生成任務

該模型是mlabonne/gemma-3-4b-it-abliterated的GGUF格式轉換版本，結合了x-ray_alpha的視覺組件，提供更流暢的多模態體驗。

這是Qwen2.5-VL-7B-Instruct模型的GGUF量化版本，適用於多模態任務，支持圖像和文本輸入。

本倉庫包含mixedbread-ai/mxbai-rerank-large-v2的GGUF格式模型文件，由TensorBlock提供的機器進行量化，兼容llama.cpp。

Mistral-Small-3.1-24B-Instruct-2503 是一個24B參數規模的多語言指令微調模型，支持多種語言和任務，適用於文本生成和對話場景。

這是一個基於TheDrummer/Fallen-Gemma3-4B-v1模型的量化版本，使用llama.cpp進行量化處理，適用於文本生成任務。

該模型是基於canopylabs/orpheus-3b-0.1-ft轉換的GGUF格式模型，適用於文本生成任務。

該模型是基於mlabonne/gemma-3-27b-it-abliterated轉換的GGUF格式版本，適用於llama.cpp框架的推理任務。

這是一個基於mlabonne/gemma-3-27b-it-abliterated轉換的GGUF格式模型，適用於llama.cpp框架。

GemmaX2-28-9B-v0.1-Q2_K-GGUF 是一個基於 ModelSpace/GemmaX2-28-9B-v0.1 轉換而來的 GGUF 格式模型，支持多種語言的翻譯任務。

這是一個基於Qwen2.5-14B-Instruct-1M的量化模型，轉換為GGUF格式，適用於llama.cpp框架。

該模型是基於Google的gemma-3-27b-pt模型通過llama.cpp轉換為GGUF格式的版本，適用於本地推理任務。