# 輕量部署

Mi:dm 2.0 是採用 KT 專有技術開發的'以韓國為中心的 AI'模型，深度內化了韓國社會獨特的價值觀、認知框架和常識推理。

騰訊混元A13B指令模型的量化版本，通過技術手段在保證性能的同時提升運行效率。

該項目提供了優化後的GGUF量化文件，可顯著提升模型性能。這些量化文件由Featherless AI提供支持，用戶只需支付少量費用，即可運行任意所需模型。

這是一個基於DeepSeek-R1-0528-Qwen3-8B模型轉換的MLX格式8位量化版本，適用於文本生成任務。

該模型是基於DeepSeek-R1-0528-Qwen3-8B轉換的4位量化版本，專為MLX框架優化，適用於文本生成任務。

Devstral-Small-2505的量化版本，提供多種精度選擇以適應不同硬件需求

Sam-reason-S2.1的靜態量化版本，提供多種量化選項以適應不同硬件需求

INTELLECT-2-GGUF 是 PrimeIntellect/INTELLECT-2 的 GGUF 格式量化版本，適用於文本生成任務。

該模型是Qwen3-4B的4位DWQ量化版本，轉換為MLX格式，方便使用mlx庫進行文本生成。

慧慧AI的Qwen3-4B模型的量化版本，旨在讓知識更廣泛地被大眾獲取。

這是一個基於Qwen3-4B模型轉換至MLX格式的6位量化版本，適用於文本生成任務。

Qwen3-8B-4bit-DWQ 是基於 Qwen/Qwen3-8B 轉換至 MLX 格式的 4 位量化版本，適用於在 Apple 設備上高效運行。

Qwen3-4B-abliterated的量化版本，使用llama.cpp進行量化，支持多種量化類型，適用於文本生成任務。

基於Qwen3-1.7B的4位量化版本，適用於MLX框架的輕量級大語言模型

這是Qwen/Qwen3-8B模型的4位量化版本，已轉換為MLX框架格式，適用於蘋果芯片設備的高效推理。

Qwen3-4B-4bit 是從 Qwen/Qwen3-4B 轉換至 MLX 格式的 4 位量化版本，適用於在 Apple 芯片上高效運行。

基於InternVL2_5-1B的4位量化版本，適用於文本生成和聊天場景

本倉庫包含JungZoona/T3Q-qwen2.5-14b-v1.0-e3的GGUF格式模型文件，由TensorBlock提供的機器進行量化，兼容llama.cpp。

基於Llama架構的3B參數語言模型，提供多種量化版本以適應不同硬件需求

基於Meta-Llama-3.1-8B-Instruct的合併模型，針對法律領域摘要任務進行了微調，能將法律術語轉換為簡短易懂的摘要。

GLM-4-Z1-9B-0414是GLM家族的新一代開源模型，具備優秀的數學推理與通用能力，適合資源受限場景下的輕量部署。

這是一個基於XLM-RoBERTa的多語言檢測模型，支持20種語言的識別。

這是一個文本排序模型，用於對文本進行相關性排序。

TraceBack 12b 是基於 Mistral-Nemo-Instruct 架構的 4bit 量化版本，專注於指令遵循和思維鏈推理任務。

Chroma-GGUF 是一個基於 lodestones/Chroma 的量化模型集合，提供多種不同精度的量化版本，適用於不同的硬件和性能需求。

基於ozone-ai/0x-lite模型的量化版本，支持中英文文本生成任務，採用llama.cpp進行imatrix量化，提供多種量化選項以適應不同硬件需求。

基於deepseek-ai/Janus-Pro-1B的4位量化版本，適用於Apple芯片的MLX框架

這是一個量化版本的大語言模型，旨在讓知識更易於獲取和使用。

基於Qwen2.5-1.5B-Instruct微調的俄語指令優化模型，15億參數，支持俄英雙語，擅長RAG流程中的文本問答

Llama-3.2-3B-Instruct 模型的 GGUF 格式文件，方便用戶進行文本生成任務。

FLUX.1-schnell 是一個高效的文本生成圖像模型，基於擴散模型架構，支持英文文本輸入生成高質量圖像。

FLUX.1-schnell的.gguf量化版本，用於文本到圖像的轉換任務

該模型是通過ggml.ai的GGUF-my-repo空間，使用llama.cpp從BAAI/bge-m3轉換為GGUF格式的句子相似度模型。

這是一個基於PyTorch的文本分類模型，適用於多種文本分類任務。

Mistral-Nemo-Instruct-2407-GGUF 是 mistralai/Mistral-Nemo-Instruct-2407 的 GGUF 格式量化版本，支持多種量化位數（2-bit 至 8-bit），適用於文本生成任務。

Omost發佈的基於Llama3-8B的指令微調模型，採用Dolphin-2.9數據集預訓練，並以4位NF4格式量化。

Omost 發佈的 llama-3 模型，具有 8k 上下文長度，採用 nf4 量化。

這是對 openchat/openchat-3.6-8b-20240522 模型進行 Llama.cpp imatrix 量化處理後的版本，提供了不同量化類型的文件，方便用戶根據需求下載和使用。

DeepSeek-V2-Lite 的 GGUF 量化版本，通過 Llama.cpp imatrix 量化處理，減少存儲和計算資源需求，便於部署。

基於unsloth/llama-3-8b-bnb-4bit微調的文本生成模型，使用Unsloth和TRL庫訓練，速度提升2倍