# 轻量部署

Mi:dm 2.0 是采用 KT 专有技术开发的'以韩国为中心的 AI'模型，深度内化了韩国社会独特的价值观、认知框架和常识推理。

腾讯混元A13B指令模型的量化版本，通过技术手段在保证性能的同时提升运行效率。

该项目提供了优化后的GGUF量化文件，可显著提升模型性能。这些量化文件由Featherless AI提供支持，用户只需支付少量费用，即可运行任意所需模型。

这是一个基于DeepSeek-R1-0528-Qwen3-8B模型转换的MLX格式8位量化版本，适用于文本生成任务。

该模型是基于DeepSeek-R1-0528-Qwen3-8B转换的4位量化版本，专为MLX框架优化，适用于文本生成任务。

Devstral-Small-2505的量化版本，提供多种精度选择以适应不同硬件需求

Sam-reason-S2.1的静态量化版本，提供多种量化选项以适应不同硬件需求

INTELLECT-2-GGUF 是 PrimeIntellect/INTELLECT-2 的 GGUF 格式量化版本，适用于文本生成任务。

该模型是Qwen3-4B的4位DWQ量化版本，转换为MLX格式，方便使用mlx库进行文本生成。

慧慧AI的Qwen3-4B模型的量化版本，旨在让知识更广泛地被大众获取。

这是一个基于Qwen3-4B模型转换至MLX格式的6位量化版本，适用于文本生成任务。

Qwen3-8B-4bit-DWQ 是基于 Qwen/Qwen3-8B 转换至 MLX 格式的 4 位量化版本，适用于在 Apple 设备上高效运行。

Qwen3-4B-abliterated的量化版本，使用llama.cpp进行量化，支持多种量化类型，适用于文本生成任务。

基于Qwen3-1.7B的4位量化版本，适用于MLX框架的轻量级大语言模型

这是Qwen/Qwen3-8B模型的4位量化版本，已转换为MLX框架格式，适用于苹果芯片设备的高效推理。

Qwen3-4B-4bit 是从 Qwen/Qwen3-4B 转换至 MLX 格式的 4 位量化版本，适用于在 Apple 芯片上高效运行。

基于InternVL2_5-1B的4位量化版本，适用于文本生成和聊天场景

本仓库包含JungZoona/T3Q-qwen2.5-14b-v1.0-e3的GGUF格式模型文件，由TensorBlock提供的机器进行量化，兼容llama.cpp。

基于Llama架构的3B参数语言模型，提供多种量化版本以适应不同硬件需求

基于Meta-Llama-3.1-8B-Instruct的合并模型，针对法律领域摘要任务进行了微调，能将法律术语转换为简短易懂的摘要。

GLM-4-Z1-9B-0414是GLM家族的新一代开源模型，具备优秀的数学推理与通用能力，适合资源受限场景下的轻量部署。

这是一个基于XLM-RoBERTa的多语言检测模型，支持20种语言的识别。

这是一个基于mlabonne/gemma-3-27b-it-abliterated模型转换的3位量化版本，专为MLX框架优化。

这是一个文本排序模型，用于对文本进行相关性排序。

Qwen2-VL-7B的量化版本，致力于让知识为每个人所用。

TraceBack 12b 是基于 Mistral-Nemo-Instruct 架构的 4bit 量化版本，专注于指令遵循和思维链推理任务。

Chroma-GGUF 是一个基于 lodestones/Chroma 的量化模型集合，提供多种不同精度的量化版本，适用于不同的硬件和性能需求。

基于ozone-ai/0x-lite模型的量化版本，支持中英文文本生成任务，采用llama.cpp进行imatrix量化，提供多种量化选项以适应不同硬件需求。

基于deepseek-ai/Janus-Pro-1B的4位量化版本，适用于Apple芯片的MLX框架

这是一个量化版本的大语言模型，旨在让知识更易于获取和使用。

基于Qwen2.5-1.5B-Instruct微调的俄语指令优化模型，15亿参数，支持俄英双语，擅长RAG流程中的文本问答

Llama-3.2-3B-Instruct 模型的 GGUF 格式文件，方便用户进行文本生成任务。

FLUX.1-schnell 是一个高效的文本生成图像模型，基于扩散模型架构，支持英文文本输入生成高质量图像。

FLUX.1-schnell的.gguf量化版本，用于文本到图像的转换任务

该模型是通过ggml.ai的GGUF-my-repo空间，使用llama.cpp从BAAI/bge-m3转换为GGUF格式的句子相似度模型。

这是一个基于PyTorch的文本分类模型，适用于多种文本分类任务。

Mistral-Nemo-Instruct-2407-GGUF 是 mistralai/Mistral-Nemo-Instruct-2407 的 GGUF 格式量化版本，支持多种量化位数（2-bit 至 8-bit），适用于文本生成任务。

Omost发布的基于Llama3-8B的指令微调模型，采用Dolphin-2.9数据集预训练，并以4位NF4格式量化。

Omost 发布的 llama-3 模型，具有 8k 上下文长度，采用 nf4 量化。

这是对 openchat/openchat-3.6-8b-20240522 模型进行 Llama.cpp imatrix 量化处理后的版本，提供了不同量化类型的文件，方便用户根据需求下载和使用。