# 多比特量化

INTELLECT-2-GGUF 是 PrimeIntellect/INTELLECT-2 的 GGUF 格式量化版本，适用于文本生成任务。

Dia 1.6B 是一个适用于文本转语音任务的模型，支持多种量化版本，兼容TTS.cpp框架。

Qwen3-30B-A3B的GGUF量化版本，支持多种比特量化，适用于文本生成任务。

Qwen3-0.6B的GGUF量化版本，适用于文本生成任务。

这是一个基于mrfakename/mistral-small-3.1-24b-instruct-2503-hf模型的GGUF格式量化版本，适用于文本生成任务。

Gemma 3 27B 指令调优模型的 GGUF 量化版本，适用于文本生成任务。

Gemma 3B 模型的 GGUF 量化版本，适用于本地文本生成任务

这是一个基于Llama-3.1-8B-RainbowLight-EtherealMix模型的GGUF格式量化版本，便于进行文本生成相关的应用开发。

Mistral-Small-24B-Instruct-2501的GGUF量化版本，适用于本地部署和文本生成任务。

Llama-3.2-3B-Instruct-abliterated的GGUF格式量化版本，支持多种比特量化选项，适用于文本生成任务。

Llama-3.2-3B-Instruct 模型的 GGUF 格式文件，方便用户进行文本生成任务。

Yi-Coder-1.5B-Chat-GGUF 是 01-ai/Yi-Coder-1.5B-Chat 的 GGUF 格式模型文件，适用于文本生成任务。

Phi-3.5-mini-instruct的GGUF格式模型文件，适用于文本生成任务。

Mistral-Nemo-Instruct-2407-GGUF 是 mistralai/Mistral-Nemo-Instruct-2407 的 GGUF 格式量化版本，支持多种量化位数（2-bit 至 8-bit），适用于文本生成任务。

Mistral-7B-Instruct-v0.3的GGUF量化版本，适用于本地推理的文本生成模型

Llama-3-8B-Instruct-64k的GGUF量化版本，支持多种比特量化，适用于文本生成任务。

Llama-3-8B-Instruct-32k-v0.1的GGUF量化版本，支持多种比特量化，适用于文本生成任务。

基于abacusai/Llama-3-Smaug-8B的GGUF格式量化模型，支持2-8比特量化级别，适用于文本生成任务

基于Mixtral-8x22B-v0.1微调的1410亿参数混合专家模型(MoE)，激活参数350亿，主要用于英语文本生成任务

Saul-Instruct-v1-GGUF 是 Equall/Saul-Instruct-v1 模型的 GGUF 格式版本，适用于文本生成任务，支持多种量化级别。

phi-2-super-GGUF 是 abacaj/phi-2-super 模型的 GGUF 量化版本，适用于本地运行和文本生成任务。

Gemma 2B模型的GGUF量化版本，适用于本地部署和推理

基于 Mistral-7B 的文本排序模型，提供多种量化版本，适用于高效推理。

这是一个基于Mistral-7B-Instruct-v0.1微调的德语/英语双语模型，采用GGUF格式量化，支持2-8比特多种量化级别。