# 多比特量化

INTELLECT-2-GGUF 是 PrimeIntellect/INTELLECT-2 的 GGUF 格式量化版本，適用於文本生成任務。

Dia 1.6B 是一個適用於文本轉語音任務的模型，支持多種量化版本，兼容TTS.cpp框架。

Qwen3-30B-A3B的GGUF量化版本，支持多種比特量化，適用於文本生成任務。

Qwen3-0.6B的GGUF量化版本，適用於文本生成任務。

這是一個基於mrfakename/mistral-small-3.1-24b-instruct-2503-hf模型的GGUF格式量化版本，適用於文本生成任務。

Gemma 3 27B 指令調優模型的 GGUF 量化版本，適用於文本生成任務。

Gemma 3B 模型的 GGUF 量化版本，適用於本地文本生成任務

這是一個基於Llama-3.1-8B-RainbowLight-EtherealMix模型的GGUF格式量化版本，便於進行文本生成相關的應用開發。

Mistral-Small-24B-Instruct-2501的GGUF量化版本，適用於本地部署和文本生成任務。

Llama-3.2-3B-Instruct-abliterated的GGUF格式量化版本，支持多種比特量化選項，適用於文本生成任務。

Llama-3.2-3B-Instruct 模型的 GGUF 格式文件，方便用戶進行文本生成任務。

Yi-Coder-1.5B-Chat-GGUF 是 01-ai/Yi-Coder-1.5B-Chat 的 GGUF 格式模型文件，適用於文本生成任務。

Phi-3.5-mini-instruct的GGUF格式模型文件，適用於文本生成任務。

Mistral-Nemo-Instruct-2407-GGUF 是 mistralai/Mistral-Nemo-Instruct-2407 的 GGUF 格式量化版本，支持多種量化位數（2-bit 至 8-bit），適用於文本生成任務。

Mistral-7B-Instruct-v0.3的GGUF量化版本，適用於本地推理的文本生成模型

Llama-3-8B-Instruct-64k的GGUF量化版本，支持多種比特量化，適用於文本生成任務。

Llama-3-8B-Instruct-32k-v0.1的GGUF量化版本，支持多種比特量化，適用於文本生成任務。

基於abacusai/Llama-3-Smaug-8B的GGUF格式量化模型，支持2-8比特量化級別，適用於文本生成任務

基於Mixtral-8x22B-v0.1微調的1410億參數混合專家模型(MoE)，激活參數350億，主要用於英語文本生成任務

Saul-Instruct-v1-GGUF 是 Equall/Saul-Instruct-v1 模型的 GGUF 格式版本，適用於文本生成任務，支持多種量化級別。

phi-2-super-GGUF 是 abacaj/phi-2-super 模型的 GGUF 量化版本，適用於本地運行和文本生成任務。

Gemma 2B模型的GGUF量化版本，適用於本地部署和推理

基於 Mistral-7B 的文本排序模型，提供多種量化版本，適用於高效推理。

這是一個基於Mistral-7B-Instruct-v0.1微調的德語/英語雙語模型，採用GGUF格式量化，支持2-8比特多種量化級別。