# 高效量化

基於HelpingAI的Dhanishtha-2.0-preview模型進行量化處理的多語言文本生成模型，支持推理、對話等多種場景。

基於百度ERNIE-4.5-0.3B-PT模型的量化版本，通過llama.cpp工具進行優化，減少模型大小並提升運行效率。

OpenThinker3-7B-GGUF 是 open-thoughts/OpenThinker3-7B 的量化版本，專為高效推理優化，基於 Qwen/Qwen2.5-7B-Instruct 微調，在數學、代碼和科學問題上表現優異。

這是BAAI的RoboBrain2.0-7B模型的量化版本，通過llama.cpp進行量化處理，提供多種量化類型以適應不同硬件需求。

StrawberryLemonade-L3-70B-v1.0 是一個經過量化處理的大型語言模型，旨在在不同硬件條件下高效運行。

Wan14BT2VFusionX 是一個文本到視頻生成模型，支持通過 ComfyUI - GGUF 自定義節點進行視頻生成。

DeepSeek-R1-Distill-Qwen-14B 是一個經過優化的14B參數規模的大語言模型，由DeepSeek AI發佈，基於Qwen架構蒸餾而來，提供多種GGUF量化版本以提升性能。

Medra27B 的量化版本，提供多種量化類型，適用於文本生成、醫療人工智能等多個領域。

基於NVIDIA Llama-3.1-Nemotron-Nano-4B-v1.1模型的量化版本，使用llama.cpp工具進行多種量化處理，適合在資源受限的環境中運行。

該模型經過自行量化處理，輸出和嵌入張量量化為f16格式，其餘張量量化為q5_k或q6_k格式，體積更小且性能與純f16相當。

基於andrewzh的Absolute_Zero_Reasoner-Coder-7b模型的Llamacpp量化版本，支持多種量化級別，適用於推理和代碼生成任務。

Qwen3-14B-AWQ是通義千問系列最新一代大語言模型的4-bit AWQ量化版本，支持思維模式與非思維模式無縫切換，具備強大的推理、指令遵循和智能體能力。

Qwen3-4B-abliterated的量化版本，使用llama.cpp進行量化，支持多種量化類型，適用於文本生成任務。

基於Qwen/Qwen3-1.7B的量化版本，使用llama.cpp進行量化，支持多種量化類型，適用於文本生成任務。

基於 dreamgen/lucid-v1-nemo 的量化模型，使用 llama.cpp 進行多種量化處理，適用於文本生成任務。

這是一個基於韓語優化的3B參數規模的語言模型，轉換為GGUF格式以便與llama.cpp兼容使用。

Gemma 3 12B 是一種大型語言模型，提供 GGUF 格式的量化版本，適用於本地部署和使用。

EXAONE Deep系列模型在數學和編程等推理任務中表現出色，本模型為24億參數的AWQ量化版本

Gemmasutra-Small-4B-v1是一個4B參數的文本生成模型，基於llama.cpp進行量化，適用於多種量化版本選擇。

InternVL2_5-4B-AWQ 是使用 autoawq 對 InternVL2_5-4B 進行 AWQ 量化的版本，支持多語言和多模態任務。

基於ozone-ai/0x-lite模型的量化版本，支持中英文文本生成任務，採用llama.cpp進行imatrix量化，提供多種量化選項以適應不同硬件需求。

這是一個基於TheDrummer/Gemmasutra-9B-v1.1模型的量化版本，使用llama.cpp進行量化處理，適用於文本生成任務。

該模型是從bigscience/mt0-xxl-mt通過llama.cpp轉換為GGUF格式的多語言文本生成模型，支持多種語言任務。

基於Llama3架構優化的8B參數摘要生成模型，提供多種量化版本

IBM Granite團隊開發的多語言嵌入模型量化版本，支持17種語言的文本嵌入任務，適用於檢索和信息提取等場景。

IBM Granite 8B代碼指令模型，支持128k上下文長度，專注於代碼生成和指令理解任務。

基於Qwen2.5-Coder-3B-Instruct模型進行量化處理，為代碼生成和對話交互提供了高效且便捷的解決方案。

這是一個基於Mistral架構的7B參數模型，經過量化優化，提供多種GGUF量化版本以適應不同硬件需求。

Molmo-7B-O的4bit量化版本，顯著降低顯存需求，適合資源有限的環境。

Llama-3.2-1B-Instruct的GGUF格式版本，提供更廣泛的支持和更好的性能。

FLUX.1-schnell 是一個高效的文本生成圖像模型，基於擴散模型架構，支持英文文本輸入生成高質量圖像。

Phi-3.5-mini-instruct_Uncensored 是一個經過量化的語言模型，適用於多種硬件條件下的使用。

FLUX.1-schnell的量化版本，基於文本生成圖像的擴散模型，支持多種量化精度選擇

該模型是通過ggml.ai的GGUF-my-repo空間，使用llama.cpp從BAAI/bge-m3轉換為GGUF格式的句子相似度模型。

這是對 openchat/openchat-3.6-8b-20240522 模型進行 Llama.cpp imatrix 量化處理後的版本，提供了不同量化類型的文件，方便用戶根據需求下載和使用。

DeepSeek-V2-Lite 的 GGUF 量化版本，通過 Llama.cpp imatrix 量化處理，減少存儲和計算資源需求，便於部署。

DeepSeek-V2-Chat 的 GGUF 量化版本，適用於本地部署和運行。

Chronos是基於語言模型架構的預訓練時間序列預測模型家族，通過量化和縮放將時間序列轉化為標記序列進行訓練。

Chronos是基於語言模型架構的預訓練時間序列預測模型家族，通過將時間序列轉化為標記序列進行訓練，實現概率預測。

基於特定土耳其語數據集微調的模型，能夠以土耳其語準確回答信息，為土耳其語相關的文本生成任務提供了強大支持。