# 4位量化

基於Meta LLaMA 3.1 8B大語言模型微調的土耳其語教育問答聊天機器人，專為土耳其語教育場景優化。

這是Qwen3-30B-A3B-abliterated的4位量化模型，參數規模相當於8B，適合文本生成任務。

由DeepSeek AI開發的大語言模型，經過4位量化優化，適用於蘋果芯片設備。

基於Qwen3-30B-A3B導出的MNN模型，經過4位量化後的版本，適用於高效推理。

Qwen3-4B的MNN模型4位量化版本，用於高效文本生成任務

基於InternVL2_5-1B的4位量化版本，適用於文本生成和聊天場景

Gemma 3 27B IT QAT 4bit 是一個基於 Google 原始模型轉換而來的 MLX 格式模型，支持圖像文本到文本的任務。

基於Gemma 3架構微調的波斯語專用模型，使用QLoRA 4位量化技術，適合普通硬件運行。

這是Qwen/QwQ-32B模型的4位量化版本，通過BitsAndBytes庫進行優化，適用於資源受限環境下的文本生成任務。

Qwen/QwQ-32B的4位量化版本，基於BitsAndBytes庫實現，適用於資源受限環境下的文本生成任務。

這是 mshojaei77/gemma-3-4b-persian-v0 模型的靜態量化版本，專門針對波斯語文本生成任務進行了優化。

Gemma 3是Google開發的指令調優大語言模型，本倉庫提供其27B參數的W4A16量化版本，顯著降低硬件需求

基於Gemma 3架構的波斯語專用模型，採用QLoRA進行4位量化，專注于波斯語文本生成與理解

QwQ-32B的4位量化版本，使用Bitsandbytes技術進行優化，適用於資源受限環境下的高效推理

這是mistralai/Mistral-Small-24B-Instruct-2501模型的4位量化版本，由ConfidentialMind.com量化，實現了更小、更快的模型，同時性能損失極小。

基於Mistral社區Pixtral-12B的4位量化版本，專注於圖像文本到文本任務，支持中文描述生成

這是Qwen2-Audio-7B-Instruct的4位量化版本，基於阿里巴巴雲原版Qwen模型開發，是一個音頻-文本多模態大語言模型。

Dorna-Llama3-8B-Instruct的4位量化版本，針對波斯語優化，集成Flash Attention 2技術提升推理效率

Omost發佈的基於Llama3-8B的指令微調模型，採用Dolphin-2.9數據集預訓練，並以4位NF4格式量化。

Phi-3-mini-4k-instruct的4位量化版本，使用bitsandbytes工具進行量化，專為微調設計。

Llama 3模型的4位量化版本，優化內存使用並加快推理速度，適用於計算資源有限的環境。

這是一個基於Meta Llama 3構建的4位量化GPTQ模型，由Astronomer量化，可在低VRAM設備上高效運行。

PrunaAI提供的壓縮版MPT-7B-Chat模型，通過llm-int8技術優化，顯著降低內存佔用和能耗。

CogVLM是一款強大的開源視覺語言模型，支持目標檢測和視覺問答等任務，採用4位精度量化。

書生·浦語2是基於InternLM2的視覺語言大模型(VLLM)，具備先進的圖文理解與創作能力。

Meditron 7B是EPFL LLM Team開發的醫療領域大語言模型，基於Llama-2-7B繼續預訓練，專注於醫療知識編碼和臨床決策支持。

基於Mistral-7B-v0.1專門優化的意大利語文本生成模型，支持高效推理和4位量化版本

這是Llama 2 7B模型的4位GPTQ量化版本，專門針對Python代碼生成任務進行了微調

Chronos-13B的4位(int4)量化版本，專注於聊天、角色扮演和故事創作，支持長文本生成

LLaVA是一個結合視覺與語言的多模態模型，基於LLaMA架構，支持圖像理解和對話生成。

基於Pygmalion-6B的4位GPTQ量化模型，適用於對話生成任務，支持英文文本生成