# 4位量化

基于Meta LLaMA 3.1 8B大语言模型微调的土耳其语教育问答聊天机器人，专为土耳其语教育场景优化。

这是Qwen3-30B-A3B-abliterated的4位量化模型，参数规模相当于8B，适合文本生成任务。

由DeepSeek AI开发的大语言模型，经过4位量化优化，适用于苹果芯片设备。

基于Qwen3-30B-A3B导出的MNN模型，经过4位量化后的版本，适用于高效推理。

Qwen3-4B的MNN模型4位量化版本，用于高效文本生成任务

基于InternVL2_5-1B的4位量化版本，适用于文本生成和聊天场景

Gemma 3 27B IT QAT 4bit 是一个基于 Google 原始模型转换而来的 MLX 格式模型，支持图像文本到文本的任务。

基于Gemma 3架构微调的波斯语专用模型，使用QLoRA 4位量化技术，适合普通硬件运行。

这是Qwen/QwQ-32B模型的4位量化版本，通过BitsAndBytes库进行优化，适用于资源受限环境下的文本生成任务。

Qwen/QwQ-32B的4位量化版本，基于BitsAndBytes库实现，适用于资源受限环境下的文本生成任务。

这是 mshojaei77/gemma-3-4b-persian-v0 模型的静态量化版本，专门针对波斯语文本生成任务进行了优化。

Gemma 3是Google开发的指令调优大语言模型，本仓库提供其27B参数的W4A16量化版本，显著降低硬件需求

基于Gemma 3架构的波斯语专用模型，采用QLoRA进行4位量化，专注于波斯语文本生成与理解

QwQ-32B的4位量化版本，使用Bitsandbytes技术进行优化，适用于资源受限环境下的高效推理

这是mistralai/Mistral-Small-24B-Instruct-2501模型的4位量化版本，由ConfidentialMind.com量化，实现了更小、更快的模型，同时性能损失极小。

基于Mistral社区Pixtral-12B的4位量化版本，专注于图像文本到文本任务，支持中文描述生成

这是Qwen2-Audio-7B-Instruct的4位量化版本，基于阿里巴巴云原版Qwen模型开发，是一个音频-文本多模态大语言模型。

Dorna-Llama3-8B-Instruct的4位量化版本，针对波斯语优化，集成Flash Attention 2技术提升推理效率

Omost发布的基于Llama3-8B的指令微调模型，采用Dolphin-2.9数据集预训练，并以4位NF4格式量化。

Phi-3-mini-4k-instruct的4位量化版本，使用bitsandbytes工具进行量化，专为微调设计。

Llama 3模型的4位量化版本，优化内存使用并加快推理速度，适用于计算资源有限的环境。

这是一个基于Meta Llama 3构建的4位量化GPTQ模型，由Astronomer量化，可在低VRAM设备上高效运行。

PrunaAI提供的压缩版MPT-7B-Chat模型，通过llm-int8技术优化，显著降低内存占用和能耗。

CogVLM是一款强大的开源视觉语言模型，支持目标检测和视觉问答等任务，采用4位精度量化。

书生·浦语2是基于InternLM2的视觉语言大模型(VLLM)，具备先进的图文理解与创作能力。

Meditron 7B是EPFL LLM Team开发的医疗领域大语言模型，基于Llama-2-7B继续预训练，专注于医疗知识编码和临床决策支持。

基于Mistral-7B-v0.1专门优化的意大利语文本生成模型，支持高效推理和4位量化版本

这是Llama 2 7B模型的4位GPTQ量化版本，专门针对Python代码生成任务进行了微调

Chronos-13B的4位(int4)量化版本，专注于聊天、角色扮演和故事创作，支持长文本生成

LLaVA是一个结合视觉与语言的多模态模型，基于LLaMA架构，支持图像理解和对话生成。

基于Pygmalion-6B的4位GPTQ量化模型，适用于对话生成任务，支持英文文本生成