# 轻量级LLM

这是一个基于Pythia-70m模型的量化版本，专门针对Wikipedia段落数据进行优化，提供多种量化类型以适应不同资源需求。

Qwen3-1.7B-4bit是通义千问1.7B模型的4位量化版本，已转换为MLX框架格式，便于在Apple Silicon设备上高效运行。

Qwen3是通义千问系列最新一代6亿参数大语言模型，支持32k上下文长度，覆盖119种语言

MiniCPM-S-1B-sft 是一个基于激活稀疏化技术优化的1B参数规模语言模型，通过ProSparse方法实现高稀疏性推理加速，同时保持与原始模型相当的性能。

该模型源自karpathy的llm.c项目，为研究bfloat16性能而转换为HuggingFace格式，训练过程消耗了1500亿token。

TxGemma是基于Gemma 2构建的一系列轻量级、先进的开放语言模型，专为治疗开发而微调。提供2B、9B和27B三种规模，擅长处理与治疗方式和靶点相关的信息。

TxGemma是基于Gemma 2构建的轻量级开源语言模型，专为治疗开发而微调，提供2B、9B和27B三种规模。

这是一个基于knowledgator/Qwen-encoder-0.5B模型的静态量化版本，主要用于文本编码任务。

基于Qwen2.5-3B微调的阿拉伯语推理专用语言模型，专注于提升阿拉伯语语言模型在逻辑推理和数学解题方面的能力。

这是一个基于QVikhr-2.5-1.5B-Instruct-SMPO模型的4位量化版本，专为MLX框架优化，支持俄语和英语的指令理解与生成任务。

DeepSeek-R1-Distill-Llama-8B 是一个基于 Llama 架构的蒸馏版大语言模型，参数规模为 8B，主要用于英文文本生成和理解任务。

Phi-4是微软开发的高效小型语言模型，专注于在有限资源下实现高性能推理

基于Llama3.2架构的1B参数量化模型，支持文本生成任务，适用于多种量化版本选择

由H2O.ai微调的40亿参数聊天模型，基于Llama 2架构调整，支持8192上下文长度

Cotype-Nano是一个轻量级LLM，专为以最小资源执行任务而设计。它经过优化，可实现与用户快速高效的交互，即使在资源受限的条件下也能提供高性能。

基于NousResearch/Llama-3.2-1B模型在ultrachat_200k数据集上微调的版本，专注于对话任务优化

这是一个基于mistralai/Mistral-Small-Instruct-2409的消融模型，主要用于文本生成任务。

Llama3.1-Neo-1B-100w是基于Meta-Llama-3.1-8B-Instruct剪枝至1.4B参数规模，并采用LLM-Neo方法（结合LoRA与知识蒸馏）微调的高效语言模型。训练数据采样自BAAI/Infinity-Instruct的100万行数据。

这是一个基于Llama-3-8b模型进行INT4量化的版本，采用QQQ量化技术，组大小为128，针对硬件优化。

H2O.ai开发的500M参数对话微调模型，基于Llama 2架构调整，支持中文对话

Gemma是Google推出的轻量级开源大语言模型系列，基于创建Gemini模型的相同技术构建，适用于多种文本生成任务。

这是一个基于TinyChat数据集从头训练的小型语言模型，目标是通过最小规模的模型实现自然对话响应。

基于Llama 3架构的8B参数模型，使用多种DPO数据集训练，专注于文本生成任务

LLaVA-Phi-3-mini 是基于 Phi-3-mini-4k-instruct 和 CLIP-ViT-Large-patch14-336 微调的 LLaVA 模型，专注于图像转文本任务。

Bllossom是基于Llama3的韩英双语语言模型，通过全面调优增强韩语能力，扩展了韩语词汇并优化了韩语上下文处理能力。

WikiChat-v0.2是一个正在训练的对话模型，基于OpenOrca GPT-4数据、cosmopedia和dolly15k数据集训练，支持英语文本生成任务。

从零构建的大语言模型，包含分词器训练、模型初始化、预训练与指令微调全流程开源实现

这是一个基于DeepSeek-LLM-67B-Chat架构的随机初始化小型模型，采用float16精度，主要用于文本生成任务。

Gemma-Ko是基于谷歌Gemma模型开发的韩语大语言模型，提供7B参数版本，适用于韩语和英语的文本生成任务。

基于Gemma-7b-it配置随机初始化的小规模模型，采用float16数据类型

基于TinyLlama模型，使用LoRA方法在加密货币新闻文章上进行微调的情感分析模型

Llava-Phi2是基于Phi2的多模态实现，结合了视觉和语言处理能力，适用于图像文本到文本的任务。

基于医学数据微调的1.1B参数对话型语言模型，在医学考试基准上平均提升13.76%

MobileLLaMA-1.4B-Base的GGUF量化格式版本，适用于本地部署和推理

MobileLLaMA-1.4B-Base 是一个拥有14亿参数的Transformer模型，专为开箱即用的部署设计，基于RedPajama v1数据集训练。

Cendol mT5-small Chat是一个3亿参数的开源生成式大语言模型，针对印尼语、巽他语和爪哇语进行指令调优，适用于单轮对话场景。

TinyLlama 是一个基于 LLaMA 架构的小型语言模型，参数规模为 11 亿，使用 alpaca-cleaned 数据集进行微调。

TinyLlama 1.5T检查点是一个基于1.1B参数的小型语言模型，训练用于回答问题。

Sheared-LLaMA-2.7B是基于Llama-2-7b通过剪枝和继续预训练得到的轻量级语言模型，仅消耗50B tokens预算。

Sheared-LLaMA-1.3B是基于LLaMA-2-7B通过结构化剪枝和持续预训练得到的高效语言模型