# 輕量級LLM

這是一個基於Pythia-70m模型的量化版本，專門針對Wikipedia段落數據進行優化，提供多種量化類型以適應不同資源需求。

Qwen3-1.7B-4bit是通義千問1.7B模型的4位量化版本，已轉換為MLX框架格式，便於在Apple Silicon設備上高效運行。

Qwen3是通義千問系列最新一代6億參數大語言模型，支持32k上下文長度，覆蓋119種語言

MiniCPM-S-1B-sft 是一個基於激活稀疏化技術優化的1B參數規模語言模型，通過ProSparse方法實現高稀疏性推理加速，同時保持與原始模型相當的性能。

該模型源自karpathy的llm.c項目，為研究bfloat16性能而轉換為HuggingFace格式，訓練過程消耗了1500億token。

TxGemma是基於Gemma 2構建的一系列輕量級、先進的開放語言模型，專為治療開發而微調。提供2B、9B和27B三種規模，擅長處理與治療方式和靶點相關的信息。

TxGemma是基於Gemma 2構建的輕量級開源語言模型，專為治療開發而微調，提供2B、9B和27B三種規模。

這是一個基於knowledgator/Qwen-encoder-0.5B模型的靜態量化版本，主要用於文本編碼任務。

基於Qwen2.5-3B微調的阿拉伯語推理專用語言模型，專注於提升阿拉伯語語言模型在邏輯推理和數學解題方面的能力。

這是一個基於QVikhr-2.5-1.5B-Instruct-SMPO模型的4位量化版本，專為MLX框架優化，支持俄語和英語的指令理解與生成任務。

DeepSeek-R1-Distill-Llama-8B 是一個基於 Llama 架構的蒸餾版大語言模型，參數規模為 8B，主要用於英文文本生成和理解任務。

Phi-4是微軟開發的高效小型語言模型，專注於在有限資源下實現高性能推理

基於Llama3.2架構的1B參數量化模型，支持文本生成任務，適用於多種量化版本選擇

由H2O.ai微調的40億參數聊天模型，基於Llama 2架構調整，支持8192上下文長度

Cotype-Nano是一個輕量級LLM，專為以最小資源執行任務而設計。它經過優化，可實現與用戶快速高效的交互，即使在資源受限的條件下也能提供高性能。

基於NousResearch/Llama-3.2-1B模型在ultrachat_200k數據集上微調的版本，專注於對話任務優化

這是一個基於mistralai/Mistral-Small-Instruct-2409的消融模型，主要用於文本生成任務。

Llama3.1-Neo-1B-100w是基於Meta-Llama-3.1-8B-Instruct剪枝至1.4B參數規模，並採用LLM-Neo方法（結合LoRA與知識蒸餾）微調的高效語言模型。訓練數據採樣自BAAI/Infinity-Instruct的100萬行數據。

這是一個基於Llama-3-8b模型進行INT4量化的版本，採用QQQ量化技術，組大小為128，針對硬件優化。

H2O.ai開發的500M參數對話微調模型，基於Llama 2架構調整，支持中文對話

Gemma是Google推出的輕量級開源大語言模型系列，基於創建Gemini模型的相同技術構建，適用於多種文本生成任務。

這是一個基於TinyChat數據集從頭訓練的小型語言模型，目標是通過最小規模的模型實現自然對話響應。

基於Llama 3架構的8B參數模型，使用多種DPO數據集訓練，專注於文本生成任務

LLaVA-Phi-3-mini 是基於 Phi-3-mini-4k-instruct 和 CLIP-ViT-Large-patch14-336 微調的 LLaVA 模型，專注於圖像轉文本任務。

Bllossom是基於Llama3的韓英雙語語言模型，通過全面調優增強韓語能力，擴展了韓語詞彙並優化了韓語上下文處理能力。

WikiChat-v0.2是一個正在訓練的對話模型，基於OpenOrca GPT-4數據、cosmopedia和dolly15k數據集訓練，支持英語文本生成任務。

從零構建的大語言模型，包含分詞器訓練、模型初始化、預訓練與指令微調全流程開源實現

這是一個基於DeepSeek-LLM-67B-Chat架構的隨機初始化小型模型，採用float16精度，主要用於文本生成任務。

Gemma-Ko是基於谷歌Gemma模型開發的韓語大語言模型，提供7B參數版本，適用於韓語和英語的文本生成任務。

基於Gemma-7b-it配置隨機初始化的小規模模型，採用float16數據類型

基於TinyLlama模型，使用LoRA方法在加密貨幣新聞文章上進行微調的情感分析模型

Llava-Phi2是基於Phi2的多模態實現，結合了視覺和語言處理能力，適用於圖像文本到文本的任務。

基於醫學數據微調的1.1B參數對話型語言模型，在醫學考試基準上平均提升13.76%

MobileLLaMA-1.4B-Base的GGUF量化格式版本，適用於本地部署和推理

MobileLLaMA-1.4B-Base 是一個擁有14億參數的Transformer模型，專為開箱即用的部署設計，基於RedPajama v1數據集訓練。

Cendol mT5-small Chat是一個3億參數的開源生成式大語言模型，針對印尼語、巽他語和爪哇語進行指令調優，適用於單輪對話場景。

TinyLlama 是一個基於 LLaMA 架構的小型語言模型，參數規模為 11 億，使用 alpaca-cleaned 數據集進行微調。

TinyLlama 1.5T檢查點是一個基於1.1B參數的小型語言模型，訓練用於回答問題。

Sheared-LLaMA-2.7B是基於Llama-2-7b通過剪枝和繼續預訓練得到的輕量級語言模型，僅消耗50B tokens預算。

Sheared-LLaMA-1.3B是基於LLaMA-2-7B通過結構化剪枝和持續預訓練得到的高效語言模型