# 輕量級語言模型

Zeta 2是一個約4.6億參數的小型語言模型(SLM)，在消費級電腦上精心打造，支持多種語言。

MiniLLM是基於bert4torch框架開發的輕量級中文語言模型，覆蓋預訓練至指令微調全流程，具備基礎對話能力

基於SmolLM2-135M微調的俄英雙語輕量級語言模型，增強俄語處理能力但存在明顯侷限

專為Gensyn RL Swarm設計的1.5B參數指令微調模型，支持通過點對點強化學習進行本地微調

一種實驗性文本生成架構，通過迭代的潛在處理捕獲更深層次的上下文信息

0x Mini是由Ozone AI開發的輕量級語言模型，基於Llama-3.1架構優化，提供高效的文本生成能力

基於Qwen架構的2億參數模型，採用MiniPLM知識蒸餾框架從零開始預訓練

這是一個基於Tinyllama代碼框架、使用RedPajama V2德語語料從頭訓練的德語Tinyllama 1B語言模型。

一個採用混合量化技術的文本生成模型，輸出和嵌入張量使用f16格式，其餘張量採用q5_k或q6_k量化，體積小於標準q8_0量化格式且性能與純f16版本持平。

這是一個4位量化的135M參數小型語言模型，適用於資源受限環境下的文本生成任務。

MobiLlama-1B-Chat是基於MobiLlama-1B微調的指令跟隨模型，專為資源受限設備設計，強調高效、低內存佔用和快速響應。

MobiLlama-05B是一款擁有5億參數的小型語言模型（SLM），專注於資源受限設備的應用場景，提供高效、低內存佔用的文本生成能力。

基於Mamba架構的3B參數規模的語言模型，支持英文文本生成任務。

基於Hermes數據集微調的Phi-1.5模型，主要用於文本生成任務

CharLLaMa-35M 是一個微型語言模型，採用LLaMa架構，具有逐字符分詞功能，適用於因BPE分詞導致任務表現不佳時的各類實驗場景。

本系列倉庫開源復現了Meta AI的LLaMA和LLaMA 2大語言模型，但模型規模顯著縮小，其中llama1_s實驗版含18億參數，llama2_xs實驗版僅含4.6億參數。

基於KoRWKV-1.5B在KoAlpaca數據集v1.0上微調的韓文語言模型

基於GPT-2架構的124M參數語言模型，在2.23B token的多樣化數據上微調，具備改進的文本生成能力

基於GPT-NeoX架構的小型日語語言模型，支持文本生成任務

這是一個經過日語預訓練的ALBERT模型，使用了BertJapaneseTokenizer作為分詞器，處理日語文本更加便捷。

這是XLM-RoBERTa模型的縮小版本，專門針對烏克蘭語和部分英語進行了優化，參數數量從4.7億縮減至1.34億。

MiniLMv2 是微軟推出的輕量級語言表示模型，通過知識蒸餾技術實現高效推理，適用於多種自然語言處理任務。

MiniLMv2 是微軟推出的輕量級語言表示模型，通過知識蒸餾技術實現高效性能。

RoFormer是基於旋轉位置編碼(Rotary Position Embedding)增強的中文Transformer模型，適用於文本填充任務。

基於BookCorpus數據集通過知識蒸餾技術預訓練的輕量化BERT模型，隱藏層維度縮減至384，採用6個注意力頭。

MiniLMv2 是微軟推出的輕量級語言表示模型，通過知識蒸餾技術實現高效性能。

這是一個稀疏預訓練模型，通過一次性剪枝方法實現90%權重稀疏化，可針對多種語言任務進行微調。