# 小型語言模型

Doge模型採用動態掩碼注意力機制進行序列轉換，可選擇多層感知機或跨域專家混合進行狀態轉換。

Doge 320M 指導版是一個基於動態掩碼注意力的輕量級語言模型，採用監督微調(SFT)和直接偏好優化(DPO)訓練，適用於問答和對話任務。

盆景是一個擁有5億參數的小型三值權重語言模型，採用Llama架構和Mistral分詞器，訓練使用的標記數不到50億。

Doge 160M 是一個採用動態掩碼注意力機制的小型語言模型，由 SmallDoge 社區訓練，支持文本生成任務。

Doge 20M 是一個基於動態掩碼注意力機制的小型語言模型，支持指令跟隨和問答任務。

Simple Stories是一個基於TinyStories數據集訓練的小型文本生成模型系列，專注於生成兒童故事。

CharGPT-96M 是一個採用字符級分詞的小型語言模型，適用於各種實驗場景，尤其是當BPE（子詞）分詞導致任務表現不佳時。

TinyStories-1M 是一個基於 TinyStories 數據集訓練的小型語言模型，專門設計用於生成適合兒童閱讀的簡單故事。

該模型是基於Microsoft的MiniLM-L12-H384-uncased在IMDB數據集上微調的版本，主要用於情感分析任務。