Doge 160M

🚀 Doge 160M

Doge 160M 是一款文本生成模型，採用動態掩碼注意力進行序列轉換，可使用多層感知器或跨域專家混合進行狀態轉換。該模型由 SmallDoge 社區訓練，在多個評估指標上表現良好。

🚀 快速開始

模型使用

>>> from transformers import AutoTokenizer, AutoModelForCausalLM

>>> tokenizer = AutoTokenizer.from_pretrained("SmallDoge/Doge-160M")
>>> model = AutoModelForCausalLM.from_pretrained("SmallDoge/Doge-160M", trust_remote_code=True)
>>> inputs = tokenizer("Hey how are you doing?", return_tensors="pt")

>>> out = model.generate(**inputs, max_new_tokens=100)
>>> print(tokenizer.batch_decode(out))

✨ 主要特性

• 動態掩碼注意力：允許 Transformer 在訓練時使用自注意力，推理時使用狀態空間。
• 跨域專家混合：可直接繼承多層感知器的權重進行進一步訓練。

📚 詳細文檔

模型訓練

我們在 Smollm-Corpus 上對 Doge 進行預訓練。如果你想繼續預訓練該模型，可以在 這裡 找到未收斂的檢查點。這些模型尚未針對指令進行微調，指令模型可在 這裡 找到。

預訓練詳情

評估結果

訓練過程

訓練環境

• 鏡像：nvcr.io/nvidia/pytorch:24.12 - py3
• 硬件：1x NVIDIA RTX 4090
• 軟件：Transformers

📄 許可證

本項目採用 Apache - 2.0 許可證。

📖 引用

@misc{smalldoges,
  title={SmallDoges: A Family of Dynamic UltraFast Small Language Models}, 
  author={Jingze, Shi and Yifan, Wu and Bingheng, Wu and Yuyu, Luo},
  year={2025},
  month={March},
  url={https://github.com/SmallDoges/small-doge}
}