Doge 320M

🚀 Doge 320M

Doge 320M 模型採用動態掩碼注意力進行序列轉換，可使用多層感知機或跨域專家混合體進行狀態轉換。該模型由 SmallDoge 社區訓練，能在訓練時使用自注意力機制，推理時使用狀態空間，跨域專家混合體還可繼承多層感知機的權重進一步訓練。

🚀 快速開始

Doge 320M 模型採用動態掩碼注意力（Dynamic Mask Attention）進行序列轉換，可選用多層感知機（Multi - Layer Perceptron）或跨域專家混合體（Cross Domain Mixture of Experts）進行狀態轉換。動態掩碼注意力使 Transformer 能在訓練時使用自注意力機制，推理時使用狀態空間；跨域專家混合體可直接繼承多層感知機的權重進行進一步訓練。此模型由 SmallDoge 社區訓練，詳細的算法和模型架構相關論文即將發佈，所有訓練細節和代碼可在 small - doge 倉庫中獲取。

✨ 主要特性

• 創新的注意力機制：動態掩碼注意力允許模型在訓練和推理階段採用不同策略，提升效率。
• 靈活的狀態轉換：可選擇多層感知機或跨域專家混合體，且跨域專家混合體可繼承多層感知機權重。
• 社區驅動開發：由 SmallDoge 社區訓練，保證模型的持續優化和更新。

💻 使用示例

基礎用法

>>> from transformers import AutoTokenizer, AutoModelForCausalLM

>>> tokenizer = AutoTokenizer.from_pretrained("SmallDoge/Doge-320M")
>>> model = AutoModelForCausalLM.from_pretrained("SmallDoge/Doge-320M", trust_remote_code=True)
>>> inputs = tokenizer("Hey how are you doing?", return_tensors="pt")

>>> out = model.generate(**inputs, max_new_tokens=100)
>>> print(tokenizer.batch_decode(out))

📚 詳細文檔

模型詳情

我們通過在 Smollm - Corpus 上進行預訓練構建了 Doge 模型。若你想繼續對該模型進行預訓練，可在 此處 找到未收斂的檢查點。這些模型尚未針對指令進行微調，指令模型可在 此處 找到。

預訓練信息

評估信息

訓練流程

訓練環境

• 鏡像：nvcr.io/nvidia/pytorch:24.12 - py3
• 硬件：1x NVIDIA RTX 4090
• 軟件：Transformers

📄 許可證

本項目採用 Apache - 2.0 許可證。

📚 引用

@misc{smalldoges,
  title={SmallDoges: A Family of Dynamic UltraFast Small Language Models}, 
  author={Jingze, Shi and Yifan, Wu and Bingheng, Wu and Yuyu, Luo},
  year={2025},
  month={March},
  url={https://github.com/SmallDoges/small-doge}
}