Doge 20M Chinese

🚀 Doge 20M CN

Doge 20M CN 模型採用動態掩碼注意力進行序列轉換，可使用多層感知機或跨域專家混合進行狀態轉換。動態掩碼注意力使 Transformer 在訓練時使用自注意力，推理時使用狀態空間；跨域專家混合可直接繼承多層感知機的權重進行進一步訓練。該模型由 SmallDoge 社區訓練。

🚀 快速開始

Doge 使用動態掩碼注意力進行序列轉換，並可以使用多層感知機或跨域專家混合進行狀態轉換。動態掩碼注意力允許 Transformer 在訓練期間使用自注意力，在推理期間使用狀態空間，而跨域專家混合可以直接繼承多層感知機的權重進行進一步訓練。此模型由 SmallDoge 社區訓練，有關詳細的算法和模型架構，相關論文即將發佈，所有訓練細節和代碼可在 small-doge 倉庫中找到。

💻 使用示例

基礎用法

>>> from transformers import AutoTokenizer, AutoModelForCausalLM

>>> tokenizer = AutoTokenizer.from_pretrained("wubingheng/Doge-20M-Chinese")
>>> model = AutoModelForCausalLM.from_pretrained("wubingheng/Doge-20M-Chinese", trust_remote_code=True)
>>> inputs = tokenizer("你好", return_tensors="pt")

>>> out = model.generate(**inputs, max_new_tokens=100)
>>> print(tokenizer.batch_decode(out))

📚 詳細文檔

模型訓練環境

📄 許可證

本項目採用 Apache-2.0 許可證。

📚 引用

如果您在研究中使用了本模型，請使用以下 BibTeX 引用：

@misc{smalldoges,
  title={SmallDoges: A Family of Dynamic UltraFast Small Language Models}, 
  author={Jingze, Shi and Yifan, Wu and Bingheng, Wu and Yuyu, Luo},
  year={2025},
  month={March},
  url={https://github.com/SmallDoges/small-doge}
}