Doge 20M Chinese

🚀 Doge 20M CN

DogeはDynamic Mask Attentionをシーケンス変換に使用し、Multi-Layer PerceptronまたはCross Domain Mixture of Expertsを状態変換に使用できます。Dynamic Mask Attentionにより、Transformerはトレーニング中にセルフアテンションを、推論中に状態空間を使用できます。また、Cross Domain Mixture of ExpertsはMulti-Layer Perceptronの重みを直接引き継いでさらなるトレーニングを行うことができます。このモデルはSmallDogeコミュニティによってトレーニングされています。詳細なアルゴリズムとモデルアーキテクチャについては、近日論文が公開されます。すべてのトレーニング詳細とコードはsmall-dogeリポジトリで入手できます。

🚀 クイックスタート

このセクションでは、Doge 20M CNモデルを使用するための基本的な手順を説明します。

✨ 主な機能

• DogeはDynamic Mask Attentionをシーケンス変換に使用し、Multi-Layer PerceptronまたはCross Domain Mixture of Expertsを状態変換に使用できます。
• Dynamic Mask Attentionにより、Transformerはトレーニング中にセルフアテンションを、推論中に状態空間を使用できます。
• Cross Domain Mixture of ExpertsはMulti-Layer Perceptronの重みを直接引き継いでさらなるトレーニングを行うことができます。

💻 使用例

基本的な使用法

>>> from transformers import AutoTokenizer, AutoModelForCausalLM

>>> tokenizer = AutoTokenizer.from_pretrained("wubingheng/Doge-20M-Chinese")
>>> model = AutoModelForCausalLM.from_pretrained("wubingheng/Doge-20M-Chinese", trust_remote_code=True)
>>> inputs = tokenizer("你好", return_tensors="pt")

>>> out = model.generate(**inputs, max_new_tokens=100)
>>> print(tokenizer.batch_decode(out))

📚 ドキュメント

モデル詳細

環境:

• イメージ: nvcr.io/nvidia/pytorch:24.12-py3
• ハードウェア: 1x NVIDIA RTX 4090
• ソフトウェア: Transformers

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で公開されています。詳細については、ライセンスファイルを参照してください。

📚 引用

@misc{smalldoges,
  title={SmallDoges: A Family of Dynamic UltraFast Small Language Models}, 
  author={Jingze, Shi and Yifan, Wu and Bingheng, Wu and Yuyu, Luo},
  year={2025},
  month={March},
  url={https://github.com/SmallDoges/small-doge}
}