Doge 320M

🚀 Doge 320M

Doge 320Mは、Dynamic Mask Attentionをシーケンス変換に用い、Multi - Layer PerceptronまたはCross Domain Mixture of Expertsを状態変換に使用できるモデルです。これにより、Transformerは学習時にセルフアテンションを、推論時に状態空間を活用できます。また、Cross Domain Mixture of ExpertsはMulti - Layer Perceptronの重みを直接引き継いでさらなる学習が可能です。このモデルはSmallDogeコミュニティによって学習されています。詳細なアルゴリズムとモデルアーキテクチャについては、近日論文が公開されます。すべての学習詳細とコードはsmall - dogeリポジトリにあります。

🚀 クイックスタート

Doge 320Mを使ったテキスト生成のコード例を以下に示します。

>>> from transformers import AutoTokenizer, AutoModelForCausalLM

>>> tokenizer = AutoTokenizer.from_pretrained("SmallDoge/Doge-320M")
>>> model = AutoModelForCausalLM.from_pretrained("SmallDoge/Doge-320M", trust_remote_code=True)
>>> inputs = tokenizer("Hey how are you doing?", return_tensors="pt")

>>> out = model.generate(**inputs, max_new_tokens=100)
>>> print(tokenizer.batch_decode(out))

✨ 主な機能

• Dynamic Mask Attentionを用いたシーケンス変換。学習時と推論時で異なる空間を活用できます。
• Multi - Layer PerceptronまたはCross Domain Mixture of Expertsによる状態変換。Cross Domain Mixture of ExpertsはMulti - Layer Perceptronの重みを引き継げます。

📚 ドキュメント

モデルの詳細

DogeはSmollm - Corpusを用いて事前学習されています。このモデルをさらに事前学習したい場合は、未収束のチェックポイントをこちらで見つけることができます。これらのモデルは命令に対してファインチューニングされていません。命令モデルはこちらにあります。

事前学習

評価

手順

環境

• イメージ: nvcr.io/nvidia/pytorch:24.12 - py3
• ハードウェア: 1x NVIDIA RTX 4090
• ソフトウェア: Transformers

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で公開されています。

📖 引用

@misc{smalldoges,
  title={SmallDoges: A Family of Dynamic UltraFast Small Language Models}, 
  author={Jingze, Shi and Yifan, Wu and Bingheng, Wu and Yuyu, Luo},
  year={2025},
  month={March},
  url={https://github.com/SmallDoges/small-doge}
}