Doge 160M

🚀 Doge 160M

Dogeは、シーケンス変換にDynamic Mask Attentionを使用し、状態変換にMulti-Layer PerceptronまたはCross Domain Mixture of Expertsを使用することができます。Dynamic Mask Attentionにより、Transformerはトレーニング中にセルフアテンションを、推論中に状態空間を使用することができ、Cross Domain Mixture of ExpertsはMulti-Layer Perceptronの重みを直接引き継いでさらなるトレーニングを行うことができます。このモデルはSmallDogeコミュニティによってトレーニングされており、詳細なアルゴリズムとモデルアーキテクチャについては近日論文が公開されます。すべてのトレーニング詳細とコードはsmall-dogeリポジトリにあります。

🚀 クイックスタート

Dogeモデルを使用するための基本的なコード例を以下に示します。

💻 使用例

基本的な使用法

>>> from transformers import AutoTokenizer, AutoModelForCausalLM

>>> tokenizer = AutoTokenizer.from_pretrained("SmallDoge/Doge-160M")
>>> model = AutoModelForCausalLM.from_pretrained("SmallDoge/Doge-160M", trust_remote_code=True)
>>> inputs = tokenizer("Hey how are you doing?", return_tensors="pt")

>>> out = model.generate(**inputs, max_new_tokens=100)
>>> print(tokenizer.batch_decode(out))

📚 ドキュメント

モデルの詳細

DogeはSmollm-Corpusを使って事前学習を行って構築されています。このモデルをさらに事前学習したい場合は、収束していないチェックポイントをここで見つけることができます。これらのモデルは命令に対してファインチューニングされておらず、命令モデルはここにあります。

事前学習

評価

手順

環境

• イメージ: nvcr.io/nvidia/pytorch:24.12-py3
• ハードウェア: 1x NVIDIA RTX 4090
• ソフトウェア: Transformers

🔧 技術詳細

Dogeは、シーケンス変換にDynamic Mask Attentionを使用し、状態変換にMulti-Layer PerceptronまたはCross Domain Mixture of Expertsを使用することができます。Dynamic Mask Attentionにより、Transformerはトレーニング中にセルフアテンションを、推論中に状態空間を使用することができ、Cross Domain Mixture of ExpertsはMulti-Layer Perceptronの重みを直接引き継いでさらなるトレーニングを行うことができます。

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下でライセンスされています。

引用

@misc{smalldoges,
  title={SmallDoges: A Family of Dynamic UltraFast Small Language Models}, 
  author={Jingze, Shi and Yifan, Wu and Bingheng, Wu and Yuyu, Luo},
  year={2025},
  month={March},
  url={https://github.com/SmallDoges/small-doge}
}