Doge 160M Instruct

🚀 Doge 160M Instruct

Doge 160M Instructは、質問応答タスクに特化したモデルです。Dynamic Mask Attentionをシーケンス変換に、Multi-Layer PerceptronやCross Domain Mixture of Expertsを状態変換に用いることで、高い性能を発揮します。このモデルはSmallDogeコミュニティによって開発されています。

🚀 クイックスタート

Dogeは、Dynamic Mask Attentionをシーケンス変換に、Multi-Layer PerceptronまたはCross Domain Mixture of Expertsを状態変換に使用することができます。Dynamic Mask Attentionにより、Transformerはトレーニング時にセルフアテンションを、推論時に状態空間を使用することができ、Cross Domain Mixture of ExpertsはMulti-Layer Perceptronの重みを直接引き継いでさらなるトレーニングを行うことができます。このモデルはSmallDogeコミュニティによってトレーニングされており、詳細なアルゴリズムとモデルアーキテクチャについては、近日中に論文が公開されます。すべてのトレーニング詳細とコードは、small-dogeリポジトリで入手できます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig, TextStreamer

tokenizer = AutoTokenizer.from_pretrained("SmallDoge/Doge-160M-Instruct")
model = AutoModelForCausalLM.from_pretrained("SmallDoge/Doge-160M-Instruct", trust_remote_code=True)

generation_config = GenerationConfig(
      max_new_tokens=100, 
      use_cache=True, 
      do_sample=True, 
      temperature=0.8, 
      top_p=0.9,
      repetition_penalty=1.0
)
steamer = TextStreamer(
      tokenizer=tokenizer, 
      skip_prompt=True
)

prompt = "Hi, how are you doing today?"
conversation = [
      {"role": "user", "content": prompt}
]
inputs = tokenizer.apply_chat_template(
    conversation=conversation,
    tokenize=True,
    return_tensors="pt",
)

outputs = model.generate(
    inputs, 
    tokenizer=tokenizer,
    generation_config=generation_config, 
    streamer=steamer
)

📚 ドキュメント

モデルの詳細

Doge-Instructは、まずSmolTalkでSFTを行い、次にUltraFeedback BinarizedでDPOを行うことで構築されています。

SFT:

DPO:

評価:

手順:

SFT:

DPO:

環境:

• イメージ: nvcr.io/nvidia/pytorch:24.12 - py3
• ハードウェア: 1x NVIDIA RTX 4090
• ソフトウェア: Transformers, TRL

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスの下で公開されています。詳細はこちらをご覧ください。

📚 引用

@misc{smalldoges,
  title={SmallDoges: A Family of Dynamic UltraFast Small Language Models}, 
  author={Jingze, Shi and Yifan, Wu and Bingheng, Wu and Yuyu, Luo},
  year={2025},
  month={March},
  url={https://github.com/SmallDoges/small-doge}
}