Doge 320M Instruct

🚀 Doge 320M Instruct

Doge 320M Instruct模型採用動態掩碼注意力進行序列轉換，並可使用多層感知器或跨域專家混合模型進行狀態轉換。該模型由 SmallDoge 社區訓練，能有效應用於問答場景。

🚀 快速開始

Doge使用動態掩碼注意力進行序列轉換，並可使用多層感知器或跨域專家混合模型進行狀態轉換。動態掩碼注意力使Transformer能夠在訓練期間使用自注意力，在推理期間使用狀態空間，而跨域專家混合模型可以直接繼承多層感知器的權重進行進一步訓練。該模型由 SmallDoge 社區訓練，詳細的算法和模型架構相關論文即將發佈，所有訓練細節和代碼可在 small-doge 倉庫中找到。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig, TextStreamer

tokenizer = AutoTokenizer.from_pretrained("SmallDoge/Doge-320M-Instruct")
model = AutoModelForCausalLM.from_pretrained("SmallDoge/Doge-320M-Instruct", trust_remote_code=True)

generation_config = GenerationConfig(
      max_new_tokens=100, 
      use_cache=True, 
      do_sample=True, 
      temperature=0.8, 
      top_p=0.9,
      repetition_penalty=1.0
)
steamer = TextStreamer(
      tokenizer=tokenizer, 
      skip_prompt=True
)

prompt = "Hi, how are you doing today?"
conversation = [
      {"role": "user", "content": prompt}
]
inputs = tokenizer.apply_chat_template(
    conversation=conversation,
    tokenize=True,
    return_tensors="pt",
)

outputs = model.generate(
    inputs, 
    tokenizer=tokenizer,
    generation_config=generation_config, 
    streamer=steamer
)

📚 詳細文檔

模型訓練詳情

我們通過先在 SmolTalk 上進行監督微調（SFT），然後在 UltraFeedback Binarized 上進行直接偏好優化（DPO）來構建 Doge-Instruct 模型。

監督微調（SFT）

直接偏好優化（DPO）

評估結果

訓練過程可視化

• SFT：
• DPO：

訓練環境

• 鏡像：nvcr.io/nvidia/pytorch:24.12 - py3
• 硬件：1x NVIDIA RTX 4090
• 軟件：Transformers, TRL

📄 許可證

本項目採用 Apache - 2.0 許可證。

📚 引用

@misc{smalldoges,
  title={SmallDoges: A Family of Dynamic UltraFast Small Language Models}, 
  author={Jingze, Shi and Yifan, Wu and Bingheng, Wu and Yuyu, Luo},
  year={2025},
  month={March},
  url={https://github.com/SmallDoges/small-doge}
}