Doge 160M Instruct

🚀 Doge 160M Instruct

Doge 160M Instruct 模型採用動態掩碼注意力進行序列轉換，可使用多層感知器或跨域專家混合模型進行狀態轉換。該模型由 SmallDoge 社區訓練，能有效應用於問答任務。

✨ 主要特性

Doge 使用動態掩碼注意力（Dynamic Mask Attention）進行序列轉換，並可使用多層感知器（Multi-Layer Perceptron）或跨域專家混合模型（Cross Domain Mixture of Experts）進行狀態轉換。動態掩碼注意力允許 Transformer 在訓練時使用自注意力機制，在推理時使用狀態空間；跨域專家混合模型可以直接繼承多層感知器的權重進行進一步訓練。該模型由 SmallDoge 社區訓練，詳細的算法和模型架構相關論文即將發佈，所有訓練細節和代碼可在 small-doge 倉庫中找到。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig, TextStreamer

tokenizer = AutoTokenizer.from_pretrained("SmallDoge/Doge-160M-Instruct")
model = AutoModelForCausalLM.from_pretrained("SmallDoge/Doge-160M-Instruct", trust_remote_code=True)

generation_config = GenerationConfig(
      max_new_tokens=100, 
      use_cache=True, 
      do_sample=True, 
      temperature=0.8, 
      top_p=0.9,
      repetition_penalty=1.0
)
steamer = TextStreamer(
      tokenizer=tokenizer, 
      skip_prompt=True
)

prompt = "Hi, how are you doing today?"
conversation = [
      {"role": "user", "content": prompt}
]
inputs = tokenizer.apply_chat_template(
    conversation=conversation,
    tokenize=True,
    return_tensors="pt",
)

outputs = model.generate(
    inputs, 
    tokenizer=tokenizer,
    generation_config=generation_config, 
    streamer=steamer
)

📚 詳細文檔

模型訓練細節

我們通過先在 SmolTalk 上進行監督微調（SFT），然後在 UltraFeedback Binarized 上進行直接偏好優化（DPO）來構建 Doge-Instruct 模型。

監督微調（SFT）

直接偏好優化（DPO）

模型評估

訓練過程

• SFT：
• DPO：

訓練環境

• 鏡像：nvcr.io/nvidia/pytorch:24.12 - py3
• 硬件：1x NVIDIA RTX 4090
• 軟件：Transformers, TRL

📄 許可證

本項目採用 Apache-2.0 許可證。

📚 引用

@misc{smalldoges,
  title={SmallDoges: A Family of Dynamic UltraFast Small Language Models}, 
  author={Jingze, Shi and Yifan, Wu and Bingheng, Wu and Yuyu, Luo},
  year={2025},
  month={March},
  url={https://github.com/SmallDoges/small-doge}
}