Diffllama 1B

🚀 DiffLlama-1B

DiffLlama-1B是一個約10億參數的大規模語言模型，它從0開始進行了約1000億token的預訓練。該模型引入了針對傳統Transformer架構改進而提出的“差分Transformer（Differential Transformer）”概念。特別是通過將差分注意力（Differential Attention）機制應用於Llama模型，它能夠將注意力集中在相關性高的上下文上，從而減少噪聲干擾。

✨ 主要特性

• 架構：將差分注意力（Differential Attention）機制集成到Llama模型中。
• 參數數量：10億（1B）參數。
• Patch級訓練：使用了降低訓練成本的技術Patch級訓練。
• Muon優化器：使用比AdamW收斂更快的優化器，將訓練效率提高了一倍（即實際上相當於進行了2000億token的訓練）。具體實現請參考此處。

📦 安裝指南

文檔未提及安裝步驟，跳過該章節。

💻 使用示例

基礎用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed

model = AutoModelForCausalLM.from_pretrained("kajuma/DiffLlama-1B", torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("kajuma/DiffLlama-1B")
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
set_seed(123)

text = generator(
    "おはようございます、今日の天気は",
    max_length=30,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
    num_return_sequences=3,
)
for t in text:
    print(t)

📚 詳細文檔

訓練數據

DiffLlama-1B使用了以下數據集，總共約1000億（100B）token進行了1個epoch的訓練：

• hotchpotch/fineweb-2-edu-japanese：約900億（90B）token。
• HuggingFaceFW/fineweb-edu：約100億（10B）token。

信息表格

📄 許可證

此模型在Apache License 2.0許可下提供。

致謝

在本模型的開發過程中，得到了株式會社ZEALS提供的“生成AI工程師GPU免費使用計劃”的支持。