Diffllama 1B

🚀 DiffLlama-1B

DiffLlama-1Bは、フルスクラッチで約100Bトークン事前学習を行った約1Bパラメータの大規模言語モデルです。このモデルは、「Differential Transformer」の概念を取り入れ、Differential AttentionメカニズムをLlamaモデルに適用することで、注意力を関連性の高いコンテキストに向け、ノイズを低減することができます。

✨ 主な機能

• アーキテクチャ: LlamaモデルにDifferential Attentionメカニズムを統合。
• パラメータ数: 10億（1B）パラメータ。
• Patch-level Training: 学習コスト削減技術Patch-level Trainingを使用。
• Muon Optimizer: AdamWより収束が早いOptimizerを使うことで学習効率を2倍に(つまり実質200Bトークン学習している)。実装はこちら

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションをスキップします。

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline, set_seed

model = AutoModelForCausalLM.from_pretrained("kajuma/DiffLlama-1B", torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("kajuma/DiffLlama-1B")
generator = pipeline("text-generation", model=model, tokenizer=tokenizer)
set_seed(123)

text = generator(
    "おはようございます、今日の天気は",
    max_length=30,
    do_sample=True,
    pad_token_id=tokenizer.pad_token_id,
    num_return_sequences=3,
)
for t in text:
    print(t)

高度な使用法

このREADMEに高度な使用法に関するコード例が記載されていないため、このサブセクションをスキップします。

📚 ドキュメント

学習データ

DiffLlama-1Bは以下のデータセットを用いて、合計約1000億（100B）トークンで1エポックの学習を行いました。

🔧 技術詳細

このREADMEに具体的な技術詳細が十分に記載されていないため、このセクションをスキップします。

📄 ライセンス

このモデルはApache License 2.0の下で提供されています。

謝辞

本モデルの開発にあたり、株式会社ZEALSが提供する『生成AIエンジニア向けGPU無償提供プログラム』の支援を受けました。