Llama 3.1 8B UltraLong 2M Instruct

🚀 Nemotron-UltraLong-8B

Nemotron-UltraLong-8Bは、標準的なベンチマークで競争力のある性能を維持しながら、大量のテキストシーケンス（最大1M、2M、および4Mトークン）を処理するように設計された超長文脈言語モデルのシリーズです。Llama-3.1をベースに構築され、効率的な継続事前学習と命令微調整を組み合わせたシステマティックなトレーニング方法を活用して、長文脈理解と命令追従能力を強化しています。このアプローチにより、一般的な性能を犠牲にすることなく、コンテキストウィンドウを効率的に拡大することができます。

🚀 クイックスタート

transformers >= 4.43.0 以降では、Transformersの pipeline 抽象化を使用するか、generate() 関数を持つAutoクラスを活用して、会話推論を実行することができます。

pip install --upgrade transformers を実行して、transformersのインストールを更新してください。

✨ 主な機能

• 超長文脈のテキストを効率的に処理できる。
• 標準的なベンチマークでも競争力のある性能を発揮する。
• 長文脈理解と命令追従能力に優れている。

📦 インストール

pip install --upgrade transformers

💻 使用例

基本的な使用法

import transformers
import torch

model_id = "nvidia/Llama-3.1-Nemotron-8B-UltraLong-2M-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

📚 ドキュメント

モデルカード

評価結果

Nemotron-UltraLong-8Bを、長文脈タスク（例：RULER、LV-Eval、InfiniteBench）や標準タスク（例：MMLU、MATH、GSM-8K、HumanEval）などの多様なベンチマークで評価しています。UltraLong-8Bは、超長文脈タスクで優れた性能を達成し、標準的なベンチマークでも競争力のある結果を維持しています。

ニードルインアハイスタック

長文脈評価

標準能力評価

🔧 技術詳細

• ベースモデルとして meta-llama/Llama-3.1-8B-Instruct を使用。
• 継続事前学習では、1Bトークンのデータを使用し、245ステップトレーニング。
• 教師付き微調整では、オープンソースの命令データセットを使用。

📄 ライセンス

このモデルは cc-by-nc-4.0 ライセンスの下で提供されています。

対応者

Chejian Xu (chejian2@illinois.edu), Wei Ping (wping@nvidia.com)

引用

@article{ulralong2025,
  title={From 128K to 4M: Efficient Training of Ultra-Long Context Large Language Models},
  author={Xu, Chejian and Ping, Wei and Xu, Peng and Liu, Zihan and Wang, Boxin and Shoeybi, Mohammad and Catanzaro, Bryan},
  journal={arXiv preprint},
  year={2025}
 }