Llama 3.1 8B UltraLong 1M Instruct

🚀 Nemotron-UltraLong-8B

Nemotron-UltraLong-8Bは、長文のテキストシーケンス（最大1M、2M、および4Mトークン）を処理することができ、標準的なベンチマークでも高い性能を維持する超長文対応の言語モデルシリーズです。Llama-3.1をベースに構築され、効率的な継続事前学習と命令微調整を組み合わせたトレーニング方法を用いることで、長文理解と命令追従能力を向上させています。

🚀 クイックスタート

transformers >= 4.43.0以降では、Transformersのpipeline抽象化を使用するか、generate()関数を持つAutoクラスを利用して会話推論を実行できます。

pip install --upgrade transformersを実行して、Transformersのインストールを更新してください。

💻 使用例

基本的な使用法

import transformers
import torch

model_id = "nvidia/Llama-3.1-Nemotron-8B-UltraLong-1M-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

✨ 主な機能

• 超長文のテキストシーケンス（最大1M、2M、および4Mトークン）を処理可能
• 標準的なベンチマークでも高い性能を維持
• Llama-3.1をベースに、効率的な継続事前学習と命令微調整により、長文理解と命令追従能力を向上

📦 UltraLongモデル

• nvidia/Llama-3.1-Nemotron-8B-UltraLong-1M-Instruct
• nvidia/Llama-3.1-Nemotron-8B-UltraLong-2M-Instruct
• nvidia/Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct

📚 ドキュメント

モデルカード

評価結果

Nemotron-UltraLong-8Bを、長文タスク（例：RULER、LV-Eval、InfiniteBench）や標準タスク（例：MMLU、MATH、GSM-8K、HumanEval）などの様々なベンチマークで評価しました。UltraLong-8Bは、超長文タスクで卓越した性能を発揮し、標準的なベンチマークでも高い結果を維持しています。

大海原の針（Needle in a Haystack）

長文評価

標準能力評価

🔧 対応者

Chejian Xu (chejian2@illinois.edu)、Wei Ping (wping@nvidia.com)

📄 ライセンス

このモデルは、CC BY-NC 4.0ライセンスの下で提供されています。

📖 引用

@article{ulralong2025,
  title={From 128K to 4M: Efficient Training of Ultra-Long Context Large Language Models},
  author={Xu, Chejian and Ping, Wei and Xu, Peng and Liu, Zihan and Wang, Boxin and Shoeybi, Mohammad and Catanzaro, Bryan},
  journal={arXiv preprint},
  year={2025}
 }