Llama 3.1 Nemotron 8B UltraLong 1M Instruct

🚀 Nemotron-UltraLong-8B

Nemotron-UltraLong-8Bは、大規模なテキストシーケンス（最大1M、2M、4Mトークン）を処理できる超長文脈言語モデルのシリーズです。標準的なベンチマークでも競争力のある性能を維持しています。Llama-3.1をベースに構築され、効率的な継続事前学習と命令微調整を組み合わせたトレーニング方法を用いて、長文脈の理解と命令に従う能力を向上させています。このアプローチにより、一般的な性能を犠牲にすることなく、文脈ウィンドウを効率的に拡大することができます。

🚀 クイックスタート

transformers >= 4.43.0以降を使用すると、Transformersのpipeline抽象化を使用するか、generate()関数を持つAutoクラスを利用して会話推論を実行できます。

pip install --upgrade transformersを実行して、transformersのインストールを更新してください。

import transformers
import torch

model_id = "nvidia/Llama-3.1-Nemotron-8B-UltraLong-1M-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

✨ 主な機能

超長文脈対応

Nemotron-UltraLong-8Bは最大4Mトークンの長文脈を処理でき、長文脈タスクで優れた性能を発揮します。

標準タスクでの競争力

標準的なベンチマークタスクでも高い性能を維持しています。

📦 インストール

pip install --upgrade transformersを実行して、transformersのインストールを更新してください。

💻 使用例

基本的な使用法

import transformers
import torch

model_id = "nvidia/Llama-3.1-Nemotron-8B-UltraLong-1M-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

📚 ドキュメント

モデル情報

評価結果

Nemotron-UltraLong-8Bは、長文脈タスク（例：RULER、LV-Eval、InfiniteBench）や標準タスク（例：MMLU、MATH、GSM-8K、HumanEval）などの多様なベンチマークで評価されています。UltraLong-8Bは、超長文脈タスクで優れた性能を達成し、標準的なベンチマークでも競争力のある結果を維持しています。

Needle in a Haystack

長文脈評価

標準能力評価

対応者

Chejian Xu (chejian2@illinois.edu), Wei Ping (wping@nvidia.com)

引用

@article{ulralong2025,
  title={From 128K to 4M: Efficient Training of Ultra-Long Context Large Language Models},
  author={Xu, Chejian and Ping, Wei and Xu, Peng and Liu, Zihan and Wang, Boxin and Shoeybi, Mohammad and Catanzaro, Bryan},
  journal={arXiv preprint},
  year={2025}
 }

📄 ライセンス

このモデルはCC BY-NC 4.0ライセンスの下で提供されています。