Llama 3.1 Nemotron 8B UltraLong 4M Instruct

🚀 Nemotron-UltraLong-8B

Nemotron-UltraLong-8Bは、標準的なベンチマークで競争力のあるパフォーマンスを維持しながら、大量のテキストシーケンス（最大100万、200万、400万トークン）を処理するように設計された超長文脈言語モデルのシリーズです。Llama-3.1をベースに構築され、効率的な継続事前学習と命令微調整を組み合わせたシステマティックな学習方法を活用して、長文脈理解と命令追従能力を強化しています。このアプローチにより、モデルは一般的なパフォーマンスを犠牲にすることなく、文脈ウィンドウを効率的に拡張することができます。

🚀 クイックスタート

transformers >= 4.43.0以降では、Transformersのpipeline抽象化を使用するか、generate()関数を持つAutoクラスを利用することで、会話推論を実行できます。

pip install --upgrade transformersを実行して、transformersのインストールを更新してください。

✨ 主な機能

• 超長文脈のテキストを処理できる（最大100万、200万、400万トークン）
• 標準的なベンチマークでも競争力のあるパフォーマンスを維持
• Llama-3.1をベースに、長文脈理解と命令追従能力を強化
• 文脈ウィンドウを効率的に拡張できる

📦 インストール

pip install --upgrade transformers

💻 使用例

基本的な使用法

import transformers
import torch

model_id = "nvidia/Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct"

pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"][-1])

📚 ドキュメント

モデル情報

評価結果

Nemotron-UltraLong-8Bを、長文脈タスク（例：RULER、LV-Eval、InfiniteBench）や標準タスク（例：MMLU、MATH、GSM-8K、HumanEval）などの多様なベンチマークで評価しています。UltraLong-8Bは、超長文脈タスクで優れたパフォーマンスを達成し、標準的なベンチマークでも競争力のある結果を維持しています。

ニードルインハウス

長文脈評価

標準能力評価

対応者

Chejian Xu (chejian2@illinois.edu), Wei Ping (wping@nvidia.com)

引用

@article{ulralong2025,
  title={From 128K to 4M: Efficient Training of Ultra-Long Context Large Language Models},
  author={Xu, Chejian and Ping, Wei and Xu, Peng and Liu, Zihan and Wang, Boxin and Shoeybi, Mohammad and Catanzaro, Bryan},
  journal={arXiv preprint},
  year={2025}
 }

📄 ライセンス

cc-by-nc-4.0