Llama 3.1 Nemotron 70B Instruct HF

🚀 Llama-3.1-Nemotron-70B-Instruct

Llama-3.1-Nemotron-70B-Instructは、NVIDIAがカスタマイズした大規模言語モデルです。このモデルは、ユーザーのクエリに対するLLMの応答の有用性を向上させることを目的としています。

🚀 クイックスタート

このモデルを使用するには、HuggingFace Transformersライブラリを利用します。2つ以上の80GB GPU（NVIDIA Ampere以降）と少なくとも150GBの空きディスク容量が必要です。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "nvidia/Llama-3.1-Nemotron-70B-Instruct-HF"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "How many r in strawberry?"
messages = [{"role": "user", "content": prompt}]

tokenized_message = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt", return_dict=True)
response_token_ids = model.generate(tokenized_message['input_ids'].cuda(),attention_mask=tokenized_message['attention_mask'].cuda(),  max_new_tokens=4096, pad_token_id = tokenizer.eos_token_id)
generated_tokens =response_token_ids[:, len(tokenized_message['input_ids'][0]):]
generated_text = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)[0]
print(generated_text)

# See response at top of model card

✨ 主な機能

• Llama-3.1-Nemotron-70B-Instructは、NVIDIAがカスタマイズした大規模言語モデルで、ユーザークエリに対する応答の有用性を向上させます。
• このモデルは、いくつかの自動アライメントベンチマークで優れた成績を収めており、2024年10月1日時点で3つのベンチマークすべてで1位となっています。
• このモデルは、RLHF（具体的にはREINFORCE）を使用して訓練されており、Llama-3.1-Nemotron-70B-RewardとHelpSteer2-Preference promptsを利用しています。

📦 インストール

このモデルを使用するには、HuggingFace Transformersライブラリを利用します。2つ以上の80GB GPU（NVIDIA Ampere以降）と少なくとも150GBの空きディスク容量が必要です。コードはTransformers v4.44.0、torch v2.4.0、2つのA100 80GB GPUでテストされていますが、meta-llama/Llama-3.1-70B-Instructをサポートする設定であれば、このモデルもサポートされます。問題が発生した場合は、pip install -U transformersを実行することを検討してください。

💻 使用例

基本的な使用法

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "nvidia/Llama-3.1-Nemotron-70B-Instruct-HF"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "How many r in strawberry?"
messages = [{"role": "user", "content": prompt}]

tokenized_message = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt", return_dict=True)
response_token_ids = model.generate(tokenized_message['input_ids'].cuda(),attention_mask=tokenized_message['attention_mask'].cuda(),  max_new_tokens=4096, pad_token_id = tokenizer.eos_token_id)
generated_tokens =response_token_ids[:, len(tokenized_message['input_ids'][0]):]
generated_text = tokenizer.batch_decode(generated_tokens, skip_special_tokens=True)[0]
print(generated_text)

# See response at top of model card

📚 ドキュメント

モデル概要

Llama-3.1-Nemotron-70B-Instructは、NVIDIAがカスタマイズした大規模言語モデルで、ユーザークエリに対するLLMの応答の有用性を向上させることを目的としています。このモデルは、いくつかの自動アライメントベンチマークで優れた成績を収めており、2024年10月1日時点で3つのベンチマークすべてで1位となっています。

評価指標

ライセンス

このモデルの使用は、NVIDIA Open Model Licenseによって管理されています。追加情報は、Llama 3.1 Community License Agreementを参照してください。

参考文献

• NeMo Aligner
• HelpSteer2-Preference
• HelpSteer2
• Introducing Llama 3.1: Our most capable models to date
• Meta's Llama 3.1 Webpage
• Meta's Llama 3.1 Model Card

モデルアーキテクチャ

入力

出力

ソフトウェア統合

推論

倫理的考慮事項

NVIDIAは、信頼できるAIは共同の責任であると考えており、幅広いAIアプリケーションの開発を可能にするためのポリシーと実践を確立しています。サービス利用規約に従ってダウンロードまたは使用する場合、開発者はサポートモデルチームと協力して、このモデルが関連する業界やユースケースの要件を満たし、予期しない製品の誤用に対応することを確認する必要があります。このモデルの倫理的考慮事項の詳細については、Model Card++ Explainability、Bias、Safety & Security、およびPrivacy Subcardsを参照してください。セキュリティバグまたはNVIDIA AIに関する懸念事項は、こちらから報告してください。

引用

@misc{wang2024helpsteer2preferencecomplementingratingspreferences,
      title={HelpSteer2-Preference: Complementing Ratings with Preferences}, 
      author={Zhilin Wang and Alexander Bukharin and Olivier Delalleau and Daniel Egert and Gerald Shen and Jiaqi Zeng and Oleksii Kuchaiev and Yi Dong},
      year={2024},
      eprint={2410.01257},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2410.01257}, 
}

🔧 技術詳細

Llama-3.1-Nemotron-70B-Instructは、RLHF（具体的にはREINFORCE）を使用して訓練されており、Llama-3.1-Nemotron-70B-RewardとHelpSteer2-Preference promptsを利用しています。このモデルは、Llama-3.1-70B-Instructモデルを初期ポリシーとして使用しています。

📄 ライセンス

このモデルの使用は、NVIDIA Open Model Licenseによって管理されています。追加情報は、Llama 3.1 Community License Agreementを参照してください。