Llama Primus Nemotron 70B Base

🚀 Llama-Primus-Nemotron-70B-Base

Llama-Primus-Nemotronシリーズは、nvidia/Llama-3.1-Nemotron-70B-Instructをベースに継続的なトレーニングを行って構築されています。このモデルは、サイバーセキュリティ分野におけるテキスト生成タスクに特化しており、複数のベンチマークで高い性能を発揮します。

• 紹介
• ベンチマーク結果
• トレーニングデータセット
• 謝辞

🚀 クイックスタート

このモデルは、transformersライブラリを使用して簡単に利用できます。以下のコードを参考に、モデルをロードしてテキスト生成を行ってみましょう。

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "your_model_name"  # 実際のモデル名に置き換えてください
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

input_text = "Your input text here"
input_ids = tokenizer(input_text, return_tensors="pt").input_ids
output = model.generate(input_ids)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

紹介

Llama-Primus-Nemotronシリーズは、nvidia/Llama-3.1-Nemotron-70B-Instructをベースに継続的なトレーニングを行っています。Primus論文で説明されていると同じ方法論に従い、まず大規模なサイバーセキュリティコーパス（10B以上のトークン）で事前学習を行い、Llama-Primus-Nemotron-Baseを得ました。その後、教師付き微調整を行い、DELLAを適用して元のNemotronとマージし、Llama-Primus-Nemotron-70B-Instructを作成しました。

_Llama-Primus-Nemotron-Base_は、いくつかの公開サイバーセキュリティベンチマークの総合スコアで**11.19%**の改善を達成しています。

ベンチマーク結果

サイバーセキュリティ

CTI-Bench(CVSS)は平均絶対偏差でスコアリングされ（低い方が良い）、CTI-ATEはF1スコアを使用し、その他は正解率を使用しています。総合スコア(Agg.)は、すべてのベンチマークの合計で、CTI-Bench(CVSS)はマイナスになります。

参考文献:

• CyberMetric: CyberMetric: A Benchmark Dataset based on Retrieval-Augmented...
• CTI-Bench: CTIBench: A Benchmark for Evaluating LLMs in Cyber Threat Intelligence
• SecEval: SecEval: A Comprehensive Benchmark for Evaluating Cybersecurity Knowledge of Foundation Models

トレーニングデータセット

事前学習:

• Primus-Seed-V2 (0.417B): Primus-Seedの拡張版で、ブログ、ニュース、書籍、ウェブサイト、ウィキペディア、MITRE、Trend Microの知識が充実しています。
• Primus-FineWeb (2.57B): FineWeb-edu-score-2からフィルタリングされたサイバーセキュリティテキスト。リンク
• Primus-Nemotron-CC (7.6B): Nemotron-CCからフィルタリングされたサイバーセキュリティテキスト。

注意: データセットPrimus-Seed-V2とPrimus-Nemotron-CCはまだオープンソース化されておらず、現在検討中です。興味がある場合は、お気軽にお問い合わせください。

免責事項: Trend Microの顧客情報は含まれていません。

_Primus_について

_Primus_は、Trend Microによる先駆的な軽量で最先端のオープンサイバーセキュリティ言語モデルとデータセットのファミリーです。最先端の研究イニシアチブと高度な技術を通じて開発されたこれらのリソースは、企業クラスのTrend Cybertronソリューションを支える革新的な基盤を共有しています。サイバーセキュリティの業界リーダーとして、Trend Microは、これらの強力で効率的なモデルとデータセットをコミュニティに貢献することを誇りに思っており、グローバルなセキュリティ標準を定義する卓越性と信頼性を維持しています。

謝辞

このモデルのトレーニングと開発を可能にしたコンピューティングリソース（Taipei-1）を寛大に提供してくれたNVIDIAに感謝します。

📄 ライセンス

このモデルはMITライセンスに基づいていますが、Llama 3.1コミュニティライセンス契約にも準拠する必要があります。