Llama Primus Nemotron 70B Base

🚀 Llama-Primus-Nemotron-70B-Base

Llama-Primus-Nemotron-70B-Base 是基於 nvidia/Llama-3.1-Nemotron-70B-Instruct 持續訓練得到的模型，在多個公共網絡安全基準測試中取得了顯著提升，為網絡安全領域的研究和應用提供了強大支持。

• 簡介
• 基準測試結果
• 訓練數據集
• 致謝

📋 簡介

Llama-Primus-Nemotron 系列基於 nvidia/Llama-3.1-Nemotron-70B-Instruct 進行持續訓練。按照 Primus 論文 中描述的相同方法，我們首先在大規模網絡安全語料庫（超過 100 億 個標記）上進行預訓練，得到了 Llama-Primus-Nemotron-Base。然後進行有監督微調，並應用 DELLA 與原始的 Nemotron 進行合併，最終得到了 Llama-Primus-Nemotron-70B-Instruct。

Llama-Primus-Nemotron-Base 在多個公共網絡安全基準測試的綜合得分上提高了 11.19%。

📊 基準測試結果

網絡安全

CTI-Bench(CVSS) 使用平均絕對偏差進行評分（越低越好），CTI-ATE 使用 F1 分數，其他指標使用準確率。綜合得分（Agg.）是所有基準測試得分的總和，其中 CTI-Bench(CVSS) 取負值。

參考資料：

• CyberMetric：CyberMetric: A Benchmark Dataset based on Retrieval-Augmented...
• CTI-Bench：CTIBench: A Benchmark for Evaluating LLMs in Cyber Threat Intelligence
• SecEval：SecEval: A Comprehensive Benchmark for Evaluating Cybersecurity Knowledge of Foundation Models

📚 訓練數據集

預訓練：

• Primus-Seed-V2 (4.17 億)： Primus-Seed 的增強版本，豐富了博客、新聞、書籍、網站、維基百科、MITRE 和趨勢科技的知識。
• Primus-FineWeb (25.7 億)： 從 FineWeb-edu-score-2 中過濾出的網絡安全文本。鏈接
• Primus-Nemotron-CC (76 億)： 從 Nemotron-CC 中過濾出的網絡安全文本。

⚠️ 重要提示

數據集 Primus-Seed-V2 和 Primus-Nemotron-CC 尚未開源，目前正在討論中。如果您感興趣，請隨時聯繫我們。

💡 使用建議

本模型不包含趨勢科技的客戶信息。

關於 Primus

Primus 是趨勢科技首創的輕量級、最先進的開源網絡安全語言模型和數據集家族。通過我們前沿的研究計劃和先進技術開發而成，這些資源共享為我們企業級 Trend Cybertron 解決方案提供支持的創新基礎。作為網絡安全領域的行業領導者，趨勢科技自豪地將這些強大、優化效率的模型和數據集貢獻給社區，同時保持定義我們全球安全標準的卓越性和可靠性。

致謝

我們要感謝 NVIDIA 慷慨提供計算資源（Taipei-1），使該模型的訓練和開發得以實現。

📄 許可證

該模型基於 MIT 許可證，但您還必須遵守 Llama 3.1 社區許可協議。