Llama Primus Nemotron 70B Instruct

🚀 Llama-Primus-Nemotron-70B-Instruct

Llama-Primus-Nemotron-70B-Instruct 是基於持續訓練構建的模型，在多個公共網絡安全基準測試中取得顯著提升，同時在通用指令遵循基準測試中保持性能一致。

• 簡介
• 基準測試結果
• 訓練數據集
• 致謝

📖 簡介

Llama-Primus-Nemotron 系列在 nvidia/Llama-3.1-Nemotron-70B-Instruct 的基礎上進行持續訓練。我們遵循 Primus 論文 中描述的相同方法，首先在大規模網絡安全語料庫（超過 100 億 個標記）上進行預訓練，得到 Llama-Primus-Nemotron-Base。然後進行有監督微調，並應用 DELLA 與原始的 Nemotron 進行合併，最終得到 Llama-Primus-Nemotron-70B-Instruct。

Llama-Primus-Nemotron-70B-Instruct 在多個公共網絡安全基準測試的綜合得分上提高了 18.18%，同時在通用指令遵循基準測試（Arena Hard）中保持了 相同 的性能。

📊 基準測試結果

• 網絡安全
• 通用聊天性能
• 安全性與毒性

🔒 網絡安全

CTI-Bench(CVSS) 使用平均絕對偏差進行評分（越低越好），CTI-ATE 使用 F1 分數，其他指標使用準確率。綜合得分（Agg.）是所有基準測試得分的總和，其中 CTI-Bench(CVSS) 取負值。

參考資料：

• CyberMetric：CyberMetric: A Benchmark Dataset based on Retrieval-Augmented...
• CTI-Bench：CTIBench: A Benchmark for Evaluating LLMs in Cyber Threat Intelligence
• SecEval：SecEval: A Comprehensive Benchmark for Evaluating Cybersecurity Knowledge of Foundation Models

💬 通用聊天性能

參考資料：

• Arena Hard

🛡️ 安全性與毒性

參考資料：

• Garak：Garak 倉庫
• XSTest：XSTest 倉庫

📈 訓練數據集

預訓練：

• Primus-Seed-V2 (4.17 億)： Primus-Seed 的增強版本，豐富了博客、新聞、書籍、網站、維基百科、MITRE 和趨勢科技的知識。
• Primus-FineWeb (25.7 億)： 從 FineWeb-edu-score-2 中過濾出的網絡安全文本。鏈接
• Primus-Nemotron-CC (76 億)： 從 Nemotron-CC 中過濾出的網絡安全文本。

有監督微調：

• Primus-Instruct：鏈接

⚠️ 重要提示

數據集 Primus-Seed-V2 和 Primus-Nemotron-CC 尚未開源，目前正在討論中。如果您感興趣，請隨時聯繫我們。

💡 使用建議

本模型不包含趨勢科技的任何客戶信息。

📚 關於 Primus

Primus 是趨勢科技首創的輕量級、先進的開源網絡安全語言模型和數據集系列。這些資源通過我們的前沿研究計劃和先進技術開發而來，與為我們企業級 Trend Cybertron 解決方案提供支持的創新基礎共享。作為網絡安全領域的行業領導者，趨勢科技自豪地將這些強大、優化效率的模型和數據集貢獻給社區，同時保持定義我們全球安全標準的卓越性和可靠性。

🙏 致謝

我們要感謝 NVIDIA 慷慨提供計算資源（Taipei-1），使該模型的訓練和開發成為可能。

📄 許可證

該模型基於 MIT 許可證，但您還必須遵守 Llama 3.1 社區許可協議。