Llama Primus Nemotron 70B Instruct

🚀 Llama-Primus-Nemotron-70B-Instruct

Llama-Primus-Nemotron-70B-Instruct 是基于持续训练构建的模型，在多个公共网络安全基准测试中取得显著提升，同时在通用指令遵循基准测试中保持性能一致。

• 简介
• 基准测试结果
• 训练数据集
• 致谢

📖 简介

Llama-Primus-Nemotron 系列在 nvidia/Llama-3.1-Nemotron-70B-Instruct 的基础上进行持续训练。我们遵循 Primus 论文 中描述的相同方法，首先在大规模网络安全语料库（超过 100 亿 个标记）上进行预训练，得到 Llama-Primus-Nemotron-Base。然后进行有监督微调，并应用 DELLA 与原始的 Nemotron 进行合并，最终得到 Llama-Primus-Nemotron-70B-Instruct。

Llama-Primus-Nemotron-70B-Instruct 在多个公共网络安全基准测试的综合得分上提高了 18.18%，同时在通用指令遵循基准测试（Arena Hard）中保持了 相同 的性能。

📊 基准测试结果

• 网络安全
• 通用聊天性能
• 安全性与毒性

🔒 网络安全

CTI-Bench(CVSS) 使用平均绝对偏差进行评分（越低越好），CTI-ATE 使用 F1 分数，其他指标使用准确率。综合得分（Agg.）是所有基准测试得分的总和，其中 CTI-Bench(CVSS) 取负值。

参考资料：

• CyberMetric：CyberMetric: A Benchmark Dataset based on Retrieval-Augmented...
• CTI-Bench：CTIBench: A Benchmark for Evaluating LLMs in Cyber Threat Intelligence
• SecEval：SecEval: A Comprehensive Benchmark for Evaluating Cybersecurity Knowledge of Foundation Models

💬 通用聊天性能

参考资料：

• Arena Hard

🛡️ 安全性与毒性

参考资料：

• Garak：Garak 仓库
• XSTest：XSTest 仓库

📈 训练数据集

预训练：

• Primus-Seed-V2 (4.17 亿)： Primus-Seed 的增强版本，丰富了博客、新闻、书籍、网站、维基百科、MITRE 和趋势科技的知识。
• Primus-FineWeb (25.7 亿)： 从 FineWeb-edu-score-2 中过滤出的网络安全文本。链接
• Primus-Nemotron-CC (76 亿)： 从 Nemotron-CC 中过滤出的网络安全文本。

有监督微调：

• Primus-Instruct：链接

⚠️ 重要提示

数据集 Primus-Seed-V2 和 Primus-Nemotron-CC 尚未开源，目前正在讨论中。如果您感兴趣，请随时联系我们。

💡 使用建议

本模型不包含趋势科技的任何客户信息。

📚 关于 Primus

Primus 是趋势科技首创的轻量级、先进的开源网络安全语言模型和数据集系列。这些资源通过我们的前沿研究计划和先进技术开发而来，与为我们企业级 Trend Cybertron 解决方案提供支持的创新基础共享。作为网络安全领域的行业领导者，趋势科技自豪地将这些强大、优化效率的模型和数据集贡献给社区，同时保持定义我们全球安全标准的卓越性和可靠性。

🙏 致谢

我们要感谢 NVIDIA 慷慨提供计算资源（Taipei-1），使该模型的训练和开发成为可能。

📄 许可证

该模型基于 MIT 许可证，但您还必须遵守 Llama 3.1 社区许可协议。