Llama Primus Nemotron 70B Instruct

🚀 Llama-Primus-Nemotron-70B-Instruct

Llama-Primus-Nemotron-70B-Instructは、サイバーセキュリティ分野に特化した高性能な言語モデルです。既存のモデルをベースに継続的なトレーニングを行い、サイバーセキュリティベンチマークで高いスコアを達成しています。

• 概要
• ベンチマーク結果
• トレーニングデータセット
• 謝辞

🚀 クイックスタート

概要

Llama-Primus-Nemotronシリーズは、nvidia/Llama-3.1-Nemotron-70B-Instructをベースに継続的なトレーニングを行っています。Primus論文に記載されている方法に従い、まず大規模なサイバーセキュリティコーパス（10B以上のトークン）で事前学習を行い、Llama-Primus-Nemotron-Baseを得ました。その後、教師あり微調整を行い、DELLAを適用して元のNemotronとマージし、Llama-Primus-Nemotron-70B-Instructを作成しました。

_Llama-Primus-Nemotron-70B-Instruct_は、いくつかの公開サイバーセキュリティベンチマークの総合スコアで18.18%の改善を達成し、汎用命令追従ベンチマーク（Arena Hard）では同じ性能を維持しています。

ベンチマーク結果

• サイバーセキュリティ
• 一般チャット性能
• 安全性と毒性

サイバーセキュリティ

CTI-Bench(CVSS)は平均絶対偏差でスコア付けされ（低いほど良い）、CTI-ATEはF1スコアを使用し、その他は正解率を使用しています。総合スコア（Agg.）は、すべてのベンチマークの合計で、CTI-Bench(CVSS)はマイナスになります。

参考資料:

• CyberMetric: CyberMetric: A Benchmark Dataset based on Retrieval-Augmented...
• CTI-Bench: CTIBench: A Benchmark for Evaluating LLMs in Cyber Threat Intelligence
• SecEval: SecEval: A Comprehensive Benchmark for Evaluating Cybersecurity Knowledge of Foundation Models

一般チャット性能

参考:

• Arena Hard

安全性と毒性

参考資料:

• Garak: Garak Repository
• XSTest: XSTest Repository

トレーニングデータセット

事前学習:

• Primus-Seed-V2 (0.417B): Primus-Seedの拡張版で、ブログ、ニュース、書籍、ウェブサイト、ウィキペディア、MITRE、Trend Microの知識が充実しています。
• Primus-FineWeb (2.57B): FineWeb-edu-score-2からフィルタリングされたサイバーセキュリティテキスト。リンク
• Primus-Nemotron-CC (7.6B): Nemotron-CCからフィルタリングされたサイバーセキュリティテキスト。

教師あり微調整:

• Primus-Instruct: リンク

⚠️ 重要提示

データセットPrimus-Seed-V2とPrimus-Nemotron-CCはまだオープンソース化されておらず、現在検討中です。興味がある場合は、お問い合わせください。

💡 使用建议

本モデルにはTrend Microの顧客情報は含まれていません。

謝辞

このモデルのトレーニングと開発を可能にした、コンピューティングリソース（Taipei-1）を慷慨に提供してくれたNVIDIAに感謝します。

📄 ライセンス

このモデルはMITライセンスに基づいていますが、Llama 3.1コミュニティライセンス契約にも準拠する必要があります。

その他の情報