Llama Primus Reasoning

🚀 Primus: サイバーセキュリティLLMトレーニング向けオープンソースデータセットの先駆的コレクション

初のサイバーセキュリティ推論モデル！

要約: Llama - Primus - Reasoningは、Llama - Primus - Mergedをベースに、サイバーセキュリティタスクにおいてo1 - previewとDeepSeek - R1によって生成された反射データ付きの推論ステップから蒸留された推論モデルです。セキュリティ認定（CISSP）において🔥**15.8%**の改善を示しています。

📄 詳細については、論文を参照してください: [📄論文]。

📢 ニュース (2025/06/02): Primus - Reasoning データセットにDeepSeek - R1からの追加サンプルを追加しました。それに伴い、Llama - Primus - ReasoningをDeepSeek - R1とo1 - previewから共同で蒸留された新バージョンに置き換えました。このバージョンはCISSPで最高の性能を達成し、15.8%の改善を示しています。

🚀 クイックスタート

このドキュメントでは、サイバーセキュリティLLMトレーニング向けのオープンソースデータセットコレクションであるPrimusについて紹介します。また、関連するモデルの性能評価結果やライセンス情報も提供しています。

✨ 主な機能

• サイバーセキュリティLLMトレーニング用の複数の段階（事前学習、命令微調整、蒸留用推論データ）をカバーするデータセットを提供。
• Llama - Primus - Reasoningモデルは、セキュリティ認定（CISSP）において高い性能を示す。

📚 ドキュメント

導入

近年、大規模言語モデル（LLM）は多様な分野で顕著な汎用性を示し、金融、法律、バイオメディスンなどの専門分野での応用も期待されています。しかし、サイバーセキュリティ分野では、LLMの事前学習に特化したオープンソースデータセットが不足しています。このギャップを埋めるため、我々はサイバーセキュリティLLMトレーニングの複数の段階（事前学習 (Primus - Seed と Primus - FineWeb)、命令微調整 (Primus - Instruct)、蒸留用推論データ (Primus - Reasoning)）をカバーするデータセットコレクションを提供しています。これらのデータセットとLlama - 3.1 - 8B - Instructをベースに、Llama - Primus - Base、Llama - Primus - Merged、Llama - Primus - Reasoning を開発しました。このモデルカードは Llama - Primus - Reasoning に関するものです。

⚠️ 重要提示

これらのデータセットにはトレンドマイクロの顧客情報は含まれていません。

サイバーセキュリティベンチマーク結果

Primus - Reasoning の微調整の効果をCISSPで評価しました。↑はLlamaのCoTなし、5ショット設定に対する改善率を示します。最良の改善率は 太字 で強調しています。

Primus について

Primusは、トレンドマイクロによる先駆的な軽量で最先端のオープンサイバーセキュリティ言語モデルとデータセットのファミリーです。最先端の研究イニシアチブと高度な技術を通じて開発されたこれらのリソースは、企業クラスの Trend Cybertron ソリューションを支える革新的な基盤を共有しています。サイバーセキュリティの業界リーダーとして、トレンドマイクロはこれらの強力で効率が最適化されたモデルとデータセットをコミュニティに貢献することを誇りに思い、グローバルなセキュリティ標準を定義する卓越性と信頼性を維持しています。

📄 ライセンス

このモデルはMITライセンスに基づいていますが、Llama 3.1コミュニティライセンス契約にも準拠する必要があります。