Llama Primus Base

🚀 Primus: サイバーセキュリティLLMトレーニング用のオープンソースデータセットの先駆的コレクション

Primusは、サイバーセキュリティ分野のLLMトレーニングに特化したオープンソースデータセットのコレクションです。これらのデータセットを用いて事前学習したモデルは、サイバーセキュリティのベンチマークで高い性能を発揮します。

要約: Llama-Primus-Baseは、Llama-3.1-8B-Instructをベースに、Primus-Seed (0.2B) とPrimus-FineWeb (2.57B) で継続的に事前学習された基礎モデルです。Primus-Seedは高品質で手動で作成されたサイバーセキュリティテキストデータセットで、Primus-FineWebはCommon Crawlの改良版であるFineWebから抽出されたサイバーセキュリティテキストで構成されています。このような大規模なサイバーセキュリティコーパスで事前学習することで、複数のサイバーセキュリティベンチマークの集計スコアで🔥**15.88%**の改善を達成し、サイバーセキュリティ特化の事前学習の有効性を実証しています。

💡 詳細については、論文を参照してください: [📄論文]。

🚀 クイックスタート

本プロジェクトは、サイバーセキュリティ分野のLLMトレーニングに特化したオープンソースデータセットのコレクションです。これらのデータセットを用いることで、サイバーセキュリティに特化したLLMを構築することができます。

✨ 主な機能

• サイバーセキュリティ分野のLLMトレーニングに特化した複数のデータセットを提供します。
• これらのデータセットを用いて事前学習したモデルは、サイバーセキュリティのベンチマークで高い性能を発揮します。

📚 ドキュメント

はじめに

近年、大規模言語モデル (LLMs) は、金融、法律、バイオメディスンなどの専門分野で有望な応用が見られるなど、驚くほどの汎用性を示しています。しかし、サイバーセキュリティ分野では、LLMの事前学習に特化したオープンソースデータセットが不足していることに気づきました。多くの研究が示すように、LLMは事前学習の過程で知識を獲得します。このギャップを埋めるために、サイバーセキュリティLLMトレーニングの複数の段階をカバーするデータセットのコレクションを提供します。これには、事前学習 (Primus-Seed と Primus-FineWeb)、命令微調整 (Primus-Instruct)、および蒸留用の推論データ (Primus-Reasoning) が含まれます。これらのデータセットとLlama-3.1-8B-Instructに基づいて、Llama-Primus-Base、Llama-Primus-Merged、および Llama-Primus-Reasoning を開発しました。このモデルカードは Llama-Primus-Base に関するものです。

⚠️ 重要提示

トレンドマイクロの顧客情報は含まれていません。

サイバーセキュリティベンチマーク結果

CTI-Bench (CVSS) は平均絶対偏差で評価され (低い方が良い)、CTI-ATE はF1スコアを使用し、その他は正解率を使用しています。集計スコア (Agg.) は、すべてのベンチマークの合計で、CTI-Bench (CVSS) は負の値として計算されます。

参考文献:

• CyberMetric: CyberMetric: A Benchmark Dataset based on Retrieval-Augmented...
• CtiBench: CTIBench: A Benchmark for Evaluating LLMs in Cyber Threat Intelligence
• SecEval: SecEval: A Comprehensive Benchmark for Evaluating Cybersecurity Knowledge of Foundation Models

_Primus_について

Primus は、Trend Microによる先駆的な軽量で最先端のオープンサイバーセキュリティ言語モデルとデータセットのファミリーです。最先端の研究イニシアチブと高度な技術を通じて開発されたこれらのリソースは、企業向けのTrend Cybertronソリューションを支える革新的な基盤を共有しています。サイバーセキュリティの業界リーダーとして、Trend Microは、これらの強力で効率的に最適化されたモデルとデータセットをコミュニティに提供することを誇りに思っています。

📄 ライセンス

このモデルはMITライセンスに基づいていますが、Llama 3.1 Community License Agreementにも準拠する必要があります。